RAG là gì & khi nào dùng

Vì sao hiểu RAG quan trọng

RAG là kỹ thuật cho phép LLM trả lời dựa trên dữ liệu riêng của bạn mà không cần huấn luyện lại mô hình. Nó là cầu nối giữa sức mạnh ngôn ngữ của LLM và kho tri thức nội bộ của doanh nghiệp.

Nếu PM không hiểu RAG, họ sẽ rơi vào hai cực. Cực thứ nhất là bắt đội fine-tune mô hình cho mọi thứ, tốn kém và chậm. Cực thứ hai là nhét toàn bộ tài liệu vào prompt, vừa tốn token vừa vượt context window. Một công ty bảo hiểm Việt Nam từng chi rất nhiều để fine-tune mô hình trên tài liệu chính sách, rồi mỗi lần chính sách thay đổi lại phải huấn luyện lại từ đầu. Nếu dùng RAG, họ chỉ cần cập nhật kho tài liệu, mô hình tự đọc phiên bản mới.

Hiểu RAG giúp PM chọn đúng kiến trúc, tiết kiệm ngân sách, và cho sản phẩm khả năng trả lời chính xác trên dữ liệu cập nhật.

Bức tranh lớn

RAG viết tắt của truy hồi rồi sinh văn bản. Ý tưởng: khi người dùng hỏi, hệ thống tìm những đoạn tài liệu liên quan nhất trong kho, rồi đưa các đoạn đó cùng câu hỏi vào prompt để LLM trả lời dựa trên chúng.

graph LR
A[Cau hoi nguoi dung] --> B[Tim doan lien quan]
B --> C[Kho tri thuc]
C --> D[Cac doan phu hop]
D --> E[Ghep vao prompt]
A --> E
E --> F[LLM tra loi co dan chung]

Điểm mạnh của RAG: mô hình trả lời dựa trên nguồn thật nên giảm bịa, và bạn cập nhật kiến thức chỉ bằng cách cập nhật kho tài liệu. RAG phù hợp khi câu trả lời phụ thuộc dữ liệu riêng, hay thay đổi, hoặc cần trích dẫn nguồn.

Ví dụ chi tiết

Một chuỗi bệnh viện tư ở Việt Nam muốn trợ lý trả lời câu hỏi của nhân viên về quy trình nội bộ.

Bước 1: PM xác định quy trình thay đổi thường xuyên và phải trích dẫn đúng văn bản, nên RAG là lựa chọn hợp lý thay vì fine-tune.

Bước 2: Đội chia toàn bộ tài liệu quy trình thành các đoạn nhỏ và lập chỉ mục để tìm kiếm theo ngữ nghĩa.

Bước 3: Khi nhân viên hỏi về quy trình nhập viện, hệ thống tìm ba đoạn liên quan nhất và đưa vào prompt.

Bước 4: LLM trả lời dựa trên ba đoạn đó và kèm trích dẫn tên văn bản, giúp nhân viên kiểm chứng.

Bước 5: Khi quy trình cập nhật, đội chỉ thay tài liệu trong kho, không cần đụng tới mô hình. PM đo chất lượng bằng tỷ lệ câu trả lời có trích dẫn đúng nguồn, và nhờ RAG, độ chính xác cao hơn hẳn so với để mô hình tự nhớ.

Lộ trình từng bước để làm chủ

graph TD
A[Hieu khi nao can du lieu rieng] --> B[Hoc luong truy hoi]
B --> C[Thiet ke cach chia tai lieu]
C --> D[Do chat luong truy hoi]
D --> E[Ghep truy hoi voi sinh van ban]
E --> F[Do ty le tra loi dung nguon]

Trước hết nhận diện khi nào câu trả lời cần dữ liệu riêng. Học luồng truy hồi cơ bản. Thiết kế cách chia tài liệu thành đoạn hợp lý. Đo xem truy hồi có tìm đúng đoạn không. Ghép truy hồi với sinh văn bản. Cuối cùng đo tỷ lệ câu trả lời bám đúng nguồn.

Thói quen & kỷ luật

Working mindset: RAG chỉ tốt bằng chất lượng truy hồi, tìm sai đoạn thì câu trả lời sai theo.

Cần luyện tập gì (drills)

Drill 1: Chọn mười câu hỏi thật và kiểm tra thủ công xem hệ thống truy hồi có tìm đúng đoạn tài liệu không.

Drill 2: Thử chia một tài liệu theo hai cách khác nhau và so sánh chất lượng truy hồi.

Drill 3: Tạo một câu hỏi mà câu trả lời đúng nằm rải rác nhiều đoạn, quan sát hệ thống xử lý ra sao.

Checklist hành động tuần này

• [ ] Vẽ sơ đồ luồng RAG cho một tính năng trong sản phẩm của bạn
• [ ] Liệt kê ba tình huống nên dùng RAG thay vì fine-tune
• [ ] Kiểm tra thủ công chất lượng truy hồi của mười câu hỏi
• [ ] Thảo luận với đội cách chia tài liệu thành đoạn
• [ ] Định nghĩa chỉ số tỷ lệ trả lời đúng nguồn

Chỉ số & North Star

North Star cho bài này: tỷ lệ câu trả lời bám đúng nguồn truy hồi tăng dần.

Dấu hiệu bạn đã thành thạo

Bạn nhìn một bài toán là biết ngay có nên dùng RAG không và vì sao. Bạn hiểu chất lượng truy hồi quyết định chất lượng câu trả lời. Bạn thiết kế được cách đo và cải thiện phần truy hồi, không chỉ chăm chăm vào prompt.

Cạm bẫy thường gặp

Chốt lại

• RAG cho LLM trả lời dựa trên dữ liệu riêng mà không cần huấn luyện lại.
• Nó phù hợp khi dữ liệu hay thay đổi và cần trích dẫn nguồn.
• Chất lượng truy hồi quyết định chất lượng câu trả lời.
• Cập nhật kiến thức chỉ cần cập nhật kho tài liệu.