Vòng lặp cải thiện: eval đến prompt đến fine-tune

Vì sao vòng lặp cải thiện quan trọng

Eval không phải đích đến mà là bàn đạp. Giá trị thật nằm ở vòng lặp: đo, tìm điểm yếu, cải thiện, rồi đo lại. Vòng lặp này biến các kỹ năng ở năm bài trước thành một cỗ máy cải tiến liên tục. Và trong vòng lặp, bạn có nhiều mức can thiệp, từ nhẹ tới nặng: chỉnh prompt, thêm ngữ cảnh, tới fine-tune tức huấn luyện thêm cho model trên dữ liệu riêng.

Thiếu kỹ năng vận hành vòng lặp, cái giá là bạn dừng ở đo mà không cải thiện, hoặc cải thiện lung tung không có hệ thống. Đội bạn có thể nhảy ngay vào fine-tune tốn kém trong khi chỉ cần chỉnh prompt là đủ. Hoặc ngược lại, cứ loay hoay tinh chỉnh prompt vô tận trong khi vấn đề gốc đòi hỏi dữ liệu huấn luyện. Không có thứ tự ưu tiên, bạn đốt thời gian và tiền vào can thiệp sai mức.

Với Product Manager, hiểu vòng lặp giúp bạn điều phối nỗ lực đúng chỗ, biết khi nào một prompt nhỏ giải quyết được vấn đề và khi nào phải đầu tư nặng hơn. Đây là bài tổng kết gắn kết mọi thứ lại thành một quy trình sống.

Bức tranh lớn

graph TD
A[Chay eval offline va online] --> B[Phat hien diem yeu cu the]
B --> C[Chon muc can thiep phu hop]
C --> D[Chinh prompt truoc]
D --> E[Them ngu canh va du lieu tra cuu]
E --> F[Fine tune neu van con thieu]
F --> G[Chay lai eval de xac nhan]
G --> A

Bức tranh lớn là một vòng tròn khép kín. Bạn đo bằng cả offline và online eval, phát hiện điểm yếu cụ thể, rồi chọn mức can thiệp theo nguyên tắc rẻ trước đắt sau. Chỉnh prompt là rẻ và nhanh nhất, nên thử đầu tiên. Thêm ngữ cảnh và dữ liệu tra cứu là mức giữa, giải quyết nhiều vấn đề bịa và thiếu thông tin. Fine-tune là mức nặng, chỉ dùng khi ba mức trên không đủ. Sau mỗi can thiệp, bạn chạy lại eval để xác nhận rồi quay vòng.

Ví dụ chi tiết

Một công ty bảo hiểm ở TP HCM làm trợ lý giải thích điều khoản hợp đồng.

Bước 1: Eval offline cho thấy mô hình sai nhiều ở nhóm câu về điều khoản loại trừ. Điểm rubric nhóm này chỉ 2.8 trên 5, thấp hơn hẳn các nhóm khác.

Bước 2: Đội thử mức rẻ nhất trước. Họ chỉnh prompt yêu cầu mô hình luôn nêu rõ điều khoản loại trừ và trích dẫn số điều. Chạy lại, điểm lên 3.6. Tiến bộ nhưng chưa đủ.

Bước 3: Họ thêm dữ liệu tra cứu, nạp toàn văn các điều khoản loại trừ vào ngữ cảnh mỗi khi câu hỏi liên quan. Điểm lên 4.3. Phần lớn vấn đề bịa đã hết vì mô hình có nguồn thật để bám.

Bước 4: Vẫn còn một nhóm nhỏ câu hỏi dùng thuật ngữ bảo hiểm đặc thù mà mô hình hiểu sai sắc thái. Chỉnh prompt và thêm ngữ cảnh không giải quyết được vì đây là vấn đề hiểu ngôn ngữ chuyên ngành.

Bước 5: Đến lúc này họ mới cân nhắc fine-tune. Họ chuẩn bị một bộ dữ liệu vài trăm cặp câu hỏi và câu trả lời chuẩn do chuyên viên soạn, huấn luyện thêm cho model. Điểm nhóm câu khó lên 4.6.

Bước 6: Họ chạy lại toàn bộ eval offline và một vòng A/B online để chắc chắn cải thiện thật và không làm hỏng các nhóm câu khác. Sau khi xác nhận, họ ship và vòng lặp tiếp tục với các điểm yếu mới.

Bài học: đi từ rẻ tới đắt giúp họ tiết kiệm rất nhiều so với nhảy thẳng vào fine-tune.

Lộ trình từng bước để làm chủ

graph LR
A[Do va xac dinh diem yeu] --> B[Thu chinh prompt]
B --> C[Them ngu canh va tra cuu]
C --> D[Danh gia con thieu gi]
D --> E[Fine tune khi that su can]
E --> F[Chay lai eval xac nhan]
F --> G[Ghi bai hoc va quay vong]

Lộ trình là một vòng lặp có kỷ luật. Đo để xác định điểm yếu cụ thể, không mơ hồ. Thử chỉnh prompt trước vì rẻ và nhanh. Thêm ngữ cảnh và tra cứu để giải quyết bịa và thiếu thông tin. Đánh giá còn thiếu gì sau hai mức đó. Chỉ fine-tune khi thật sự cần và có đủ dữ liệu chất lượng. Chạy lại eval để xác nhận không gây hồi quy. Ghi bài học rồi quay vòng.

Thói quen & kỷ luật

Working mindset: Luôn thử mức can thiệp rẻ nhất trước, chỉ leo thang khi có bằng chứng nó không đủ.

Cần luyện tập gì (drills)

Drill 1: Lấy một điểm yếu thật từ eval và viết ra ba phương án can thiệp theo mức rẻ tới đắt, kèm dự đoán mức nào đủ giải quyết.

Drill 2: Thực hành một vòng chỉnh prompt cho một nhóm câu yếu, đo trước và sau, và viết kết luận có tiến bộ hay không.

Drill 3: Phân tích một trường hợp giả định để quyết định khi nào nên fine-tune thay vì tiếp tục chỉnh prompt, dựa trên bản chất vấn đề.

Checklist hành động tuần này

• [ ] Chọn một điểm yếu cụ thể từ kết quả eval gần nhất
• [ ] Thử chỉnh prompt và đo trước sau để xem tiến bộ
• [ ] Nếu chưa đủ, thử thêm ngữ cảnh hoặc dữ liệu tra cứu
• [ ] Ghi lại mức can thiệp nào giải quyết được vấn đề gì
• [ ] Chạy lại toàn bộ eval để chắc chắn không gây hồi quy

Chỉ số & North Star

North Star là tốc độ cải thiện điểm chất lượng qua từng vòng lặp mà không gây hồi quy ở các nhóm khác.

Dấu hiệu bạn đã thành thạo

Bạn vận hành eval như một vòng lặp liên tục chứ không phải việc làm một lần. Bạn luôn thử can thiệp rẻ trước khi leo thang. Bạn biết phân biệt vấn đề nào cần prompt, nào cần dữ liệu, nào cần fine-tune. Và bạn luôn chạy lại eval để bắt hồi quy sau mỗi thay đổi.

Cạm bẫy thường gặp

Chốt lại

• Eval là bàn đạp cho vòng lặp cải thiện liên tục, không phải đích đến.
• Đi theo thứ tự rẻ tới đắt: prompt, rồi ngữ cảnh, rồi mới fine-tune.
• Luôn chạy lại eval sau mỗi can thiệp để bắt hồi quy kịp thời.
• Vòng lặp có kỷ luật giúp bạn cải thiện đúng chỗ, tiết kiệm thời gian và tiền.