Hallucination, safety & guardrails

Vì sao xử lý hallucination và safety quan trọng

Hallucination là khi mô hình bịa ra thông tin nghe rất thuyết phục nhưng sai sự thật. Safety là việc mô hình không tạo nội dung độc hại, không lộ dữ liệu nhạy cảm, không đưa lời khuyên nguy hiểm. Guardrails là các lớp bảo vệ bạn dựng quanh mô hình để chặn những đầu ra không mong muốn. Đây là ba khái niệm sống còn với bất kỳ sản phẩm LLM nghiêm túc nào.

Cái giá của việc thiếu kỹ năng này rất đắt. Một trợ lý tài chính bịa lãi suất có thể khiến khách vay sai và kiện công ty. Một chatbot y tế đưa liều thuốc bịa có thể gây nguy hiểm tính mạng. Một trợ lý nội bộ vô tình lộ dữ liệu khách hàng có thể vi phạm luật bảo vệ dữ liệu. Ngay cả khi không nghiêm trọng tới mức đó, chỉ một ảnh chụp màn hình mô hình nói bậy lan trên mạng xã hội cũng đủ làm hỏng danh tiếng thương hiệu mà bạn xây nhiều năm.

Với Product Manager, xử lý hallucination và safety không phải chuyện kỹ thuật thuần túy mà là quản trị rủi ro sản phẩm. Bạn phải biết mô hình sai ở đâu, dựng lớp chặn nào, và đo mức an toàn ra sao.

Bức tranh lớn

graph TD
A[Nguoi dung gui yeu cau] --> B[Loc dau vao doc hai]
B --> C[Mo hinh sinh phan hoi]
C --> D[Kiem tra can cu du lieu]
D --> E[Loc dau ra khong an toan]
E --> F[Tra loi hoac tu choi lich su]
D --> G[Neu thieu can cu thi noi khong biet]

Bức tranh lớn có ba vòng bảo vệ. Vòng đầu vào lọc yêu cầu độc hại hoặc cố tình dụ mô hình phá luật. Vòng nội dung buộc mô hình chỉ trả lời dựa trên nguồn đáng tin, và nếu không có căn cứ thì thà nói không biết còn hơn bịa. Vòng đầu ra kiểm tra lại phản hồi trước khi gửi, chặn nội dung nhạy cảm hoặc sai lệch. Ba vòng này kết hợp làm giảm mạnh rủi ro.

Ví dụ chi tiết

Một ngân hàng số ở Việt Nam triển khai trợ lý trả lời câu hỏi về sản phẩm vay.

Bước 1: Khi thử nghiệm nội bộ, đội phát hiện mô hình bịa ra một gói vay không tồn tại khi khách hỏi mẹo. Đây là hallucination nguy hiểm.

Bước 2: Họ thêm lớp căn cứ dữ liệu. Mô hình chỉ được trả lời dựa trên tài liệu sản phẩm chính thức được nạp vào ngữ cảnh. Nếu câu hỏi nằm ngoài tài liệu, mô hình phải nói chưa có thông tin và chuyển cho nhân viên.

Bước 3: Họ dựng lớp lọc đầu vào để bắt các nỗ lực dụ mô hình như yêu cầu bỏ qua quy tắc hoặc đóng vai khác.

Bước 4: Họ thêm lớp lọc đầu ra chặn mọi phản hồi chứa số liệu lãi suất không khớp bảng chính thức, đồng thời chặn dữ liệu cá nhân khách hàng bị lọt ra.

Bước 5: Đội lập một bộ eval an toàn riêng gồm 40 ca tấn công và câu hỏi bẫy, đo tỉ lệ mô hình bị lừa. Ban đầu mô hình sa bẫy 30 phần trăm. Sau khi thêm guardrails, tỉ lệ này còn 3 phần trăm.

Bước 6: Họ đặt quy tắc thà từ chối lịch sự còn hơn trả lời sai với các câu liên quan pháp lý và số liệu, vì rủi ro trả lời sai lớn hơn phiền toái từ chối.

Kết quả là sản phẩm ra mắt an toàn, và mỗi bản cập nhật đều phải qua bộ eval an toàn trước khi ship.

Lộ trình từng bước để làm chủ

graph LR
A[Liet ke rui ro theo mien] --> B[Dung lop loc dau vao]
B --> C[Bat buoc can cu du lieu]
C --> D[Dung lop loc dau ra]
D --> E[Lap bo eval an toan]
E --> F[Do ti le sa bay]
F --> G[Cai thien va giam sat lien tuc]

Bắt đầu bằng liệt kê rủi ro cụ thể theo lĩnh vực của bạn, vì rủi ro của fintech khác edtech. Dựng lớp lọc đầu vào để chặn yêu cầu xấu. Bắt buộc mô hình trả lời dựa trên nguồn để giảm bịa. Thêm lớp lọc đầu ra như tấm lưới cuối. Lập bộ eval an toàn để đo, rồi cải thiện và giám sát liên tục vì kẻ tấn công luôn tìm cách mới.

Thói quen & kỷ luật

Working mindset: Với an toàn, thà mô hình nói không biết còn hơn tự tin nói sai.

Cần luyện tập gì (drills)

Drill 1: Viết mười câu hỏi bẫy nhằm dụ mô hình bịa thông tin cho một sản phẩm cụ thể, rồi thử và ghi lại ca nào mô hình sa bẫy.

Drill 2: Thiết kế một quy tắc từ chối lịch sự cho các câu ngoài phạm vi an toàn, và viết ba mẫu câu từ chối vừa rõ vừa giữ trải nghiệm tốt.

Drill 3: Tập phân biệt hallucination với sai do thiếu dữ liệu bằng cách phân tích năm phản hồi sai và chỉ ra nguyên nhân gốc của từng cái.

Checklist hành động tuần này

• [ ] Liệt kê các rủi ro an toàn cụ thể cho sản phẩm của bạn
• [ ] Lập một bộ eval an toàn gồm ít nhất 20 ca tấn công và bẫy
• [ ] Thêm quy tắc bắt buộc trả lời dựa trên nguồn đáng tin
• [ ] Viết mẫu câu từ chối lịch sự cho các câu ngoài phạm vi
• [ ] Đo tỉ lệ mô hình sa bẫy và ghi lại làm baseline

Chỉ số & North Star

North Star là tỉ lệ phản hồi an toàn và có căn cứ trên bộ eval an toàn, càng cao càng tốt, kèm số sự cố thật càng gần không càng tốt.

Dấu hiệu bạn đã thành thạo

Bạn có một bộ eval an toàn được cập nhật đều và không ship mà không chạy nó. Bạn thiết kế mô hình biết nói không biết thay vì bịa. Bạn phân biệt được hallucination với lỗi thiếu dữ liệu và xử lý mỗi loại khác nhau. Và bạn nghĩ như kẻ tấn công để tìm lỗ hổng trước khi họ tìm ra.

Cạm bẫy thường gặp

Chốt lại

• Hallucination và safety là rủi ro sản phẩm cần quản trị, không chỉ chuyện kỹ thuật.
• Ba vòng bảo vệ đầu vào, căn cứ nội dung, và đầu ra làm giảm mạnh rủi ro.
• Bộ eval an toàn giúp bạn đo tỉ lệ sa bẫy và cải thiện có bằng chứng.
• Với rủi ro cao, thà từ chối lịch sự còn hơn tự tin trả lời sai.