Bài 7 — Đánh giá chất lượng và kiểm soát hallucination

"Trông có vẻ đúng" không phải là tiêu chuẩn cho legal. Bài này dạy cách đo lường chất lượng agent bằng số liệu và dựng các lớp phòng vệ chống hallucination trước khi cho dùng thật.

Xây bộ test (evaluation set)

• Thu 30–50 hợp đồng thật đã ẩn danh, đa dạng loại.
• Luật sư gán nhãn chuẩn (gold labels): điều khoản rủi ro nào, mức nào — đây là "đáp án".
• Chạy agent trên cùng bộ này.
• So agent vs. gold labels bằng các chỉ số dưới.

Chỉ số quan trọng cho legal

Ưu tiên Recall trong legal: thà báo dư (luật sư loại bớt) còn hơn sót một điều khoản rủi ro chết người.

Ví dụ tính toán

Gold: hợp đồng có 10 điều khoản rủi ro.
Agent bắt được 9 điều đúng + 2 điều báo nhầm.

Recall    = 9 / 10 = 90%   (sót 1)
Precision = 9 / (9+2) = 82% (2 báo giả)

Đặt ngưỡng chấp nhận cùng luật sư, ví dụ: Recall >= 90%, Citation accuracy = 100%.

Bốn lớp phòng vệ chống hallucination

• Grounding: ép trả lời chỉ dựa trên nguồn (đã làm ở Bài 3).
• Quote verification: kiểm mọi trích dẫn có tồn tại thật trong văn bản (Bài 4).
• Self-consistency: với câu hỏi quan trọng, hỏi model 2–3 lần; nếu kết quả mâu thuẫn -> gắn cờ cần người xem.
• Abstention: cho phép và khuyến khích trả lời "không tìm thấy".

def guarded_answer(question, sources):
    answers = [ask(question, sources) for _ in range(3)]
    if not consistent(answers):
        return {"status": "needs_review", "reason": "kết quả không nhất quán"}
    if not all_quotes_valid(answers[0], sources):
        return {"status": "needs_review", "reason": "trích dẫn nghi bịa"}
    return {"status": "ok", "answer": answers[0]}

Đánh giá liên tục (không phải một lần)

• Ghi lại các trường hợp luật sư sửa/bác output -> đưa vào bộ test làm ví dụ khó.
• Theo dõi chỉ số theo thời gian; nếu tụt (do model update, loại hợp đồng mới) -> điều tra.
• Định kỳ để luật sư review mẫu ngẫu nhiên (spot-check).

Khung tư duy: RECAP

Reference:  có bộ gold labels do chuyên gia gán.
Evaluate:   đo recall / precision / citation.
Catch:      lớp phòng vệ chống hallucination.
Abstain:    khuyến khích từ chối khi thiếu nguồn.
Patrol:     giám sát liên tục, spot-check.

Checklist đánh giá

• [ ] Có bộ test gán nhãn bởi luật sư?
• [ ] Đo Recall và ưu tiên không bỏ sót rủi ro?
• [ ] Citation accuracy được kiểm tự động?
• [ ] Có cơ chế abstention và self-consistency cho câu quan trọng?
• [ ] Có vòng phản hồi: sửa của luật sư -> bổ sung bộ test?

Sai lầm thường gặp

• Chỉ đánh giá bằng cảm tính: vài ví dụ đẹp không chứng minh agent đáng tin.
• Tối ưu Precision mà bỏ Recall: giảm báo giả nhưng sót rủi ro thật — sai hướng cho legal.
• Không kiểm citation: để lọt trích dẫn bịa vào báo cáo.
• Đánh giá một lần rồi thôi: model/loại hợp đồng đổi khiến chất lượng trôi mà không ai biết.
• Không khuyến khích abstention: ép agent luôn trả lời -> tăng hallucination.

Bài cuối: vận hành thực tế — quy trình, phân quyền, tuân thủ và xử lý sự cố.