Bài 8 — Vận hành thực tế: quy trình, tuân thủ và xử lý sự cố

Một agent chạy tốt trong phòng thí nghiệm chưa chắc dùng được ở doanh nghiệp. Bài cuối bàn về triển khai và vận hành: quy trình con người–máy, phân quyền, tuân thủ, và cách xử lý khi agent sai.

1. Thiết kế quy trình human-in-the-loop rõ ràng

Mỗi tính năng cần ghi rõ: ai chạy, ai duyệt, output đi đâu.

Rà soát NDA:
  Người chạy:   paralegal
  Agent làm:    trích rủi ro + đề xuất (NHÁP)
  Người duyệt:  luật sư phụ trách
  Ra ngoài:     chỉ sau khi luật sư ký duyệt

2. Phân quyền và cô lập dữ liệu

• Phân quyền theo vai trò: paralegal xem nháp, chỉ luật sư mới "duyệt gửi".
• Cô lập theo khách hàng/vụ việc: agent không được truy vấn chéo hồ sơ khách hàng khác (tránh xung đột lợi ích và rò rỉ).
• Audit log bất biến: mọi truy cập, prompt, output, người duyệt đều lưu lại, không sửa được.

3. Tuân thủ và giới hạn cần công bố

Agent phải luôn kèm disclaimer rằng đây là hỗ trợ, không phải ý kiến pháp lý chính thức:

"Nội dung do AI hỗ trợ tạo, mang tính tham khảo. KHÔNG thay thế
tư vấn của luật sư có thẩm quyền. Vui lòng để luật sư rà soát trước
khi sử dụng chính thức."

Cần chú ý:

• Bảo mật dữ liệu cá nhân: tuân thủ quy định về bảo vệ dữ liệu (ẩn danh, retention, quyền xoá).
• Xung đột lợi ích: cô lập dữ liệu giữa các bên đối lập.
• Không hành nghề luật trái phép: agent không được đưa ra "ý kiến pháp lý" cuối cùng thay luật sư.

4. Giám sát khi chạy production

• Dashboard chỉ số: recall/precision trên mẫu spot-check, tỉ lệ bị luật sư bác.
• Cảnh báo bất thường: đột nhiên tỉ lệ abstention tăng vọt -> có thể vector store lỗi.
• Chi phí: theo dõi token/chi phí mỗi hợp đồng để không vượt ngân sách.
• Phiên bản model: ghi rõ agent đang chạy model version nào; khi provider cập nhật, chạy lại bộ test trước khi dùng.

5. Kịch bản xử lý sự cố (incident playbook)

Khi phát hiện agent đưa trích dẫn SAI đã lọt ra ngoài:
1. Cô lập:     tắt tính năng liên quan ngay.
2. Truy vết:   dùng audit log tìm mọi output bị ảnh hưởng.
3. Thông báo:  báo luật sư/khách hàng bị ảnh hưởng.
4. Khắc phục:  thu hồi/sửa văn bản đã gửi.
5. Phân tích:  thêm ca lỗi vào bộ test, vá lớp phòng vệ.
6. Phòng ngừa: siết gate/citation check trước khi bật lại.

Ví dụ triển khai theo giai đoạn

• Pilot (1 tháng): 1 tác vụ (rà NDA), 2 luật sư, chạy song song với quy trình thủ công để so sánh.
• Mở rộng có kiểm soát: thêm loại hợp đồng khi recall đạt ngưỡng.
• Vận hành thường xuyên: khi số liệu ổn định và đội đã tin quy trình duyệt.

Đừng nhảy thẳng lên bước 3. Niềm tin của luật sư xây bằng bằng chứng, không bằng lời hứa.

Khung tư duy: SHIELD

Scope:      mỗi tính năng có ranh giới rõ.
Human gate: người duyệt trước khi ra ngoài.
Isolate:    cô lập dữ liệu theo khách hàng/vụ việc.
Explain:    disclaimer + trích nguồn luôn kèm output.
Log:        audit log bất biến.
Drill:      diễn tập kịch bản sự cố.

Checklist vận hành

• [ ] Mỗi tính năng ghi rõ người chạy / người duyệt / nơi output đi?
• [ ] Phân quyền: chỉ người có thẩm quyền được "duyệt gửi"?
• [ ] Dữ liệu cô lập theo khách hàng/vụ việc?
• [ ] Disclaimer kèm mọi output?
• [ ] Audit log bật, bất biến, đủ để truy vết?
• [ ] Có incident playbook và đã diễn tập?
• [ ] Chạy pilot song song trước khi thay quy trình cũ?

Sai lầm thường gặp

• Bỏ pilot, triển khai đại trà ngay: khi lỗi xảy ra thì đã lan rộng.
• Không cô lập dữ liệu: rò rỉ chéo, xung đột lợi ích, hậu quả pháp lý nặng.
• Thiếu disclaimer: người dùng tưởng là ý kiến pháp lý chính thức và hành động sai.
• Không có audit log: khi sự cố xảy ra không truy được trách nhiệm và phạm vi ảnh hưởng.
• Không diễn tập sự cố: đến lúc khủng hoảng mới loay hoay, xử lý chậm.
• Bỏ qua thay đổi model version: provider update ngầm làm chất lượng trôi mà không chạy lại test.

Kết thúc khóa học

Bạn đã đi trọn hành trình: hiểu ranh giới của legal agent, thiết lập môi trường bảo mật, xây RAG có trích nguồn, trích rủi ro có cấu trúc, soạn thảo an toàn, ghép thành agent hoàn chỉnh, đánh giá bằng số liệu và vận hành có kiểm soát. Nguyên tắc xuyên suốt: agent hỗ trợ, con người quyết định, mọi thứ đều truy vết được. Giờ hãy làm bài thi tổng kết để kiểm tra khả năng vận dụng.