Bài 8 — Vận hành thực tế: giám sát, đo lường và cải tiến liên tục

Chạy được trên máy bạn khác hoàn toàn với chạy ổn định 6 tháng trong công ty. Bài cuối này về vận hành (operations): triển khai an toàn, đo đúng chỉ số, giám sát, và cải tiến agent theo thời gian. Đây là phần phân biệt một demo và một hệ thống thật.

Triển khai theo giai đoạn — đừng bật 100% ngày đầu

• Shadow mode (chạy song song) — agent xử lý nhưng KHÔNG ghi; so sánh kết quả với người làm thật. Đo độ chính xác thầm lặng 2-4 tuần.
• Assist mode (hỗ trợ) — agent điền sẵn, người bấm duyệt. Người vẫn kiểm soát, nhưng nhanh hơn nhiều.
• Auto mode có giới hạn — chỉ tự động ghi làn Xanh dưới một hạn mức tiền; phần còn lại vẫn assist.
• Mở rộng dần — nâng hạn mức, mở loại tài liệu mới khi số liệu chứng minh an toàn.

Nhảy thẳng lên auto mode là cách nhanh nhất để mất niềm tin của phòng kế toán sau một lần ghi sai.

Bốn chỉ số phải đo

Escape rate là chỉ số tối quan trọng: một lỗi lọt vào sổ sách nguy hiểm hơn mười ngoại lệ đẩy duyệt.

Cân bằng Precision và Recall

Hai núm chỉnh ngược nhau:

• Ngưỡng tin cậy cao → ít ghi sai (precision cao) nhưng nhiều file rơi làn Vàng (tự động thấp).
• Ngưỡng thấp → tự động nhiều nhưng nguy cơ lỗi lọt tăng.

Với tài liệu tài chính, luôn nghiêng về precision: thà đẩy duyệt nhiều còn hơn ghi sai một hóa đơn. Chỉnh ngưỡng dựa trên escape rate thực đo, không đoán.

Giám sát và cảnh báo

Đặt cảnh báo tự động khi bất thường:

if ty_le_do > 0.25:
    alert("Tỉ lệ Đỏ vọt — nghi nguồn scan đổi hoặc mẫu mới")
if thoi_gian_trung_binh > SLA:
    alert("Pipeline chậm — kiểm tra OCR/API")
if escape_phat_hien > 0:
    alert_urgent("Có lỗi lọt sổ — dừng auto mode, rà soát")

Bất thường thường báo hiệu thay đổi đầu vào: nhà cung cấp đổi mẫu hóa đơn, máy scan mới, luật thuế đổi.

Vòng cải tiến liên tục

Dùng correction từ bài 6 hàng tuần:

• Gom các lỗi hay lặp theo nhà cung cấp/trường.
• Ưu tiên sửa lỗi ảnh hưởng lớn nhất (nhiều file × giá trị cao).
• Chỉnh OCR/prompt/regex/quy tắc tương ứng.
• Chạy lại tập kiểm thử để chắc không làm hỏng chỗ khác (regression).
• Đo lại 4 chỉ số, ghi nhận cải thiện.

Khung tư duy: tài liệu vàng để kiểm thử (golden set)

Giữ một bộ 50-100 tài liệu đã có đáp án đúng do người xác nhận. Mỗi lần đổi prompt/model/luật, chạy lại golden set trước khi lên production. Không có golden set, mọi "cải tiến" đều là đánh bạc — bạn sửa chỗ này vô tình hỏng chỗ khác mà không biết.

Các bước đưa vào vận hành

• Chạy shadow mode ít nhất 2 tuần, so với người.
• Chuyển assist mode, thu correction.
• Bật auto mode có hạn mức, chỉ làn Xanh.
• Thiết lập dashboard 4 chỉ số và cảnh báo bất thường.
• Duy trì golden set, chạy trước mỗi thay đổi.
• Cải tiến hàng tuần dựa trên correction và chỉ số.

Checklist vận hành

• [ ] Triển khai theo giai đoạn (shadow → assist → auto)
• [ ] Đo đủ 4 chỉ số, đặc biệt escape rate
• [ ] Ngưỡng nghiêng về precision cho tài liệu tài chính
• [ ] Cảnh báo tự động khi bất thường
• [ ] Golden set chạy trước mỗi thay đổi
• [ ] Nhịp cải tiến hàng tuần từ correction

Sai lầm thường gặp

• Bật auto 100% ngày đầu — một lỗi lọt là mất niềm tin, khó lấy lại.
• Chỉ khoe tỉ lệ tự động, giấu escape rate — đo sai chỉ số dẫn tới quyết định sai.
• Không có golden set — mỗi lần chỉnh prompt là canh bạc, dễ hồi quy âm thầm.
• Bỏ giám sát sau khi chạy — nhà cung cấp đổi mẫu, agent hỏng dần mà không ai hay.

Hoàn thành 8 bài, bạn đã có đủ khung để xây một agent xử lý tài liệu thật: từ OCR, trích xuất, kiểm tra điều khoản, nhập liệu, xử lý ngoại lệ, tới vận hành và cải tiến. Hãy bắt đầu từ một loại tài liệu, làm chắc vòng người-trong-vòng-lặp, rồi mở rộng dần.