Bài 8 — Vận hành, đo lường và cải tiến agent trong thực tế

Đưa agent lên production mới là điểm bắt đầu. Bài cuối này về vận hành lâu dài (day-2 operations): đo agent có thật sự tốt không, xây niềm tin dần, và cải tiến an toàn.

Đo agent bằng gì?

Đừng đo bằng cảm tính "agent hình như hữu ích". Dùng metric cụ thể:

• MTTR (Mean Time To Resolve): agent có rút ngắn thời gian xử lý incident không?
• Tỷ lệ tự xử (auto-resolution rate): bao nhiêu % alert agent đóng mà không cần người.
• Tỷ lệ escalate đúng (precision of escalation): khi agent báo người, có thật cần không? (chống "agent kêu cứu vô cớ").
• Tỷ lệ can thiệp sai (false action rate): agent hành động sai bao nhiêu lần — metric an toàn quan trọng nhất.
• Số đêm on-call không bị đánh thức: chỉ số hạnh phúc con người.

Các bước vận hành day-2

• Chạy shadow mode trước. Agent quan sát và đề xuất, nhưng không thực thi — chỉ log "nếu được phép tôi sẽ làm X". So sánh đề xuất với hành động thật của người trong vài tuần.

• Chuyển dần sang autonomous theo độ tin. Khi shadow mode cho thấy agent đề xuất đúng >95% cho một loại việc rủi ro thấp → cho tự hành việc đó.

• Thiết lập kill switch. Một công tắc tắt toàn bộ autonomy tức thì khi agent hành xử lạ:

if get_flag("agent_autonomy_enabled") is False:
    return escalate_all_to_human()   # agent lùi về chế độ chỉ đề xuất

• Review định kỳ các quyết định của agent. Hằng tuần xem lại: hành động đúng/sai, escalate thừa/thiếu. Đây là dữ liệu vàng để tinh chỉnh runbook và policy.

• Blameless postmortem cả cho agent. Khi agent quyết sai, hỏi "guardrail nào thiếu?" thay vì "tắt agent đi". Cải tiến hệ thống, không đổ lỗi.

Khung tư duy: thang niềm tin (trust ladder)

Bậc 1: Shadow      - agent chỉ log đề xuất
Bậc 2: Suggest     - agent đề xuất, người bấm nút
Bậc 3: Approve     - agent làm sau khi người duyệt nhanh
Bậc 4: Autonomous  - agent tự làm việc rủi ro thấp, người review sau

Mỗi loại việc leo thang độc lập. Rollback có thể ở bậc 4 trong khi "scale down DB" mãi ở bậc 2. Không nhảy cóc bậc.

Ví dụ hành trình 3 tháng

• Tháng 1: agent shadow mode cho deploy supervision. Đề xuất khớp người 92% → tinh chỉnh ngưỡng SLO.
• Tháng 2: cho agent tự rollback (bậc 4) — việc đảo ngược được. Auto-resolution rate cho "bad deploy" đạt 80%.
• Tháng 3: thêm on-call dedup + runbook đơn giản. Số lần page ban đêm giảm 45%. MTTR giảm 30%.

Dữ liệu này là thứ bạn mang đi thuyết phục leadership mở rộng agent.

Checklist go-live & vận hành

• [ ] Đã chạy shadow mode và có số liệu đề xuất-đúng
• [ ] Kill switch hoạt động, mọi người biết cách bấm
• [ ] Mỗi loại việc có bậc niềm tin rõ ràng, không nhảy cóc
• [ ] Dashboard đo MTTR, auto-resolution, false-action
• [ ] Review hằng tuần các quyết định agent
• [ ] Quy trình postmortem blameless áp dụng cho cả agent
• [ ] Audit log đầy đủ, truy vết được mọi hành động

Sai lầm thường gặp

• Nhảy thẳng lên autonomous không qua shadow. Không có bằng chứng agent đáng tin → rủi ro cao, mất niềm tin team.
• Không có kill switch. Khi agent "phát điên", không tắt nhanh được là thảm họa.
• Chỉ đo lợi ích, quên đo false-action. Agent nhanh nhưng hay sai còn tệ hơn chậm mà đúng.
• Đổ lỗi cho agent thay vì sửa guardrail. Văn hóa blame giết chết việc cải tiến hệ thống.
• Bỏ review định kỳ. Agent "trôi" theo hệ thống đổi mà không ai chỉnh → chất lượng xuống dần.

Tóm tắt

Vận hành agent là hành trình xây niềm tin có kỷ luật: bắt đầu shadow, đo bằng MTTR/auto-resolution/false-action, leo thang niềm tin theo từng loại việc, luôn có kill switch, và postmortem blameless để cải tiến guardrail. Agent tốt không phải agent thông minh nhất — mà là agent đáng tin nhất theo thời gian.