Agent chạy được trong phòng thử là một chuyện; sống sót giữa khách thật, chi phí thật và lỗi thật là chuyện khác. Bài này giúp bạn đưa agent vào vận hành và duy trì lâu dài mà không mất kiểm soát.
Triển khai theo kiểu "mở van từ từ"
Đừng bật cho toàn bộ khách hàng ngay. Tăng dần:
- Chế độ nháp (shadow): agent chạy nhưng chỉ gợi ý câu trả lời cho nhân viên, người bấm gửi. Bạn xem nó có ổn không mà không rủi ro.
- Nhóm nhỏ: bật tự động cho 10% khách hoặc một kênh phụ.
- Mở rộng dần: khi số liệu tốt (ít escalate, khách hài lòng), tăng lên 50% rồi 100%.
Bốn chỉ số cần giám sát (khung S-C-C-E)
- Success — Tỉ lệ giải quyết được: bao nhiêu % lượt agent tự xử xong.
- Cost — Chi phí: token/tiền mỗi ngày; có tăng bất thường không?
- Correctness — Độ đúng: chọn ngẫu nhiên 10 lượt/ngày đọc kiểm tra.
- Escalation — Tỉ lệ chuyển người: cao đột biến = agent đang bí ở đâu đó.
Các bước thiết lập giám sát
- Đảm bảo mọi lượt đều ghi log (đã làm ở Bài 7): thời gian, input, output, tool, chi phí ước tính.
- Tạo một sheet tổng hợp đếm 4 chỉ số S-C-C-E theo ngày.
- Đặt cảnh báo: nếu chi phí ngày vượt ngưỡng hoặc escalation > X%, gửi Telegram cho bạn.
- Lên lịch đọc mẫu 10 hội thoại mỗi ngày trong tuần đầu.
- Gắn nút "Hữu ích / Không hữu ích" để khách phản hồi, thu tín hiệu chất lượng.
Vòng lặp cải tiến C-A-I
Collect -> Gom các lượt agent trả lời sai/bị escalate
Analyze -> Tìm mẫu chung: sai vì thiếu tài liệu? prompt hở? tool lỗi?
Improve -> Sửa đúng gốc (bổ sung knowledge / siết prompt / vá tool)
rồi test lại (Bài 7) trước khi phát hành.
Mỗi tuần chạy một vòng C-A-I. Agent tốt lên nhờ dữ liệu vận hành, không nhờ đoán mò.
An toàn và kiểm soát chi phí khi "sống thật"
- Giữ spending limit (Bài 3) và thêm cảnh báo ngưỡng.
- Với hành động không thể thu hồi, giữ human-in-the-loop cho tới khi thật sự tin.
- Chuẩn bị nút tắt khẩn (kill switch): cách tắt agent ngay nếu nó cư xử lạ.
- Xoay (rotate) API key định kỳ; thu hồi ngay nếu nghi lộ.
Checklist vận hành hằng ngày/tuần
- [ ] Xem 4 chỉ số S-C-C-E hôm nay.
- [ ] Đọc mẫu vài hội thoại, đánh dấu ca sai.
- [ ] Kiểm tra chi phí có bất thường không.
- [ ] Chạy vòng C-A-I mỗi tuần, ghi lại thay đổi đã làm.
- [ ] Xác nhận kill switch còn hoạt động.
- [ ] Cập nhật knowledge base khi giá/chính sách đổi.
Sai lầm thường gặp
- Bật 100% ngay ngày đầu: một lỗi lan ra toàn bộ khách hàng.
- "Set and forget": dựng xong bỏ đó, không ai đọc log — agent lệch dần mà không biết.
- Không theo dõi chi phí: cuối tháng nhận hóa đơn sốc.
- Sửa theo cảm tính: nghe một lời than là đổi cả prompt, làm hỏng phần đang tốt. Hãy sửa theo mẫu dữ liệu.
- Không có kill switch: khi agent trục trặc giữa giờ cao điểm, không có cách dừng nhanh.
- Quên cập nhật kiến thức: đời thay đổi mà agent vẫn nói thông tin cũ.
Tổng kết
Triển khai bằng cách "mở van từ từ" (shadow → nhóm nhỏ → mở rộng), giám sát bốn chỉ số S-C-C-E, và cải tiến theo vòng C-A-I dựa trên dữ liệu thật. Luôn giữ giới hạn chi phí, human-in-the-loop cho việc rủi ro và một kill switch. Bạn giờ đã đi trọn hành trình: từ hiểu agent là gì đến vận hành một agent thật — mà không cần viết một dòng code nào. Hãy chọn một công việc nhỏ và bắt tay xây agent đầu tiên của bạn ngay hôm nay.