Bài 8 — Vận hành thực tế

Agent chạy được rồi, giờ là phần quyết định sống-còn: vận hành, đo lường, tuân thủ và cải tiến. Đây là nơi phân biệt demo với hệ thống thật.

Metric bạn phải theo dõi

Chia theo tầng phễu:

• Chất lượng agent: tỉ lệ draft được duyệt-không-sửa (approval rate), tỉ lệ bịa (hallucination) phát hiện qua audit.
• Hiệu quả outreach: open rate, reply rate, positive reply rate.
• Kết quả kinh doanh: meeting booked, opportunity created, chi phí/meeting.
• Sức khỏe kỹ thuật: token/lead, tỉ lệ lỗi tool, deliverability (bounce, spam complaint).

Bảng theo dõi tối thiểu (theo tuần):
 leads_processed | approval_rate | reply_rate | pos_reply | cost/lead | bounce_rate

Vòng lặp cải tiến (weekly)

• Lấy 20 email agent viết tuần trước.
• Đọc và chấm: cá nhân hóa thật? có Why-now? CTA ổn?
• Tìm mẫu lỗi lặp lại (vd hay bịa số liệu) → sửa prompt/guardrail.
• A/B test một thay đổi mỗi lần (subject, độ dài, CTA).
• Cập nhật few-shot examples bằng email thắng (reply thật).

Cải tiến bằng ví dụ thắng thật hiệu quả hơn viết lại prompt theo cảm tính.

Tuân thủ và deliverability

Sales agent gửi email lạnh phải tôn trọng luật và kỹ thuật gửi:

• Opt-out: mọi email có cách từ chối; reply "unsubscribe" phải được tôn trọng ngay và ghi CRM.
• Danh tính thật: không giả mạo người gửi, không subject lừa (deceptive).
• Suppression list: không bao giờ gửi lại người đã opt-out/bounce cứng.
• Warm-up domain: tăng volume từ từ, đừng bắn 1000 email/ngày từ domain mới.
• Giới hạn tần suất: rate limit gửi để không bị đánh spam.

Guard tuân thủ (kiểm trước khi gửi):
 [ ] email KHÔNG nằm trong suppression list
 [ ] có link/cách opt-out
 [ ] người gửi & nội dung trung thực
 [ ] chưa vượt hạn mức gửi/ngày

Khung tư duy: Trust builds slowly, breaks fast

Độ tin cậy để nới human-in-the-loop xây chậm: cần vài tuần approval rate ổn định mới hạ mức duyệt. Nhưng một sự cố (gửi hàng loạt email bịa) làm mất tin cậy ngay lập tức và có thể hỏng domain. Vì vậy: mở rộng quy mô sau khi ổn định chất lượng, không phải trước.

Mở rộng quy mô an toàn

• Cố định chất lượng trên tệp nhỏ trước (approval rate cao, ít sửa).
• Tăng volume từng bậc (10 → 50 → 200 lead/ngày), theo dõi bounce.
• Phân luồng: lead giá trị cao vẫn cần người; lead thấp tự động dần.
• Đa dạng hóa domain/mailbox để phân tán rủi ro deliverability.
• Đặt cảnh báo: bounce > ngưỡng, spam complaint > ngưỡng → tự kill switch.

Checklist vận hành

• [ ] Dashboard tuần với đủ 4 tầng metric.
• [ ] Có suppression list và nó thực sự chặn gửi.
• [ ] Opt-out được tôn trọng tức thì và ghi CRM.
• [ ] A/B test một biến mỗi lần, có kết luận.
• [ ] Few-shot cập nhật bằng email thắng thật.
• [ ] Cảnh báo tự động cho bounce/spam vượt ngưỡng.

Sai lầm thường gặp

• Chỉ nhìn reply rate, bỏ deliverability: bounce cao ngầm giết cả domain mà không hay.
• Mở rộng khi chất lượng chưa ổn: nhân bản lỗi ra quy mô lớn.
• Bỏ qua opt-out: rủi ro pháp lý và mất uy tín nghiêm trọng.
• A/B test nhiều biến cùng lúc: không biết cái gì tạo ra kết quả.
• Không cập nhật prompt bằng dữ liệu thật: agent mãi mắc lỗi cũ.
• Không có cảnh báo: phát hiện sự cố khi đã quá muộn, sau khi hàng nghìn email lỗi đã gửi đi.