Đo hiệu quả, cải tiến và mở rộng đội agent

Dựng xong agent chưa phải đích. Câu hỏi thật là: nó có tiết kiệm thời gian và tiền thật không, và làm sao cho nó tốt lên theo thời gian? Bài cuối biến agent từ "đồ chơi hay" thành tài sản vận hành.

Đo ROI của một agent

Bốn chỉ số cần theo dõi:

• Thời gian tiết kiệm/tuần = (thời gian làm tay − thời gian duyệt agent) × số lần.
• Tỷ lệ duyệt-đạt = số lần bạn duyệt "OK không sửa" / tổng số lần. Cao = agent đáng tin.
• Chi phí/lần chạy (token). So với giá trị công việc.
• Tỷ lệ lỗi/escalation = số lần agent làm sai hoặc phải chuyển cho bạn.

Ví dụ agent inbox của Lan sau 1 tháng:
- Tiết kiệm: 70 phút/ngày × 22 ngày = ~25 giờ/tháng
- Tỷ lệ duyệt-đạt: 82%
- Chi phí: ~4 USD/tháng
=> Rõ ràng nên giữ và mở rộng.

Vòng lặp cải tiến (dựa trên lỗi)

• Ghi log mọi lần chạy kèm đầu vào, đầu ra, và bạn có sửa gì.
• Gom các lần bạn phải sửa — đó là "bộ đề" cải tiến.
• Tìm mẫu lỗi lặp lại (vd luôn quên hỏi deadline khi brief thiếu).
• Sửa system prompt hoặc tool để chặn mẫu lỗi đó.
• Chạy lại bộ đề cũ xem đã hết lỗi chưa (kiểm thử hồi quy đơn giản).

Khung quyết định: nâng cấp hay giữ nguyên?

Mở rộng thành "đội agent"

Khi một agent chạy tốt, đừng nhồi mọi việc vào nó. Tách theo vai trò, mỗi agent một việc rõ:

• Agent Inbox (phân loại + soạn nháp).
• Agent Báo giá (tra giá + soạn báo giá).
• Agent Nội dung (soạn bài đăng theo lịch).
• Agent Báo cáo (tổng hợp số liệu cuối tuần).

Một "điều phối" đơn giản (workflow) sẽ chuyển việc tới đúng agent. Nguyên tắc: nhiều agent nhỏ, rõ vai dễ kiểm soát hơn một agent "biết tuốt".

Các bước làm

• Thêm log ROI (thời gian, chi phí, duyệt-đạt) cho agent hiện có.
• Sau 2 tuần, tính 4 chỉ số ở trên.
• Gom các lần sửa tay, tìm 2–3 mẫu lỗi hàng đầu, sửa prompt/tool.
• Chạy lại bộ đề cũ để xác nhận cải thiện.
• Nếu ổn, chọn việc lặp lại kế tiếp và dựng agent thứ hai.
• Lập lịch rà soát hằng tháng: chỉ số nào tụt thì can thiệp.

Sai lầm thường gặp

• Không đo gì cả: cảm giác "tiện" nhưng không biết có thật sự lời không.
• Sửa prompt theo cảm tính: đổi mà không có bộ đề để kiểm chứng, dễ làm hỏng chỗ đang tốt.
• Nhồi mọi việc vào một agent: khó debug, chất lượng tụt ở mọi mặt.
• Mở rộng khi chưa ổn định: nhân bản một agent còn hay sai = nhân bản lỗi.
• Bỏ rà soát định kỳ: dữ liệu/giá thay đổi, agent lặng lẽ làm sai.

Checklist tốt nghiệp

• [ ] Agent có log ROI
• [ ] Tính được 4 chỉ số hiệu quả
• [ ] Có vòng lặp cải tiến dựa trên lỗi thật
• [ ] Biết khi nào mở rộng, khi nào giữ
• [ ] Có lịch rà soát định kỳ

Chúc mừng — bạn đã đi trọn từ khái niệm tới một đội agent vận hành thật, nhân bản năng lực của chính mình mà không cần thuê thêm người.