Agent chạy được trong demo là một chuyện; chạy ổn định cho cả team suốt nhiều tháng là chuyện khác. Bài cuối này về những thứ khiến agent "sống sót" trong thực tế: đo lường, kiểm soát chi phí, quyền riêng tư, và vòng cải tiến.
Đo chất lượng: bạn không cải thiện thứ không đo
Bốn chỉ số cốt lõi cho Agent Họp:
- Độ chính xác action item: % item agent trích mà con người thấy đúng (đúng việc, đúng người, đúng hạn).
- Tỉ lệ sót (recall): có việc quan trọng nào con người nhớ mà agent bỏ lỡ không?
- Tỉ lệ chỉnh sửa: người dùng phải sửa bao nhiêu % task sau khi agent tạo?
- Tỉ lệ hoàn thành đúng hạn: sau khi có follow-up, task on-time có tăng không? (đây là ROI thật)
Human-in-the-loop: giai đoạn đầu bắt buộc
Đừng để agent tự động 100% ngay. Lộ trình tin cậy:
Tuần 1-2: agent tạo NHÁP action item → người chủ trì duyệt rồi mới đẩy
Tuần 3-4: tự đẩy item độ tin cậy cao, chỉ chờ duyệt item mơ hồ
Tháng 2+: tự động, con người chỉ can thiệp khi có cờ bất thường
Độ tự động tăng dần theo độ tin cậy đo được, không theo cảm tính.
Kiểm soát chi phí
Transcribe và LLM đều tính tiền theo lượng dùng. Chiến lược tiết kiệm:
- Chọn mô hình theo bước: tóm tắt cần mô hình mạnh; phân loại priority dùng mô hình rẻ.
- Cache: cùng file không transcribe lại (idempotency ở bài 6 đã giúp).
- Cắt im lặng: bỏ đoạn im lặng dài trước khi transcribe (bớt phút tính phí).
- Đặt ngân sách/cảnh báo: theo dõi chi phí/cuộc họp; cảnh báo nếu vượt ngưỡng.
cost = transcribe_minutes * PRICE_PER_MIN + tokens/1000 * PRICE_PER_1K
if cost > BUDGET_PER_MEETING:
alert_admin(f"Họp {job_id} vượt ngân sách: {cost}")
Quyền riêng tư & tuân thủ — không phải chuyện phụ
Ghi âm người khác nói là dữ liệu nhạy cảm.
- Đồng thuận: luôn thông báo và xin phép ghi âm trước khi họp.
- Lưu trữ có hạn: đặt chính sách xóa transcript sau N ngày.
- Phân quyền: chỉ người liên quan xem được transcript/summary.
- Cẩn trọng với dữ liệu gửi ra cloud: nếu họp bàn thông tin mật, cân nhắc engine self-hosted (bài 2).
- Ẩn thông tin nhạy cảm: có thể mask số liệu tài chính/PII trước khi lưu.
Vòng cải tiến liên tục
Dùng dữ liệu "cần sửa" để nâng agent:
- Tên riêng hay bị sai → bổ sung custom vocabulary (bài 2).
- Priority hay bị chỉnh → tinh chỉnh prompt/khung ưu tiên (bài 4).
- Item hay bị sót → xem lại phần transcript tương ứng, cải thiện prompt trích.
Các bước đưa vào vận hành
- Bật human-in-the-loop, ghi log "đúng/sửa/bỏ" cho mỗi item.
- Thiết lập 4 chỉ số chất lượng, xem hằng tuần.
- Đặt ngân sách/cuộc họp + cảnh báo chi phí.
- Viết chính sách quyền riêng tư: đồng thuận, thời hạn lưu, phân quyền.
- Chọn mô hình phù hợp cho từng bước để tối ưu chi phí.
- Mỗi 2 tuần, lấy các case "cần sửa" để cải tiến prompt/vocabulary.
Checklist sẵn sàng vận hành (go-live)
- [ ] Có cơ chế con người duyệt trước khi tự động hoàn toàn?
- [ ] Có đo được độ chính xác và tỉ lệ chỉnh sửa?
- [ ] Có ngân sách và cảnh báo chi phí?
- [ ] Có đồng thuận ghi âm và chính sách lưu trữ?
- [ ] Có phân quyền truy cập transcript?
- [ ] Có quy trình cải tiến định kỳ từ dữ liệu thật?
Sai lầm thường gặp
- Bật tự động 100% ngay ngày đầu: một action item sai được giao thẳng làm mất niềm tin cả team.
- Không đo gì: không biết agent tốt lên hay tệ đi, không cải tiến được.
- Bỏ qua quyền riêng tư: ghi âm không xin phép, lưu vô thời hạn — rủi ro pháp lý và đạo đức.
- Đốt tiền vô tội vạ: dùng mô hình đắt cho mọi bước, không cache, không cảnh báo ngân sách.
- Xây xong rồi bỏ đó: không có vòng cải tiến, chất lượng đứng yên trong khi kỳ vọng tăng.
Kết
Bạn đã đi trọn pipeline: ingest → transcribe → summarize → extract → assign → orchestrate → follow-up → vận hành. Điểm khác biệt của Agent Họp so với công cụ tóm tắt thông thường chính là vòng follow-up có trách nhiệm và kỷ luật vận hành. Hãy bắt đầu nhỏ với một loại cuộc họp lặp lại, đo lường, rồi mở rộng.