Bài 8 — Vận hành thực tế: orchestration, an toàn và cải tiến

Đến đây bạn đã có các agent riêng lẻ: content, publishing, SEO, analytics, personalization. Bài cuối ghép chúng thành một hệ thống vận hành ổn định, an toàn và cải tiến được theo thời gian.

Orchestration: điều phối nhiều agent

Đừng gộp mọi thứ vào một "siêu agent". Dùng mô hình orchestrator + specialist: một điều phối viên giao việc cho các agent chuyên trách và tổng hợp kết quả.

[Orchestrator]
   |-- weekly goal: "Sản xuất & phân phối nội dung tuần cho serum"
   |-> SEO Agent:        cụm từ khóa + gap -> content brief
   |-> Content Agent:    brief -> draft (draft/critique/revise)
   |-> [Human review]    duyệt draft
   |-> Publishing Agent: repurpose + schedule đa kênh
   |-> Analytics Agent:  sau 7 ngày -> báo cáo SO-WHAT-NOW
   |-> Personalization:  biến thể cho segment hiệu quả

Mỗi specialist có phạm vi hẹp, dễ test và dễ thay. Orchestrator chỉ điều phối, không tự viết content.

Ba lớp an toàn bắt buộc

• Human-in-the-loop tại điểm rủi ro: mọi thứ ra ngoài (publish, gửi email) phải qua duyệt hoặc có ngưỡng tự động rõ ràng.
• Guardrails cứng bằng code: banned_words, giới hạn ngân sách, giới hạn số bài/ngày, kill switch. Đây là ràng buộc code, không phải lời nhắc mềm cho model.
• Kill switch & rollback: nút tắt toàn hệ thống và khả năng gỡ/hoàn tác bài đã đăng.

GUARDRAILS = {
  "max_posts_per_day": 8,
  "max_daily_spend": 500000,     # VND
  "require_approval": ["publish", "send_email", "ad_budget_change"],
  "banned_words": ["thần dược", "cam kết khỏi"]
}
def guard(action):
    if action.type in GUARDRAILS["require_approval"]:
        return queue_for_human(action)
    if violates(action, GUARDRAILS):
        return reject(action)
    return allow(action)

Observability: nhìn được agent đang làm gì

Bạn không thể vận hành thứ không quan sát được. Log tối thiểu:

• Mỗi tool call: input, output, thời gian, chi phí token.
• Mỗi quyết định: agent chọn bước nào và vì sao (nếu có).
• Mỗi hành động ra ngoài: ai/agent nào, khi nào, kết quả.

Dashboard nên trả lời nhanh: hôm nay tốn bao nhiêu token, bao nhiêu bài chờ duyệt, có cảnh báo nào không.

Vòng cải tiến liên tục

• Thu thập feedback: bài nào người duyệt sửa nhiều? insight nào sai?
• Cập nhật system prompt / few-shot / rubric từ lỗi thực tế.
• Xây bộ eval: tập ví dụ chuẩn để test mỗi khi đổi prompt, tránh "sửa chỗ này hỏng chỗ kia".
• Theo dõi chi phí/kết quả (ROI của agent), cắt bỏ tác vụ không đáng.

Các bước triển khai

• Vẽ sơ đồ orchestration cho quy trình marketing tuần của bạn.
• Cài GUARDRAILS bằng code (ngân sách, số bài, banned_words, approval).
• Thêm logging đầy đủ + dashboard tối thiểu.
• Đặt kill switch và quy trình rollback.
• Chạy pilot 2–4 tuần ở quy mô nhỏ, đo lỗi và chi phí.
• Xây eval set, cải tiến theo feedback trước khi mở rộng.

Checklist sẵn sàng vận hành (go-live)

• [ ] Human-in-the-loop tại mọi điểm ra ngoài
• [ ] Guardrails cứng bằng code, không chỉ bằng prompt
• [ ] Kill switch hoạt động, đã test
• [ ] Logging + dashboard chi phí/hàng chờ
• [ ] Giới hạn ngân sách và số lượng/ngày
• [ ] Eval set để chống hồi quy khi đổi prompt
• [ ] Kế hoạch rollback khi sự cố
• [ ] Rà soát tuân thủ dữ liệu & quảng cáo

Sai lầm thường gặp

• Một siêu agent làm tất cả: khó test, khó gỡ lỗi, dễ sập cả hệ thống. Tách specialist.
• Guardrails chỉ bằng lời nhắc: model có thể phớt lờ. Ràng buộc quan trọng phải cưỡng chế bằng code.
• Không observability: khi lỗi, không biết agent làm gì, không sửa được.
• Bung 100% ngay: mở toàn hệ thống chưa pilot → sự cố quy mô lớn. Rollout theo giai đoạn.
• Không có eval: mỗi lần chỉnh prompt là đánh cược; dễ hồi quy chất lượng.
• Bỏ quên chi phí: agent chạy âm thầm ngốn token; không theo dõi ROI thì lỗ.

Tổng kết khóa học: bạn đã đi từ khái niệm → thiết lập → xây content/publishing/SEO/analytics/personalization agent → vận hành có kỷ luật. Nguyên tắc xuyên suốt: human-in-the-loop tại điểm rủi ro, ground bằng dữ liệu thật, guardrails bằng code, và cải tiến qua eval. Giờ hãy chọn use-case pilot ở Bài 1 và triển khai thật.