Bài 8 — Vận hành Production: monitoring, alert & vòng lặp cải tiến

Eval offline (bài 3-7) bắt lỗi trước khi deploy. Nhưng người dùng thật luôn tạo ra tình huống bạn không lường. Bài cuối khép vòng: giám sát agent trong production, cảnh báo khi lệch, và biến sự cố thật thành ca eval mới — để agent tốt lên theo thời gian.

Ba thứ phải giám sát liên tục

• Chỉ số chất lượng: completion_rate (ước lượng qua tín hiệu), loop_rate, drift_rate, tỷ lệ leo thang cho người (human handoff).
• Chỉ số vận hành: latency p50/p95, cost mỗi nhiệm vụ, error rate của tool.
• Tín hiệu người dùng: thumbs up/down, tỷ lệ hỏi lại, tỷ lệ bỏ giữa chừng.

Vì production không có "đáp án đúng" sẵn, ta dùng proxy: người dùng hỏi lại 3 lần = dấu hiệu chưa hoàn thành; bấm "không hữu ích" = tín hiệu fail để soi.

Thiết lập alert đúng (không gây "mệt cảnh báo")

alerts:
  - name: loop_spike
    when: loop_rate_15m > 0.05        # tăng gấp ~2.5x mức nền
    action: page_oncall
  - name: completion_drop
    when: completion_proxy_1h < baseline - 0.10
    action: notify_channel
  - name: cost_runaway
    when: avg_steps_15m > 12
    action: notify_channel + auto_tighten_budget

Nguyên tắc: cảnh báo theo độ lệch so với mức nền, không theo con số tuyệt đối cứng — vì lưu lượng thay đổi theo giờ.

Vòng lặp cải tiến liên tục (đây là phần quan trọng nhất)

Production traces
   -> Lọc ca "đáng ngờ" (fail proxy, loop, handoff, thumbs-down)
   -> Người xem 10-20 ca/tuần, gán nhãn nguyên nhân
   -> Ca đại diện  -> THÊM vào eval/golden suite
   -> Sửa prompt/tool -> chạy pipeline (bài 7) -> deploy
   -> Đo lại trên production
        (quay vòng)

Mỗi sự cố production đáng giá phải trở thành một ca test vĩnh viễn — để nó không bao giờ tái diễn âm thầm. Đây là cơ chế khiến agent khỏe lên thay vì mục ruỗng theo thời gian.

Các bước triển khai vận hành

• Đẩy trace lên nơi truy vấn được (bảng/log store) với các trường: run_id, completion_proxy, steps, cost, tool_errors, feedback.
• Dựng dashboard 3 nhóm chỉ số ở trên, có đường baseline.
• Cấu hình alert theo độ lệch nền, phân mức (page vs notify).
• Lập nhịp review hàng tuần: lọc ca đáng ngờ, gán nhãn nguyên nhân, chọn ca đưa vào suite.
• Chuẩn bị "phanh khẩn": cờ (feature flag) để hạ giới hạn (siết budget/steps) hoặc rollback prompt nhanh.
• Đóng vòng: mọi sự cố lớn → ca eval/golden mới + cập nhật baseline sau khi vá.

Khung tư duy: "3 lớp phòng thủ" cho agent production

Lớp 1 — Ngăn ngừa : guardrails (loop/budget) chặn tại chỗ (bài 5)
Lớp 2 — Phát hiện : monitoring + alert theo lệch nền (bài 8)
Lớp 3 — Phục hồi  : rollback/feature flag + human handoff nhanh

Đủ ba lớp thì một lỗi lọt qua eval offline vẫn không thành thảm họa.

Sai lầm thường gặp

• Deploy xong là "quên": Không giám sát → lỗi âm thầm hàng tuần mới lộ qua khiếu nại.
• Alert theo ngưỡng tuyệt đối cứng: Giờ cao điểm báo động giả, giờ thấp bỏ lọt. Dùng lệch so với nền.
• Quá nhiều alert: "Mệt cảnh báo" → đội tắt hết. Chỉ alert việc cần hành động.
• Không đóng vòng học: Sự cố production không biến thành ca test → lỗi tái diễn mãi.
• Không có phanh khẩn: Khi agent "cháy tiền", không có cách siết nhanh → thiệt hại lớn.
• Chỉ nhìn chỉ số vận hành (latency/cost), quên chất lượng: Nhanh & rẻ nhưng làm sai việc.

Checklist kết bài (và tổng kết khóa học)

• [ ] Dashboard 3 nhóm chỉ số, có baseline.
• [ ] Alert theo độ lệch nền, phân mức.
• [ ] Nhịp review tuần: ca đáng ngờ → gán nhãn → đưa vào suite.
• [ ] Có phanh khẩn (feature flag/rollback) + human handoff.
• [ ] Vòng lặp: sự cố thật → ca test mới → agent khỏe dần.

Bạn đã đi trọn: hiểu vì sao → trace → eval → đo completion → bắt loop/drift → golden → CI → vận hành. Đây là bộ khung đầy đủ để đưa một agent từ "chạy được trong demo" đến "đáng tin trong production".