Hệ multi-agent chạy trên slide thì đẹp, chạy production thì lộ ra ba con quỷ: không thấy được lỗi ở đâu, cháy token, và chậm rề. Bài này cho bạn công cụ vận hành thực chiến.
Observability: tracing theo cây
Vấn đề lớn nhất khi debug multi-agent là lỗi xảy ra ở agent nào, tại hand-off nào?. Giải pháp: trace có cấu trúc cây — mỗi lời gọi agent là một span, hand-off là span con, gắn trace_id xuyên suốt một request.
trace_id=req-77
├─ supervisor.decide (1.2s, 800 tok)
├─ researcher.run (3.4s, 2100 tok)
│ └─ tool: web_search (2.1s)
├─ writer.run (2.8s, 1500 tok)
└─ critic.run (1.1s, 600 tok) -> FAILED: thiếu nguồn
Có trace này, bạn thấy ngay critic fail, researcher tốn token nhất, và tổng độ trễ dồn ở đâu. Không có nó, debug multi-agent là mò kim đáy bể.
Kiểm soát chi phí
Mỗi agent nhân token lên. Ba đòn bẩy:
- Ngân sách token/bước cho toàn request — dừng và trả kết quả tốt-nhất-hiện-có khi chạm trần.
- Chọn model theo vai trò — planner/critic dùng model mạnh; worker đơn giản dùng model rẻ. Đừng dùng model đắt nhất cho mọi agent.
- Nén ngữ cảnh ở hand-off (bài 3) — tóm tắt thay vì truyền transcript thô.
MODEL_BY_ROLE = {
"planner": "model-lớn",
"worker": "model-nhỏ-rẻ",
"critic": "model-lớn",
}
if total_tokens > BUDGET:
return best_partial_result(state)
Độ trễ
Agent tuần tự cộng dồn độ trễ. Giảm bằng: (a) song song hóa phần độc lập (bài 6), (b) streaming kết quả từng phần cho người dùng thay vì chờ toàn bộ, (c) cắt tầng phân cấp thừa. Luôn đo độ trễ đuôi (p95), không chỉ trung bình — người dùng nhớ lần chậm nhất.
An toàn & vòng lặp thoát
Hệ multi-agent có rủi ro lặp vô hạn (A gọi B, B gọi lại A) và hành động ngoài ý muốn (worker có quyền tool nguy hiểm). Biện pháp:
- Trần số bước toàn cục ngoài trần từng agent.
- Phát hiện chu trình trong hand-off graph.
- Human-in-the-loop cho hành động không thể hoàn tác (xóa dữ liệu, gửi tiền, email khách).
- Nguyên tắc đặc quyền tối thiểu: mỗi worker chỉ được cấp đúng tool nó cần.
Khung tư duy: bảng vận hành 4 cột
| Chỉ số | Đo bằng | Ngưỡng cảnh báo | Đòn bẩy khắc phục |
| Tỷ lệ hoàn thành | % request done | < 95% | cải thiện critic/retry |
| Token/request | trace tổng span | > ngân sách | model theo vai trò, nén |
| p95 latency | trace tổng thời gian | > SLA | song song, streaming |
| Vòng lặp trung bình | span critic | tăng bất thường | rubric rõ hơn |
Các bước lên production
- Gắn
trace_idvà span cho mọi agent/tool/hand-off. - Log token + độ trễ mỗi span.
- Đặt ngân sách token và trần bước toàn cục.
- Gán model theo vai trò.
- Thêm phát hiện chu trình và cổng human-in-the-loop cho hành động nguy hiểm.
- Dựng dashboard theo bảng 4 cột và đặt cảnh báo.
Checklist
- [ ] Trace cây với trace_id xuyên suốt.
- [ ] Ngân sách token + trần bước toàn cục.
- [ ] Model chọn theo vai trò.
- [ ] Human-in-the-loop cho hành động không hoàn tác được.
- [ ] Đo p95, không chỉ trung bình.
Sai lầm thường gặp
- Không tracing. Lỗi xuất hiện nhưng không rõ agent nào — debug bất khả thi.
- Dùng model đắt nhất cho mọi agent. Hóa đơn gấp nhiều lần không cần thiết.
- Không có trần bước toàn cục. Hai agent gọi vòng nhau tới khi cháy budget.
- Cấp full quyền tool cho mọi worker. Một worker lạc lối có thể xóa dữ liệu thật.