Một agent chạy tốt trên máy bạn chưa phải là thành công. Thành công là khi nó phục vụ hàng trăm học viên ổn định, đáng tin, chi phí kiểm soát được. Bài cuối này bàn về đưa agent ra thực tế và giữ nó khỏe mạnh.
Triển khai theo từng nấc (đừng bật cho tất cả cùng lúc)
- Thử nội bộ: giáo viên đóng vai học viên, chạy 50–100 kịch bản.
- Thí điểm hẹp: một lớp nhỏ, có giáo viên giám sát mọi phản hồi.
- Mở rộng có kiểm soát: tăng dần số lớp, theo dõi chỉ số.
- Toàn khóa: chỉ khi các chỉ số ổn định qua nhiều tuần.
Đo lường: bốn nhóm chỉ số
- Chất lượng sư phạm: tỷ lệ nhận xét được giáo viên chấp nhận không sửa; điểm agent lệch bao nhiêu so với giáo viên.
- Kết quả học tập: học viên dùng agent có tiến bộ hơn không (so nhóm dùng và không dùng).
- Vận hành: độ trễ phản hồi, tỷ lệ lỗi, thời gian hoạt động (uptime).
- Chi phí: token/chi phí trung bình mỗi học viên mỗi tuần.
# Ví dụ ghi metric mỗi lần agent phản hồi
log_metric({
"agent": "grader",
"latency_ms": 1840,
"tokens": 1250,
"teacher_edited": None, # cập nhật sau khi giáo viên duyệt
"learner_id": hash_id(learner), # ẩn danh
})
Vòng lặp cải tiến liên tục
Thu log → Lấy mẫu phản hồi tệ → Tìm nguyên nhân →
Sửa prompt/RAG/rubric → Chạy bộ kiểm thử hồi quy → Triển khai
Quan trọng nhất: giữ một bộ kiểm thử hồi quy (regression set) gồm các câu hỏi/bài từng làm agent sai. Mỗi lần sửa prompt, chạy lại bộ này để chắc không phá hỏng thứ đang chạy tốt.
Vòng phản hồi con người (human-in-the-loop)
- Nút "nhận xét này có hữu ích không?" cho học viên.
- Giáo viên đánh dấu nhận xét sai → tự động vào bộ kiểm thử.
- Định kỳ (hàng tuần) rà soát mẫu ngẫu nhiên để phát hiện lệch âm thầm.
Ví dụ cụ thể
Sau 2 tuần thí điểm, log cho thấy agent chấm bài cho điểm "lập luận" cao hơn giáo viên 1.2 điểm trung bình. Nhóm vận hành lấy 20 bài lệch nhiều nhất, phát hiện rubric mô tả mức "lập luận chặt chẽ" quá mơ hồ. Họ làm rõ rubric, thêm 2 ví dụ few-shot, chạy lại bộ hồi quy → độ lệch giảm còn 0.3 điểm. Nhờ có log và bộ kiểm thử, việc sửa mất một buổi thay vì đoán mò.
Checklist sẵn sàng vận hành
- [ ] Triển khai theo nấc, có giai đoạn thí điểm giám sát.
- [ ] Đủ bốn nhóm chỉ số (sư phạm, kết quả, vận hành, chi phí).
- [ ] Có bộ kiểm thử hồi quy và chạy trước mỗi lần cập nhật.
- [ ] Vòng phản hồi human-in-the-loop hoạt động.
- [ ] Cảnh báo khi chi phí/độ trễ/tỷ lệ lỗi vượt ngưỡng.
- [ ] Kế hoạch dự phòng khi LLM lỗi (thông báo, hàng đợi, chuyển giáo viên).
- [ ] Tuân thủ quyền riêng tư dữ liệu học viên.
Sai lầm thường gặp
- Bật cho tất cả ngay: một lỗi ảnh hưởng toàn bộ học viên, mất niềm tin khó lấy lại.
- Chỉ đo chi phí, quên đo chất lượng học tập: agent rẻ nhưng không giúp ai tiến bộ.
- Không có bộ kiểm thử hồi quy: sửa lỗi này vô tình tạo lỗi khác.
- Bỏ vòng phản hồi con người: agent lệch dần theo thời gian mà không ai biết.
- Không có phương án dự phòng khi LLM sập: cả hệ thống học tê liệt.
Tổng kết khóa học
Bạn đã đi từ khái niệm agent giáo dục → thiết lập LLM → system prompt sư phạm → RAG bám giáo trình → chấm bài theo rubric → cá nhân hóa & sinh câu hỏi → phối hợp nhiều agent an toàn → triển khai và vận hành. Nguyên tắc xuyên suốt: agent hỗ trợ, con người chịu trách nhiệm; mọi hành động phải kiểm chứng được, có nguồn, có cầu dao an toàn và được đo lường liên tục. Hãy bắt đầu bằng một nhiệm vụ hẹp, làm cho thật tốt, rồi mở rộng.