Bài 8 — Triển khai, giám sát và cải tiến agent chạy thật

Agent chỉ thực sự có giá trị khi chạy được ngoài máy bạn và được cải tiến liên tục. Bài cuối này đưa agent 30 ngày của bạn ra "đường lớn": triển khai, quan sát, đo lường và lặp lại.

Từ script sang dịch vụ

Agent CLI hữu ích để học, nhưng người dùng thật cần một điểm truy cập. Cách phổ biến nhất: bọc agent trong một API endpoint.

from flask import Flask, request, jsonify
from agent import run_agent, SYSTEM_PROMPT

app = Flask(__name__)

@app.post("/chat")
def chat():
    data = request.get_json()
    user_id = data.get("user_id")
    msg = data.get("message", "")
    try:
        answer = run_agent(msg, SYSTEM_PROMPT)
        return jsonify({"ok": True, "answer": answer})
    except Exception as e:
        return jsonify({"ok": False, "error": str(e)}), 500

Sau đó bạn deploy lên một máy chủ / dịch vụ hosting, cắm vào web chat, Telegram, hay Slack.

Giám sát: bạn không thể cải thiện thứ không đo

Ghi log có cấu trúc cho mỗi phiên: đầu vào, từng bước Thought/Action/Observation, kết quả, số token, độ trễ, có lỗi không.

import json, time

def log_step(session_id, step, action, args, result, latency):
    with open("agent.log", "a") as f:
        f.write(json.dumps({
            "session": session_id, "step": step, "action": action,
            "args": args, "result": str(result)[:500],
            "latency_ms": latency, "ts": time.time(),
        }, ensure_ascii=False) + "\n")

Bốn chỉ số nên theo dõi:

• Tỷ lệ hoàn thành: bao nhiêu % tác vụ agent làm xong đúng.
• Số bước trung bình: tăng bất thường = agent đang "loay hoay".
• Chi phí/phiên: token và tiền cho mỗi lượt.
• Tỷ lệ lỗi & bàn giao cho người.

Vòng lặp cải tiến

Quan sát log -> Tìm ca hỏng -> Giả thuyết nguyên nhân
   -> Sửa (prompt / tool / loop) -> Thêm vào bộ test -> Đo lại

Hãy dựng một bộ test hồi quy: tập các ca đầu vào mẫu kèm kết quả mong đợi. Mỗi lần chỉnh prompt hay tool, chạy lại bộ test để chắc chắn không làm hỏng thứ đang chạy tốt.

Các bước triển khai

• Bọc agent thành API với xử lý lỗi trả JSON gọn gàng.
• Quản lý secret bằng biến môi trường trên máy chủ (không commit).
• Thêm rate limit và xác thực để tránh lạm dụng và cháy token.
• Bật logging có cấu trúc cho mọi bước.
• Dựng dashboard/đếm đơn giản cho 4 chỉ số ở trên.
• Ra mắt cho nhóm nhỏ trước (beta), thu phản hồi, rồi mở rộng.
• Lập bộ test hồi quy và chạy trước mỗi lần thay đổi.

Checklist sẵn sàng chạy thật

• [ ] Có endpoint/giao diện người dùng truy cập được.
• [ ] Secret quản lý an toàn, không lộ trong code.
• [ ] Có logging bước + 4 chỉ số vận hành.
• [ ] Có rate limit và trần chi phí.
• [ ] Có bộ test hồi quy chống "sửa chỗ này hỏng chỗ kia".
• [ ] Có kế hoạch beta trước khi mở rộng.

Sai lầm thường gặp

• Deploy mà không logging → khi lỗi ngoài thực tế, không có gì để lần. Log trước, ra mắt sau.
• Bung cho toàn bộ người dùng ngay → một bug nhỏ ảnh hưởng diện rộng. Luôn beta nhóm nhỏ.
• Không có bộ test hồi quy → mỗi lần chỉnh prompt lại vô tình phá tính năng khác.
• Bỏ qua chi phí → hóa đơn token gây sốc. Đặt cảnh báo ngân sách.
• Coi ra mắt là đích đến → agent thật cần cải tiến liên tục dựa trên dữ liệu vận hành.

Chúc mừng — bạn đã có agent đầu tiên

Qua 8 bước, bạn đã đi từ khái niệm → môi trường → system prompt → tool → vòng lặp → bộ nhớ → an toàn → triển khai. Đây chính là bộ khung mà mọi agent thực chiến đều dùng. Giờ hãy quay lại bản đặc tả một dòng ở Bài 1, hoàn thiện agent của riêng bạn, và cho nó chạy thật.