Bài 2 — Thiết lập môi trường và kết nối LLM

Trước khi xây agent, bạn cần một môi trường gọi được LLM một cách ổn định, rẻ và an toàn. Bài này thiết lập nền tảng kỹ thuật tối thiểu để chạy được các bài sau.

Chọn mô hình theo nhiệm vụ

Không phải nhiệm vụ nào cũng cần mô hình mạnh nhất:

• Trợ giảng, sinh câu hỏi: mô hình tầm trung là đủ, tối ưu chi phí vì gọi nhiều.
• Chấm bài tự luận, phân tích lỗi tinh tế: dùng mô hình mạnh hơn vì cần lập luận sâu.
• Phân loại nhanh (đúng/sai, dễ/khó): mô hình nhỏ, nhanh, rẻ.

Nguyên tắc: bắt đầu bằng mô hình đủ tốt, đo chất lượng, rồi mới hạ cấp để tiết kiệm — đừng tối ưu chi phí trước khi đạt chất lượng. Một cạm bẫy phổ biến là chọn mô hình rẻ nhất từ đầu, thấy chất lượng kém rồi kết luận "agent không dùng được", trong khi thực tế chỉ cần một mô hình mạnh hơn cho đúng bước cần lập luận sâu. Hãy tách rõ: nhiệm vụ nào chịu được sai sót nhỏ thì dùng mô hình rẻ, nhiệm vụ nào ảnh hưởng đến điểm số hay đánh giá học viên thì đầu tư mô hình mạnh và thêm bước con người duyệt.

Các bước thiết lập

• Tạo API key từ nhà cung cấp LLM bạn chọn và lưu vào biến môi trường, không hard-code trong mã.
• Cài thư viện gọi API (SDK chính thức hoặc thư viện HTTP).
• Tạo file cấu hình tách biệt để đổi mô hình/khóa mà không sửa logic.
• Viết một lệnh gọi thử để xác nhận kết nối hoạt động.
• Bật ghi log cho mọi lệnh gọi (prompt, phản hồi, token, chi phí) — cực kỳ quan trọng để gỡ lỗi và tính tiền.

# Lưu khóa an toàn (ví dụ trên máy local)
export LLM_API_KEY="sk-..."
export LLM_MODEL="model-tam-trung"

# ping.py — kiểm tra kết nối tối thiểu
import os, requests

def call_llm(prompt, temperature=0.2):
    resp = requests.post(
        "https://api.nha-cung-cap/v1/chat",
        headers={"Authorization": f"Bearer {os.environ['LLM_API_KEY']}"},
        json={
            "model": os.environ["LLM_MODEL"],
            "temperature": temperature,
            "messages": [{"role": "user", "content": prompt}],
        },
        timeout=30,
    )
    resp.raise_for_status()
    return resp.json()["choices"][0]["message"]["content"]

if __name__ == "__main__":
    print(call_llm("Trả lời đúng một từ: OK"))

Hiểu về temperature

Trong giáo dục, phần lớn nhiệm vụ cần nhất quán hơn là sáng tạo:

• Chấm bài, chấm rubric: temperature thấp (0–0.3) để cùng bài cho cùng điểm.
• Sinh câu hỏi đa dạng, gợi ý học tập: temperature trung bình (0.5–0.8).
• Hầu như không bao giờ dùng temperature cao cho việc chấm điểm.

Checklist môi trường sẵn sàng

• [ ] Khóa API nằm trong biến môi trường, không trong Git.
• [ ] Có file cấu hình đổi mô hình dễ dàng.
• [ ] Có hàm gọi LLM dùng chung, có timeout và try/except.
• [ ] Mỗi lệnh gọi được ghi log kèm số token và chi phí ước tính.
• [ ] Có cơ chế thử lại (retry) khi gặp lỗi mạng tạm thời.

Kiểm soát chi phí ngay từ đầu

Một agent giáo dục chạy cho hàng trăm học viên có thể tốn nhiều tiền nếu bất cẩn. Ba biện pháp cơ bản:

• Cache: câu hỏi giống nhau (ví dụ FAQ khóa học) trả lời từ cache thay vì gọi lại LLM.
• Giới hạn độ dài: cắt bớt ngữ cảnh không cần thiết trước khi gửi.
• Ngưỡng cảnh báo: đặt hạn mức chi tiêu ngày, vượt thì cảnh báo.

Sai lầm thường gặp

• Hard-code khóa API trong mã nguồn rồi đẩy lên Git — rò rỉ khóa, mất tiền.
• Không đặt timeout: một lệnh treo làm nghẽn cả hệ thống khi đông học viên.
• Không log gì cả: khi agent trả lời sai, bạn không thể tái hiện để sửa.
• Dùng temperature cao khi chấm điểm: cùng một bài cho điểm khác nhau mỗi lần, mất công bằng.
• Chọn mô hình đắt nhất cho mọi việc: đốt tiền vô ích ở các nhiệm vụ đơn giản.

Sau bài này, bạn có một hàm gọi LLM đáng tin, có log và kiểm soát chi phí — nền tảng cho mọi agent phía sau.