Prompt, context window, token & cost

Vì sao hiểu prompt, token và cost quan trọng

Prompt là cách bạn ra lệnh cho mô hình, token là đơn vị mô hình xử lý, và cost tỷ lệ thuận với token. Nếu PM không hiểu ba thứ này, ngân sách vận hành có thể phình gấp nhiều lần mà không ai biết vì sao.

Cái giá rất thực. Một startup edtech Việt Nam ra tính năng chấm bài luận bằng LLM, nhét toàn bộ giáo trình vào mỗi lần gọi để mô hình có ngữ cảnh. Mỗi lần chấm tốn hàng chục nghìn token, nhân với hàng nghìn học viên, hóa đơn cuối tháng gấp năm lần dự trù. PM không hiểu rằng mình trả tiền theo token đầu vào và đầu ra, nên đã lãng phí khủng khiếp.

Ngược lại, PM hiểu token biết cách cắt ngữ cảnh thừa, chọn mô hình phù hợp cho từng tác vụ, và thiết kế prompt gọn mà vẫn hiệu quả. Đây là kỹ năng quyết định biên lợi nhuận của sản phẩm AI.

Bức tranh lớn

Token là mảnh nhỏ của văn bản, thường ngắn hơn một từ. Context window là tổng số token mô hình có thể xử lý trong một lần gọi, gồm cả prompt bạn gửi và câu trả lời sinh ra. Bạn trả tiền cho cả token đầu vào và token đầu ra.

graph LR
A[He thong prompt] --> D[Context window]
B[Du lieu ngu canh] --> D
C[Cau hoi nguoi dung] --> D
D --> E[Mo hinh xu ly]
E --> F[Token dau ra co phi]

Prompt gồm nhiều phần: chỉ dẫn hệ thống, dữ liệu ngữ cảnh, và câu hỏi của người dùng. Càng nhồi nhiều vào context window thì càng tốn token, và nếu vượt giới hạn thì phần cũ sẽ bị cắt bỏ. PM cần cân bằng giữa đủ ngữ cảnh để trả lời tốt và đủ gọn để tiết kiệm chi phí.

Ví dụ chi tiết

Một ngân hàng số ở Hà Nội xây trợ lý trả lời câu hỏi về sản phẩm vay.

Bước 1: Phiên bản đầu, đội nhét toàn bộ tài liệu 40 trang vào mỗi prompt. Mỗi câu hỏi tốn khoảng 15 nghìn token đầu vào.

Bước 2: PM tính chi phí: với 10 nghìn câu hỏi mỗi ngày, con số vượt xa ngân sách.

Bước 3: Đội phân tích và thấy mỗi câu hỏi chỉ liên quan một hai phần tài liệu, không cần cả 40 trang.

Bước 4: Họ chuyển sang chỉ đưa phần liên quan vào prompt, giảm token đầu vào xuống còn khoảng 2 nghìn. Chi phí giảm gần tám lần.

Bước 5: PM đặt trần token cho câu trả lời để tránh mô hình viết lan man, tiết kiệm thêm token đầu ra. Nhờ hiểu token và cost, đội đưa sản phẩm vào biên lợi nhuận chấp nhận được.

Lộ trình từng bước để làm chủ

graph TD
A[Hoc khai niem token] --> B[Do token cua prompt that]
B --> C[Tinh chi phi mot lan goi]
C --> D[Cat ngu canh thua]
D --> E[Chon mo hinh theo tac vu]
E --> F[Theo doi chi phi thang]

Đầu tiên hiểu token là gì và cách đếm. Sau đó đo token thật của các prompt bạn dùng. Tính chi phí một lần gọi rồi nhân theo quy mô. Học cách cắt ngữ cảnh thừa. Chọn mô hình rẻ cho tác vụ đơn giản. Cuối cùng theo dõi chi phí đều đặn.

Thói quen & kỷ luật

Working mindset: mỗi token đều tốn tiền, prompt gọn mà đủ ngữ cảnh là dấu hiệu của PM AI trưởng thành.

Cần luyện tập gì (drills)

Drill 1: Lấy ba prompt bạn thường dùng, đếm token và tính chi phí một lần gọi theo bảng giá thực.

Drill 2: Viết lại một prompt dài thành phiên bản ngắn hơn một nửa mà vẫn giữ chất lượng đầu ra.

Drill 3: So sánh chi phí và chất lượng khi dùng mô hình nhỏ so với mô hình lớn cho cùng tác vụ tóm tắt.

Checklist hành động tuần này

• [ ] Đo token của năm prompt trong sản phẩm của bạn
• [ ] Tính chi phí hằng tháng ước tính cho một tính năng LLM
• [ ] Cắt ngữ cảnh thừa ở ít nhất một prompt
• [ ] Đặt trần token đầu ra cho một tác vụ
• [ ] Lập bảng so sánh giá của hai mô hình bạn đang cân nhắc

Chỉ số & North Star

North Star cho bài này: chi phí trên mỗi yêu cầu người dùng giảm dần mà chất lượng giữ nguyên.

Dấu hiệu bạn đã thành thạo

Bạn ước lượng nhanh chi phí một tính năng LLM trước khi xây. Bạn thiết kế prompt gọn theo bản năng. Bạn biết khi nào dùng mô hình rẻ, khi nào cần mô hình mạnh, và giải thích được đánh đổi cho đội tài chính.

Cạm bẫy thường gặp

Chốt lại

• Token là đơn vị tính phí, cả đầu vào lẫn đầu ra đều tốn tiền.
• Context window có giới hạn, nhồi thừa vừa tốn tiền vừa mất ngữ cảnh cũ.
• Prompt gọn và đúng ngữ cảnh là chìa khóa biên lợi nhuận.
• Theo dõi chi phí trên mỗi yêu cầu là kỷ luật bắt buộc.