Vì sao hiểu cách LLM hoạt động quan trọng
Là PM sản phẩm AI, bạn không cần viết code cho mô hình, nhưng bạn phải hiểu bản chất LLM để ra quyết định đúng. Nếu không, bạn sẽ hứa với sếp những thứ mô hình không làm được, viết yêu cầu sản phẩm sai, và đốt tiền vào những tính năng bất khả thi.
Cái giá của việc thiếu kỹ năng này rất cụ thể. Một PM ở công ty fintech Việt Nam từng yêu cầu chatbot LLM "luôn trả lời chính xác 100% số dư tài khoản". Đội kỹ thuật mất ba tuần mới giải thích được rằng LLM sinh văn bản theo xác suất, không phải truy vấn cơ sở dữ liệu, nên nó có thể bịa số dư. Ba tuần đó là ba tuần lãng phí vì PM không hiểu mô hình dự đoán từ tiếp theo chứ không tra cứu sự thật.
Hiểu LLM giúp bạn phân biệt việc nào giao cho mô hình, việc nào giao cho hệ thống truyền thống, và khi nào cần ghép cả hai. Đây là nền tảng cho mọi bài học sau.
Bức tranh lớn
LLM là mô hình dự đoán token tiếp theo. Bạn đưa vào một chuỗi văn bản, mô hình tính xác suất cho từng token có thể theo sau, rồi chọn một token, ghép vào, và lặp lại. Nó được huấn luyện trên khối lượng văn bản khổng lồ nên "học" được quy luật ngôn ngữ và kiến thức chung.
Điểm mấu chốt cho PM: mô hình không có ý thức về đúng sai, nó chỉ tối ưu việc văn bản nghe có vẻ hợp lý. Vì thế nó vừa mạnh về diễn đạt, vừa dễ bịa (hallucination).
graph LR A[Van ban dau vao] --> B[Chia thanh token] B --> C[Mo hinh tinh xac suat] C --> D[Chon token tiep theo] D --> E[Ghep vao chuoi] E --> C E --> F[Ket qua hoan chinh]
Ba tính chất PM cần nhớ: mô hình có tính ngẫu nhiên (cùng câu hỏi có thể ra câu trả lời khác nhau), có giới hạn kiến thức theo thời điểm huấn luyện, và không tự truy cập dữ liệu mới trừ khi ta cấp thêm ngữ cảnh.
Ví dụ chi tiết
Một sàn thương mại điện tử ở TP HCM muốn thêm tính năng tóm tắt đánh giá sản phẩm. Bối cảnh: mỗi sản phẩm có hàng trăm review tiếng Việt lẫn tiếng Anh, khách hàng ngại đọc hết.
Bước 1: PM xác định đây là bài toán tóm tắt văn bản, đúng thế mạnh của LLM vì nó sinh ngôn ngữ tự nhiên tốt.
Bước 2: Đội thử đưa 50 review vào mô hình, yêu cầu tóm tắt trong 3 câu. Kết quả mượt mà, đúng ý.
Bước 3: PM phát hiện đôi khi mô hình bịa ra ưu điểm không hề có trong review. Đây chính là hallucination do bản chất sinh văn bản.
Bước 4: Đội thêm ràng buộc trong prompt: chỉ tóm tắt những gì xuất hiện trong review, không suy diễn. Tỷ lệ bịa giảm rõ rệt.
Bước 5: PM đặt chỉ số chất lượng: lấy mẫu 100 bản tóm tắt mỗi tuần, người thật kiểm tra tỷ lệ chính xác. Nhờ hiểu bản chất mô hình, PM biết phải kiểm soát hallucination ngay từ đầu chứ không đợi khiếu nại từ khách.
Lộ trình từng bước để làm chủ
graph TD A[Hoc khai niem token va du doan] --> B[Choi voi mo hinh moi ngay] B --> C[Quan sat khi nao mo hinh bia] C --> D[Doc case that ve LLM] D --> E[Ap dung vao mot tinh nang nho] E --> F[Do luong va cai tien]
Bắt đầu bằng việc nắm chắc khái niệm token và dự đoán. Sau đó dùng mô hình hằng ngày cho việc thật để có trực giác. Tiếp theo, chủ động quan sát các trường hợp mô hình bịa để hiểu giới hạn. Đọc case study thực tế để học từ người khác. Cuối cùng áp dụng vào một tính năng nhỏ và đo lường liên tục.
Thói quen & kỷ luật
| Nhịp | Thói quen |
|---|---|
| Hằng ngày | Dùng LLM cho ít nhất một việc thật và ghi lại điểm mạnh, điểm yếu |
| Hằng tuần | Ghi ba ví dụ mô hình bịa và phân tích nguyên nhân |
| Hằng tháng | Đọc một case study sản phẩm AI thất bại hoặc thành công |
Cần luyện tập gì (drills)
Drill 1: Lấy một câu hỏi có đáp án chắc chắn (ví dụ dân số một tỉnh) và hỏi mô hình năm lần, ghi lại sự khác biệt để cảm nhận tính ngẫu nhiên.
Drill 2: Yêu cầu mô hình tóm tắt một đoạn văn dài, rồi so từng câu tóm tắt với văn bản gốc để phát hiện chỗ nào bịa.
Drill 3: Viết cùng một yêu cầu theo hai cách khác nhau và quan sát chất lượng đầu ra thay đổi ra sao.
Checklist hành động tuần này
- [ ] Dùng LLM cho ba tác vụ công việc thật và ghi nhật ký kết quả
- [ ] Tìm và ghi lại ít nhất hai lần mô hình bịa thông tin
- [ ] Giải thích cho một đồng nghiệp cách LLM dự đoán token tiếp theo
- [ ] Đọc một bài viết về hallucination trong sản phẩm AI
- [ ] Liệt kê ba việc trong sản phẩm của bạn phù hợp giao cho LLM
Chỉ số & North Star
North Star cho bài này: bạn dự đoán đúng khi nào LLM sẽ bịa và khi nào đáng tin.
| Chỉ số | Tốt | Xấu |
|---|---|---|
| Số lần bạn nhận ra hallucination trước khi user gặp | Cao và tăng dần | Gần như không có |
| Khả năng giải thích bản chất mô hình cho người khác | Rõ ràng, có ví dụ | Mơ hồ, sáo rỗng |
| Số tính năng bạn từ chối vì bất khả thi với LLM | Có, hợp lý | Nhận bừa mọi yêu cầu |
Dấu hiệu bạn đã thành thạo
Bạn nhìn một yêu cầu tính năng là biết ngay LLM có làm được không và rủi ro bịa ở đâu. Bạn giải thích cho người không kỹ thuật một cách đơn giản. Bạn không còn ngạc nhiên khi mô hình trả lời khác nhau cho cùng câu hỏi, mà chủ động thiết kế để kiểm soát điều đó.
Cạm bẫy thường gặp
| Cạm bẫy | Thay bằng |
|---|---|
| Coi LLM như cơ sở dữ liệu tra cứu sự thật | Xem nó là máy sinh ngôn ngữ, cấp thêm ngữ cảnh khi cần sự thật |
| Tin mọi câu trả lời nghe trơn tru | Kiểm chứng đầu ra quan trọng bằng nguồn thật |
| Kỳ vọng đầu ra luôn giống hệt nhau | Chấp nhận tính ngẫu nhiên và thiết kế kiểm soát |
Chốt lại
- LLM dự đoán token tiếp theo theo xác suất, không tra cứu sự thật.
- Điểm mạnh là sinh ngôn ngữ, điểm yếu là bịa và tính ngẫu nhiên.
- PM giỏi thiết kế sản phẩm quanh giới hạn đó, không chống lại nó.
- Trực giác đến từ việc dùng mô hình hằng ngày và quan sát nó bịa.