LLM Product Design

Thiết kế feature dựa trên LLM: capability mapping, prompt architecture, UX patterns, evaluation.

Bạn đang ở đâu với kỹ năng này?

Làm bài Đánh giá Kỹ năng PM cho Sản phẩm AI — Một lần làm chấm điểm cho tất cả kỹ năng trong nhóm AI, không chỉ kỹ năng này.

Làm bài đánh giá

Kỹ năng này cho bạn điều gì

Bắt đầu từ đây

Hiểu sản phẩm LLM được đặc tả bằng VÍ DỤ chứ không bằng danh sách quy tắc, và biết thang lựa chọn kỹ thuật năm bậc — prompt, ngữ cảnh, chia bước, đổi model, fine-tune — phải leo từ dưới lên.

Khi đã làm được

Chọn được bậc rẻ nhất giải quyết được vấn đề, quản được ngân sách cửa sổ ngữ cảnh kể cả phần chừa cho đầu ra, cân được chất lượng/tốc độ/chi phí bằng định tuyến theo độ khó, và duy trì bộ ca chuẩn để mỗi lần sửa prompt không âm thầm phá ca khác.

Roadmap — Cách học và đạt kỹ năng

Đã đọc 0/8 mục · còn khoảng 5 phút

Cách chúng tôi ghi nhận

Một mục được tính là đã đọc khi nó nằm giữa màn hình đủ lâu so với độ dài của nó (bảng và sơ đồ tính một nửa), bạn vẫn đang cuộn hoặc bấm phím, và bạn đã thấy tới cuối mục. Lướt nhanh hoặc để tab mở không được tính. Chúng tôi chỉ lưu thời gian đọc từng mục — không lưu gì khác.

Thiết kế sản phẩm LLM khác thiết kế sản phẩm thường ở đâu

Với phần mềm thường, bạn viết ra quy tắc và máy thi hành. Với LLM, bạn mô tả điều mình muốn và máy diễn giải. Khoảng cách giữa "mô tả" và "diễn giải" là toàn bộ công việc thiết kế ở đây.

Hệ quả thực tế: bạn không thể đặc tả sản phẩm bằng cách liệt kê hành vi. Bạn đặc tả bằng ví dụ — đây là đầu vào, đây là đầu ra tốt, đây là đầu ra không chấp nhận được — rồi đo xem hệ thống bám ví dụ tới đâu. Bộ ví dụ đó chính là bản đặc tả, và nó sống cùng sản phẩm.

Ba thứ bạn phải quyết sớm, trước khi viết dòng prompt nào:

Phạm vi hẹp tới mức nào. "Trợ lý cho mọi việc" là cách chắc chắn nhất để thất bại. Sản phẩm LLM tốt gần như luôn làm một việc rất hẹp, rất sâu.
Sai thì mất gì. Quyết định này chi phối toàn bộ thiết kế phía sau — xem thêm ở kỹ năng AI UX Patterns.
Lấy gì làm bằng chứng đúng/sai. Nếu không ai định nghĩa được "đầu ra tốt", đội sẽ chỉnh prompt theo cảm tính vô tận.

Thang lựa chọn kỹ thuật — leo từ dưới lên, đừng nhảy cóc

Đây là thứ tự đúng. Mỗi bậc đắt hơn bậc dưới nhiều lần, nên chỉ leo khi bậc dưới đã thật sự hết cách.

Bậc	Làm gì	Chi phí & thời gian	Dùng khi
1. Prompt tốt hơn	Viết lại hướng dẫn, thêm ví dụ mẫu vào prompt	Giờ tới ngày; gần như miễn phí	Luôn thử trước. Giải quyết phần lớn vấn đề.
2. Đưa đúng ngữ cảnh (RAG)	Tìm và nhét tài liệu liên quan vào prompt	Tuần; tốn hạ tầng tìm kiếm	Model thiếu kiến thức của bạn, không phải thiếu kỹ năng
3. Chia nhỏ thành nhiều bước	Một tác vụ lớn tách thành chuỗi lời gọi nhỏ	Tuần; tăng độ trễ và chi phí	Tác vụ phức tạp, một lời gọi làm không nổi
4. Đổi model	Lên model mạnh hơn, hoặc xuống model rẻ hơn cho việc dễ	Ngày; đổi chi phí vận hành	Đã tối ưu prompt mà vẫn chạm trần năng lực
5. Fine-tune	Huấn luyện thêm trên dữ liệu của bạn	Tháng; cần dữ liệu sạch và người có nghề	Cần giọng văn hoặc định dạng rất riêng, ổn định, lặp lại nhiều

Sai lầm tốn kém nhất trong mục này: nhảy thẳng lên fine-tune vì nghe có vẻ nghiêm túc. Trong đa số ca, vấn đề là model không biết dữ liệu của bạn — đó là bậc 2, không phải bậc 5. Fine-tune dạy phong cách, không dạy sự thật.

Cửa sổ ngữ cảnh — ngân sách bạn phải quản, không phải con số bạn đọc qua

Mỗi lời gọi có một giới hạn về lượng chữ đưa vào. Coi nó như ngân sách và chia rõ:

Khoản	Nên chiếm	Ghi chú
Hướng dẫn hệ thống	10–15%	Ổn định, ít đổi, nên tách riêng để bật bộ nhớ đệm
Ví dụ mẫu	10–20%	Ít mà đúng hơn nhiều mà lệch; 3–5 ví dụ thường đủ
Ngữ cảnh lấy về	40–60%	Phần đáng cắt nhất khi tràn
Lịch sử hội thoại	10–20%	Phải có chiến lược cắt bớt, nếu không sẽ tràn theo thời gian
Chừa cho đầu ra	15–25%	Hay bị quên. Hết chỗ thì câu trả lời bị cụt giữa chừng

Hai điều phản trực giác nhưng đúng: nhồi thêm ngữ cảnh không phải lúc nào cũng tốt hơn — thông tin liên quan bị chôn giữa đống thông tin thừa thì model bỏ sót; và vị trí có ảnh hưởng — thứ quan trọng nên đặt ở đầu hoặc cuối, phần giữa dễ bị lướt qua nhất.

Ba biến số đánh đổi nhau — chọn hai

Biến	Kéo nó lên thì	Người dùng cảm nhận thế nào
Chất lượng	Model to hơn, nhiều bước hơn, nhiều ngữ cảnh hơn	Câu trả lời đúng và đầy đủ hơn
Tốc độ	Model nhỏ hơn, ít bước hơn, trả dần từng chữ	Cảm giác sống động; dưới 2 giây là ngưỡng tâm lý quan trọng
Chi phí	Model nhỏ, prompt ngắn, dùng bộ nhớ đệm	Không thấy trực tiếp — nhưng quyết định sản phẩm có sống được không

Không có cấu hình nào tối ưu cả ba. Cách làm thực tế: định tuyến theo độ khó — ca dễ (chiếm đa số) cho model rẻ và nhanh; ca khó mới đẩy lên model mạnh. Muốn làm được thì phải phân loại được độ khó trước, và đó là một tính năng thật, cần thiết kế và đo lường riêng.

Ba tình huống thực tế

Tình huống 1 — Trợ lý trả lời khách hàng, công ty thương mại điện tử. Phạm vi hẹp: chỉ trả lời về đơn hàng và chính sách đổi trả. Thiệt hại khi sai: trung bình. Thiết kế: bậc 2 (lấy chính sách thật và dữ liệu đơn hàng), bản nháp cho nhân viên duyệt trong 3 tháng đầu, sau đó tự động hoá riêng nhóm câu hỏi đã chứng minh độ chính xác trên 95%. Không đụng tới đổi trả có tranh chấp — luôn chuyển người.

Tình huống 2 — Tóm tắt biên bản họp, phần mềm nội bộ. Thiệt hại thấp, người dùng là đồng nghiệp. Thiết kế: bậc 1 là đủ; ưu tiên tốc độ và chi phí hơn chất lượng tuyệt đối; cho sửa tại chỗ. Đây là ca hiếm hoi nên dùng model rẻ nhất chạy được.

Tình huống 3 — Soát hợp đồng, công ty dịch vụ pháp lý. Thiệt hại rất cao, người dùng là chuyên gia chịu trách nhiệm nghề nghiệp. Thiết kế: bậc 2 bắt buộc, mọi khẳng định phải trích dẫn được về đúng điều khoản, không tự động hoá bất cứ kết luận nào — AI chỉ đánh dấu chỗ đáng xem, luật sư quyết. Chọn model mạnh nhất, chấp nhận chậm và đắt.

Hiccups thường gặp và cách xử lý

Hiccup	Vì sao xảy ra	Xử lý
Demo tốt, dữ liệu thật thì hỏng	Ca demo được chọn toàn ca đẹp	Bộ ca chuẩn lấy ngẫu nhiên từ dữ liệu thật, gồm cả ca xấu
Sửa prompt cho ca này, hỏng ca khác	Không có bộ ca chuẩn nên không ai thấy hồi quy	Chạy lại toàn bộ ca chuẩn trước mỗi lần phát hành
Chi phí tăng vọt sau khi mở rộng	Mọi yêu cầu đều đi vào model mạnh nhất	Định tuyến theo độ khó + bộ nhớ đệm cho phần prompt cố định
Câu trả lời bị cụt	Không chừa chỗ cho đầu ra trong cửa sổ ngữ cảnh	Đặt hạn mức cứng cho phần ngữ cảnh lấy về
Đội tranh luận vô tận về prompt	Không có định nghĩa "đầu ra tốt"	Viết bộ ví dụ đúng/sai trước, rồi mới bàn prompt

Vì sao vai trò của bạn cần cái này

Vai trò	Bạn dùng nó để
Product Owner / PM	Giữ phạm vi đủ hẹp để thành công, và chọn đúng bậc trên thang kỹ thuật thay vì để đội nhảy thẳng lên fine-tune
Business Analyst	Viết đặc tả bằng bộ ví dụ đầu vào/đầu ra thay vì bằng danh sách quy tắc
Engineer	Quản ngân sách cửa sổ ngữ cảnh và dựng định tuyến theo độ khó
QA	Sở hữu bộ ca chuẩn — đây là tài sản kiểm thử quan trọng nhất của sản phẩm LLM
Tài chính / vận hành	Hiểu vì sao chi phí biến thiên theo lượng dùng, không phải theo số người dùng

Definition of done

Phạm vi sản phẩm hẹp và viết được thành một câu.
Có bộ ví dụ đầu vào/đầu ra đóng vai trò đặc tả, lấy từ dữ liệu thật.
Đã chọn bậc thấp nhất trên thang kỹ thuật giải quyết được vấn đề, và ghi lại lý do.
Ngân sách cửa sổ ngữ cảnh được chia rõ, có chừa chỗ cho đầu ra.
Có chiến lược định tuyến theo độ khó, hoặc lý do rõ ràng vì sao không cần.
Bộ ca chuẩn chạy tự động trước mỗi lần đổi prompt hoặc model.