Mở đầu — vì sao bài này quan trọng
Khảo sát (survey) là một trong những công cụ thu thập dữ liệu rẻ và nhanh nhất mà PM có trong tay. Bạn gửi một form, vài ngày sau có vài trăm, đôi khi vài nghìn phản hồi. Nhưng đây cũng là nơi nhiều PM mắc kẹt nhất. Phần định lượng (chọn 1-5, có/không) thì dễ — kéo vào spreadsheet là ra biểu đồ. Nhưng phần khó nhằn nhất, và cũng giá trị nhất, lại nằm ở các câu hỏi mở: "Điều gì khiến bạn thất vọng nhất khi dùng sản phẩm?", "Bạn mong muốn tính năng gì tiếp theo?".
Tôi từng chứng kiến một team product nhận về 1.200 câu trả lời mở từ một khảo sát NPS, và họ... không làm gì với nó cả. Lý do đơn giản: đọc thủ công 1.200 đoạn văn, phân loại, đếm tần suất là việc ngốn ba ngày làm việc của một người. Vậy là dữ liệu vàng nằm chết trong Google Sheets. Đây chính xác là chỗ AI thay đổi cuộc chơi. Không phải vì AI thông minh hơn bạn, mà vì nó làm được việc đọc-phân-loại-tổng-hợp ở quy mô lớn trong vài phút thay vì vài ngày.
Bài học này tập trung vào một việc rất cụ thể: dùng AI để biến hàng trăm, hàng nghìn câu trả lời mở thành insight có thể hành động. Chúng ta sẽ phân định rõ chỗ nào cần AI, chỗ nào không, và làm thế nào để không bị AI "bịa" ra kết luận sai. Đây là kỹ năng phân biệt một PM biết dùng dữ liệu khảo sát thật sự với một PM chỉ khoe được con số NPS đẹp trong slide.
Khái niệm cốt lõi
Hai loại dữ liệu khảo sát, hai cách xử lý hoàn toàn khác nhau
Mọi khảo sát đều trộn lẫn hai loại câu hỏi, và bạn phải xử lý chúng tách bạch.
Dữ liệu định lượng (quantitative) — câu hỏi đóng. Đây là các câu rating (1-5 sao), thang Likert (rất đồng ý → rất không đồng ý), multiple choice, hay câu hỏi NPS (0-10). Với loại này, bạn không cần AI. Tôi nói thẳng điều này vì nhiều người lạm dụng AI ở chỗ không cần. Một spreadsheet (Google Sheets, Excel) hoặc công cụ phân tích như Mixpanel, Amplitude xử lý phần này nhanh hơn, chính xác hơn và miễn phí. Tính trung bình, đếm phân bố, vẽ biểu đồ cột, tính tỷ lệ Promoter/Detractor cho NPS — đây là toán đơn giản, máy tính làm chính xác 100%, còn LLM thì đôi khi đếm sai. Đừng đưa một cột 500 con số cho ChatGPT rồi nhờ nó tính trung bình — nó có thể bịa con số.
Dữ liệu định tính (qualitative) — câu hỏi mở. Đây là nơi AI tỏa sáng. Khi bạn có hàng trăm đoạn text tự do, AI giúp bạn làm bốn việc:
- Thematic coding (gán chủ đề): Tự động phân loại mỗi câu trả lời vào các nhóm chủ đề (ví dụ: "giá cả", "tốc độ tải", "giao diện khó dùng", "thiếu tính năng X").
- Sentiment analysis (phân tích cảm xúc): Xác định mỗi phản hồi mang sắc thái tích cực, tiêu cực hay trung tính.
- Quantifying the qualitative (lượng hóa định tính): Đếm xem mỗi chủ đề xuất hiện bao nhiêu lần — biến text thành con số để xếp ưu tiên.
- Surfacing quotes (trích dẫn tiêu biểu): Tìm ra những câu nói nguyên văn đắt giá nhất để đưa vào báo cáo, làm bằng chứng thuyết phục stakeholder.
Vì sao "lượng hóa định tính" là bước quan trọng nhất
Nhiều PM dừng lại ở việc nhờ AI "tóm tắt các phản hồi". Tóm tắt thì hay, nhưng nó không cho bạn ưu tiên. Câu hỏi thật sự cần trả lời không phải "người ta nói gì" mà là "vấn đề nào nhiều người gặp nhất".
Khi AI gán chủ đề cho từng phản hồi rồi đếm, bạn có một bảng: "Tốc độ chậm: 142 lượt nhắc / Giá cao: 88 lượt / Thiếu tích hợp: 41 lượt...". Bảng này mới là thứ giúp bạn cãi nhau với engineering về roadmap, vì nó có con số. Một insight không có tần suất chỉ là một giai thoại (anecdote); một insight có tần suất là dữ liệu.
Giới hạn cần nhớ: AI đọc text, không đọc được "ý định ẩn"
AI gán nhãn dựa trên ngôn từ bề mặt. Nó không hiểu bối cảnh văn hóa, không biết người trả lời đang mỉa mai, và đặc biệt với tiếng Việt, nó dễ bỏ sót sắc thái. Một câu "Cũng được, dùng tạm" với người Việt thường mang nghĩa tiêu cực nhẹ, nhưng AI có thể gán "trung tính". Đây là lý do bạn luôn cần kiểm tra mẫu (spot-check) một phần kết quả, sẽ nói kỹ ở phần sau.
Tình huống thực tế
Ví dụ 1 — Tiki và 2.300 phản hồi sau đợt sale 11.11
Giả định một PM phụ trách trải nghiệm thanh toán ở một sàn TMĐT lớn như Tiki tung khảo sát sau đợt sale 11.11, nhận về 2.300 câu trả lời cho câu hỏi mở "Điều gì khiến bạn khó chịu nhất khi đặt hàng đợt này?". Đọc tay là bất khả thi trong deadline 2 ngày.
PM xuất toàn bộ phản hồi ra một cột, chia thành các batch 200 dòng, đưa vào Claude với yêu cầu gán mỗi phản hồi vào tối đa 2 chủ đề và đếm tần suất tổng. Kết quả sau 30 phút: "Thanh toán lỗi/treo ở bước cuối: 612 lượt", "Giao hàng chậm hơn cam kết: 540 lượt", "Hết hàng sau khi đặt: 310 lượt", "App lag khi đông người: 280 lượt".
Bài học: Con số 612 lượt về lỗi thanh toán biến một "cảm giác mơ hồ rằng checkout có vấn đề" thành một ưu tiên P0 không thể chối cãi. PM mang bảng này vào cuộc họp roadmap, và việc fix luồng thanh toán được đẩy lên đầu sprint. Nếu chỉ tóm tắt chung chung "khách hàng phàn nàn về thanh toán và giao hàng", sẽ không ai biết nên fix cái nào trước.
Ví dụ 2 — Startup SaaS B2B và cái bẫy "chủ đề tự bịa"
Một startup SaaS quản lý nhân sự ở TP.HCM chạy khảo sát churn (lý do khách hủy gói). 180 phản hồi mở. PM nhờ ChatGPT "phân tích và cho biết top lý do churn". AI trả về một danh sách đẹp đẽ: "Thiếu tính năng báo cáo nâng cao, Giá cao so với đối thủ, Onboarding phức tạp". Nghe rất hợp lý. PM suýt đưa thẳng vào báo cáo cho CEO.
May mắn, PM kiểm tra chéo: lọc tay 30 phản hồi gốc và phát hiện gần một nửa thực ra nói về dịch vụ chăm sóc khách hàng phản hồi chậm — một chủ đề AI gộp mờ nhạt vào "onboarding phức tạp" và gần như làm mất hút. AI đã "làm tròn" dữ liệu theo những lý do churn phổ biến mà nó học được, thay vì phản ánh đúng dữ liệu cụ thể này.
Bài học: AI có xu hướng đưa ra câu trả lời "nghe hợp lý theo mẫu chung" hơn là câu trả lời "đúng với dữ liệu của bạn". Khi để AI tự nghĩ ra danh mục chủ đề, nó dễ áp khuôn mẫu sẵn. Cách chữa: yêu cầu AI trích dẫn nguyên văn 3-5 câu cho mỗi chủ đề để bạn truy ngược, và luôn spot-check thủ công một mẫu ngẫu nhiên.
Ví dụ 3 — Grab và sắc thái tiếng Việt trong sentiment
Một team product giả định ở Grab Việt Nam phân tích phản hồi tài xế bằng câu hỏi mở. Khi chạy sentiment analysis tự động, AI gán nhiều câu kiểu "App cũng ổn, không có gì đặc biệt" vào nhóm tích cực vì thấy từ "ổn". Nhưng với tài xế Việt, đây là tín hiệu trung tính-nghiêng-tiêu-cực, ẩn ý "chưa đủ tốt để giữ chân tôi".
Team xử lý bằng cách thêm hướng dẫn rõ trong prompt: định nghĩa lại thang cảm xúc cho bối cảnh Việt Nam, yêu cầu AI coi các cách nói giảm-nói tránh ("cũng được", "tạm ổn", "cũng bình thường") là tín hiệu trung tính hoặc tiêu cực nhẹ. Sau hiệu chỉnh, bức tranh sentiment chuyển từ "70% tích cực" sang "45% tích cực" — sát thực tế hơn nhiều.
Bài học: Sentiment analysis bằng AI cho tiếng Việt cần được hiệu chỉnh, không dùng mặc định. Văn hóa giao tiếp gián tiếp khiến model dễ đánh giá lạc quan quá mức.
Hướng dẫn từng bước
Đây là quy trình tôi khuyên bạn áp dụng cho mọi đợt phân tích câu hỏi mở.
Bước 1 — Tách dữ liệu định lượng và định tính. Xử lý phần định lượng (rating, NPS, multiple choice) bằng spreadsheet trước. Chỉ đưa các cột câu hỏi mở vào quy trình AI. Đừng trộn lẫn.
Bước 2 — Làm sạch dữ liệu thô. Xóa các phản hồi rỗng, "không có gì", "abc", spam. Phần này có thể nhờ AI lọc, nhưng nên liếc qua bằng mắt. Dữ liệu rác đưa vào sẽ ra insight rác.
Bước 3 — Để AI đề xuất bộ chủ đề (codebook) từ một mẫu. Đừng cho AI tự gán cả nghìn dòng ngay. Trước hết, đưa khoảng 50-100 phản hồi và yêu cầu: "Đọc các phản hồi này và đề xuất 6-10 chủ đề chính, mỗi chủ đề kèm định nghĩa ngắn." Bạn xem lại, gộp/tách/đổi tên cho hợp với hiểu biết domain của mình. Bước này giữ quyền kiểm soát trong tay bạn, tránh cái bẫy ở Ví dụ 2.
Bước 4 — Gán nhãn theo batch với bộ chủ đề cố định. Đưa danh mục chủ đề đã chốt vào prompt, rồi cho AI phân loại từng batch 100-200 dòng. Prompt mẫu:
> "Đây là danh sách 8 chủ đề kèm định nghĩa: [dán vào]. Với mỗi phản hồi dưới đây, gán tối đa 2 chủ đề phù hợp nhất và đánh giá cảm xúc (tích cực/trung tính/tiêu cực). Nếu một phản hồi không khớp chủ đề nào, gán 'Khác'. Trả về dạng bảng: số thứ tự | phản hồi gốc | chủ đề | cảm xúc. Tuyệt đối không sửa hay diễn giải lại câu gốc."
Câu "không khớp thì gán Khác" rất quan trọng — nó ngăn AI ép mọi thứ vào chủ đề có sẵn.
Bước 5 — Tổng hợp và đếm. Ghép kết quả các batch, dùng spreadsheet (không phải AI) để đếm tần suất mỗi chủ đề và phân bố sentiment. Việc đếm để máy tính làm, không để LLM làm.
Bước 6 — Trích quote tiêu biểu. Với mỗi chủ đề top, yêu cầu AI chọn 2-3 câu nguyên văn đại diện nhất. Đây là "đạn dược" cho báo cáo của bạn.
Bước 7 — Spot-check thủ công. Chọn ngẫu nhiên 20-30 phản hồi, tự kiểm tra nhãn AI gán có đúng không. Nếu sai quá 10-15%, quay lại tinh chỉnh định nghĩa chủ đề ở Bước 3.
Lỗi thường gặp & mẹo
Lỗi 1 — Dùng AI để tính toán định lượng. Như đã nói, đừng nhờ LLM tính trung bình hay đếm tổng từ một danh sách số. Nó không phải máy tính, đôi khi sai. Mọi phép đếm cuối cùng nên chạy qua công thức spreadsheet.
Lỗi 2 — Để AI tự nghĩ kết luận mà không truy ngược được. Luôn bắt AI gắn quote nguyên văn cho mỗi chủ đề. Nếu AI nói "nhiều người phàn nàn về giá" nhưng không trích được câu nào cụ thể, hãy nghi ngờ.
Lỗi 3 — Quên giới hạn ngữ cảnh (context window). Nhồi 2.000 dòng vào một prompt khiến AI "đọc lướt" và bỏ sót phần giữa. Chia batch 100-200 dòng cho chất lượng ổn định.
Lỗi 4 — Tin sentiment mặc định với tiếng Việt. Hiệu chỉnh thang cảm xúc cho cách nói giảm-nói tránh, như Ví dụ 3.
Lỗi 5 — Mất ẩn danh. Phản hồi khảo sát có thể chứa tên, email, số điện thoại khách hàng. Trước khi đưa lên công cụ AI bên thứ ba, hãy lọc bỏ thông tin định danh cá nhân. (Chủ đề bảo vệ dữ liệu nhạy cảm được đào sâu ở bài về AI guardrails — ở đây chỉ cần nhớ nguyên tắc: ẩn danh trước khi gửi.)
Mẹo hay:
- Yêu cầu AI trả về định dạng bảng/CSV ngay từ đầu để dán thẳng vào spreadsheet, đỡ phải copy thủ công.
- Khi gán nhãn batch, thêm cột "độ tự tin" (cao/thấp) — bạn sẽ biết câu nào cần người kiểm tra.
- Lưu lại codebook (bộ chủ đề + định nghĩa) để tái dùng cho các đợt khảo sát sau, giúp so sánh xu hướng theo thời gian.
Bài tập thực hành
Bạn sẽ thực hiện một vòng phân tích hoàn chỉnh trên dữ liệu nhỏ.
- Chuẩn bị dữ liệu: Lấy 40-60 câu trả lời mở thật từ một khảo sát của bạn. Nếu chưa có, tạo dữ liệu giả lập: viết hoặc nhờ AI sinh 50 phản hồi đa dạng cho câu hỏi "Điều gì khiến bạn cân nhắc ngừng dùng sản phẩm?" trong bối cảnh một app bạn quen thuộc (ví dụ một app giao đồ ăn).
- Sinh codebook: Đưa toàn bộ vào AI, yêu cầu đề xuất 6-8 chủ đề kèm định nghĩa. Chỉnh sửa danh mục theo hiểu biết của bạn — gộp hoặc tách ít nhất một chủ đề.
- Gán nhãn: Dùng prompt mẫu ở Bước 4 để AI phân loại từng phản hồi kèm sentiment, có cột "Khác".
- Lượng hóa: Đưa kết quả vào Google Sheets, đếm tần suất mỗi chủ đề, vẽ biểu đồ cột xếp hạng.
- Spot-check: Tự kiểm tra 10 phản hồi ngẫu nhiên. Ghi lại tỷ lệ AI gán sai và một ví dụ AI hiểu lầm sắc thái.
- Sản phẩm cuối: Viết một đoạn insight 5-7 dòng: 3 chủ đề hàng đầu kèm con số tần suất và 1 quote nguyên văn cho mỗi chủ đề — đúng dạng bạn sẽ trình bày cho stakeholder.
Tóm tắt
Phân tích khảo sát bằng AI xoay quanh một ranh giới rạch ròi: định lượng để spreadsheet lo, định tính để AI lo. Đừng lãng phí AI vào phép tính đơn giản, và đừng để hàng nghìn câu trả lời mở chết trong file.
Sức mạnh thật sự của AI là biến text tự do thành con số có thể xếp ưu tiên: gán chủ đề, phân tích cảm xúc, đếm tần suất, trích quote. Nhưng sức mạnh đó đi kèm hai rủi ro mà PM giỏi luôn phòng: AI thích đưa kết luận "nghe hợp lý theo mẫu chung" hơn là đúng với dữ liệu của bạn, và AI dễ hiểu sai sắc thái tiếng Việt nói giảm-nói tránh.
Quy trình an toàn gói gọn trong bốn nguyên tắc: tự chốt bộ chủ đề thay vì để AI tự bịa, chia batch để không bỏ sót, luôn bắt AI trích quote nguyên văn để truy ngược, và spot-check thủ công một mẫu. Làm được vậy, bạn biến khảo sát từ một con số NPS đơn độc thành một bản đồ vấn đề có thứ tự ưu tiên — thứ thật sự dẫn dắt được roadmap.