Vì sao kết hợp định lượng và định tính quan trọng
Định lượng (số liệu) trả lời câu hỏi cái gì và bao nhiêu: bao nhiêu người bỏ giỏ hàng, tỷ lệ giữ chân là bao nhiêu. Định tính (phỏng vấn, quan sát, phản hồi) trả lời câu hỏi vì sao: tại sao họ bỏ giỏ hàng. Một PM chỉ giỏi một trong hai sẽ luôn thiếu nửa bức tranh. Số cho bạn quy mô nhưng không cho bạn lý do; câu chuyện cho bạn lý do nhưng không cho bạn biết nó phổ biến đến đâu.
Cái giá của việc thiếu kỹ năng kết hợp rất đắt. Chỉ nhìn số, bạn tối ưu hoá một chỉ số mà không hiểu cơ chế, dễ sửa nhầm triệu chứng. Chỉ nghe vài khách hàng nói to nhất, bạn xây tính năng cho thiểu số mà bỏ rơi số đông im lặng. Một sàn thương mại điện tử ở TP.HCM từng thấy tỷ lệ bỏ giỏ hàng cao, đoán do phí ship nên giảm phí, nhưng số không cải thiện. Chỉ khi phỏng vấn mới biết người dùng bỏ giỏ vì không tin tưởng khâu thanh toán. Số chỉ ra vấn đề, nhưng định tính mới chỉ ra nguyên nhân thật.
Bức tranh lớn
Cách kết hợp hiệu quả là một vòng bổ trợ: số phát hiện điểm bất thường, định tính giải thích, rồi số kiểm chứng lại xem lời giải thích có đúng ở quy mô lớn không.
graph LR A[Du lieu dinh luong] --> B[Phat hien diem bat thuong] B --> C[Phong van va quan sat dinh tinh] C --> D[Gia thuyet ve nguyen nhan] D --> E[Do lai bang dinh luong] E --> F[Xac nhan hoac bac bo] F --> A
Nguyên tắc vàng: định lượng cho biết đi tìm ở đâu, định tính cho biết chuyện gì đang xảy ra, rồi định lượng xác nhận nó phổ biến đến mức nào. Đừng dừng ở một nửa.
Ví dụ chi tiết
Một ứng dụng đọc báo tại Hà Nội thấy thời gian đọc trung bình giảm 20 phần trăm trong hai tháng.
Bước 1 - Định lượng khoanh vùng. Phân tích cho thấy chỉ nhóm người dùng Android bản mới bị giảm, iOS bình thường. Số đã thu hẹp phạm vi.
Bước 2 - Định tính giải thích. Đội gọi 12 người dùng Android bản mới, quan sát họ dùng thử. Bảy người phàn nàn ứng dụng giật khi cuộn bài dài. Đây là giả thuyết nguyên nhân: hiệu năng cuộn kém khiến người ta đọc ít đi.
Bước 3 - Định lượng kiểm chứng. Đội đo thời gian phản hồi cuộn theo phiên bản, xác nhận bản mới chậm hơn hẳn ở máy cấu hình thấp, vốn phổ biến ở nhóm người dùng đại chúng. Vấn đề đúng là hiệu năng, không phải nội dung.
Bước 4 - Hành động và đo lại. Sau khi tối ưu hiệu năng, thời gian đọc phục hồi, và đội theo dõi số để chắc chắn lời giải thích định tính đúng ở quy mô lớn.
Kết quả: nhờ đi qua đủ vòng số rồi câu chuyện rồi số, đội tránh được việc đổ tiền viết lại nội dung một cách vô ích.
Lộ trình từng bước để làm chủ
graph TD A[Xem so de phat hien bat thuong] --> B[Khoanh vung nhom bi anh huong] B --> C[Phong van va quan sat nhom do] C --> D[Rut ra gia thuyet nguyen nhan] D --> E[Do lai bang so tren toan bo] E --> F[Xac nhan va hanh dong] F --> G[Theo doi de dam bao dung o quy mo]
Lộ trình nhấn mạnh đừng bao giờ dừng ở một nguồn duy nhất. Số một mình dễ dẫn tới đoán mò nguyên nhân; câu chuyện một mình dễ dẫn tới khái quát hoá từ vài trường hợp.
Thói quen & kỷ luật
| Nhịp | Thói quen |
|---|---|
| Mỗi lần thấy số bất thường | Đặt lịch phỏng vấn để tìm vì sao |
| Hàng tuần | Nói chuyện với ít nhất 3 người dùng thật |
| Sau mỗi phỏng vấn | Tìm số để kiểm chứng lời họ nói phổ biến ra sao |
| Hàng tháng | Rà xem quyết định nào chỉ dựa một nguồn |
Cần luyện tập gì (drills)
- Ghép số với câu chuyện: lấy một chỉ số đang bất thường, phỏng vấn 5 người thuộc nhóm đó, viết một giả thuyết nguyên nhân.
- Kiểm chứng ngược: lấy một phản hồi khách hàng gay gắt, tìm số xem có bao nhiêu người gặp cùng vấn đề.
- Đọc phễu kèm bản ghi màn hình: xem một phễu chuyển đổi rồi xem 3 bản ghi phiên rớt để hiểu hành vi đằng sau số.
Checklist hành động tuần này
- [ ] Nói chuyện trực tiếp với ít nhất 3 người dùng thật
- [ ] Chọn một số bất thường và tìm nguyên nhân bằng phỏng vấn
- [ ] Kiểm chứng một phản hồi định tính bằng số liệu
- [ ] Xem 3 bản ghi phiên gắn với một phễu chuyển đổi
- [ ] Rà một quyết định gần đây chỉ dựa một nguồn và bổ sung nguồn kia
Chỉ số & North Star
North Star: tỷ lệ quyết định lớn có cả bằng chứng định lượng và định tính trước khi thực thi.
| Chỉ số | Tốt | Xấu |
|---|---|---|
| Số phỏng vấn người dùng mỗi tháng | Đều đặn, trên 8 buổi | Gần như không phỏng vấn ai |
| Kiểm chứng chéo hai nguồn | Luôn ghép số và câu chuyện | Chỉ dựa một nguồn duy nhất |
| Khoảng cách giữa số và trải nghiệm thực | Nhỏ, hiểu sát người dùng | Lớn, chỉ biết qua dashboard |
Dấu hiệu bạn đã thành thạo
Bạn phản xạ tự nhiên là khi thấy số lạ thì đi hỏi người dùng, và khi nghe một câu chuyện thì đi tìm số kiểm chứng. Bạn không bị vài khách hàng nói to lôi kéo, cũng không lạnh lùng chỉ nhìn dashboard. Đội của bạn tin các quyết định vì chúng có cả quy mô lẫn lý do.
Cạm bẫy thường gặp
| Cạm bẫy | Thay bằng |
|---|---|
| Chỉ nhìn số, đoán nguyên nhân | Phỏng vấn để tìm vì sao thật |
| Xây theo vài khách hàng nói to | Kiểm chứng độ phổ biến bằng số |
| Coi phỏng vấn là bằng chứng đủ | Đo lại quy mô của vấn đề |
| Dừng phân tích ở một nguồn | Đi đủ vòng số rồi câu chuyện rồi số |
Chốt lại
- Định lượng cho biết cái gì và bao nhiêu, định tính cho biết vì sao.
- Kết hợp theo vòng: số phát hiện, câu chuyện giải thích, số xác nhận.
- Đừng dừng ở một nguồn duy nhất, dễ đoán mò hoặc khái quát sai.
- Nói chuyện với người dùng thật đều đặn là kỷ luật cốt lõi.
Áp dụng vào Căng tin số
Phễu tuần 4 của Căng tin số, trung bình mỗi ngày, là bước định lượng đầu tiên của vòng: mở app 1.050, xem thực đơn 900, chọn món 310, thanh toán 205, nhận món 190. Số đã làm đúng việc của nó là chỉ chỗ cần tìm. Bước xem thực đơn sang chọn món chỉ giữ được 34%, tụt mạnh nhất cả phễu. Nhưng số không nói vì sao gần 600 người mỗi ngày xem rồi thôi.
Nếu dừng ở đây, nhóm sẽ đoán. Đoán phổ biến nhất trong phòng họp là "thực đơn khó đọc, làm lại giao diện". Đó đúng là kiểu sửa nhầm triệu chứng mà bài cảnh báo.
Bước định tính: nhóm hỏi 40 người đã bỏ ngang ở bước đó. Kết quả:
- 21 người: "đã quá 10 giờ, không đặt được nữa".
- 11 người: "chỉ xem còn món gì".
- 8 người: lý do khác.
Nhưng 40 người là một mẫu nhỏ, và những người chịu trả lời khảo sát chưa chắc giống 590 người còn lại. Vì vậy vòng phải quay lại định lượng để kiểm chứng xem mỗi lời giải thích phổ biến tới đâu:
- Với "quá 10 giờ": đếm trong dữ liệu sự kiện xem bao nhiêu lượt xem thực đơn rơi vào sau 10:00. Nếu đa số lượt xem không chọn món nằm sau 10:00, lời của 21 người đúng ở quy mô lớn.
- Với "chỉ xem còn món": dữ liệu đã có sẵn. Bảng "còn món" có khoảng 420 lượt xem mỗi ngày từ 11:45 tới 12:45, và trong số người tới sau 12:30 đã xem bảng, 35% đi thẳng sang quầy khác. Hành vi "chỉ xem" có thật và có ích.
Định tính cũng đến từ chỗ khác ngoài khảo sát. Trong tháng chạy thử, 3 trong 14 email phàn nàn nói về app: quên mật khẩu tài khoản trường, và không thấy món chay. Ba email là quá ít để kết luận, nhưng đủ để đặt câu hỏi định lượng tiếp theo: bao nhiêu lượt đăng nhập thất bại mỗi ngày, và quầy chay có xuất hiện trong thực đơn app hay không.
Thử ngay: với 8 người trả lời "lý do khác", viết ba câu hỏi phỏng vấn ngắn để tìm vì sao, rồi với mỗi câu, ghi một con số trong dữ liệu sự kiện bạn sẽ dùng để kiểm chứng nó phổ biến tới đâu. <!--/case-append-->