Bài 6 — Tránh bẫy thống kê: peeking, multiple testing, Simpson's paradox

Bối cảnh

Đây là bài quan trọng nhất về độ tin cậy. Nhiều PM chạy test đúng nhưng kết luận sai vì rơi vào bẫy thống kê tinh vi. Ba bẫy phổ biến nhất: peeking (nhìn lén và dừng sớm), multiple testing (test nhiều biến thể/nhiều metric), và Simpson's paradox (tổng thể ngược với từng nhóm). AI là công cụ tuyệt vời để bạn tự kiểm tra xem mình có đang mắc bẫy không.

Ba cái bẫy chi tiết

• Peeking: đọc kết quả mỗi ngày, thấy "thắng" là dừng. Việc này làm tỷ lệ dương tính giả tăng vọt — có thể lên 20-30% thay vì 5%. Kết quả "thắng" của bạn nhiều khả năng là ảo.
• Multiple testing: test 5 biến thể hoặc 10 metric cùng lúc, xác suất ít nhất một cái "significant" do may rủi tăng mạnh. Với 20 metric ở mức 95%, trung bình 1 cái sẽ "thắng" giả.
• Simpson's paradox: variant thắng tổng thể nhưng thua ở mọi phân khúc (hoặc ngược lại), do phân bố mẫu lệch giữa các nhóm.

Ví dụ cụ thể

Bạn chạy test 4 màu nút cùng lúc và đọc kết quả mỗi sáng. Ngày thứ 5, màu xanh lá "thắng" p = 0.04. Bạn định launch.

Prompt mẫu

Bạn là chuyên gia thống kê nghiêm khắc. Soi bẫy trong test của tôi.
Tình huống:
- Test 4 biến thể màu nút cùng lúc (so với 1 control)
- Tôi đọc kết quả mỗi sáng trong 5 ngày
- Ngày 5: màu xanh lá p=0.04, tôi định launch
- Cỡ mẫu kế hoạch là 10 ngày nhưng tôi muốn dừng sớm

Hãy chỉ ra:
1. Tôi có đang peeking không? Hậu quả lên độ tin cậy?
2. Test 4 biến thể có phải multiple testing? Cần hiệu chỉnh gì (vd Bonferroni)?
3. p=0.04 sau khi vừa peek vừa multiple testing đáng tin đến đâu?
4. Tôi nên làm gì đúng đắn?
Tiếng Việt, đừng nể nang.

AI sẽ chỉ ra: bạn mắc CẢ HAI bẫy. Peeking 5 lần + 4 biến thể khiến p=0.04 gần như vô nghĩa. Với Bonferroni, ngưỡng phải là 0.05/4 = 0.0125, nên p=0.04 không đạt. Khuyến nghị: chạy đủ 10 ngày, hoặc dùng phương pháp sequential testing nếu muốn peek hợp lệ.

Các bước làm

• Cam kết ngày đọc kết quả TRƯỚC khi chạy, không đọc trước.
• Nếu cần theo dõi liên tục, dùng sequential/Bayesian testing (thiết kế cho việc peek).
• Giới hạn số biến thể và số primary metric; nếu test nhiều, áp hiệu chỉnh (Bonferroni, FDR).
• Sau khi có kết quả, chạy phân tích theo phân khúc để phát hiện Simpson's paradox.
• Dùng prompt trên như "cửa kiểm tra" bắt buộc trước mọi quyết định launch.

Checklist chống bẫy thống kê

[ ] Đã định ngày đọc kết quả trước khi chạy — không peek
[ ] Nếu theo dõi liên tục: dùng sequential/Bayesian, không dùng p-value cố định
[ ] Số biến thể và primary metric tối thiểu
[ ] Nếu test nhiều: đã áp hiệu chỉnh multiple testing
[ ] Đã phân tích theo phân khúc (device, kênh, nhóm mới/cũ)
[ ] Kết quả tổng thể nhất quán với các phân khúc (không có Simpson)
[ ] Đã hỏi AI soi bẫy trước khi chốt launch

Sai lầm thường gặp

• Peeking rồi dừng khi thắng: nguyên nhân số 1 của quyết định sai. Kỷ luật thời gian là bắt buộc.
• Test hàng loạt biến thể/metric mà không hiệu chỉnh: sẽ luôn có "người thắng" giả.
• Bỏ qua phân khúc: Simpson's paradox có thể đảo ngược kết luận.
• AI đồng lõa với bạn (phụ thuộc quá mức): nếu bạn hỏi kiểu "kết quả này launch được chứ?", AI dễ chiều theo. Hãy hỏi ngược: "chỉ ra mọi lý do KHÔNG nên tin kết quả này".
• AI bịa phương pháp hiệu chỉnh (ảo giác): AI có thể áp sai công thức Bonferroni hoặc bịa ngưỡng. Kiểm tra lại logic đơn giản (0.05 chia số test).
• Rò rỉ dữ liệu phân khúc nhạy cảm: phân khúc theo địa lý/nhân khẩu học có thể lộ thông tin. Trừu tượng hóa khi hỏi AI.

Bài sau: tự động hóa toàn bộ quy trình bằng AI agent.