Bài 5 — Đọc kết quả với AI: p-value, khoảng tin cậy, ý nghĩa thực tế

Bối cảnh

Test chạy xong, tool báo "nhánh B thắng, p = 0.03". Bạn nên launch chưa? Đa số PM hiểu sai p-value và bỏ qua khoảng tin cậy — dẫn tới quyết định tự tin nhưng sai. AI giúp bạn diễn giải con số thành ngôn ngữ kinh doanh, đồng thời cảnh báo khi kết quả "thắng" thực ra không đáng tin.

Hiểu đúng các con số

• P-value không phải xác suất B tốt hơn A. Nó là: nếu thật ra A và B bằng nhau, thì xác suất thấy chênh lệch lớn cỡ này (hoặc hơn) là bao nhiêu. p = 0.03 nghĩa 3% khả năng đây là ngẫu nhiên.
• Khoảng tin cậy (CI) quan trọng hơn p-value. CI cho bạn biết độ lớn hiệu quả: "cải thiện từ +0.5% đến +4%" hữu ích hơn nhiều so với chỉ "có ý nghĩa".
• Ý nghĩa thống kê ≠ ý nghĩa thực tế. Cải thiện +0.2% có thể "significant" nhưng chả đáng công triển khai.
• Kiểm tra guardrail trước khi ăn mừng primary.

Ví dụ cụ thể

Test form thanh toán: nhánh A (control) hoàn tất 20.0%, nhánh B 21.5%, p = 0.02, CI của chênh lệch: [+0.3%, +2.7%]. Guardrail tỷ lệ hoàn tiền: A 3%, B 4.5%.

Prompt mẫu

Bạn là PM analytics. Diễn giải kết quả A/B test này cho quyết định launch.
Kết quả:
- Primary: hoàn tất đơn. Control 20.0%, Variant 21.5%
- p-value: 0.02, CI chênh lệch: [+0.3%, +2.7%]
- Guardrail hoàn tiền: Control 3.0%, Variant 4.5%
- Cỡ mẫu đạt kế hoạch, chạy đủ 4 tuần

Hãy trả lời:
1. Kết quả primary có ý nghĩa thống kê không? Giải thích CI cho người không rành thống kê.
2. Guardrail có vấn đề không? Nó ảnh hưởng quyết định thế nào?
3. Khuyến nghị: launch / không launch / cần thêm điều tra? Vì sao?
4. 1 câu tóm tắt cho slide gửi sếp.
Tiếng Việt, thẳng thắn.

AI sẽ chỉ ra: primary có ý nghĩa (p<0.05, CI không chứa 0), nhưng guardrail hoàn tiền tăng đáng lo (3%→4.5%) — rút gọn form có thể khiến khách đặt nhầm. Khuyến nghị: chưa launch, điều tra vì sao hoàn tiền tăng. Đây là giá trị thật của AI: không để bạn mù quáng ăn mừng primary.

Các bước làm

• Chỉ đọc kết quả sau khi đạt đủ cỡ mẫu và thời lượng đã định.
• Ghi lại primary + CI + p-value + tất cả guardrail.
• Đưa vào prompt trên để AI diễn giải.
• Kiểm tra CI: nếu chứa 0 (hoặc chứa mức không đáng kể), kết quả yếu.
• Đối chiếu guardrail: có cái nào xấu đi vượt ngưỡng không?
• Ra quyết định: launch / không / điều tra thêm — và ghi lý do.

Template: Bảng đọc kết quả

[PRIMARY]: Control ___% vs Variant ___%
[CHÊNH LỆCH]: ___% (tương đối ___%)
[P-VALUE]: ___   [CI]: [___ , ___]
[CI CÓ CHỨA 0?]: có/không
[GUARDRAIL 1]: ___ → ___  (ổn / xấu đi)
[GUARDRAIL 2]: ___ → ___  (ổn / xấu đi)
[Ý NGHĨA THỰC TẾ]: cải thiện có đáng công triển khai?
[QUYẾT ĐỊNH]: launch / không / điều tra
[LÝ DO]:

Sai lầm thường gặp

• Hiểu p-value là "xác suất B thắng": sai hoàn toàn, dẫn tới tự tin thái quá.
• Bỏ qua khoảng tin cậy: chỉ nhìn "significant" mà không xem độ lớn hiệu quả có đáng không.
• Ăn mừng primary, quên guardrail: launch xong mới phát hiện tăng churn/hoàn tiền.
• AI tô hồng kết quả (ảo giác + phụ thuộc quá mức): nếu prompt thiếu guardrail, AI dễ khuyên "launch đi". Luôn đưa đủ dữ liệu và yêu cầu AI nêu rủi ro.
• Rò rỉ dữ liệu doanh thu: đừng dán số doanh thu tuyệt đối. Dùng tỷ lệ, chỉ số ẩn danh.
• Đọc kết quả nhiều lần và dừng khi thấy thắng: đây là peeking — bài 6 xử lý riêng.

Bài sau: các bẫy thống kê chết người — peeking, multiple testing, Simpson's paradox — và cách AI giúp bạn né.