Mở đầu — vì sao bài này quan trọng
Trong nghiên cứu UX, chúng ta thường được dạy rằng "chuẩn vàng" để chứng minh nhân quả là thí nghiệm ngẫu nhiên có đối chứng (Randomized Controlled Trial — RCT), mà A/B testing chính là một dạng của nó. Nhưng thực tế nghề nghiệp của bạn sẽ liên tục va phải một sự thật khó chịu: rất nhiều lúc bạn không được phép hoặc không thể phân nhóm người dùng một cách ngẫu nhiên.
Hãy tưởng tượng vài tình huống rất Việt Nam: sếp yêu cầu bạn đo tác động của việc mở một cửa hàng flagship mới ở Nguyễn Huệ lên hành vi mua sắm online của khách khu vực đó — bạn không thể "ngẫu nhiên" quyết định ai sống gần cửa hàng. Hoặc chính sách của ngân hàng nhà nước bắt buộc xác thực sinh trắc học cho giao dịch trên 10 triệu đồng từ ngày 1/7 — bạn không được chọn nhóm nào bị áp dụng, nó áp lên tất cả mọi người cùng một lúc. Hoặc đội marketing đã lỡ tung khuyến mãi cho toàn bộ user Hà Nội trước khi bạn kịp thiết kế thí nghiệm.
Trong tất cả những trường hợp này, quasi-experiment (bán thực nghiệm) và natural experiment (thí nghiệm tự nhiên) trở thành công cụ cứu cánh. Chúng cho phép bạn rút ra kết luận nhân quả có sức thuyết phục cao ngay cả khi không có sự phân nhóm ngẫu nhiên. Đây là kỹ năng phân biệt một UX researcher biết "chạy A/B test" với một researcher thực sự hiểu về suy luận nhân quả (causal inference). Khi bạn nắm được nhóm phương pháp này, bạn sẽ trả lời được những câu hỏi mà A/B test truyền thống bó tay, và điều đó nâng giá trị của bạn lên tầm chiến lược trong tổ chức.
Khái niệm cốt lõi
Quasi-experiment là gì
Quasi-experiment là thiết kế nghiên cứu có sự can thiệp (treatment) và có so sánh nhóm/thời điểm, nhưng thiếu yếu tố phân bổ ngẫu nhiên (random assignment). Thay vì bạn tự tay bốc thăm ai vào nhóm thử nghiệm, ai vào nhóm đối chứng, bạn khai thác sự khác biệt đã tồn tại sẵn trong thực tế — theo địa lý, theo thời gian, theo nhóm người dùng, hoặc theo một ngưỡng chính sách nào đó.
Điểm mấu chốt cần hiểu: vì thiếu ngẫu nhiên hóa, hai nhóm bạn đem so sánh có thể khác nhau ngay từ đầu (gọi là selection bias — thiên lệch chọn mẫu). Toàn bộ nghệ thuật của quasi-experiment là dùng các kỹ thuật thống kê và thiết kế thông minh để loại bỏ hoặc kiểm soát những khác biệt nền đó, để phần chênh lệch còn lại có thể quy về can thiệp.
Natural experiment — thí nghiệm tự nhiên
Natural experiment là một trường hợp đặc biệt của quasi-experiment, nơi "sự phân nhóm" xảy ra do một yếu tố bên ngoài gần như ngẫu nhiên mà không ai cố tình sắp đặt: một thay đổi chính sách, một sự cố kỹ thuật, một ranh giới hành chính, một đợt rollout theo vùng. Nhà nghiên cứu không tạo ra can thiệp — họ chỉ quan sát và khai thác nó.
Ví dụ kinh điển: khi một app fintech buộc phải rollout tính năng mới theo từng cụm server, người dùng ở cụm được cập nhật trước so với cụm cập nhật sau tạo thành một "thí nghiệm tự nhiên" gần như ngẫu nhiên. Sự phân chia này không do researcher quyết định, nhưng nó gần với ngẫu nhiên đến mức có thể tận dụng.
Các dạng thiết kế phổ biến
1. Pre-post design (đo trước — đo sau): Bạn đo một chỉ số trước khi can thiệp và đo lại sau khi can thiệp trên cùng một nhóm. Đơn giản nhưng yếu nhất, vì bất kỳ thay đổi nào cũng có thể do yếu tố khác cùng thời điểm (mùa vụ, khuyến mãi đối thủ, xu hướng thị trường) chứ chưa chắc do can thiệp.
2. Non-equivalent control group (nhóm đối chứng không tương đương): Bạn có nhóm can thiệp và một nhóm đối chứng "gần giống" nhưng không được chọn ngẫu nhiên — ví dụ user Đà Nẵng (được áp tính năng mới) so với user Cần Thơ (chưa áp). Tốt hơn pre-post vì có nhóm so sánh song song.
3. Difference-in-Differences (DiD — khác biệt của các khác biệt): Đây là "ngôi sao" của quasi-experiment. Bạn đo chênh lệch trước-sau ở cả nhóm can thiệp lẫn nhóm đối chứng, rồi lấy hiệu của hai chênh lệch đó. Ý tưởng: nếu cả hai nhóm cùng chịu ảnh hưởng của xu hướng chung (ví dụ Tết đến ai cũng mua sắm nhiều hơn), thì phần chênh lệch riêng của nhóm can thiệp chính là tác động thực. Điều kiện then chốt là parallel trends — trước can thiệp, hai nhóm phải có xu hướng biến động song song với nhau.
4. Regression Discontinuity Design (RDD — thiết kế gián đoạn hồi quy): Dùng khi có một ngưỡng cắt rõ ràng quyết định ai được can thiệp. Ví dụ: khách chi tiêu tích lũy đủ 5 triệu/tháng thì được lên hạng thành viên VIP với giao diện app khác. Bạn so sánh nhóm ngay dưới ngưỡng (4,9 triệu) với nhóm ngay trên ngưỡng (5,1 triệu). Hai nhóm này gần như giống hệt nhau về mọi mặt, chỉ khác ở chỗ một bên được lên hạng — nên chênh lệch hành vi rất đáng tin.
5. Interrupted Time Series (ITS — chuỗi thời gian bị gián đoạn): Bạn theo dõi một chỉ số qua nhiều mốc thời gian trước và sau can thiệp, rồi xem đường xu hướng có gãy khúc (thay đổi mức hoặc thay đổi độ dốc) đúng vào thời điểm can thiệp không.
Tình huống thực tế
Ví dụ 1 — MoMo và ranh giới rollout tính năng (Natural experiment + DiD)
Giả định một ví điện tử lớn như MoMo muốn đánh giá tác động của giao diện "Trang chủ mới" gọn hơn lên tần suất mở app. Vì lý do kỹ thuật, đội engineering rollout theo cụm hạ tầng: khoảng 40% người dùng nhận giao diện mới từ tuần 1, phần còn lại phải chờ đến tuần 4. Đây không phải A/B test có chủ đích, mà là một natural experiment do lịch rollout tạo ra.
Nhóm researcher lấy dữ liệu 4 tuần trước rollout để kiểm tra parallel trends: hai cụm user có tần suất mở app trung bình 18,2 và 18,5 lần/tuần, và đường biến động song song nhau. Đạt điều kiện. Sau rollout tuần đầu, nhóm nhận giao diện mới tăng lên 20,1 lần/tuần (+1,9), còn nhóm chưa nhận tăng lên 18,9 (+0,4) do có đợt cashback chung toàn hệ thống.
Áp dụng Difference-in-Differences: tác động thực = (+1,9) − (+0,4) = +1,5 lần/tuần. Nếu chỉ nhìn pre-post của riêng nhóm can thiệp, họ sẽ báo cáo "tăng 1,9" — thổi phồng 27% vì đã gộp cả tác động của cashback.
Bài học: natural experiment "mọc lên" từ những quyết định vận hành mà bạn không kiểm soát. Việc của researcher là nhận ra nó, kiểm tra parallel trends, và dùng DiD để bóc tách nhiễu chung ra khỏi tác động thật.
Ví dụ 2 — Ngưỡng freeship của Shopee (Regression Discontinuity)
Một sàn TMĐT như Shopee áp chính sách: đơn hàng đạt 150.000đ thì được miễn phí vận chuyển. Câu hỏi UX: chương trình freeship-theo-ngưỡng này có thực sự thúc đẩy người dùng gom thêm hàng, hay chỉ tô điểm cho những người vốn đã mua nhiều?
Researcher dùng RDD. Họ so sánh những đơn hàng rơi ngay dưới ngưỡng (giỏ hàng 140.000–149.000đ) với những đơn ngay trên ngưỡng (150.000–160.000đ). Về bản chất, hai nhóm khách này gần như không khác biệt về nhân khẩu hay thói quen — họ chỉ tình cờ ở hai bên vạch. Nhóm phân tích phát hiện có sự dồn cục bất thường (bunching) tại đúng mốc 150.000–155.000đ: tỷ lệ đơn tại đây cao hơn hẳn phân phối tự nhiên, và thời gian trung bình ở màn hình giỏ hàng của nhóm này dài hơn 22 giây.
Kết luận: ngưỡng freeship thực sự tạo ra hành vi "cố thêm cho đủ" chứ không phải chỉ mô tả người mua nhiều. Insight này giúp đội sản phẩm quyết định thêm gợi ý "Mua thêm 12.000đ để freeship" ngay tại giỏ hàng.
Bài học: khi trong sản phẩm của bạn có bất kỳ ngưỡng cắt cứng nào (điểm thưởng, hạng thành viên, mốc miễn phí ship, giới hạn tuổi), RDD là vũ khí mạnh vì nó tạo ra một "so sánh gần như ngẫu nhiên" một cách tự nhiên.
Ví dụ 3 — Quy định sinh trắc học của ngân hàng (Interrupted Time Series)
Từ 1/7/2024, quy định buộc mọi giao dịch chuyển khoản trên 10 triệu đồng phải xác thực khuôn mặt. Một ngân hàng số muốn biết quy định này ảnh hưởng thế nào đến tỷ lệ hoàn thành giao dịch trên app. Vấn đề: quy định áp lên tất cả khách hàng cùng lúc, không có nhóm đối chứng nào để so.
Không có nhóm đối chứng thì DiD bó tay, nên researcher chuyển sang Interrupted Time Series. Họ vẽ tỷ lệ hoàn thành giao dịch hàng tuần trong 12 tuần trước và 12 tuần sau mốc 1/7. Trước đó, tỷ lệ ổn định quanh 96,5%. Ngay tuần đầu áp dụng, nó tụt xuống 88% (một cú gãy mức — level drop), rồi hồi phục dần lên 94% sau 8 tuần khi người dùng quen thao tác.
Phân tích cho thấy hai điều: tác động tức thời gây ma sát lớn (drop 8,5 điểm phần trăm), nhưng độ dốc phục hồi cho thấy đây là vấn đề học cách dùng chứ không phải lỗi thiết kế vĩnh viễn. Đội UX ưu tiên làm onboarding hướng dẫn quét khuôn mặt để rút ngắn giai đoạn phục hồi.
Bài học: khi can thiệp áp đồng loạt và không có nhóm đối chứng, ITS với nhiều điểm thời gian trước-sau là lựa chọn thay thế. Việc phân biệt "gãy mức" và "đổi độ dốc" cho bạn hai câu chuyện rất khác nhau về trải nghiệm.
Hướng dẫn từng bước
Bước 1 — Xác định vì sao không dùng được RCT. Trước khi chọn quasi-experiment, hãy thành thật: có thể ngẫu nhiên hóa không? Nếu được, hãy dùng A/B test (mạnh hơn). Chỉ dùng quasi khi có rào cản thật: đạo đức, chi phí, chính sách áp đồng loạt, hoặc can thiệp đã lỡ triển khai.
Bước 2 — Nhận diện nguồn biến thiên (source of variation). Tìm xem "cái gì" chia người dùng thành nhóm can thiệp và không: một ranh giới địa lý, một lịch rollout, một ngưỡng số, hay một mốc thời gian chính sách. Nguồn biến thiên này quyết định bạn dùng thiết kế nào.
Bước 3 — Chọn thiết kế phù hợp. Có nhóm đối chứng song song và dữ liệu trước-sau → DiD. Có ngưỡng cắt rõ ràng → RDD. Can thiệp áp đồng loạt, chỉ có chuỗi thời gian → ITS. Không có gì ngoài trước-sau một nhóm → pre-post (và hãy khiêm tốn về kết luận).
Bước 4 — Kiểm tra giả định nền. Với DiD, bắt buộc kiểm tra parallel trends trên dữ liệu trước can thiệp — vẽ biểu đồ hai nhóm và xác nhận chúng biến động song song. Với RDD, kiểm tra không có manipulation quanh ngưỡng (người dùng có tự "lách" để qua ngưỡng theo cách làm hỏng so sánh không) và các biến nền liên tục qua ngưỡng.
Bước 5 — Kiểm soát biến gây nhiễu (confounders). Dùng matching (ghép cặp user tương đồng), thêm biến kiểm soát vào mô hình hồi quy, hoặc chọn nhóm đối chứng càng giống nhóm can thiệp càng tốt.
Bước 6 — Phân tích và định lượng tác động. Chạy mô hình tương ứng (hồi quy DiD với số hạng tương tác nhóm × thời gian; hồi quy RDD quanh ngưỡng; mô hình ITS với biến mức và biến độ dốc). Báo cáo cả điểm ước lượng lẫn khoảng tin cậy.
Bước 7 — Kiểm định độ vững (robustness) và diễn giải khiêm tốn. Chạy placebo test (giả vờ can thiệp ở thời điểm không có gì xảy ra, tác động phải bằng 0), thử nhiều cửa sổ thời gian. Khi trình bày, luôn nêu rõ giới hạn: đây là bằng chứng nhân quả mạnh nhưng không tuyệt đối như RCT.
Lỗi thường gặp & mẹo
Lỗi 1 — Nhầm pre-post là bằng chứng nhân quả. "Trước khi đổi giao diện tỷ lệ 60%, sau khi đổi lên 70%, vậy giao diện mới hiệu quả." Sai. Có thể do khuyến mãi, mùa vụ, hay xu hướng chung. Mẹo: luôn tìm một nhóm đối chứng, dù không hoàn hảo, để có DiD.
Lỗi 2 — Bỏ qua kiểm tra parallel trends trong DiD. Nếu trước can thiệp hai nhóm đã có xu hướng phân kỳ, thì phần chênh lệch sau này chưa chắc do can thiệp. Mẹo: bắt buộc vẽ biểu đồ xu hướng nhiều kỳ trước can thiệp, không chỉ một điểm.
Lỗi 3 — Xem thường selection bias trong nhóm đối chứng không tương đương. User Hà Nội và user TP.HCM khác nhau về thu nhập, thói quen; đem so trực tiếp là ẩu. Mẹo: dùng matching hoặc thêm biến kiểm soát trước khi so sánh.
Lỗi 4 — Dùng RDD khi ngưỡng bị thao túng. Nếu người dùng biết ngưỡng và cố tình lách qua, nhóm hai bên vạch không còn "gần ngẫu nhiên". Mẹo: vẽ histogram mật độ quanh ngưỡng, nếu thấy dồn cục bất thường thì cẩn thận diễn giải.
Lỗi 5 — ITS với quá ít điểm thời gian. Chỉ 2–3 điểm trước-sau không đủ để tách xu hướng khỏi gãy khúc. Mẹo: cần tối thiểu 8–12 điểm mỗi bên để đường xu hướng đáng tin.
Lỗi 6 — Tuyên bố quá mạnh về nhân quả. Quasi-experiment cho bằng chứng thuyết phục nhưng vẫn có thể còn confounder ẩn. Mẹo: dùng ngôn ngữ "bằng chứng ủng hộ mạnh mẽ" thay vì "chứng minh", và luôn kèm placebo/robustness test.
Bài tập thực hành
Bài tập 1 — Chọn thiết kế. Với mỗi tình huống sau, hãy chọn thiết kế quasi-experiment phù hợp (DiD, RDD, ITS, hay pre-post) và giải thích: a) Grab đổi thuật toán ghép tài xế, áp đồng loạt toàn quốc từ một ngày. b) App học tiếng Anh tặng huy hiệu "Streak 30 ngày" cho ai học đủ 30 ngày liên tục. c) Một chuỗi F&B thử menu số hóa trên bàn ở các chi nhánh Hà Nội, chưa triển khai ở Hải Phòng.
Bài tập 2 — Tính DiD. Nhóm can thiệp: tỷ lệ chuyển đổi trước 4,0%, sau 5,2%. Nhóm đối chứng: trước 3,8%, sau 4,3%. Hãy tính tác động thực theo DiD và giải thích tại sao con số này khác với việc chỉ nhìn "+1,2 điểm" của riêng nhóm can thiệp.
Bài tập 3 — Thiết kế kiểm tra giả định. Cho tình huống ví dụ 1 (rollout MoMo), hãy mô tả cụ thể bạn sẽ vẽ biểu đồ gì và kiểm tra điều gì để xác nhận điều kiện parallel trends trước khi tin vào kết quả DiD.
Bài tập 4 — Phản biện. Đồng nghiệp trình bày: "Sau khi ra mắt dark mode, thời gian trong app tăng 15%, vậy dark mode giữ chân người dùng." Hãy nêu ít nhất 3 confounder có thể có và đề xuất một thiết kế quasi-experiment tốt hơn.
Tóm tắt
Quasi-experiment và natural experiment là bộ công cụ giúp UX researcher rút ra kết luận nhân quả khi không thể ngẫu nhiên hóa — tình huống xảy ra thường xuyên hơn bạn nghĩ trong môi trường thực tế Việt Nam và Đông Nam Á.
Điểm cốt lõi cần nhớ:
- Thiếu random assignment là đặc trưng của nhóm này, và nó kéo theo nguy cơ selection bias mà bạn phải chủ động kiểm soát.
- Difference-in-Differences bóc tách tác động thật khỏi xu hướng chung, nhưng đòi hỏi điều kiện parallel trends.
- Regression Discontinuity khai thác các ngưỡng cắt cứng trong sản phẩm để tạo so sánh gần như ngẫu nhiên.
- Interrupted Time Series là cứu cánh khi can thiệp áp đồng loạt không có nhóm đối chứng.
- Natural experiment là món quà từ các thay đổi chính sách, lịch rollout hay ranh giới hành chính — việc của bạn là nhận ra và khai thác chúng.