Đọc số: Đọc dữ liệu sau bốn tuần chạy thử

Vì sao chủ đề quan trọng

Bốn tuần chạy thử đã xong. Trên bàn có một bảng số theo tuần, một phễu, một khảo sát người bỏ ngang, và số email phàn nàn của tháng. Cách dễ nhất là chọn những con số đẹp nhất và đưa lên trang đầu báo cáo: "Thời gian xếp hàng giảm từ 21 xuống 15 phút!"

Con số 15 phút có thật, là trung vị tuần 3. Nhưng tuần 3 là tuần thi giữa kỳ, nhiều sinh viên về sớm, hàng ngắn vì ít người chứ không chỉ vì app. Báo cáo dùng nó làm kết luận là báo cáo sai, dù không con số nào bị bịa.

Đọc trung thực là đọc cả những gì làm câu chuyện kém đẹp, và nói rõ chỗ nào chưa đủ để kết luận, vì Chị Lan, Anh Tuấn và Cô Hạnh sẽ quyết dựa trên cách bạn đọc.

Bài này nhận vào: đường cơ sở và mục tiêu từ bài 3, dữ liệu sự kiện từ bài 4, các phép đo tay. Bài này giao ra: một bản đọc nói rõ điều gì đã thay đổi, chỗ rò lớn nhất, và điều gì chưa chắc. Bản đọc đó là đầu vào cho buổi họp quyết định ở bài 6.

Bức tranh lớn

Đọc một con số, hỏi năm câu theo thứ tự.

• So với gì? Với đường cơ sở đo cùng cách, không với cảm giác.
• Có gì khác cũng thay đổi cùng lúc? Tuần thi, ngày lễ, thời tiết, thực đơn.
• Mẫu có đủ lớn không? Một quầy, hai mươi ngày học, mười người bấm giờ mỗi ngày.
• Có lời giải thích từ người dùng không? Khảo sát, phỏng vấn, như bài 1 đã dạy.
• Đây là tương quan hay nguyên nhân? Hai thứ cùng đổi chưa chắc thứ này gây ra thứ kia.

flowchart TD
    A[Một con số đã đổi] --> B{So với đường cơ sở đo cùng cách?}
    B -->|Không| X[Chưa đọc được]
    B -->|Có| C{Có sự kiện khác cùng lúc?}
    C -->|Có| D[Tách tuần bị nhiễu ra đọc riêng]
    C -->|Không| E{Mẫu đủ lớn?}
    D --> E
    E -->|Không| F[Ghi là tín hiệu, chưa là kết luận]
    E -->|Có| G{Người dùng giải thích được vì sao?}
    G -->|Có| H[Kết luận có điều kiện]
    G -->|Không| F

Ví dụ chi tiết

Bảng theo tuần

Lượt mở app giảm, có đáng lo không

Lượt mở app đi từ 1.600 xuống 1.050, trong khi đơn đã thanh toán đi ngược chiều, từ 95 lên 205. Cách đọc đúng: tuần 1 có hiệu ứng mới lạ (novelty effect), nhiều người mở vì tò mò rồi thôi; người ở lại là người thật sự đặt. Lượt mở là chỉ số đầu ra, nó giảm trong khi North Star tăng không phải dấu hiệu xấu.

Số tài khoản 1.390 cũng là đầu ra; đặt cạnh 205 đơn mỗi ngày mới thấy khoảng cách giữa "đã đăng ký" và "đang dùng".

Phễu tuần 4 và chỗ rò lớn nhất

flowchart TD
    A[Mở app 1.050 mỗi ngày] -->|còn 86%| B[Xem thực đơn 900]
    B -->|còn 34%| C[Chọn món 310]
    C -->|còn 66%| D[Thanh toán 205]
    D -->|còn 93%| E[Nhận món 190]

Bước rơi nhiều nhất là xem thực đơn sang chọn món: chỉ 34%, mỗi ngày khoảng 590 người xem mà không chọn. Phễu cho biết rò ở đâu; khảo sát người bỏ ngang cho biết vì sao. Trong 40 người được hỏi:

• 21 người: "đã quá 10 giờ, không đặt được nữa".
• 11 người: "chỉ xem còn món gì".
• 8 người: lý do khác.

Thứ nhất, giờ chốt 10:00, mâu thuẫn C3, quay lại như nhật ký đã cảnh báo. Thứ hai, 11 người "chỉ xem còn món gì" không phải chỗ rò: họ dùng app để chọn quầy, và đếm họ là thất bại của phễu là đọc sai.

Cỡ mẫu 40 người là nhỏ. Bạn được nói "khoảng một nửa người bỏ ngang được hỏi nhắc tới giờ chốt", không được nhân 21 trên 40 với 590 để ra một con số chính xác.

Phân nhóm người đặt

Trong 205 đơn mỗi ngày tuần 4:

• Người chạy lịch, có lớp 12:45 theo thời khóa biểu: 46%, khoảng 94 đơn.
• Người tới muộn, chọn khung nhận sau 12:15: 18%.
• Còn lại: 36%.

Nhóm lớn nhất đúng là nhóm mà con số 2.100 sinh viên ở bài 1 và câu "Thứ Hai em hay nhịn trưa" của Minh Anh đã chỉ ra: app đến đúng người cần nó nhất. Người tới muộn như Quốc Bảo cũng có mặt.

Hàng thường, suất bỏ đi và tuần thi

Xếp hàng thường: 21 phút đường cơ sở, rồi 20, 18, 15, 17. Tuần 3 là tuần thi, nên 15 phút được làm đẹp bởi lượng người đi học giảm. Khi tuần 4 trở lại bình thường, con số bật lên 17. Cách đọc trung thực: so tuần 4 với đường cơ sở, hàng giảm khoảng 4 phút; con số 15 không được dùng làm kết luận.

Suất bỏ đi kể chuyện khác: 40, rồi 38, 33, 27, 26. Tuần 3 cũng bị làm đẹp, nhưng tuần 4 không có tuần thi mà vẫn giữ ở 26. Cải thiện này có vẻ bền hơn. Một lời giải thích hợp lý: đơn đặt trước cho Cô Hạnh con số trước mẻ nấu 10:30, đúng nỗi đau P6.

Người đã đặt lấy suất trong trung vị 3 phút, so với 17 phút của hàng thường tuần 4.

Tương quan hay nguyên nhân

Tỉ lệ không tới lấy giảm từ 14% xuống 7%. Có phải nhờ trả trước? Chưa chắc. Hai lời giải thích khác: người dùng quen dần với khung nhận, và người hay quên đã bỏ app sau tuần 1. Đợt chạy thử không có nhóm so sánh trả khi nhận, nên dữ liệu này không tách được nguyên nhân. Khi cần biết chắc một thay đổi gây ra kết quả, bạn cần một thử nghiệm thật có nhóm đối chứng; khóa A/B Testing & Thử nghiệm sản phẩm dạy cách làm.

Email phàn nàn: 14 trong tháng chạy thử so với 25; 9 về xếp hàng, 2 về hết món, 3 về app như quên mật khẩu tài khoản trường, không thấy món chay. Hướng tốt, nhưng chỉ một tháng, lại có tuần thi.

Bảng còn món và các chỉ số bảo vệ

Bảng "còn món" có khoảng 420 lượt xem mỗi ngày từ 11:45 tới 12:45. Trong những người tới sau 12:30 đã xem bảng, 35% đi thẳng sang quầy khác. Đó đúng là điều Quốc Bảo mong: "Giá mà biết trước là hết thì em ghé quầy bánh mì luôn." Hành vi này không có đường cơ sở, nên chỉ nói được là bảng đang được dùng đúng mục đích.

Chỉ số bảo vệ đều giữ: doanh thu quầy cơm tuần 4 tăng 4% so với đường cơ sở; Cô Hạnh nói "phiếu in thì cô làm được"; hoàn tiền từ 6 xuống 2 lần mỗi ngày; nhân viên quên bấm "hết" từ 5 lần tuần 1 xuống 1 lần tuần 4; lỗi in phiếu về 0.

Những gì chưa đo lại

Hai chỉ số có đường cơ sở nhưng chưa có số sau: 31% sinh viên bỏ bữa, và 6 trên 10 ngày hết món mặn trước 12:30. Bản đọc phải ghi rõ điều này, và đề xuất hỏi lại 200 sinh viên bằng đúng câu hỏi cũ.

Lộ trình từng bước

• Đặt mỗi chỉ số cạnh đường cơ sở và mục tiêu của nó.
• Đánh dấu tuần bị nhiễu bởi lịch học vụ và đọc chúng riêng.
• Vẽ phễu, tính tỉ lệ từng bước, tìm bước rơi nhiều nhất.
• Dùng khảo sát hoặc phỏng vấn để giải thích chỗ rơi, nói rõ cỡ mẫu.
• Tách người đặt theo nhóm, đối chiếu với nhóm mà khám phá đã chỉ ra.
• Với mỗi kết luận, viết ít nhất một lời giải thích khác.
• Liệt kê chỉ số chưa đo lại và đề xuất cách đo.

Thói quen & kỷ luật

Cần luyện tập

Drill một: Viết đoạn ba câu về thời gian xếp hàng thường cho Chị Lan, dùng 21, 15 và 17 phút, sao cho cô không thể hiểu nhầm rằng app đã giảm hàng còn 15 phút.

Drill hai: Một bạn đề xuất "bỏ bảng còn món vì 11 người xem rồi không đặt". Dùng số liệu bảng còn món và câu của Quốc Bảo để phản biện.

Drill ba: Lấy một con số tăng trong đồ án hay câu lạc bộ của bạn. Viết hai lời giải thích khác ngoài điều bạn muốn tin.

Checklist hành động tuần này

• [ ] Đặt mọi chỉ số cạnh đường cơ sở và mục tiêu
• [ ] Đánh dấu tuần thi hoặc tuần bất thường trong bảng
• [ ] Vẽ phễu và tìm bước rơi nhiều nhất
• [ ] Ghi cỡ mẫu cạnh mọi tỉ lệ từ khảo sát
• [ ] Liệt kê chỉ số chưa đo lại và cách đo

Chỉ số cho cách làm

Những con số này đo xem nhóm bạn đọc dữ liệu trung thực tới đâu, không đo app có thành công không; chuyện app thành công là nội dung bản đọc, còn đây là chất lượng của bản đọc.

Dấu hiệu bạn đã thành thạo

• Thấy 15 phút, bạn hỏi ngay "tuần đó có gì khác?".
• Bạn không hoảng khi lượt mở app giảm trong khi đơn tăng.
• Bạn nói "khoảng một nửa trong 40 người", không nói "53% người dùng".

Cạm bẫy thường gặp

Chốt lại

Sau bốn tuần, North Star tăng, hàng thường giảm khoảng 4 phút so với đường cơ sở, suất bỏ đi giảm từ 40 xuống 26, và mọi chỉ số bảo vệ đều giữ. Lượt mở app giảm vì hết hiệu ứng mới lạ, không phải vì mất người dùng. Chỗ rò lớn nhất là xem thực đơn sang chọn món, 34%, và khoảng một nửa người bỏ ngang được hỏi nói lý do là giờ chốt 10:00. Tuần 3 bị tuần thi làm đẹp, mẫu còn nhỏ, và một số thay đổi chưa tách được nguyên nhân. Bản đọc này đi vào buổi họp ở bài 6.