Chấm điểm một tính năng đã ra mắt

Chuẩn bị trước

• Tính năng đã ra mắt ít nhất 6–8 tuần, đủ để thấy đường giữ chân có đi ngang không
• Quyền vào công cụ phân tích, hoặc một bạn data kéo số giúp
• Mục tiêu đã đặt trước khi ra mắt — nếu không có, ghi rõ là không có
• Kết quả khảo sát trong ứng dụng và các ticket hỗ trợ nhắc tới tính năng

Các bước

1. Bước 1 Viết câu hỏi quyết định và chép lại mục tiêu đã đặt

   Ghi một câu: scorecard này giúp quyết việc gì, và ai quyết. Chép các mục tiêu đã đặt trước ra mắt vào một cột riêng. Nếu không có mục tiêu, ghi "không có" — đừng đặt mục tiêu sau khi đã thấy số; lúc đó mục tiêu chỉ là con số vừa đủ để trông thành công.

   Ví dụ

   Bối cảnh (giả định): SổBán là ứng dụng bán hàng cho 45.000 cửa hàng nhỏ — tạp hoá, quán cà phê, shop quần áo. Mười tuần trước đội ra mắt Báo cáo lãi cuối ngày: 21 giờ mỗi tối, ứng dụng gửi doanh thu, giá vốn và lãi gộp của ngày hôm đó.

   Câu hỏi: quý 1 có giao thêm 2 engineer để làm báo cáo tuần và
            so sánh với tuần trước, hay chuyển họ sang việc khác?
   Người quyết: chị Thảo, Head of Product.
   Mục tiêu đặt trước ra mắt:
     - Dùng thử: 25% cửa hàng mục tiêu trong 30 ngày
     - Giữ chân tuần 8: 40% trong số đã thử
     - Rời gói trả phí: giảm 1 điểm % ở cửa hàng mục tiêu

2. Bước 2 Định nghĩa đối tượng và đếm

   Viết một câu: tính năng dành cho ai, bằng điều kiện đo được. Đếm số người hoặc cửa hàng thoả điều kiện trong kỳ. Con số này là mẫu số của mọi bước sau. Dùng "toàn bộ người dùng" làm mẫu số sẽ làm tỉ lệ dùng thử thấp một cách giả tạo — và che mất một câu hỏi quan trọng: đối tượng có đủ lớn không.

   Ví dụ

   Đối tượng: cửa hàng đã nhập giá vốn cho ít nhất 70% mặt hàng — không có giá vốn thì báo cáo lãi vô nghĩa. Đếm: 13.500 trên 45.000 cửa hàng hoạt động, tức 30%.

   Đây đã là phát hiện đầu tiên: 70% cửa hàng không thể dùng tính năng, dù muốn đến đâu.

3. Bước 3 Đo dùng thử bằng hành động cốt lõi, không bằng lượt mở

   Định nghĩa "đã dùng" là hành động cho thấy tính năng làm được việc của nó, không phải lượt mở hay lượt thấy. Tính tỉ lệ trong đối tượng, trong 30 ngày đầu. Ghi cả con số bạn không dùng, để người đọc hiểu vì sao kết quả có thể thấp hơn số họ từng nghe.

   Ví dụ

   Mở thông báo chưa phải dùng — nhiều người vuốt bỏ. Đội định nghĩa: mở màn báo cáo và ở lại ít nhất 10 giây, hoặc bấm vào một dòng mặt hàng. Kết quả: 5.130 / 13.500 = 38% trong 30 ngày, vượt mục tiêu 25%. Nếu đếm lượt mở thông báo, con số sẽ là 61% — đẹp hơn và sai hơn.

4. Bước 4 Dựng bảng giữ chân theo cohort và đọc hình dạng

   Nhóm người dùng thử theo tuần bắt đầu. Với mỗi cohort, tính tỉ lệ còn thực hiện hành động cốt lõi ở tuần 1, 2, 4, 8. Đọc hình dạng: rơi về gần 0 là không có giá trị lâu dài; rơi rồi đi ngang là có một nhóm ở lại thật; rơi rồi lên lại là nhu cầu theo chu kỳ. Đo theo tần suất tự nhiên của nhu cầu.

   Ví dụ

   Cohort bắt đầu	Tuần 1	Tuần 2	Tuần 4	Tuần 8
   Tuần ra mắt	100%	62%	49%	44%
   Tuần 2	100%	60%	47%	43%
   Tuần 3	100%	64%	51%	—
   Tuần 4 (thêm dòng "mặt hàng lãi nhất")	100%	70%	56%	—

   Đường rơi rồi đi ngang quanh 43–44%, trên mục tiêu 40%: có một nhóm thấy giá trị thật và ở lại. Cohort tuần 4 cao hơn rõ sau khi thêm dòng mặt hàng lãi nhất — cải tiến đó có tác dụng.

5. Bước 5 Đọc hài lòng: khảo sát một câu và ticket hỗ trợ

   Hỏi người đã dùng ít nhất ba lần, ngay sau hành động cốt lõi, một câu thang 1–5 và một ô tự do. Gom ô tự do thành vài ý lặp nhiều nhất. Rồi đọc ticket có nhắc tới tính năng: tính năng được dùng nhiều mà sinh nhiều ticket đang tốn tiền vận hành theo cách không dashboard nào cho thấy.

   Ví dụ

   CSAT 4,1 (n = 860). Ba ý lặp nhiều nhất trong ô tự do: muốn xem theo tuần (212 lượt), số lãi sai vì quên nhập giá vốn hàng mới (148), muốn nhận lúc 22 giờ sau khi đóng cửa (61). Ticket: 4,8 trên 1.000 cửa hàng dùng mỗi tuần, gần gấp đôi trung bình của ứng dụng — phần lớn là câu hỏi "sao lãi âm", cũng do thiếu giá vốn.

6. Bước 6 Ước tính tác động kinh doanh mà không tự lừa mình

   So người dùng với người không dùng gần như luôn phóng đại tác động: người chịu dùng tính năng vốn đã là khách tích cực hơn. Dùng nhóm giữ lại (holdout) nếu có; nếu không, so trong cùng đối tượng giữa trước và sau, hoặc với nhóm tương tự chưa được bật. Nói bằng khoảng, kèm cách so.

   Ví dụ

   Bảng thô: cửa hàng dùng báo cáo rời gói trả phí 1,2% mỗi tháng, không dùng 3,9% — chênh 2,7 điểm. Nhưng cửa hàng chịu nhập giá vốn vốn đã là cửa hàng chăm chỉ.

   SổBán đã giữ 10% đối tượng không nhận báo cáo khi ra mắt. So trong đối tượng: 1,6% với 2,3% — chênh 0,7 điểm, khoảng hợp lý 0,2–1,2. Mục tiêu 1 điểm chưa đạt, nhưng tác động có thật, và nhỏ hơn gần bốn lần so với bảng thô.

   Mẹo: Nếu ra mắt không có holdout, ghi rõ trong scorecard rằng tác động là ước tính có thiên lệch, và đặt holdout vào tracking plan của lần sau.

7. Bước 7 Điền scorecard và ra một quyết định

   Gộp tất cả vào một bảng: chỉ số, định nghĩa, kết quả, mục tiêu, đánh giá. Tìm lăng kính yếu nhất — đó là nơi đầu tư tiếp. Chọn một trong bốn: giữ, cải tiến, định vị lại cho đối tượng khác, hoặc khai tử. Ghi việc tiếp theo, người làm và ngày xem lại.

   Ví dụ

   Chỉ số	Kết quả	Mục tiêu	Đánh giá
   Đối tượng	13.500 cửa hàng, 30%	—	Nhỏ
   Dùng thử 30 ngày	38%	25%	Tốt
   Giữ chân tuần 8	43–44%, đi ngang	40%	Tốt
   Hài lòng	CSAT 4,1; ticket gấp đôi trung bình	—	Cần chú ý
   Rời gói trả phí	-0,7 điểm (0,2–1,2), so với holdout	-1 điểm	Gần đạt

   Quyết định: cải tiến — nhưng không phải báo cáo tuần như đội định làm. Điểm nghẽn là lăng kính đầu tiên: chỉ 30% cửa hàng đủ điều kiện dùng, và giá vốn thiếu cũng là nguồn ticket. Hai engineer quý 1 làm nhập giá vốn nhanh: quét hoá đơn nhập hàng, gợi ý giá vốn theo lần nhập trước. Mục tiêu: đối tượng từ 30% lên 45%. Báo cáo tuần lùi sang quý 2. Chị Thảo đồng ý; xem lại ngày 15/3.

Bạn xong khi

• Mỗi dòng scorecard có định nghĩa đủ rõ để người khác kéo lại ra cùng con số
• Đối tượng là mẫu số của dùng thử, không phải toàn bộ người dùng
• Có bảng giữ chân theo cohort và một câu đọc hình dạng đường
• Tác động kinh doanh nêu rõ cách so sánh và nói bằng khoảng
• Có một trong bốn quyết định, kèm việc tiếp theo, người làm và ngày xem lại

Lỗi thường gặp

Tiếp theo

Kỹ năng Feature Adoption & Impact Evaluation có đủ bốn lăng kính, cách chọn giữa giữ, cải tiến, định vị lại và khai tử, và cách khai tử một tính năng mà không làm người dùng nổi giận. Cách đọc đường cong và chọn định nghĩa "hoạt động" theo tần suất tự nhiên nằm trong Retention & Engagement Analysis. Khi trình bày cho người quyết, dùng mẫu Feature Impact Review.