Tư duy xác suất trong sản phẩm

Hai thế giới, hai cách tạo ra giá trị

Trong hai mươi năm qua, phần mềm tạo ra giá trị bằng cách làm đúng một việc, mọi lần. Bạn nhập một số, nó cộng đúng. Bạn bấm lưu, nó lưu. Nếu sai, đó là lỗi, và lỗi thì sửa được cho hết.

Sản phẩm AI tạo ra giá trị theo cách khác hẳn: làm đúng phần lớn các lần, và giá trị đến từ phần lớn đó, sau khi trừ đi cái giá của phần còn lại. Sai không phải lỗi. Sai là một phần của cách nó hoạt động, và nó không bao giờ hết.

Đây không phải sự khác biệt về kỹ thuật. Nó là sự khác biệt về điều gì được coi là thành công — và nó chạm vào mọi thứ: cách bạn viết yêu cầu, cách bạn nghiệm thu, cách bạn hứa với khách hàng, cách bạn quyết định đã làm xong hay chưa.

Vì sao người có hai mươi năm kinh nghiệm lại khó hơn người mới

Đây là điều nghe phản trực giác nhưng quan sát được ở rất nhiều tổ chức: kinh nghiệm sâu trong thế giới tất định đôi khi là gánh nặng, không phải lợi thế, khi bước sang sản phẩm AI.

Lý do không phải vì họ kém thích nghi. Lý do là những phản xạ đã giúp họ thành công suốt hai mươi năm — và đã trở nên tự động tới mức không còn được suy nghĩ nữa — lại dẫn sai trong bối cảnh mới.

Người mới vào nghề không có lợi thế về kiến thức — họ có lợi thế vì không có gì phải gỡ bỏ. Đây chính là điều đã xảy ra vào khoảng năm 2010 với sản phẩm mạng xã hội: người hiểu rằng giá trị đến từ hành vi của người dùng với nhau, chứ không từ tính năng, đã đi trước một quãng dài — và phần lớn họ trẻ, không phải vì trẻ thì giỏi hơn, mà vì họ không có mô hình cũ để bảo vệ.

Giá trị đến từ phân phối — cách tính thật

Đây là phép tính trung tâm của tư duy xác suất, và nó đơn giản hơn vẻ ngoài:

Giá trị = (tỉ lệ đúng × lợi ích mỗi lần đúng) − (tỉ lệ sai × cái giá mỗi lần sai) − chi phí vận hành

Ba điều rơi ra từ phép tính này, và cả ba đều trái với trực giác của thế giới tất định:

• Một hệ thống đúng 70% có thể rất giá trị, nếu cái giá của lần sai gần bằng không và lợi ích mỗi lần đúng lớn. Gợi ý thẻ phân loại là ví dụ: đoán sai thì người dùng sửa trong hai giây.
• Một hệ thống đúng 99% có thể vô dụng hoặc nguy hiểm, nếu 1% kia là chẩn đoán y khoa sai hoặc chuyển nhầm tiền. Con số 99% không nói lên điều gì khi đứng một mình.
• Nâng độ chính xác không phải lúc nào cũng là việc đáng làm nhất. Giảm cái giá của lần sai thường rẻ hơn nhiều và hiệu quả hơn nhiều — một nút hoàn tác có thể đáng giá hơn sáu tháng cải thiện mô hình.

Điểm cuối cùng là điểm quan trọng nhất và bị bỏ qua nhiều nhất. Đội kỹ thuật theo bản năng sẽ đi nâng độ chính xác, vì đó là thứ họ biết làm. Người làm sản phẩm phải hỏi câu còn lại: nếu chúng ta không thể làm nó đúng hơn, chúng ta có thể làm cho lần sai rẻ đi không?

Đổi câu hỏi — bộ câu hỏi mới cho mọi tính năng AI

Đổi được năm câu hỏi này là đã đi được phần lớn quãng đường. Chúng không đòi hỏi kiến thức kỹ thuật — chúng đòi hỏi bỏ một thói quen.

Khi nào xác suất là lựa chọn SAI

Tư duy xác suất không có nghĩa là dùng AI ở mọi chỗ. Một phần quan trọng của kỹ năng này là biết khi nào không.

Dấu hiệu bạn đang dùng sai công cụ: nếu bạn có thể viết ra đầy đủ quy tắc trong một trang giấy, thì hãy viết quy tắc. Dùng AI cho việc đó là chọn một công cụ đắt hơn, chậm hơn và ít tin cậy hơn — chỉ vì nó mới.

Tình huống thực tế — cùng một tính năng, hai cách nghĩ

Bối cảnh: công ty bảo hiểm muốn tự động phân loại hồ sơ bồi thường thành "đơn giản" và "cần xem xét".

Cách nghĩ tất định (và nó thất bại ra sao): "Xây hệ thống phân loại hồ sơ. Yêu cầu: phân loại chính xác. Nghiệm thu: chạy đúng trên bộ kiểm thử." Đội làm sáu tháng, đạt 86% chính xác, và không ai biết như vậy là đạt hay không đạt. Nghiệm thu bế tắc. Kinh doanh nói đã hứa "tự động phân loại" với khách. Dự án dừng.

Cách nghĩ xác suất:

• Tách hai loại sai và định giá chúng riêng. Gán nhầm hồ sơ phức tạp vào nhóm đơn giản: nguy hiểm, có thể chi trả sai. Gán nhầm hồ sơ đơn giản vào nhóm cần xem xét: chỉ tốn thời gian người. Hai loại sai này không hề ngang giá.
• Chỉnh hệ thống nghiêng về loại sai rẻ hơn. Chấp nhận đẩy nhiều hồ sơ sang nhóm cần xem xét hơn mức tối ưu, để gần như không bao giờ bỏ lọt hồ sơ phức tạp.
• Đặt ngưỡng theo giá trị kinh doanh: nếu 60% hồ sơ được xử lý tự động và tỉ lệ bỏ lọt dưới 0,5%, đội xử lý giảm được một phần ba khối lượng. Đó là thành công, và nó đo được.
• Thiết kế cho lần sai: mọi hồ sơ được tự động duyệt đều có thể rà lại trong 30 ngày; mẫu ngẫu nhiên 2% được người kiểm hằng tuần.

Cùng một mô hình 86% chính xác. Cách nghĩ thứ nhất gọi đó là thất bại; cách nghĩ thứ hai biến nó thành một tính năng đang chạy và tạo ra giá trị thật. Khác biệt hoàn toàn nằm ở cách đặt câu hỏi, không nằm ở công nghệ.

Cách luyện tư duy này

• Với mọi tính năng AI, viết ra bảng hai loại sai trước khi viết bất cứ thứ gì khác. Sai kiểu A tốn gì, sai kiểu B tốn gì. Hai cột này gần như không bao giờ bằng nhau, và biết điều đó sẽ định hình toàn bộ thiết kế.
• Tập nói bằng khoảng, không nói bằng điểm. "Khoảng 80–88% trên hồ sơ thường, thấp hơn nhiều với hồ sơ có phụ lục viết tay" thay vì "chính xác 86%".
• Khi thấy một kết quả sai, hỏi "loại nào" trước khi hỏi "vì sao". Thói quen đuổi theo từng ca sai riêng lẻ là di sản của thế giới tất định.
• Trước khi xin cải thiện mô hình, hỏi: làm lần sai rẻ đi có rẻ hơn không?
• Không bao giờ quyết định dựa trên một lần chạy thử. Chạy lại cùng đầu vào năm lần và nhìn sự khác nhau — bước này thay đổi trực giác nhanh hơn mọi bài đọc.

Hiccups thường gặp và cách xử lý

Vì sao vai trò của bạn cần cái này

Definition of done

• Mọi tính năng AI đều có bảng hai loại sai, và hai loại được định giá riêng.
• Ngưỡng "đủ tốt" được chốt trước khi xây, bởi người có thẩm quyền kinh doanh.
• Cam kết với khách hàng luôn kèm mức chính xác và phạm vi áp dụng.
• Đội nói về kết quả bằng khoảng và theo nhóm ca, không bằng một con số duy nhất.
• Trước mỗi đề xuất nâng độ chính xác, đã cân nhắc phương án làm lần sai rẻ đi.
• Có kiểm tra lại: việc này có thật sự cần xác suất, hay quy tắc tất định làm được?