Biến "tốt hơn" thành con số đo được

Vấn đề với "tốt hơn"

Trong thế giới tất định, "xong" là một trạng thái quan sát được: tính năng chạy hoặc không chạy. Trong thế giới xác suất không có trạng thái đó — chỉ có một con số, và con số đó luôn có thể cao hơn.

Nên câu hỏi đổi từ "đã xong chưa" thành "đủ tốt chưa". Và câu thứ hai không trả lời được nếu không ai định nghĩa "đủ".

Ba loại tiêu chí thay thế — dùng cả ba

Bất biến là chỗ bạn giữ lại được sự chặt chẽ cũ, và nó quan trọng hơn người ta tưởng. Rất nhiều thứ trong một tính năng AI vẫn hoàn toàn tất định: định dạng đầu ra, phạm vi quyền truy cập, tập nhãn hợp lệ, việc không bao giờ tự động gửi mà không có người duyệt. Viết chúng thành bất biến và kiểm chúng như phần mềm thường.

Dải hành vi là loại hay bị bỏ sót nhất, và nó quyết định sản phẩm dùng được hay không. Nó đặc tả điều mà thế giới tất định không cần đặc tả: hệ thống phải làm gì khi nó không chắc.

Từ mơ hồ tới đo được — sáu bước

Lấy một tiêu chí không kiểm được: "Hệ thống phân loại phiếu hỗ trợ vào đúng nhóm."

1. Tách phần bất biến ra trước. Cái gì phải đúng mọi lần? "Đầu ra luôn là một trong 8 nhãn đã định, không bao giờ tạo nhãn mới." "Phiếu của khách hàng A không bao giờ hiện cho người xử lý của khách hàng B."

2. Định nghĩa "đúng" bằng một bộ ca có sẵn đáp án. 200 phiếu thật, hai người có nghề gán nhãn độc lập. Chỗ hai người bất đồng cũng là thông tin — đó là những ca mà con người cũng không chắc.

3. Đặt ngưỡng theo nhóm ca, không một con số chung. "≥90% trên nhóm phiếu rõ ràng; ≥70% trên nhóm phiếu mơ hồ." Một con số chung che giấu việc hệ thống có thể rất tệ ở nhóm ca quan trọng.

4. Ngưỡng riêng cho loại sai nguy hiểm. "Phiếu khẩn cấp bị gán nhầm sang nhóm thường: ≤0,5%." Loại sai này không được gộp chung với loại sai rẻ.

5. Dải hành vi cho ca không chắc. "Khi độ tin cậy dưới ngưỡng, gán nhãn CẦN_NGƯỜI_XEM thay vì đoán." "Khi phiếu không thuộc nhóm nào, gán nhãn KHÁC — không nhét vào nhóm gần đúng nhất."

6. Điều kiện giữ ngưỡng theo thời gian. "Ngưỡng được đo lại hằng tháng trên 100 phiếu mới; tụt quá 5 điểm thì coi là sự cố."

Bước 6 không tồn tại trong thế giới tất định. Một hàm cộng đúng hôm nay sẽ đúng mãi mãi. Một mô hình đạt 90% hôm nay có thể còn 78% sau sáu tháng khi dữ liệu thật đổi — và không có gì báo cho bạn biết.

Trần thực tế: mức đồng thuận giữa người với người

Khi hai chuyên gia gán nhãn độc lập cùng một bộ ca, họ sẽ không khớp 100%. Nếu họ chỉ khớp 75%, thì kỳ vọng máy đạt 95% là vô lý — bài toán tự nó mơ hồ tới mức đó.

Đo con số này trước sẽ tránh được một cuộc tranh cãi rất dài về sau, và nó chỉ tốn một buổi. Nó cũng cho bạn một câu trả lời sẵn khi có người hỏi "sao không làm nó chính xác hơn".

Ba nhóm ca phải có trong bộ chuẩn

Nhóm thứ ba phân biệt sản phẩm thật với demo. Một hệ thống nói được "tôi không tìm thấy" đáng tin hơn hẳn một hệ thống luôn có câu trả lời — và nó là nhóm ca duy nhất mà người dùng thật sự nhớ, vì nó là lúc hệ thống thừa nhận giới hạn thay vì đoán bừa.

Làm ngay

Viết lại tiêu chí của tính năng bạn chọn theo ba loại: một bất biến, một ngưỡng, một dải hành vi cho tình huống không chắc. Nếu chưa viết được ngưỡng vì chưa có cách đo — ghi đúng như vậy, và đó là việc đầu tiên cần làm, không phải thứ để lờ đi.