Bài 1 — AI Ops (MLOps) là gì và tại sao Product Manager cần vào cuộc
Bạn đã từng nghe câu chuyện này: một mô hình chấm điểm tín dụng chạy tốt lúc ra mắt, sau 3 tháng tự nhiên tỷ lệ duyệt sai tăng vọt, khách hàng khiếu nại, và không ai biết chuyện gì đang xảy ra. Đó chính là "khoảng trống vận hành" mà AI Ops (MLOps) ra đời để lấp đầy.
Từ "ship mô hình" đến "vận hành mô hình"
Trong software truyền thống, code chạy sao thì mãi chạy vậy cho đến khi bạn sửa nó. Với AI, mô hình học từ dữ liệu, mà thế giới thực thay đổi liên tục — hành vi người dùng, giá cả, đối thủ, mùa vụ. Vì thế một mô hình "đúng" hôm nay có thể "sai" dần theo thời gian mà không ai đụng vào code. Đây gọi là model decay (mô hình xuống cấp).
AI Ops là tập hợp quy trình + công cụ để một mô hình sau khi lên production vẫn đáng tin cậy, an toàn và giải trình được. Nó gồm 5 trụ cột mà cả khóa học này sẽ đào sâu:
- Monitoring & drift detection — phát hiện sớm khi dữ liệu hoặc chất lượng lệch chuẩn.
- Safe deployment — canary, shadow, rollback để triển khai không gây sập.
- Quality gate & retrain — chỉ cho mô hình mới lên production khi vượt qua "cửa chất lượng".
- Alerting & incident response — cảnh báo đúng người, đúng lúc, giảm MTTR.
- Lineage & audit — truy vết nguồn gốc để tuân thủ và điều tra sự cố.
Vì sao PM (không chỉ kỹ sư) phải quan tâm
Nhiều PM nghĩ "vận hành là việc của ML engineer". Sai lầm chết người. AI Ops quyết định trực tiếp trải nghiệm người dùng và rủi ro kinh doanh:
- Một quyết định "ngưỡng cảnh báo drift là bao nhiêu" chính là đánh đổi giữa bắt lỗi sớm và nhiễu cảnh báo — đây là product tradeoff, không phải quyết định kỹ thuật thuần túy.
- "Khi mô hình lỗi, ta rollback tự động hay giữ nguyên và cảnh báo?" phụ thuộc vào rủi ro nghiệp vụ (một app gợi ý nhạc khác hoàn toàn với một hệ thống chẩn đoán y tế).
- Yêu cầu audit/lineage đến từ pháp lý và niềm tin khách hàng — thứ PM sở hữu.
Khung tư duy: "Vòng đời vận hành mô hình"
Hãy ghi nhớ vòng lặp này — nó là xương sống của cả khóa:
Deploy an toàn → Monitor → Phát hiện drift/lỗi → Cảnh báo → Điều tra (lineage) → Quyết định (retrain / rollback) → Quality gate → Deploy an toàn...
Mỗi mắt xích hỏng đều gây thiệt hại: monitor kém thì mù; alert kém thì phản ứng chậm; không có quality gate thì "chữa lợn lành thành lợn què".
Ví dụ cụ thể
Một sàn TMĐT dùng mô hình dự đoán gian lận thanh toán. Sau đợt sale lớn, hành vi mua thay đổi (đơn giá trị cao, giờ mua bất thường). Mô hình bắt đầu chặn nhầm khách thật (false positive tăng). Nếu có AI Ops đúng:
- Monitoring bắt được input drift (phân phối giá trị đơn thay đổi) trong vài giờ.
- Alert gửi tới on-call PM + ML engineer kèm dashboard.
- Lineage cho biết mô hình đang chạy là
v2.3, train trên dữ liệu tháng trước sale. - Quyết định: tạm nới ngưỡng chặn (mitigation) + kích hoạt retrain với dữ liệu mới, qua quality gate rồi canary.
Checklist khởi động cho AI Ops PM
- [ ] Xác định business metric mô hình phục vụ (doanh thu, giữ chân, chi phí, rủi ro).
- [ ] Định nghĩa guardrail metric (false positive, latency, fairness) không được vượt.
- [ ] Biết mô hình quyết định gì tự động và hậu quả khi sai.
- [ ] Có owner on-call rõ ràng cho từng mô hình production.
- [ ] Có ít nhất một dashboard sức khỏe mô hình ai cũng xem được.
Sai lầm thường gặp
- Coi accuracy lúc offline là bảo chứng vĩnh viễn. Offline tốt không đảm bảo online tốt và càng không đảm bảo duy trì tốt.
- Không ai "sở hữu" mô hình sau khi ship. Không owner = không ai phản ứng khi drift.
- Đo cái dễ đo thay vì cái quan trọng. Theo dõi CPU mà quên theo dõi chất lượng dự đoán.
- Nghĩ AI Ops là dự án một lần. Nó là năng lực vận hành liên tục, không phải checklist ship một lần rồi thôi.