Bài 8 — Vận hành hàng ngày: incident, on-call và cải tiến liên tục

Lên production không phải vạch đích mà là vạch xuất phát của vận hành. Bài này gộp tất cả thành một nhịp làm việc bền vững: xử lý sự cố (incident), trực (on-call), và vòng lặp cải tiến để agent tốt lên theo thời gian mà không sập.

Quy trình xử lý sự cố

Khi alert kêu, đừng ứng biến. Có quy trình rõ:

• Phát hiện — alert theo SLO (Bài 4) kích hoạt.
• Giảm thiểu trước, điều tra sau — kill switch/rollback (Bài 5) để cầm máu ngay.
• Phân vai — một người chỉ huy sự cố (incident commander), một người ghi chép, một người liên lạc.
• Khôi phục — xác nhận SLO xanh lại, mở van dần.
• Học — hậu kiểm (postmortem) không đổ lỗi (blameless) trong 48h.

Ví dụ dòng thời gian một sự cố

09:02  alert HighErrorBurn (page)
09:04  IC nhận, tuyên bố sự cố
09:06  config rollback prompt v9 -> v8   (mitigation)
09:09  error_rate về bình thường
09:20  canary lại v9 ở 1% để tái hiện
11:00  postmortem: v9 thiếu case đơn hàng rỗng -> thêm vào golden set

Điểm mấu chốt: cầm máu ở phút 06 trước khi hiểu nguyên nhân — user được cứu trước.

Postmortem không đổ lỗi

Mục tiêu là sửa hệ thống, không sửa con người. Mỗi postmortem nên có: dòng thời gian, tác động (bao nhiêu user, bao lâu, tốn bao nhiêu), nguyên nhân gốc, và hành động phòng ngừa có người phụ trách và hạn chót. Với agent, hành động thường là: bổ sung ca vào golden set, thêm guardrail, siết alert.

Vòng lặp cải tiến liên tục

Agent gặp input mới mỗi ngày, nên chất lượng có thể trôi (drift). Duy trì vòng lặp:

• Thu log các ca thất bại/leo thang thật.
• Gắn nhãn và thêm vào golden set (Bài 2) để không tái phạm.
• Cải tiến prompt/tool/guardrail.
• Chạy eval gate — chỉ phát hành nếu điểm không tụt.
• Canary ra thật (Bài 6) và đo lại.

Khung tư duy: nhịp vận hành hàng tuần

• Hàng ngày: liếc dashboard bốn tín hiệu vàng, xử lý ticket.
• Hàng tuần: xem ca leo thang, cập nhật golden set, kiểm tra chi phí xu hướng.
• Hàng tháng: soát SLO còn hợp lý không, diễn tập rollback, dọn alert nhiễu.

Các bước làm

• Lập lịch on-call với runbook cho từng alert; ai cũng biết mình cần làm gì.
• Chuẩn hóa vai incident và tập một buổi diễn tập sự cố.
• Viết mẫu postmortem blameless và bắt buộc cho mọi sự cố page.
• Chạy vòng lặp golden set hàng tuần từ ca thất bại thật.
• Rà SLO/chi phí/alert định kỳ để hệ thống không thối rữa theo thời gian.

Checklist vận hành

• [ ] Có lịch on-call và runbook cho từng alert.
• [ ] Vai incident (IC/ghi chép/liên lạc) đã rõ và được diễn tập.
• [ ] Mọi sự cố page có postmortem blameless trong 48h.
• [ ] Ca thất bại thật được đưa vào golden set hàng tuần.
• [ ] SLO, chi phí và alert được rà soát định kỳ.

Sai lầm thường gặp

• Điều tra trước khi cầm máu. User chịu đau lâu hơn cần thiết; hãy mitigate trước.
• Postmortem đổ lỗi cá nhân. Người ta giấu lỗi, hệ thống không học được gì.
• Không đóng vòng lặp golden set. Cùng một loại lỗi tái diễn mãi.
• "Lên xong là quên". Không rà soát định kỳ thì SLO lạc hậu và alert thành nhiễu.

Hoàn thành 8 bài, bạn có một khung đầy đủ: từ định nghĩa production, tiêu chí go-live, observability, SLO/alert, rollback, scale có kiểm soát, an toàn hành động, đến vận hành liên tục. Hãy làm bài thi tổng kết để kiểm tra khả năng vận dụng.