Ghép mọi thứ đã học vào một tình huống thật. Bối cảnh: công ty B2B 800 nhân sự, đã có 25 agent shadow rải rác. Ban lãnh đạo giao bạn dựng CoE trong 6 tháng để 5 phòng ban tự xây agent an toàn, giảm chi phí trùng lặp và kiểm soát rủi ro bảo mật.
Lộ trình 90 ngày đầu
Tháng 1 — Nền móng
- Chốt sponsor (CTO) + ngân sách; lập hub 5 người (2 platform, 1 governance, 2 enablement).
- Kiểm kê 25 agent shadow: owner, data, rủi ro (Bài 1) → đưa vào risk register.
- Dựng Model Gateway (Bài 2) và ép 3 agent rủi ro cao nhất trỏ vào ngay để có quan sát.
- Phát hành golden template + scaffolder (Bài 3) và guardrails default (Bài 4).
- Chọn 2 use case đèn hiệu (lighthouse) có ROI rõ, hub cùng spoke build công khai để làm mẫu.
- Bật registry tự đăng ký + tiered review + policy-as-code (Bài 5).
- Dashboard cost/eval (Bài 6), rollout canary chuẩn (Bài 7).
- Đào tạo champion mỗi phòng ban; mở kênh hỏi đáp và giờ office hours.
Xử lý các "cơn đau" điển hình khi scale
Tình huống A — Team né nền tảng vì chậm. Phòng Sales phàn nàn review mất 2 tuần nên họ tự deploy ngoài. → Nguyên nhân: mọi agent bị review như tier cao. Sửa: cho agent read-only, data internal tự động qua (Bài 5); paved road phải nhanh hơn đường tự làm.
Tình huống B — Hóa đơn tăng gấp 3. Một agent bị vòng lặp tool trong đêm. Sửa: max steps + circuit breaker + budget hard cap theo team (Bài 6, 7). Bổ sung alert 80% ngân sách.
Tình huống C — Suýt lộ dữ liệu. Agent đọc email khách bị injection, cố gọi tool gửi dữ liệu ra ngoài. May là agent chỉ có scope read (least privilege) nên bị chặn. → Đưa vào risk register, thêm ca này vào golden set guardrail để tất cả agent được bảo vệ.
Đo lường thành công của CoE
| Nhóm chỉ số | Ví dụ chỉ số |
|---|---|
| Tốc độ (adoption) | Số agent trên nền tảng; thời gian ý tưởng→prod (mục tiêu < 2 tuần) |
| An toàn | Sự cố bảo mật; % agent có guardrails đúng tier; agent mồ côi bị thu hồi |
| Hiệu quả | Chi phí/agent; % tái sử dụng template; giờ tiết kiệm được |
| Chất lượng | Eval score trung bình; % agent đạt SLO |
Khung tư duy: duy trì CoE bền vững
- Paved road luôn phải là đường dễ nhất. Ngày nào tự làm nhanh hơn đi theo chuẩn, người ta sẽ rời bỏ — hãy liên tục giảm ma sát.
- Chuyển dần Centralized → Hub-and-spoke → Federated khi spoke trưởng thành; hub lùi về làm chuẩn và công cụ.
- Ăn mừng và lan tỏa case thắng: mỗi agent ROI cao là một quảng cáo cho nền tảng.
- Cập nhật chuẩn từ sự cố thật, không từ lý thuyết.
Checklist CoE trưởng thành
- [ ] > 80% agent chạy trên nền tảng (shadow AI giảm mạnh).
- [ ] Paved road nhanh hơn tự làm; review low-risk tự động.
- [ ] Có KPI 4 nhóm và báo cáo định kỳ cho sponsor.
- [ ] Risk register sống, feed ngược vào guardrails/golden set.
- [ ] Có champion và office hours ở mỗi phòng ban.
- [ ] Lộ trình chuyển sang mô hình federated khi phù hợp.
Sai lầm thường gặp
- Scale trước khi có paved road tốt: chuẩn hóa cái lộn xộn = nhân rộng lộn xộn.
- Ép tuân thủ bằng mệnh lệnh thay vì làm đường dễ đi: sinh ra shadow AI mới.
- Chỉ báo cáo số agent (vanity metric): lãnh đạo cần thấy ROI, rủi ro giảm, chi phí kiểm soát.
- Hub ôm việc build mãi: trở thành bottleneck; phải trao quyền cho spoke qua template + guardrails.
- Không khép vòng học từ sự cố: cùng một lỗi lặp lại ở agent khác vì golden set/guardrail không được cập nhật.