Sau 6 tháng cho phép các team tự do làm AI agent, một công ty 300 người thường rơi vào trạng thái: phòng Sales có một chatbot tự viết bằng LangChain, phòng CSKH có một agent trả lời ticket dựng trên n8n, phòng Kế toán gọi thẳng OpenAI API trong một file Google Apps Script. Ba team, ba cách log, ba nơi lưu API key, không ai biết agent nào đang được phép đọc dữ liệu khách hàng. Đó chính là bài toán mà Nền tảng Agent nội bộ (Internal Agent Platform) và mô hình AI Center of Excellence (CoE) ra đời để giải quyết.
Vấn đề của việc "để mỗi team tự bơi"
- Trùng lặp: 5 team cùng viết lại phần kết nối LLM, retry, đếm token.
- Rủi ro không kiểm soát: prompt injection, rò rỉ PII, agent xóa nhầm dữ liệu vì có quyền ghi.
- Không đo được chi phí: cuối tháng nhận hóa đơn 4.000 USD mà không biết agent nào tiêu.
- Không tái sử dụng: kinh nghiệm của team giỏi nhất không lan ra được.
Nền tảng làm gì?
Một Internal Agent Platform cung cấp bốn thứ dùng chung:
- Gateway/SDK chung để mọi agent gọi LLM qua một cửa duy nhất (đo token, đổi model, cache).
- Template agent chuẩn đã cài sẵn logging, guardrails, tracing.
- Guardrails mặc định (lọc PII, chặn injection, giới hạn tool) bật sẵn, team muốn tắt phải xin.
- Cổng quản trị (registry + policy) để biết ai đang chạy agent gì, dùng dữ liệu nào.
Mô hình Center of Excellence
CoE không phải nơi tập trung mọi việc xây agent (đó là bottleneck). CoE là mô hình hub-and-spoke: nhóm nền tảng (hub) làm hạ tầng, chuẩn, đào tạo; các team nghiệp vụ (spoke) tự xây agent trên nền đó.
CoE Hub (5-8 người)
├─ Platform: gateway, SDK, template
├─ Governance: policy, review, cost
└─ Enablement: docs, training, support
Spokes: Sales / CSKH / Kế toán / HR ... tự build
Khung tư duy: 3 chế độ vận hành
| Chế độ | Hub làm gì | Spoke làm gì | Phù hợp khi |
|---|---|---|---|
| Centralized | Xây tất cả | Chỉ nêu yêu cầu | Mới bắt đầu, ít agent |
| Hub-and-spoke | Nền tảng + review | Tự build trên chuẩn | Đang scale (khuyên dùng) |
| Federated | Chỉ ra chuẩn | Tự chủ hoàn toàn | Đã trưởng thành |
Các bước khởi động một CoE
- Xác định người bảo trợ (sponsor) cấp C-level — không có sponsor thì CoE chết vì không ai tuân theo chuẩn.
- Kiểm kê agent đang có (shadow AI): liệt kê mọi agent/script đang chạy, ai sở hữu, dùng data gì.
- Chọn 1-2 use case mẫu có ROI rõ để làm bằng chứng (ví dụ: agent tóm tắt ticket CSKH).
- Định nghĩa "paved road": con đường mặc định để build agent, đi theo thì nhanh và an toàn.
- Đặt chỉ số thành công: số agent lên nền tảng, thời gian từ ý tưởng đến production, sự cố bảo mật.
Checklist khởi động CoE
- [ ] Có sponsor cấp lãnh đạo và ngân sách riêng.
- [ ] Đã kiểm kê shadow AI toàn công ty.
- [ ] Có ít nhất 1 use case mẫu ROI rõ ràng.
- [ ] Định nghĩa được vai trò hub và spoke.
- [ ] Có KPI đo được trong 90 ngày.
Sai lầm thường gặp
- Biến CoE thành phòng ban ôm hết việc build: tạo hàng đợi chờ, spoke quay lại làm chui.
- Xây nền tảng "hoàn hảo" trước khi có use case: 6 tháng không giao được giá trị nào, mất niềm tin.
- Không có sponsor: chuẩn ban hành nhưng không ai bắt buộc tuân theo.
- Bỏ qua shadow AI: nghĩ mình bắt đầu từ số 0, thực ra đã có 20 agent chạy ngầm với rủi ro.