Bài 7 — Tự động hóa quy trình A/B test bằng AI agent

Bối cảnh

Đến đây bạn đã dùng AI cho từng bước rời rạc. Giờ hãy ghép chúng thành một quy trình tự động — một "trợ lý thử nghiệm" chạy từ đầu đến cuối. AI agent (dùng ChatGPT với Custom GPT, Claude Projects, hoặc kết nối API vào Slack/Notion) có thể: nhận ý tưởng → dựng giả thuyết → tính cỡ mẫu → tạo test brief → nhắc ngày đọc → diễn giải kết quả → viết bản tóm tắt quyết định. Việc của bạn chuyển từ "làm thủ công" sang "giám sát và quyết định".

Kiến trúc một agent thử nghiệm

• Input: PM nhập ý tưởng thô + baseline từ analytics.
• Agent bước 1: chuẩn hóa giả thuyết + chọn metric (logic bài 2).
• Agent bước 2: tính cỡ mẫu + thời lượng (logic bài 3).
• Agent bước 3: sinh test brief đầy đủ + checklist chạy sạch (bài 4).
• Agent bước 4: khi có kết quả, diễn giải + soi bẫy (bài 5-6).
• Output: bản tóm tắt quyết định 1 trang gửi stakeholder.

Ví dụ cụ thể

Bạn tạo một Custom GPT / Claude Project tên "Trợ lý A/B Test" với system prompt cố định để mọi test đều theo cùng chuẩn.

Prompt mẫu (system prompt cho agent)

Bạn là "Trợ lý A/B Test" cho đội Product. Với mỗi ý tưởng test, thực hiện tuần tự và HỎI LẠI nếu thiếu dữ liệu, KHÔNG bịa số:

GIAI ĐOẠN 1 - THIẾT KẾ:
- Yêu cầu tôi cung cấp: baseline thật, mục tiêu kinh doanh, ý tưởng thay đổi.
- Viết giả thuyết Nếu-Thì-Vì-Đo. Chọn 1 primary + guardrail.
- Tính cỡ mẫu (nêu công thức) + thời lượng (tròn tuần).
- Xuất TEST BRIEF theo template chuẩn.

GIAI ĐOẠN 2 - PHÂN TÍCH (khi tôi dán kết quả):
- Kiểm tra SRM và tính đủ cỡ mẫu chưa.
- Diễn giải primary (p-value + CI) bằng ngôn ngữ kinh doanh.
- Kiểm tra guardrail và phân khúc (cảnh báo Simpson).
- Soi bẫy peeking / multiple testing.
- Kết luận: launch / không / điều tra + lý do.

QUY TẮC: luôn nêu giả định, không dùng dữ liệu định danh, cảnh báo khi độ tin cậy thấp.

Sau khi tạo agent, mỗi test chỉ cần: "Test ý tưởng: đổi tiêu đề email onboarding. Baseline mở email 25%." — agent sẽ dẫn bạn qua toàn bộ quy trình.

Các bước xây agent

• Gom logic bài 1-6 thành 1 system prompt như trên.
• Tạo Custom GPT (ChatGPT) hoặc Project (Claude), dán system prompt.
• Đính kèm các template/checklist của bạn làm tài liệu tham chiếu.
• Chạy thử với 1 test cũ đã biết kết quả để kiểm chứng agent ra đúng.
• (Nâng cao) Kết nối qua API để agent tự đọc dữ liệu từ Amplitude/GA và đăng tóm tắt vào Slack.
• Đặt guardrail vận hành: agent luôn hỏi lại khi thiếu số, không tự quyết launch.

Template: Test brief agent xuất ra

=== TEST BRIEF ===
Tên test | Người phụ trách | Ngày bắt đầu
Giả thuyết (Nếu-Thì-Vì-Đo):
Primary metric | Guardrail metrics:
Baseline | MDE | Cỡ mẫu/nhánh | Thời lượng:
Đơn vị randomization | Đối tượng:
Ngày được đọc kết quả (không đọc trước):
Rủi ro đã biết:
=== SAU KHI CHẠY ===
Kết quả primary + CI | Guardrail | Phân khúc:
Các bẫy đã kiểm tra:
Quyết định + lý do:

Sai lầm thường gặp

• Giao quyền quyết định cho agent (phụ thuộc quá mức): agent hỗ trợ, con người quyết launch. Đây là ranh giới không được vượt.
• Agent bịa số khi thiếu dữ liệu (ảo giác): nếu system prompt không ép "hỏi lại, không bịa", agent sẽ tự điền baseline. Luôn có quy tắc chống bịa.
• Kết nối API kéo dữ liệu định danh (rò rỉ dữ liệu): khi tự động hóa, dễ vô tình đẩy email/ID khách vào LLM. Chỉ truyền số liệu tổng hợp, ẩn danh; kiểm tra chính sách dữ liệu của nhà cung cấp.
• Tin agent mà không kiểm chứng: luôn chạy thử với test đã biết kết quả trước khi dùng thật.
• Agent thành hộp đen: nếu không nêu giả định và công thức, bạn mất khả năng giải trình. Ép agent luôn hiển thị lập luận.
• Quên cập nhật logic: khi bạn học thêm về thống kê, cập nhật system prompt, đừng để agent lỗi thời.

Bài cuối: ghép tất cả vào một tình huống vận hành thực tế từ đầu đến cuối.