Chi phí phục vụ inference vượt ngân sách. Bạn tìm điểm tối ưu nào trước?

Gợi ý: Phân tích nơi tốn nhất, hạ cấp model khi hợp lý, caching và gộp yêu cầu.