Nếu trong môi trường sản xuất bạn viết lệnh gọi LLM, thói quen thường là mã hóa cứng tên mô hình trong code. Mỗi lần thay đổi đều phải sửa code và kiểm tra thủ công.

Có thể thử chạy cung cấp một lớp chiến lược tại runtime. Không yêu cầu khóa một mô hình cụ thể trong code, mà để mỗi yêu cầu đều mang theo một chiến lược.
Chiến lược này sẽ tự động lọc các mô hình không phù hợp trong runtime, sắp xếp các mô hình còn lại theo quy tắc, có thể sắp xếp theo giá. Nếu mô hình được chọn gọi thất bại, sẽ tự động chuyển sang tùy chọn hợp lệ tiếp theo.
Tương tự như việc truyền tham số nhiệt độ trong lệnh gọi API, quyết định định tuyến không còn được viết cứng trong code, mà là một phần của yêu cầu, được xác định động dựa trên chiến lược tại runtime. So với việc mã hóa cứng mô hình trong code hoặc cấu hình tĩnh trong dashboard gateway, cách này mang lại sự linh hoạt hơn và giảm chi phí bảo trì thủ công liên tục.