Hugging Face thông báo ngày 16/11 rằng, kể từ cùng ngày, các yêu cầu mô hình ngôn ngữ trong Inference Providers sẽ do OpenRouter đảm nhiệm định tuyến, thay cho bộ định tuyến do chính Hugging Face tự viết. Người dùng không cần sửa mã, chi phí vẫn được ghi vào hóa đơn của Hugging Face; việc tạo ảnh, video và âm thanh không bị ảnh hưởng và tiếp tục kết nối trực tiếp tới từng nhà cung cấp suy luận.
OpenRouter sẽ dựa vào giá, tốc độ và độ tin cậy theo thời gian thực để chọn một nhà cung cấp suy luận cho mỗi lần gọi. Theo blog chính thức, nguyên tắc định giá là tính đúng giá gốc của nhà cung cấp, Hugging Face không cộng thêm phụ phí.
Điều gì thay đổi
Thay đổi trực tiếp nhất là chuyển đổi dự phòng. Trước đây, khi một nhà cung cấp gặp lỗi, người dùng nhận đúng thông báo lỗi của nhà cung cấp đó; nay yêu cầu sẽ tự động được thử lại ở một nhà cung cấp khác.
Các hậu tố định tuyến gắn sau ID mô hình vẫn dùng như cũ. Lấy GLM-5.3 làm ví dụ: không thêm hậu tố là mặc định tối ưu tổng thể, :fastest chọn nơi có thông lượng cao nhất, :cheapest chọn nơi rẻ nhất, còn cách viết như :novita sẽ khóa vào một nhà cung cấp duy nhất.
Việc định tuyến có tính đến bộ nhớ đệm prompt. Người dùng đặt một UUID cố định cho mỗi cuộc hội thoại trong tiêu đề yêu cầu X-HF-Session-Id, thì cả cuộc hội thoại sẽ được gửi cố định tới nhà cung cấp đang giữ bộ nhớ đệm của nó. Người dùng và tổ chức cũng có thể tắt một số nhà cung cấp trong phần cài đặt, khi đó bộ định tuyến sẽ không gửi yêu cầu tới đó nữa.
Về giao diện, mọi mô hình chat đều có thể gọi qua các giao diện Chat Completions và Responses của OpenAI, cũng như giao diện Messages của Anthropic, bất kể nhà cung cấp phía sau là ai. Trang mô hình có thêm hai thẻ Providers và Metrics, liệt kê giá, tốc độ và tỷ lệ khả dụng trong 24 giờ theo từng nhà cung cấp.
Có một thay đổi không tương thích: mô hình ngôn ngữ không còn dùng được khóa API mà người dùng tự có ở một nhà cung cấp; mọi yêu cầu đều được tính phí theo tài khoản hoặc tổ chức Hugging Face. Khóa tùy chỉnh của các nhà cung cấp ảnh và video vẫn tiếp tục dùng được.

Thử tính một phép
Trong blog, Hugging Face đưa ra một bộ giá trung bình: mô hình trọng số mở trung bình 0,28 USD cho mỗi triệu token đầu vào và 1,62 USD cho đầu ra; mô hình đóng lần lượt là 1,27 USD và 6,36 USD. Tính nhẩm, mô hình đóng đắt hơn khoảng 4,5 lần ở đầu vào và khoảng 3,9 lần ở đầu ra.
Về hạn mức miễn phí: người dùng PRO được 2 USD mỗi tháng, các tổ chức Team và Enterprise được 2 USD mỗi tháng cho mỗi chỗ ngồi. Ước theo giá đầu ra trung bình của mô hình mã nguồn mở, 2 USD đổi được khoảng 1,2 triệu token đầu ra; nếu dùng hết cho mô hình đóng thì chỉ đủ khoảng 300 nghìn. Hạn mức này phù hợp để dùng thử và chạy các thí nghiệm nhỏ, còn đưa vào sản xuất thật thì vẫn phải trả thêm.
“Không phụ phí” giúp người dùng bớt đi một tầng trung gian, với điều kiện giá gốc của nhà cung cấp vốn đã hợp lý. Khi tính năng dùng khóa riêng bị tắt, những nhóm đã thương lượng được chiết khấu hoặc có hạn mức trả trước ở một nhà cung cấp sẽ không dùng được các điều kiện đó khi gọi qua Hugging Face, đành phải quay lại giao diện của chính nhà cung cấp.
Vị trí của OpenRouter
Theo số liệu mà blog của Hugging Face dẫn lại, OpenRouter xử lý hơn 800 nghìn tỷ token mỗi tháng, có hơn 10 triệu người dùng, kết nối hơn 80 nhà cung cấp với hơn 600 mô hình. Theo phép đo của chính OpenRouter, sau khi viết lại phần định tuyến, các lỗi thuộc nhóm thiếu dung lượng giảm 46%, độ trễ token đầu tiên cải thiện 16,9% và thông lượng tăng 16,3%; đây đều là số liệu do một phía OpenRouter công bố, chưa có bên thứ ba kiểm chứng.
OpenRouter đã thông báo gia nhập Stripe vào tháng 8 năm nay. Hugging Face là nền tảng lưu trữ mô hình mã nguồn mở lớn nhất thế giới; lần này họ giao cửa ngõ suy luận mô hình ngôn ngữ cho một dịch vụ định tuyến thuộc một công ty thanh toán, nghĩa là lượng gọi các mô hình mã nguồn mở trên Hub từ nay cũng sẽ đi qua sổ cái của OpenRouter.
Blog nêu hai kế hoạch tiếp theo: hỗ trợ liên kết tài khoản OpenRouter với Hugging Face, và đưa thêm nhiều loại tác vụ đi qua định tuyến của OpenRouter. Cả hai đều chưa có mốc thời gian.
Nguồn tham khảo: blog chính thức của Hugging Face, CocoLoop, tài liệu công khai của OpenRouter; giá trung bình của mô hình mở và mô hình đóng cùng hạn mức miễn phí theo cách tính của blog Hugging Face, còn các số liệu hiệu năng định tuyến do OpenRouter tự đo.