Hugging Face confie l'inférence à OpenRouter, sans surcoût

Hugging Face a annoncé le 16 novembre que, dès ce jour, les requêtes de modèles de langage d'Inference Providers sont routées par OpenRouter, et non plus par le routeur que Hugging Face avait écrit lui-même. Les utilisateurs n'ont pas à modifier leur code et la facturation reste sur le compte Hugging Face ; la génération d'images, de vidéos et d'audio n'est pas concernée et continue de passer directement par chaque fournisseur d'inférence.

OpenRouter choisit un fournisseur d'inférence pour chaque appel en fonction du prix, de la vitesse et de la fiabilité en temps réel. D'après le blog officiel, le principe tarifaire est une facturation au prix d'origine du fournisseur, sans aucune majoration de la part de Hugging Face.

Ce qui change

Le changement le plus direct est le basculement automatique. Auparavant, lorsqu'un fournisseur échouait, l'utilisateur recevait l'erreur de ce fournisseur ; désormais, la requête est automatiquement relancée chez un autre.

Les suffixes de routage placés après l'identifiant du modèle fonctionnent comme avant. Avec GLM-5.3 en exemple, sans suffixe c'est le réglage par défaut du meilleur compromis global, :fastest choisit le meilleur débit, :cheapest le moins cher, et des écritures comme :novita verrouillent un fournisseur unique.

Le routage tient compte du cache de prompts. Si l'utilisateur fournit dans l'en-tête X-HF-Session-Id un UUID fixe pour chaque conversation, toute la conversation est dirigée vers le fournisseur qui détient son cache. Utilisateurs et organisations peuvent aussi désactiver certains fournisseurs dans les paramètres, et le routeur ne leur enverra plus de requêtes.

Côté interfaces, tous les modèles de chat peuvent être appelés via les interfaces Chat Completions et Responses d'OpenAI ainsi que l'interface Messages d'Anthropic, quel que soit le fournisseur en coulisses. Les pages de modèles gagnent deux onglets, Providers et Metrics, qui listent par fournisseur le prix, la vitesse et la disponibilité sur 24 heures.

Un changement incompatible est à signaler : les modèles de langage ne peuvent plus utiliser la clé d'API que l'utilisateur détient chez un fournisseur ; toutes les requêtes sont facturées au compte ou à l'organisation Hugging Face. Les clés personnalisées des fournisseurs d'images et de vidéos restent utilisables.

Illustration: rail switches route carts around a blocked track like OpenRouter; a separate line preserves direct access

Faisons le calcul

Dans son blog, Hugging Face donne une série de prix moyens : les modèles à poids ouverts coûtent en moyenne 0,28 dollar par million de tokens en entrée et 1,62 dollar en sortie ; pour les modèles fermés, c'est respectivement 1,27 et 6,36 dollars. À la louche, un modèle fermé coûte environ 4,5 fois plus cher en entrée et environ 3,9 fois en sortie.

Côté quota gratuit, les utilisateurs PRO reçoivent 2 dollars par mois, et les organisations Team et Enterprise 2 dollars par mois et par siège. Au prix moyen de sortie des modèles ouverts, 2 dollars représentent environ 1,2 million de tokens de sortie ; dépensés intégralement sur des modèles fermés, ils n'en couvrent qu'environ 300 000. Ce quota convient pour essayer et mener de petites expériences ; pour une vraie mise en production, il faut payer en plus.

« Zéro majoration » épargne à l'utilisateur la couche de l'intermédiaire, à condition que le prix d'origine du fournisseur soit lui-même correct. Une fois les clés personnelles désactivées, les équipes qui ont négocié des remises ou disposent d'un crédit prépayé chez un fournisseur ne peuvent plus en bénéficier en passant par Hugging Face et n'ont d'autre choix que de revenir à l'interface du fournisseur.

La place d'OpenRouter

D'après les chiffres que cite le blog de Hugging Face, OpenRouter traite plus de 800 000 milliards de tokens par mois, compte plus de 10 millions d'utilisateurs et donne accès à plus de 600 modèles de plus de 80 fournisseurs. Selon les mesures d'OpenRouter lui-même, après la réécriture du routage, les erreurs de type capacité insuffisante ont diminué de 46 %, la latence du premier token s'est améliorée de 16,9 % et le débit a augmenté de 16,3 % ; ces données émanent du seul OpenRouter et n'ont pas été vérifiées par un tiers.

OpenRouter a annoncé en août de cette année son rattachement à Stripe. Hugging Face, la plus grande plateforme d'hébergement de modèles open source au monde, confie ainsi l'entrée de l'inférence des modèles de langage à un service de routage appartenant à une société de paiement ; le volume d'appels aux modèles open source du Hub passera désormais lui aussi par les comptes d'OpenRouter.

Le blog énumère deux projets à venir : permettre de lier un compte OpenRouter à Hugging Face, et faire passer davantage de types de tâches par le routage d'OpenRouter. Aucun des deux n'est assorti d'une date.

Sources : blog officiel de Hugging Face, CocoLoop, informations publiques d'OpenRouter ; les prix moyens des modèles ouverts et fermés ainsi que le quota gratuit suivent les chiffres du blog de Hugging Face, et les performances de routage sont des mesures d'OpenRouter lui-même.