Hugging Face hat am 16. November angekündigt, dass Sprachmodell-Anfragen in Inference Providers ab sofort von OpenRouter geroutet werden und nicht mehr über den selbst entwickelten Router von Hugging Face laufen. Nutzer müssen ihren Code nicht ändern, abgerechnet wird weiterhin über die Hugging-Face-Rechnung. Die Generierung von Bildern, Videos und Audio bleibt unberührt und läuft weiter direkt über die einzelnen Inferenzanbieter.
OpenRouter wählt auf Basis von Preis, Geschwindigkeit und Zuverlässigkeit in Echtzeit für jeden Aufruf einen Inferenzanbieter aus. Laut dem offiziellen Blog gilt als Preisprinzip: Abrechnung zum Originalpreis des Anbieters, Hugging Face schlägt nichts auf.
Was sich ändert
Die unmittelbarste Neuerung ist das Failover. Früher bekamen Nutzer bei einem Fehler eines Anbieters genau dessen Fehlermeldung; jetzt wird die Anfrage automatisch bei einem anderen Anbieter wiederholt.
Die Routing-Suffixe hinter der Modell-ID funktionieren wie gewohnt. Am Beispiel von GLM-5.3: Ohne Suffix gilt die Standardeinstellung für das beste Gesamtergebnis, :fastest wählt den Anbieter mit dem höchsten Durchsatz, :cheapest den günstigsten, und Schreibweisen wie :novita legen die Anfrage auf einen einzigen Anbieter fest.
Das Routing berücksichtigt das Prompt-Caching. Wer im Request-Header X-HF-Session-Id für jede Unterhaltung eine feste UUID mitgibt, sorgt dafür, dass die gesamte Unterhaltung an den Anbieter geht, der deren Cache hält. Nutzer und Organisationen können in den Einstellungen außerdem einzelne Anbieter abschalten; der Router schickt dann keine Anfragen mehr dorthin.
Bei den Schnittstellen lassen sich alle Chatmodelle über die Chat-Completions- und Responses-Schnittstellen von OpenAI sowie über die Messages-Schnittstelle von Anthropic ansprechen, unabhängig davon, welcher Anbieter dahintersteht. Auf den Modellseiten gibt es neu die Reiter Providers und Metrics, die Preis, Geschwindigkeit und 24-Stunden-Verfügbarkeit je Anbieter auflisten.
Es gibt eine nicht abwärtskompatible Änderung: Für Sprachmodelle lassen sich die eigenen API-Schlüssel bei einem Anbieter nicht mehr nutzen, alle Anfragen werden über das Hugging-Face-Konto oder die Organisation abgerechnet. Eigene Schlüssel für Bild- und Videoanbieter funktionieren weiterhin.

Eine Beispielrechnung
Hugging Face nennt im Blog eine Reihe von Durchschnittspreisen: Modelle mit offenen Gewichten kosten im Schnitt 0,28 US-Dollar pro Million Eingabe-Token und 1,62 US-Dollar für die Ausgabe; bei geschlossenen Modellen sind es 1,27 beziehungsweise 6,36 US-Dollar. Grob gerechnet sind geschlossene Modelle bei der Eingabe rund 4,5-mal und bei der Ausgabe rund 3,9-mal so teuer.
Dazu das Gratiskontingent: PRO-Nutzer erhalten 2 US-Dollar pro Monat, Team- und Enterprise-Organisationen 2 US-Dollar pro Platz und Monat. Bei den durchschnittlichen Ausgabepreisen offener Modelle entsprechen 2 US-Dollar etwa 1,2 Millionen Ausgabe-Token; wird alles für geschlossene Modelle verbraucht, reicht es nur für rund 300.000. Das genügt zum Ausprobieren und für kleine Experimente, für den Produktivbetrieb muss weiterhin extra gezahlt werden.
„Kein Aufschlag“ erspart den Nutzern die Zwischenhändler-Schicht, vorausgesetzt, der Originalpreis des Anbieters ist selbst angemessen. Mit dem Wegfall eigener Schlüssel können Teams, die bei einem Anbieter Rabatte ausgehandelt oder Guthaben vorausbezahlt haben, diese Konditionen beim Aufruf über Hugging Face nicht mehr nutzen und müssen auf die Schnittstelle des Anbieters selbst zurückgreifen.
Die Rolle von OpenRouter
Nach den Zahlen, die der Hugging-Face-Blog zitiert, verarbeitet OpenRouter jeden Monat mehr als 800 Billionen Token, hat über 10 Millionen Nutzer und bindet über 600 Modelle von mehr als 80 Anbietern an. OpenRouter selbst misst nach dem Umbau des Routings 46 Prozent weniger Fehler wegen Kapazitätsmangels, eine um 16,9 Prozent bessere Latenz bis zum ersten Token und 16,3 Prozent mehr Durchsatz; das sind einseitige Angaben von OpenRouter ohne unabhängige Überprüfung.
OpenRouter hat im August dieses Jahres seinen Wechsel zu Stripe angekündigt. Hugging Face ist die weltweit größte Hosting-Plattform für Open-Source-Modelle und übergibt nun den Zugang zur Sprachmodell-Inferenz an einen Routing-Dienst im Besitz eines Zahlungsunternehmens; damit läuft auch das Aufrufvolumen der Open-Source-Modelle auf dem Hub künftig durch die Bücher von OpenRouter.
Der Blog nennt zwei weitere Vorhaben: die Möglichkeit, ein OpenRouter-Konto mit Hugging Face zu verknüpfen, und die Ausweitung des OpenRouter-Routings auf weitere Aufgabentypen. Zu beiden gibt es keinen Zeitplan.
Quellen: offizieller Hugging-Face-Blog, CocoLoop, öffentliche Angaben von OpenRouter; die Durchschnittspreise für offene und geschlossene Modelle sowie das Gratiskontingent folgen den Angaben des Hugging-Face-Blogs, die Routing-Leistungszahlen stammen aus Eigenmessungen von OpenRouter.