OpenAI-Finanzchefin Sarah Friar sagte am 8. September auf der Communacopia-Konferenz von Goldman Sachs, das Unternehmen habe seine eigenen Spitzenmodelle beim Chipdesign eingesetzt und so den selbst entwickelten Inferenz-Chip Jalapeno in nur neun Monaten vom Entwurf bis zur Serienreife gebracht. Zugleich nannte sie Chipdesign, Biowissenschaften und Finanzdienstleistungen als drei Branchen, auf die sich das Unternehmen künftig verstärkt konzentrieren wolle, da die Nachfrage nach KI für spezialisierte Arbeitsabläufe in diesen Bereichen wachse.
Jalapeno ist ein Inferenz-Chip, den OpenAI gemeinsam mit Broadcom entwickelt hat und der im Juni dieses Jahres öffentlich vorgestellt wurde. Er soll die eigenen Modelle kostengünstiger betreiben. Nach öffentlichen Angaben sollen frühe Muster im Vergleich zu typischen KI-Grafikprozessoren rund die Hälfte der Kosten einsparen. Ein Auslieferungstermin wurde nicht genannt.
Neun Monate gelten bei kundenspezifischen Chips als kurze Zeitspanne. Ein neuer Inferenz-ASIC braucht von der endgültigen Architektur bis zum Tape-out branchenüblich anderthalb bis zwei Jahre. Friar führte die verkürzte Zeit auf die eigenen Modelle zurück, erläuterte aber nicht, welche konkreten Schritte die Modelle übernommen haben – Layout und Routing, Verifikation oder bereits die vorgelagerte Architektursuche.
Luna im Vergleich zu GLM-5.3
Konkreter wurde es beim Thema Preise. Friar sagte, nach der 80-prozentigen Preissenkung von Luna sei der Input-Preis auf 0,20 US-Dollar pro Million Token gesunken, der Output-Preis liege bei 1,20 US-Dollar, und die Nutzung sei danach um etwa das Zehnfache gestiegen. Als Vergleichsmaßstab nannte sie explizit ein chinesisches Open-Source-Modell:
"If you're deploying Luna and compare that to (Z.ai's) GLM 5.3, for example, on a cloud layer, we are cheaper."
Wenn man Luna einsetzt und das zum Beispiel mit GLM 5.3 von Zhipu AI auf der Cloud-Ebene vergleicht, sind wir günstiger.
Bei dieser Aussage lohnt ein genauer Blick auf die Vergleichsbasis. Friar verglich den Einsatz von GLM-5.3 „in der Cloud" – also den tatsächlichen Preis pro Einheit, wenn die offenen Gewichte über einen Drittanbieter in der Cloud gehostet werden. Der offizielle Preis der eigenen API von Zhipu AI ist dagegen eine andere Größe: Beim Start von GLM-5.3 lag der genannte Output-Preis bei 4,4 US-Dollar pro Million Token. Dasselbe Modell kann über die eigene API und über eine Drittanbieter-Cloud im Preis um ein Mehrfaches auseinanderliegen, weil Letztere GPU-Auslastung, Speicher und gleichzeitige Nutzung umlegen muss. OpenAI hat die vollständige Vergleichsgrundlage nicht offengelegt und auch nicht angegeben, von welchem Durchsatz beim Vergleich ausgegangen wurde.
Realer Druck auf chinesische Open-Source-Anbieter
Diese Darstellung zielt auf das Szenario ab, in dem Unternehmen eigene Infrastruktur betreiben. In den vergangenen zwei Jahren nannten Unternehmen in China wie im Ausland vor allem zwei Gründe für offene Gewichte: Daten verlassen die eigene Umgebung nicht, und die eigene Kalkulation ist günstiger. Der erste Grund bleibt unberührt, der zweite gerät durch die Preissenkungen der Anbieter geschlossener Modelle unter Druck. Wenn der Output-Preis von Luna auf 1,20 US-Dollar sinkt und dazu noch ein selbst entwickelter Inferenz-Chip die Preise weiter drücken kann, muss die Rechnung „Eigenes Hosting spart Geld" neu aufgemacht werden – besonders für Teams mit geringer Gleichzeitigkeit und niedriger GPU-Auslastung.
Klarzustellen ist, dass es sich bei Friars Aussagen um die Perspektive der Verkäuferseite handelt. Dritte haben bislang keine öffentliche Preisberechnung vorgelegt, die Luna und GLM-5.3 unter gleichen Durchsatzbedingungen vergleicht, und Zhipu AI hat sich zu diesem Vergleich bislang nicht geäußert.
Quellen: Reuters, Qz, CocoLoop; mehrere Berichte wurden abgeglichen zu Input- und Output-Preisen sowie dem Umfang der Preissenkung von Luna, zum Verhältnis von Entwicklungszeit und Musterkosten bei Jalapeno sowie zum englischen Originalwortlaut von Friar.