Auf der Hot-Chips-Konferenz hat OpenAI die ersten Benchmark-Daten seines selbst entwickelten Inferenz-Chips Jalapeño veröffentlicht. Der Chip wurde gemeinsam mit Broadcom entwickelt, ist mit 700 Watt spezifiziert und blieb im Dauerbetrieb gemessen unter 550 Watt. Verglichen wird mit Nvidias GB200 NVL72 und GB300 NVL72 – deren einzelne Beschleuniger sind mit 1200 beziehungsweise 1400 Watt spezifiziert.
Getestet wurde mit der von SemiAnalysis veröffentlichten InferenceX-Suite anhand dreier Modelle: GPT-OSS 120B, DeepSeek R1 670B und Kimi K2.5 von Moonshot AI (1 Billion Parameter). Laut OpenAI liegt der AI-Durchsatz pro Kilowatt bei Spitzenlast 1,5- bis 1,9-mal höher als bei den Vergleichssystemen, die End-to-End-Latenz ist 1,7- bis 3,6-mal niedriger, und in Szenarien mit hoher Interaktivität liegt die Leistung 2,1- bis 4,1-mal höher. Bei der schnellsten bislang von GB300 erreichten Token-Ausgabegeschwindigkeit weitet sich der von OpenAI genannte Durchsatzunterschied pro Kilowatt sogar auf das 8,6- bis 104,3-Fache aus.
Die Spezifikationen eines einzelnen Chips: 13,4 PFLOPS (MXFP4-Präzision), 216 GB HBM4, 15,4 TB/s Speicherbandbreite. 128 Chips ergeben zusammen ein Rack mit 1,7 EFLOPS, 27,5 TB HBM4 und einer Bandbreite von fast 2 PB/s.
"The bottom line is that the results show a very, very significant performance advance over state of the art."
Unterm Strich zeigen die Ergebnisse einen sehr, sehr deutlichen Leistungssprung gegenüber dem aktuellen Stand der Technik.
Wie die 700-Watt-Grenze zustande kommt
Jalapeño trainiert keine Modelle, sondern übernimmt ausschließlich Inferenz. Allein diese Festlegung verändert die gesamte Budgetverteilung des Chips. Training frisst Bandbreite für Gradientenabgleich und knotenübergreifende Vernetzung, Inferenz dagegen Speicherkapazität, KV-Cache-Trefferquote und die Antwortzeit einzelner Anfragen. Die Kombination aus 216 GB HBM4 und 13,4 PFLOPS ergibt damit Sinn – die Rechendichte ist nicht besonders aggressiv, dafür sind Speicher und Bandbreite großzügig bemessen.
OpenAIs offizielle Designbegründung lautet: "We designed Jalapeño to minimize data movement and communication delays" (Wir haben Jalapeño so entworfen, dass Datenbewegung und Kommunikationsverzögerungen minimiert werden). Konkret bedeutet das eine explizite Platzierung und Lokalisierung des KV-Caches sowie die gezielte Beseitigung von Engpässen in der Prefill- und der Kommunikationsphase.
Kurz durchgerechnet: Im selben 1400-Watt-Leistungsbudget eines Racks passen entweder zwei Jalapeño-Chips oder ein GB300. Sollte sich der 1,5- bis 1,9-fache Durchsatz pro Kilowatt bestätigen, würde sich der Produktionsunterschied bei gleicher Leistungsaufnahme noch einmal vergrößern. Für ein Unternehmen, das den Großteil seiner Rechenleistung in die Inferenz steckt, spart das nicht nur Stromkosten, sondern auch jenen Teil der Kapazität, für den es ohnehin keine Chips bekommt.
Auch die Entwicklung selbst ist bemerkenswert: vom Konzept bis zum Tape-out vergingen neun Monate, und der Designprozess wurde KI-gestützt durchgeführt.
Drei Referenzmodelle, zwei davon aus China
Die Wahl der Benchmark-Modelle ist bemerkenswert. GPT-OSS 120B ist OpenAIs eigenes offenes Modell, DeepSeek R1 670B und Kimi K2.5 stammen von DeepSeek beziehungsweise Moonshot AI. Ein selbst entwickelter Beschleuniger eines US-Unternehmens misst sich also an offenen Gewichten zweier chinesischer Teams.
Der Grund ist simpel: Die Inferenzergebnisse geschlossener Modelle lassen sich von Dritten nicht nachvollziehen. Wenn Hardware-Hersteller wollen, dass ihren Benchmarks geglaubt wird, bleiben ihnen nur Modellgewichte, die sich jeder herunterladen und selbst testen kann. Offene Modelle rutschen damit von der Rolle des "Nachzüglers" in die Rolle des öffentlichen Maßstabs für Hardware-Tests. Dass chinesische Teams in den vergangenen Jahren ihre Gewichte offengelegt haben, um ein Ökosystem aufzubauen, zahlt sich nun an Stellen aus, die so nicht zu erwarten waren.
Ein paar Abstriche, die man machen sollte
The Register weist darauf hin, dass man diese Zahlen mit Vorsicht genießen sollte: Der Vergleich klammert Optimierungen wie spekulatives Dekodieren aus, der Testrahmen ist nicht vollständig. Im Quervergleich hat AMDs Helios-System 15 Prozent weniger Speicherbandbreite als Jalapeño, dafür aber 1,46- bis 2-mal mehr Rechenleistung; GPUs von Nvidia und AMD behalten zudem Vorteile bei der Programmierbarkeit – spezialisierte Inferenz-Chips tauschen Effizienz gegen Flexibilität.
Noch entscheidender: In diesem Vergleich fehlt Vera Rubin, das gerade erst in die Auslieferung geht. Jalapeño tritt gegen die Vorgängergeneration Blackwell an, während Vera Rubin selbst erst Ende 2026 in "sehr kleiner Stückzahl" in OpenAIs eigenen Anlagen zum Einsatz kommen soll – die Skalierung folgt dann 2027. Wenn es tatsächlich läuft, steht ihm längst nicht mehr der GB300 gegenüber.
Beim Tempo will OpenAI nicht innehalten: Die zweite Generation befindet sich bereits in fortgeschrittener Entwicklung, die dritte wird gerade entworfen.
Quellen: offizielle Mitteilung von OpenAI, TechCrunch, CocoLoop, The Register, Tom's Hardware; die Benchmark-Methodik der InferenceX-Suite von SemiAnalysis sowie die Chip-Spezifikationen und Leistungsangaben wurden Punkt für Punkt mit öffentlichen Berichten abgeglichen.