Lors de la conférence Hot Chips, OpenAI a dévoilé les premières données de benchmark de sa puce d'inférence développée en interne, Jalapeño. Conçue avec Broadcom, cette puce affiche une puissance nominale de 700 W et, en charge continue mesurée, reste sous les 550 W. La comparaison se fait avec les GB200 NVL72 et GB300 NVL72 de Nvidia, dont les accélérateurs individuels ont une puissance nominale respective de 1200 W et 1400 W.
Les tests reposent sur la suite InferenceX publiée par SemiAnalysis, avec trois modèles : GPT-OSS 120B, DeepSeek R1 670B et Kimi K2.5 de Moonshot AI (1 000 milliards de paramètres). Selon les résultats publiés par OpenAI, au débit maximal, la charge de travail d'IA traitée par kilowatt est de 1,5 à 1,9 fois supérieure à celle des systèmes comparés, la latence de bout en bout est de 1,7 à 3,6 fois inférieure, et les performances dans les scénarios à forte interactivité sont de 2,1 à 4,1 fois supérieures. Au niveau de l'intervalle entre tokens le plus rapide jamais atteint par le GB300, l'écart de débit par kilowatt annoncé par OpenAI grimpe jusqu'à un facteur de 8,6 à 104,3.
Les caractéristiques d'une puce unique : 13,4 PFLOPS (précision MXFP4), 216 Go de HBM4, une bande passante mémoire de 15,4 To/s. Un rack de 128 puces cumule 1,7 EFLOPS, 27,5 To de HBM4 et une bande passante proche de 2 Po/s.
"The bottom line is that the results show a very, very significant performance advance over state of the art."
En résumé, les résultats montrent une avancée de performance très, très significative par rapport à l'état de l'art actuel.
Comment la limite des 700 W a été fixée
Jalapeño n'entraîne pas de modèles, il ne fait que de l'inférence. Ce seul choix bouleverse complètement la répartition des ressources de la puce. L'entraînement consomme de la bande passante pour la synchronisation des gradients et l'interconnexion entre nœuds, tandis que l'inférence consomme de la capacité mémoire, un bon taux de succès du cache KV et un temps de réponse rapide par requête. La combinaison de 216 Go de HBM4 et de 13,4 PFLOPS prend alors tout son sens : la densité de calcul n'a rien d'agressif, mais la mémoire et la bande passante sont généreuses.
L'explication officielle d'OpenAI sur la conception est la suivante : "We designed Jalapeño to minimize data movement and communication delays" (nous avons conçu Jalapeño pour minimiser les déplacements de données et les délais de communication), avec des mesures concrètes comme le placement et la localisation explicites du cache KV, éliminant spécifiquement les points de blocage lors de la phase de préremplissage et de la phase de communication.
Un calcul rapide : dans le même budget de puissance d'un rack de 1400 W, on peut loger deux puces Jalapeño ou un seul GB300. Si le débit supérieur de 1,5 à 1,9 fois par kilowatt se vérifie, l'écart de production à puissance égale s'en trouverait encore amplifié. Pour une entreprise qui consacre l'essentiel de sa puissance de calcul à l'inférence, ce qui est économisé n'est pas seulement la facture d'électricité, mais aussi la capacité qu'elle ne pourrait pas obtenir faute de puces disponibles.
Le processus de conception de la puce mérite aussi d'être noté : du concept au tape-out, il n'a fallu que neuf mois, avec une assistance de l'IA tout au long de la conception.
Trois modèles de référence, dont deux chinois
Le choix des modèles pour le benchmark est intéressant. GPT-OSS 120B est le propre modèle à poids ouverts d'OpenAI, tandis que DeepSeek R1 670B et Kimi K2.5 proviennent respectivement de DeepSeek et de Moonshot AI. Un accélérateur développé en interne par une entreprise américaine qui utilise comme étalon les poids ouverts de deux équipes chinoises.
La raison est simple : les résultats d'inférence des modèles fermés ne peuvent pas être reproduits par des tiers. Pour que leurs benchmarks soient crédibles, les fabricants de matériel n'ont donc d'autre choix que de sélectionner des poids que n'importe qui peut télécharger et tester soi-même. Les modèles ouverts passent ainsi du statut de "retardataires" à celui d'étalon public pour l'évaluation du matériel. Les équipes chinoises qui, ces dernières années, ont publié leurs poids pour construire un écosystème en récoltent aujourd'hui les fruits dans des endroits inattendus.
Quelques réserves à garder à l'esprit
The Register rappelle que ces données doivent être prises avec une certaine prudence : la comparaison exclut des optimisations comme le décodage spéculatif, et le périmètre des tests n'est pas complet. En comparaison directe, le système Helios d'AMD dispose d'une bande passante mémoire inférieure de 15 % à celle de Jalapeño, mais d'une puissance de calcul supérieure de 1,46 à 2 fois ; les GPU de Nvidia et d'AMD conservent par ailleurs un avantage en matière de programmabilité, les puces d'inférence dédiées échangeant de la flexibilité contre de l'efficacité énergétique.
Point encore plus important : cette comparaison n'inclut pas le Vera Rubin, qui vient tout juste de commencer à être livré. Jalapeño affronte la génération précédente, Blackwell, alors que Vera Rubin lui-même ne sera déployé qu'à "très petite échelle" dans les installations propres d'OpenAI fin 2026, avec une montée en puissance prévue pour 2027. Le temps qu'il soit réellement opérationnel, l'adversaire d'en face ne sera plus le GB300.
Côté rythme, OpenAI ne compte pas s'arrêter là : la deuxième génération est déjà en développement avancé, et la troisième est en cours de conception.
Sources: communiqué officiel d'OpenAI, TechCrunch, CocoLoop, The Register, Tom's Hardware ; la méthodologie de benchmark de la suite InferenceX de SemiAnalysis, les caractéristiques de chaque puce et les chiffres de consommation ont été vérifiés point par point à partir de rapports publics.