En la conferencia Hot Chips, OpenAI presentó el primer lote de datos de referencia de su chip de inferencia desarrollado internamente, Jalapeño. El chip se diseñó junto con Broadcom, tiene una potencia nominal de 700 W y, en pruebas de carga sostenida, se mantuvo por debajo de 550 W. La comparación se hace con el GB200 NVL72 y el GB300 NVL72 de Nvidia, cuyos aceleradores individuales tienen una potencia nominal de 1200 W y 1400 W respectivamente.
Las pruebas utilizaron el conjunto InferenceX, publicado por SemiAnalysis, con tres modelos: GPT-OSS 120B, DeepSeek R1 670B y Kimi K2.5 de Moonshot AI (1 billón de parámetros, en la nomenclatura anglosajona un trillion). Según los resultados publicados por OpenAI, en el rendimiento máximo, la carga de trabajo de IA procesada por kilovatio es de 1,5 a 1,9 veces mayor que en los sistemas de comparación, la latencia de extremo a extremo es de 1,7 a 3,6 veces menor, y el rendimiento en escenarios de alta interactividad es de 2,1 a 4,1 veces superior. En el nivel de intervalo entre tokens más rápido que había alcanzado antes el GB300, la diferencia de rendimiento por kilovatio que reporta OpenAI se amplía hasta 8,6 a 104,3 veces.
Las especificaciones de un solo chip: 13,4 PFLOPS (precisión MXFP4), 216 GB de HBM4, ancho de banda de memoria de 15,4 TB/s. Un rack con 128 chips suma 1,7 EFLOPS, 27,5 TB de HBM4 y un ancho de banda cercano a 2 PB/s.
"The bottom line is that the results show a very, very significant performance advance over state of the art."
En resumen, los resultados muestran un avance de rendimiento muy, muy significativo respecto al estado del arte actual.
Cómo se trazó el límite de los 700 W
Jalapeño no entrena modelos, solo hace inferencia. Esa sola decisión cambia por completo la asignación de recursos del chip. El entrenamiento consume ancho de banda para sincronización de gradientes e interconexión entre nodos; la inferencia consume capacidad de memoria, tasa de aciertos de la caché KV y tiempo de respuesta por solicitud. La combinación de 216 GB de HBM4 con 13,4 PFLOPS cobra sentido así: la densidad de cómputo no es especialmente agresiva, pero la memoria y el ancho de banda son generosos.
La explicación oficial de diseño de OpenAI es "We designed Jalapeño to minimize data movement and communication delays" (diseñamos Jalapeño para minimizar el movimiento de datos y los retrasos de comunicación), con medidas concretas como la ubicación y localización explícita de la caché KV, eliminando específicamente los cuellos de botella en la fase de prefill y en la fase de comunicación.
Un cálculo rápido: en el mismo presupuesto de potencia de un rack de 1400 W caben dos chips Jalapeño o un solo GB300. Si se confirma el rendimiento de 1,5 a 1,9 veces más por kilovatio, la diferencia de producción a igual potencia se ampliaría todavía más. Para una empresa que dedica la mayor parte de su cómputo a la inferencia, lo que se ahorra no es solo la factura eléctrica, sino también la capacidad que no podría conseguir por falta de chips disponibles.
El propio proceso de desarrollo del chip también merece mención: del concepto al tape-out pasaron nueve meses, con apoyo de IA durante todo el proceso de diseño.
Tres modelos de referencia, dos de ellos chinos
La elección de los modelos para el benchmark resulta interesante. GPT-OSS 120B es el propio modelo de pesos abiertos de OpenAI, mientras que DeepSeek R1 670B y Kimi K2.5 provienen de DeepSeek y Moonshot AI respectivamente. Un acelerador desarrollado internamente por una empresa estadounidense que usa como vara de medir los pesos abiertos de dos equipos chinos.
La razón es sencilla: los resultados de inferencia de los modelos cerrados no pueden ser reproducidos por terceros, así que si los fabricantes de hardware quieren que se crean sus benchmarks, solo pueden elegir pesos que cualquiera pueda descargar y probar por sí mismo. Los modelos abiertos pasan así de ser "los que van a la zaga" a convertirse en la vara de medir pública para evaluar hardware. Los equipos chinos que en los últimos años liberaron sus pesos para construir ecosistema empiezan ahora a cobrar el rédito en lugares inesperados.
Algunos matices que conviene tener en cuenta
The Register advierte que estos datos deben tomarse con cierta cautela: la comparación excluye optimizaciones como la decodificación especulativa, y el alcance de las pruebas no es completo. En comparación directa, el sistema Helios de AMD tiene un 15% menos de ancho de banda de memoria que Jalapeño, pero una capacidad de cómputo de 1,46 a 2 veces mayor; las GPU de Nvidia y AMD todavía tienen ventaja en programabilidad, ya que los chips de inferencia dedicados cambian flexibilidad por eficiencia energética.
Un punto todavía más importante: esta comparación no incluye al Vera Rubin, que apenas empieza a distribuirse. Jalapeño se enfrenta a la generación anterior, Blackwell, mientras que el propio Vera Rubin no se desplegará en "una escala mínima" en las instalaciones propias de OpenAI hasta finales de 2026, con la producción a gran escala prevista para 2027. Para cuando esté realmente en funcionamiento, el rival al otro lado ya no será el GB300.
En cuanto al ritmo, OpenAI no piensa detenerse: la segunda generación ya está en desarrollo avanzado, y la tercera está en fase de diseño.
Fuentes: comunicado oficial de OpenAI, TechCrunch, CocoLoop, The Register, Tom's Hardware; la metodología de referencia del paquete InferenceX de SemiAnalysis, las especificaciones de cada chip y las cifras de consumo se han verificado punto por punto con informes públicos.