OpenAI revela benchmarks do Jalapeño: 700 W superam o GB300

Na conferência Hot Chips, a OpenAI divulgou o primeiro lote de dados de benchmark do seu chip de inferência desenvolvido internamente, o Jalapeño. O chip foi projetado em parceria com a Broadcom, tem potência nominal de 700 W e, em testes de carga contínua, ficou abaixo de 550 W. A comparação é feita com o GB200 NVL72 e o GB300 NVL72 da Nvidia — cujos aceleradores individuais têm potência nominal de 1200 W e 1400 W, respectivamente.

Os testes usaram o pacote InferenceX, divulgado publicamente pela SemiAnalysis, com três modelos: GPT-OSS 120B, DeepSeek R1 670B e Kimi K2.5, da Moonshot AI (1 trilhão de parâmetros). Segundo a OpenAI, no throughput de pico, o volume de trabalho de IA processado por quilowatt é de 1,5 a 1,9 vez maior que o dos sistemas comparados, a latência ponta a ponta é de 1,7 a 3,6 vezes menor, e o desempenho em cenários de alta interatividade é de 2,1 a 4,1 vezes superior. No patamar de menor intervalo entre tokens já alcançado pelo GB300, a diferença de throughput por quilowatt apresentada pela OpenAI chega a variar de 8,6 a 104,3 vezes.

As especificações de um único chip: 13,4 PFLOPS (precisão MXFP4), 216 GB de HBM4, largura de banda de memória de 15,4 TB/s. Um rack com 128 chips soma 1,7 EFLOPS, 27,5 TB de HBM4 e largura de banda de quase 2 PB/s.

"The bottom line is that the results show a very, very significant performance advance over state of the art."

Em resumo, os resultados mostram um avanço de desempenho muito, muito significativo em relação ao estado da arte.

Como se chegou à marca de 700 W

O Jalapeño não treina modelos, faz apenas inferência. Essa única decisão muda completamente a alocação de recursos do chip. Treinamento consome largura de banda para sincronização de gradientes e interconexão entre nós; inferência consome capacidade de memória, taxa de acerto do cache KV e tempo de resposta por requisição. A combinação de 216 GB de HBM4 com 13,4 PFLOPS faz sentido nesse contexto — a densidade de computação não é agressiva, mas memória e largura de banda são generosas.

A justificativa oficial de design da OpenAI é "We designed Jalapeño to minimize data movement and communication delays" (projetamos o Jalapeño para minimizar a movimentação de dados e os atrasos de comunicação), com medidas concretas como posicionamento e localização explícitos do cache KV, eliminando pontos de gargalo tanto na fase de prefill quanto na fase de comunicação.

Fazendo as contas: no mesmo orçamento de potência de um rack de 1400 W, cabem dois chips Jalapeño ou um único GB300. Se o ganho de 1,5 a 1,9 vez em throughput por quilowatt se confirmar, a diferença de produção na mesma potência seria ampliada ainda mais. Para uma empresa que concentra a maior parte da sua computação em inferência, o que se economiza não é só conta de energia, mas também a capacidade que não conseguiria obter por falta de chips disponíveis.

O próprio processo de desenvolvimento do chip também merece nota: do conceito ao tape-out foram nove meses, com apoio de IA em todo o processo de design.

Três modelos de referência, dois deles da China

A escolha dos modelos de benchmark chama atenção. O GPT-OSS 120B é o próprio modelo de peso aberto da OpenAI, enquanto o DeepSeek R1 670B e o Kimi K2.5 vêm da DeepSeek e da Moonshot AI, respectivamente. Um acelerador desenvolvido internamente por uma empresa americana usando pesos abertos de duas equipes chinesas como régua de medição.

A razão é simples: resultados de inferência de modelos fechados não podem ser reproduzidos por terceiros, então, para que os benchmarks sejam confiáveis, os fabricantes de hardware só podem escolher pesos que qualquer pessoa possa baixar e testar por conta própria. Assim, os modelos abertos deixam de ser apenas "seguidores" e passam a ser a régua pública para avaliação de hardware. As equipes chinesas que, nos últimos anos, liberaram seus pesos para construir ecossistema agora colhem retorno em lugares inesperados.

Alguns pontos a considerar com ressalvas

The Register alerta que esses dados devem ser vistos com certa reserva: a comparação exclui otimizações como decodificação especulativa, e o escopo dos testes não é completo. Em comparação direta, o sistema Helios da AMD tem 15% menos largura de banda de memória que o Jalapeño, mas capacidade de computação de 1,46 a 2 vezes maior; as GPUs da Nvidia e da AMD ainda levam vantagem em programabilidade — chips de inferência dedicados trocam flexibilidade por eficiência energética.

Um ponto ainda mais importante: essa comparação não inclui o Vera Rubin, que está apenas começando a ser enviado. O Jalapeño enfrenta a geração anterior, o Blackwell, enquanto o próprio Vera Rubin só deve ser implantado em "escala mínima" nas instalações próprias da OpenAI no fim de 2026, com produção em escala prevista para 2027. Quando ele estiver realmente em operação, o adversário do outro lado já não será mais o GB300.

Em termos de ritmo, a OpenAI não pretende desacelerar: a segunda geração já está em desenvolvimento avançado, e a terceira está em fase de projeto.

Fontes: comunicado oficial da OpenAI, TechCrunch, CocoLoop, The Register, Tom's Hardware; a metodologia de benchmark do pacote InferenceX da SemiAnalysis, as especificações de cada chip e os números de consumo foram conferidos item a item com reportagens públicas.