A diretora financeira da OpenAI, Sarah Friar, disse em 8 de setembro, na conferência Communacopia do Goldman Sachs, que a empresa já está usando seus próprios modelos de ponta no projeto de chips, o que permitiu que o chip de inferência desenvolvido internamente, o Jalapeno, fosse do design à versão final em apenas 9 meses. Ela também listou projeto de chips, ciências da vida e serviços financeiros como três setores em que a empresa quer investir com prioridade, argumentando que a demanda por IA construída em torno de fluxos de trabalho especializados está crescendo nessas áreas.
O Jalapeno é um chip de inferência desenvolvido em conjunto pela OpenAI e pela Broadcom, anunciado publicamente em junho deste ano, com o objetivo de rodar os próprios modelos da empresa a um custo menor. Segundo informações divulgadas, as primeiras amostras conseguem economizar cerca da metade do custo em comparação com processadores gráficos de IA típicos. A data de entrega do chip não foi divulgada.
Um ritmo de 9 meses é considerado curto para chips personalizados. Um novo ASIC de inferência costuma levar, segundo padrões do setor, de um ano e meio a dois anos entre a definição final da arquitetura e o tape-out. Friar atribuiu essa redução ao uso dos próprios modelos, mas não detalhou quais etapas exatamente os modelos assumiram — layout e roteamento, verificação, ou até a exploração de arquitetura em estágio anterior.
Comparando a Luna com a GLM-5.3
A parte sobre preços foi o trecho mais concreto da fala. Friar disse que, após o corte de 80% no preço da Luna, o preço de entrada caiu para US$ 0,20 por milhão de tokens, o de saída ficou em US$ 1,20, e o uso aumentou cerca de 10 vezes depois disso. Em seguida, ela apontou diretamente para um modelo de código aberto chinês como referência de comparação:
"If you're deploying Luna and compare that to (Z.ai's) GLM 5.3, for example, on a cloud layer, we are cheaper."
Se você está implantando a Luna e compara isso com o GLM 5.3 da Zhipu AI, por exemplo, na camada de nuvem, somos mais baratos.
O critério usado nessa frase merece atenção. Ela comparou a implantação do GLM-5.3 "na nuvem", ou seja, o preço efetivo dos pesos abertos hospedados por um provedor de nuvem terceirizado, enquanto o preço público da API própria da Zhipu AI é outra linha de comparação: no lançamento, o GLM-5.3 anunciou um preço de saída de US$ 4,40 por milhão de tokens. O mesmo modelo pode ter preços que diferem em várias vezes entre a API própria e uma nuvem terceirizada, porque esta última precisa diluir custos de ocupação de GPU, memória e utilização simultânea. A OpenAI não divulgou o critério completo dessa comparação de preços nem qual nível de throughput foi assumido na comparação.
A pressão real sobre o lado do código aberto chinês
Esse argumento mira o cenário de empresas que hospedam sua própria infraestrutura. Nos últimos dois anos, as principais razões para empresas na China e no exterior escolherem pesos abertos foram duas: os dados não saem do ambiente controlado, e o cálculo próprio sai mais barato. A primeira razão não é afetada, mas a segunda está sendo pressionada pelos cortes de preço do lado de código fechado. Com o preço de saída da Luna caindo para US$ 1,20, e ainda com um chip de inferência próprio por trás continuando a puxar os preços para baixo, a conta de que "hospedar por conta própria sai mais barato" precisa ser refeita — especialmente para equipes com baixa concorrência e utilização de GPU que não sobe.
É preciso deixar claro que os números de Friar representam a perspectiva do vendedor; terceiros ainda não fizeram um cálculo público de preço unitário comparando Luna e GLM-5.3 sob as mesmas condições de throughput, e a Zhipu AI também não respondeu a essa comparação.
Fontes: Reuters, Qz, CocoLoop; várias reportagens foram cruzadas para confirmar os preços de entrada e saída e o percentual de corte de preço da Luna, a proporção entre o ciclo de design e o custo das amostras do Jalapeno, e a fala original de Friar em inglês.