O braço de pesquisa da VentureBeat reuniu três edições da pesquisa VB Pulse, realizadas de julho a setembro, e o resultado mostra que a capacidade de computação de IA das empresas está amplamente ociosa, sem que os planos de compra desacelerem. Os entrevistados foram 385 respondentes qualificados de organizações com 100 funcionários ou mais, incluindo consultores que responderam em nome de seu principal cliente; 218 deles informaram a taxa de utilização de GPUs.
79% (172 de 218) disseram que suas GPUs ficam ocupadas no máximo metade do tempo, com variação entre 77% e 81% ao longo dos três meses. Justamente nesse grupo de empresas com GPUs paradas, 70% (120 de 172) planejam adotar, nos próximos 12 meses, plataformas de computação de IA adicionais ou de substituição.
Ocupadas ou não, a vontade de comprar é parecida
Entre as 46 empresas com GPUs mais ocupadas, 74% planejam uma nova plataforma. O artigo avalia que a diferença entre 70% e 74% não é estatisticamente significativa, ou seja, o nível de utilização quase não influencia a disposição de comprar.
O destino das novas compras também é bastante concentrado. Das 120 empresas ociosas que planejam uma nova plataforma, 90% citaram plataformas de nuvem ou provedores de modelos, e apenas 8% pretendem investir em clusters locais ou hospedados, ou em uma pilha de código aberto autogerenciada.
O contraste aparece do lado da infraestrutura própria. Entre as 32 empresas que operam clusters locais ou hospedados, ou uma pilha de código aberto autogerenciada, a proporção com GPUs ociosas por pelo menos metade do tempo é de 56%; entre as outras 186, é de 83%. A pesquisa não perguntou os motivos, e a explicação do autor também é apresentada como mera conjectura.
A afirmação de que "nove em cada dez investimentos não passam pela auditoria financeira" vem apenas dos dados de setembro: das 64 empresas que planejam uma nova plataforma, 58 (91%) não conseguem apresentar um número de retorno sobre o investimento validado pela área financeira. A amostra cobre um único mês e algumas dezenas de empresas; nos outros meses, a mesma pergunta não foi feita.
Uma conta aproximada do custo da ociosidade
A utilização afeta o custo unitário de forma inversa. Suponha que o aluguel de uma GPU de ponta custe 2 dólares por hora de placa; um servidor de 8 placas sai por cerca de 140 mil dólares ao ano (conta aproximada: 8 placas × 8.760 horas × 2 dólares). Com 80% de utilização, cada hora de placa que realmente trabalha custa cerca de 2,5 dólares; se cair para 40%, passa a 5 dólares. Para obter a mesma capacidade efetiva de computação, paga-se cerca de 140 mil dólares a mais por ano, o equivalente a alugar outro servidor.
Do outro lado da conta, os custos também sobem. O artigo cita uma previsão do Gartner segundo a qual, até 2028, o custo de inferência por fluxo de trabalho de agente aumentará mais de cinco vezes; a Vals AI mediu que equipes de programação multiagente custam de 1,8 a 5,1 vezes mais que um único agente, e das quatro configurações de equipe, apenas uma obteve melhora estatisticamente significativa em testes de referência.
Um caminho para economizar é o cache. Segundo um guia da Nvidia, de 85% a 97% do contexto nas chamadas seguintes de uma sessão do Claude Code podem ser reaproveitados do cache; a Anthropic cobra pelos tokens em cache de um quadragésimo a um décimo do preço normal de entrada, dependendo do modelo. O diretor de tecnologia da Uber, Praveen Neppalli Naga, disse à Fortune em agosto uma frase:
"we're coming to the end of the so-called tokenmaxxing era" (a chamada era de gastar tokens sem olhar o custo está chegando ao fim)
Limites da amostra
Os números devem ser lidos com cautela. Os respondentes são leitores da VentureBeat e voluntários do painel de pesquisa, e não representam todas as empresas; a pesquisa não perguntou se as GPUs são próprias ou alugadas, nem se a empresa pode agendá-las diretamente, e não distinguiu a folga mantida de propósito para picos de tráfego; a nova plataforma planejada também pode ser apenas a substituição de uma antiga. Respondentes que marcaram várias opções de utilização em julho e empresas que não medem o uso de GPUs não foram contabilizados.
Além disso, o relatório também promove a cúpula de infraestrutura de agentes da própria VentureBeat, patrocinada por WEKA, Outshift, da Cisco, e OneTrust.
Fontes: relatório de pesquisa VentureBeat Intelligence, Gartner, CocoLoop, Vals AI; conferidos o tamanho das amostras de utilização de GPUs, as porcentagens de cada grupo e os critérios de significância estatística.