A Prime Intellect divulgou uma avaliação de porte considerável: 18 modelos de fronteira foram colocados para conduzir pesquisa em IA por conta própria, totalizando 153 experimentos totalmente autônomos, cada um usando 8 GPUs H200, sendo que a execução mais longa durou mais de oito dias.
A tarefa foi o speedrun de otimizador do nanoGPT, uma competição comunitária criada por Keller Jordan: treinar um GPT de 124 milhões de parâmetros até a perda de validação cair abaixo de 3,28, vencendo quem usar menos passos de treinamento. As regras são rígidas — só é permitido mexer na parte relacionada ao otimizador, sem acesso à internet, e o resto fica por conta do modelo. A única ferramenta disponível é um kernel IPython persistente: montar o pipeline do experimento, escrever código, rodar validações e até refutar as próprias hipóteses, tudo por conta própria.
O placar
A linha de partida é 3290 passos. A comunidade humana, com dezenas de pessoas trabalhando ao longo de meses, reduziu o recorde para 2600 passos — os 690 passos no meio são exatamente o que este experimento quer medir.
O Fable 5 chegou a 2726 passos, cobrindo cerca de 82% dessa lacuna. O Opus 5 parou em 2920 passos, o Kimi K3 em 2930, cada um recuperando aproximadamente metade. O GPT-5.6 Sol ficou em 3042 passos, enquanto o GLM 5.3 não produziu um resultado válido.
Opus 5 e Kimi K3 diferem por apenas 10 passos. Grosso modo, isso representa 1,4% da lacuna total e, considerando o ruído inerente ao treinamento do nanoGPT e a aleatoriedade da amostragem, essa ordem praticamente não tem poder explicativo. Em outras palavras, em tarefas que exigem avanço autônomo contínuo por vários dias, os modelos de código aberto já estão emparelhados com o grupo de ponta dos modelos fechados — o Kimi K3, aliás, é o único representante open source entre os três primeiros.
O que separa os modelos é a execução
O relatório atribui a diferença entre os modelos à etapa de execução: quais experimentos escolher, com que rigor conduzi-los, como interpretar resultados ruidosos — cada uma dessas decisões amplia a lacuna.
Na prática, os modelos com melhor desempenho, ao obter um resultado limítrofe, primeiro o testavam novamente com três sementes aleatórias e só avançavam para a validação completa depois de confirmar a estabilidade; também retomavam estudos de ablação, revisitando direções antes classificadas como negativas. Alguns modelos chegaram a construir seus próprios pipelines de gestão de experimentos e pequenos simuladores. Os modelos com pior desempenho, por outro lado, muitas vezes enxergavam melhorias que não existiam dentro do ruído e seguiam adiante com base nessa conclusão equivocada.
Essa conclusão não é novidade para quem trabalha com engenharia. A dificuldade em ajustar hiperparâmetros nunca esteve em entender o artigo científico, mas em ter paciência para repetir um resultado positivo suspeito três vezes.
O balde de água fria: nada de novo
O relatório traz uma frase autoirônica: os autores dizem que, mais uma vez, se surpreenderam com a falta de originalidade. Nas 153 execuções, as soluções vencedoras usaram apenas técnicas já conhecidas — pré-condicionamento, agendamento de taxa de aprendizado, média de pesos —, e nenhum modelo propôs um método inédito.
Essa água fria cai bem na temperatura do debate recente sobre autoaperfeiçoamento em IA. Saber experimentar e saber propor métodos novos são coisas diferentes: a primeira já pode ser automatizada a ponto de rodar oito dias sem supervisão humana; da segunda, não há sinal nesses dados.
Até onde esses dados se generalizam
As limitações não são poucas. O próprio speedrun do nanoGPT já tem variância alta, e o orçamento computacional não permitiu repetições suficientes por modelo para tirar médias confiáveis; os próprios autores admitem não conseguir separar quanto do resultado vem das particularidades dessa tarefa específica e quanto reflete o teto real de cada modelo.
Uma única tarefa, uma única área, um harness fixo — se o ranking mudaria numa outra linha de pesquisa, ninguém sabe dizer por ora. Mas colocar 18 modelos na mesma sandbox rodando por oito dias é uma escala de experimento controlado e público que nunca havia existido antes; só o fato de expor a variância às claras já é mais útil do que uma pilha de autoavaliações incomparáveis entre si.
Fontes: blog de pesquisa e repositório de experimentos da Prime Intellect, CocoLoop, QbitAI; o ranking do nanoGPT speedrun foi usado para verificar o número de passos e a linha de base de cada modelo.