Em 8 de setembro, Dwarkesh Patel e Jerry Han divulgaram os resultados de uma série de experimentos controlados sobre pré-treino: entre 2019 e 2025, com um orçamento computacional fixo de 1e19 FLOPs, o ganho de eficiência computacional proveniente de melhorias nos dados foi de 12.0 vezes, e o proveniente de melhorias no modelo, de 3.7 vezes — o primeiro equivale a 3.24 vezes o segundo.
Como o experimento foi montado
Os dois autores dividiram receitas de modelo e corpora de dados em dois eixos organizados por ano e os combinaram de forma cruzada para o treinamento. O eixo de modelos vai do GPT-2 (2019) ao OLMo-2 (2025), passando pelas receitas do GPT-3 e do NeoX. O eixo de dados vai do OpenWebText (2019) ao UltraFineWeb (2025), passando pelo The Pile. O OpenWebText tem cerca de 9 bilhões de tokens, enquanto os corpora modernos são ordens de grandeza maiores.
Foram escolhidos cinco níveis de orçamento computacional: 1e17, 3.16e17, 1e18, 3.16e18 e 1e19 FLOPs, calculados pela fórmula nominal C = 6ND. A avaliação usou o OLMES, que agrega 10 benchmarks relativamente simples, a maioria perguntas de múltipla escolha. Os autores explicam sem rodeios por que escolheram o OLMES em vez da perda de entropia cruzada: como cada grupo de experimentos usa um conjunto de dados diferente, os valores de perda não são diretamente comparáveis.
Ao inserir os resultados numa regressão linear, um modelo que soma o termo dos dados ao termo do modelo explicou 88% da variância.
Convertidos para taxa anual, os números encolhem
Convertido para taxa anual, o ganho anual de eficiência computacional do lado do modelo é de 1.24 vezes, do lado dos dados, 1.51 vezes, e juntos, 1.57 vezes.
O valor de 1.57 fica abaixo de estimativas anteriores do setor. Anson Ho e colegas apontaram uma média de 3 vezes, quase o dobro. Os autores não fogem dessa diferença e a atribuem a dois fatores: a escala do próprio experimento é pequena demais, de modo que muitos ganhos simplesmente não aparecem nessa magnitude; e o treinamento em pequena escala também não cobre otimizações do lado da inferência.
Os dois conjuntos de números não podem ser comparados diretamente. Um vem de um experimento controlado em pequena escala, com variáveis limpas mas pouco espaço para extrapolação; o outro é uma estimativa macro para todo o setor, com ampla cobertura, mas incapaz de separar as origens do ganho. A utilidade deste trabalho está em pesar separadamente "dados" e "modelo" — a razão específica de 3.24 é secundária.
A brecha que os próprios autores deixam em aberto
No texto original há uma frase que merece mais atenção do que a própria conclusão:
"if the gains are limited, then the main driver of pretraining progress will stall, because we're not generating more internet, and you can only curate a fixed set of data by so much."
(se os ganhos forem limitados, o principal motor do progresso do pré-treino vai travar, porque não estamos gerando mais internet, e há um limite para o quanto se pode extrair curando um conjunto fixo de dados.)
Os autores listam eles mesmos quatro limitações. Primeira: a escala do experimento é pequena demais para captar muitos ganhos. Segunda: o multiplicador de eficiência computacional é bastante sensível à escolha da receita de modelo e do corpus — trocando o par, o resultado muda. Terceira: eles estudaram apenas métodos de limpeza a partir do Common Crawl, sem cobrir três caminhos: coleta de dados de alta qualidade de novas fontes, dados gerados por especialistas humanos e geração de dados sintéticos. Quarta: com outra bateria de benchmarks, a conclusão "seria bem diferente".
O terceiro ponto é especialmente relevante. As fontes incrementais repetidamente mencionadas no debate público dos últimos dois anos caem exatamente nessas três categorias não testadas. Este experimento responde até onde foi o caminho de limpeza de dados da internet nos últimos seis anos; quanto caminho ainda resta, ele não responde.
Fontes: texto original do Dwarkesh Podcast, documentação do benchmark OLMES, CocoLoop; os fatores de eficiência computacional e as taxas anualizadas seguem o referencial de 1e19 FLOPs do texto original, e a estimativa setorial de 3 vezes é citada da pesquisa de Anson Ho e colegas.