Segundo reportagem da Fortune publicada em 4 de setembro, depois que o post do blog anunciando o modelo GPT-6 Astra da OpenAI foi ao ar, os dados de avaliação na página foram alterados diversas vezes, com alguns indicadores sendo modificados e depois revertidos.
É possível reconstruir a linha do tempo comparando os registros do Internet Archive. Às 14h (horário do leste dos EUA) de 3 de setembro, o post foi publicado pela primeira vez e depois retirado; às 14h23 foi feito o primeiro registro de arquivo; às 15h32 a conta da OpenAI no X publicou um link, que estava quebrado; às 15h50 Sam Altman compartilhou o post; no sexto registro, às 17h20, os números da tabela já haviam mudado. Em 4 de setembro, os números continuaram a mudar.
O que foi alterado
A coluna de taxa de alucinação foi a que mudou de forma mais evidente. A Astra foi alterada de 4,2% para 2,0% e depois voltou a 4,2%; o modelo de comparação GPT-5.6 Sol foi de 12,2% para 9,4% e também voltou a 12,2%. Com a queda e o retorno, a posição relativa entre os dois modelos não mudou, mas a versão intermediária que circulou em capturas de tela reduziu a diferença entre eles a menos da metade.
Na coluna de matemática, o que foi alterado foi a nota de outros modelos. No FrontierMath Tier 4 v2, o próprio resultado da Astra, 97,6%, não mudou em nenhum momento; a nota da Fable 5.1, da Anthropic, foi ajustada de 87,8% para 78% e por fim ficou em 83%; a do GPT-5.6 Sol foi ajustada de 83% para 80,5% e depois também voltou a 83%. Em determinado momento, a nota do concorrente chegou a ser cortada em quase 10 pontos percentuais.
Em segurança cibernética, a nota do GPT-5.6 Sol no ExploitBench foi ajustada para cima, de 5,5% para 11,5%. Se esse item também foi revertido, a Fortune afirmou que ainda estava apurando no momento da reportagem.
Além disso, o resultado do ARC-AGI-3 na versão anterior ao embargo era de 98,6%, mas na publicação oficial passou a constar como 99,99%; na categoria de programação houve uma pequena alteração, de 57,7% para 57,9%.
Um porta-voz da OpenAI respondeu: "We care deeply about getting evaluations right. Most evaluations have noise within a few percentage points..." (nos importamos profundamente em fazer as avaliações corretamente; a maioria das avaliações já tem uma margem de ruído de alguns pontos percentuais).
Pesquisadores externos não têm uma opinião unânime. Anka Reuel e Mike Hardy afirmaram: "This can be done in a very tight timeframe, and it's better for their marketing." (isso pode ser feito em um prazo muito curto, e é melhor para o marketing da empresa). Já Vincent Sunn Chen, da Snorkel AI, tende a uma explicação mais operacional: "It's usually a function of final launch logistics." (geralmente é resultado da logística de última hora antes do lançamento).
Em que condições essas notas foram obtidas
No rodapé do post há um aviso: "Evaluation scores are the maximum at any effort" — as notas correspondem ao melhor resultado obtido em qualquer nível de esforço computacional. O peso dessa frase é maior do que qualquer alteração feita na tabela.
O ARC-AGI-3 mostra bem o tamanho dessa diferença. Segundo medições da própria Arc Prize Foundation, com um harness (camada de orquestração) potente o resultado chega a 99,9%; com um harness padrão, cai para apenas 63%. O mesmo modelo, o mesmo conjunto de questões, uma diferença de 36 pontos percentuais — a diferença está inteiramente no código de orquestração externo.
Para leitores que acompanham o assunto por comunidades de língua chinesa, essa camada de informação costuma se perder na disseminação. Quando a tabela de resultados chega até lá, na maioria das vezes só restam os números e capturas de tela de ranking, sem a configuração do harness, o nível de esforço computacional ou a versão da avaliação. Enquanto isso, o que o usuário comum realmente experimenta é o ChatGPT ou a API em configuração padrão já empacotada como produto, muito distante desse "valor máximo obtido em qualquer nível de esforço".
A Fortune também menciona que o system card da OpenAI carece de documentação metodológica detalhada, o que dificulta a reprodução dos resultados por terceiros. Quem exatamente iniciou essas rodadas de alterações e com base em quê não é esclarecido pelo material público disponível, e a resposta da OpenAI também não tratou desse ponto.
A única parte verificável são os arquivos
A única prova concreta neste caso são os seis registros do Internet Archive. Eles comprovam que os números mudaram, quando mudaram e para que valores — mas não comprovam a motivação por trás disso.
Tratar a tabela de avaliação publicada no dia do lançamento como um fato jornalístico citável é prática padrão no setor. O episódio da Astra mostra que, ao citar esses dados, o ideal é sempre indicar também o momento exato da coleta.
Fontes: Fortune, CocoLoop, Arc Prize Foundation, blog oficial da OpenAI; a Fortune verificou os horários de cada registro de arquivo e as variações das notas de taxa de alucinação, FrontierMath, ExploitBench e ARC-AGI-3, e o blog da OpenAI confirmou o texto original do aviso sobre o critério de apuração das notas.