A organização de avaliação METR publicou em 20 de novembro sua atualização de medição de capacidades do quarto trimestre. Há duas conclusões principais: na métrica que combina o conjunto de tarefas antigo e o novo, a duração das tarefas que os modelos de ponta conseguem concluir de forma autônoma dobra aproximadamente a cada 3,6 meses; ao mesmo tempo, essa capacidade está cada vez mais difícil de medir com precisão. O início do relatório afirma que as evidências públicas atuais não bastam para descartar uma aceleração drástica da pesquisa e desenvolvimento em IA nos próximos dois ou três anos.
Desta vez foram medidos 15 modelos, do GPT-4o e do o1 até o Fable 5.1, o GPT-6 Astra e o Opus 5.5.
27 horas e o alcance desse número
O "horizonte de tempo" da METR mede quanto tempo um humano proficiente levaria numa tarefa que o modelo consegue concluir sozinho com determinada taxa de sucesso. Na parte das tarefas do novo conjunto TH2 cujo resultado pode ser verificado automaticamente, a estimativa de horizonte de tempo dos modelos de ponta públicos chega a até 27 horas.
Alguns resultados concretos:
- Em 15 competições históricas de algoritmos AZsPCs (cada uma com cerca de três meses de duração e de 97 a 413 participantes), a posição mediana do Fable 5.1, do Opus 5.5 e do GPT-6 Astra ficou entre os percentis 96 e 98; na competição mediana, apenas cerca de 4 participantes humanos ficam à frente deles;
- Nas 3 tarefas em que a METR obteve linha de base humana, os modelos venceram todas;
- Na tarefa de acelerar o treinamento do NanoGPT com orçamento limitado, o melhor agente obteve em 48 horas uma aceleração de 15,7%, enquanto um recente recorde humano com auxílio de IA alcançou 41% em cerca de 60 horas.
Os pontos fortes e fracos seguem um padrão. Em tarefas de programação e otimização com sinal de feedback claro, os modelos costumam igualar ou superar humanos proficientes; em tarefas que exigem julgamento e não têm feedback experimental claro, o discernimento dos agentes parece inferior ao de especialistas humanos. A METR também constatou que, quanto mais caro é transformar uma tarefa em ambiente de treinamento por aprendizado por reforço, pior é o desempenho do modelo, mesmo controlando pela duração da tarefa.
Por que está cada vez mais difícil medir
A segunda metade do título do relatório é "cada vez mais difícil de medir", e a METR aponta vários motivos.
As tarefas são superadas rápido demais. O conjunto da geração anterior, o TH1.1, tinha 222 tarefas, a mais longa com 30 horas. Em março de 2025, o melhor modelo, o Sonnet 3.7, só dava conta de tarefas na casa de 1 hora; cerca de um ano depois, esse conjunto estava saturado. O novo TH2 tem apenas 12 famílias de tarefas e 36 tarefas.
As linhas de base humanas estão cada vez mais difíceis de obter. A METR pagou aos participantes de linha de base de 200 a 350 dólares por hora; 7 tentativas de linha de base custaram cerca de 90 mil dólares, e no fim só 9% das estimativas de duração de tarefa têm dados humanos medidos que as sustentem diretamente, enquanto o restante é inferido por um procedimento de estimativa. Participantes qualificados são difíceis de encontrar, e os que se encontram muitas vezes perdem para os modelos.
Os modelos exploram brechas na pontuação. O relatório diz:
"We find that models still often engage in reward hacking."
(Constatamos que os modelos ainda recorrem com frequência ao reward hacking.)
O relatório cita nominalmente o GPT-5.6 Sol como o modelo que trapaceou mais do que outros modelos de ponta. Cerca de 10 execuções oficiais receberam nota zero após revisão manual, menos de 0,1% do total.
Avaliações em contêineres podem superestimar a capacidade real. A METR teme que ambientes de teste fáceis de executar, como os seus, sejam parecidos demais com os ambientes de aprendizado por reforço usados no treinamento pelas empresas, e que o desempenho dos modelos aqui não se traduza necessariamente em trabalho real.
Se há aceleração, os dados não permitem concluir
O que mais interessa a quem observa de fora é se o crescimento de capacidade está acelerando. Ao avaliar a Anthropic em outubro deste ano, a METR citou um número: tomando outubro de 2025 como ponto de corte, a taxa de crescimento exponencial da capacidade depois dele era 1,9 vez a anterior, mas isso se baseava em modelos internos não divulgados.
Desta vez, o cálculo foi refeito com modelos públicos, usando o mesmo ponto de quebra: a mudança de inclinação para o conjunto dos modelos de ponta públicos é de 1,10 vez, com intervalo de confiança de 95% de 0,59 a 1,91. Separadamente, a Anthropic fica em 1,26 vez e a OpenAI em 0,94 vez, com intervalos que cruzam o 1. Nas palavras da própria METR, o intervalo de confiança é "extremamente amplo" e, nos modelos públicos, "não se observa aceleração clara", embora ela reconheça que a conclusão é sensível às escolhas metodológicas.
Ligando alguns marcos desses dois anos de METR: em março de 2025, o melhor modelo estava no patamar de 1 hora; um ano depois, o banco com teto de 30 horas ficou saturado; neste relatório, a estimativa para tarefas verificáveis é de 27 horas, e as linhas de base humanas que sustentam esse número cobrem menos de um décimo das tarefas. A atualização das ferramentas de medição não acompanhou o ritmo do objeto medido.
O próprio relatório lista não poucas limitações: as novas tarefas cobrem a engenharia de software geral menos do que o banco antigo; os participantes de linha de base não representam necessariamente o nível dos funcionários de laboratórios de IA; a varredura não encontrou casos de modelos que reduzissem o desempenho de propósito, mas não é possível descartar casos não detectados. O número de 3,6 meses, por ora, só serve como leitura de tendência com barras de erro largas.
Fontes: relatório de atualização de medição de capacidades do quarto trimestre da METR, CocoLoop; o ciclo de duplicação, os resultados de cada tarefa, o custo da linha de base e o intervalo de confiança da inclinação vêm do corpo e dos apêndices do relatório e seguem o critério da própria METR.