O instituto de pesquisa em IA Epoch AI divulgou a 26 de outubro uma série de experiências internas: entregou a modelos de fronteira o trabalho que a equipa realmente faz no dia a dia e pontuou-os pelo mesmo padrão usado para avaliar funcionários humanos. Os melhores resultados foram os do Claude Fable 5.1 e do GPT-6 Astra, com média de 65%.
"A 65% score is still a failed task."
(Uma tarefa com 65 pontos continua a ser uma tarefa falhada.)
Os autores do artigo são Kelly Hong, Greg Burnham e Lynette Bye, e o texto resume a nova série "relatórios de automação" da Epoch.
A história tem antecedentes. O investigador sénior da Epoch Anson Ho já tinha tentado deixar a IA assumir o seu próprio trabalho; na altura, a IA não conseguiu concluir todas as tarefas, e a conclusão dele foi que isso mudaria antes do fim desta década. Desta vez, a experiência individual foi alargada à lista de tarefas de toda a equipa, com uma grelha de avaliação uniforme, e os modelos participantes passaram a ser os seis mais fortes da atualidade.
Como foi o teste
As tarefas vêm do trabalho quotidiano dos funcionários da Epoch e cobrem cinco categorias, incluindo design gráfico, planeamento de projetos de investigação, programação e análise de dados. Os modelos tinham de recolher contexto por conta própria, chamar ferramentas e lidar com as várias complicações das tarefas. A pontuação mede quantos itens da grelha o resultado cumpre, uma grelha que foi criada, de origem, para avaliar funcionários humanos.
A Epoch admite que isto dá muito mais trabalho do que correr um benchmark padrão, mas tem a vantagem de se aproximar mais do trabalho real. O artigo não indica o número total de tarefas.
A distribuição dos resultados segue um padrão claro: em tarefas bem delimitadas, como escrever código ou analisar dados, os modelos saem-se bem; em tarefas abertas, como deduzir regras a partir de alguns exemplos ou trabalhos que exigem tomar decisões, notam-se claras dificuldades. Quando lhes pedem direções de investigação, as ideias ainda são úteis; mas, na hora de transformar essa direção num plano experimental executável, os problemas surgem com facilidade.
Numa experiência-piloto, o GPT-6 Astra fixou o orçamento de tokens baixo demais, e 22% das execuções não devolveram resposta; ainda assim, registou essas falhas na conclusão como uma "descoberta importante sobre a capacidade do modelo", sem perceber que o erro estava na sua própria configuração.
Ao lado das pontuações dos benchmarks padrão
Os mesmos dois modelos costumam ter resultados muito mais vistosos nos rankings públicos de cada empresa. O GPT-6.1 Terra, acabado de lançar pela OpenAI, concluiu 50,3% das tarefas no nível mais alto do Terminal-Bench 4.0 e já foi apresentado como um grande avanço; benchmarks de operação de computador como o Agents' Last Exam e o OSWorld também recorrem cada vez mais à "taxa de conclusão" para contar a sua história.
Os 65% da Epoch não se convertem diretamente nessas pontuações. Os primeiros são a "proporção de itens da grelha cumpridos"; as segundas são, na maioria, a "proporção de problemas resolvidos por inteiro". A Epoch avisa expressamente no texto: 65% não equivalem a dois terços do trabalho já automatizado, a pontuação pode vir sobretudo de itens fáceis de obter e, em tempo gasto e dificuldade, cobrir 65% dos itens está longe de significar 65% do progresso.
"Every one of those tasks would be rejected or revised if a human had submitted it."
(Cada uma dessas tarefas seria rejeitada ou devolvida para revisão se tivesse sido entregue por uma pessoa.)
Houve também uma mudança prática: a Epoch retirou do conjunto de testes uma tarefa básica de geração de gráficos, porque o Fable 5.1 consegue, na maioria das vezes, desenhar um gráfico aceitável à primeira, e a equipa já deixa a IA assumir parcialmente esse passo.
Na opinião dos autores, a cada nova geração de modelos mais tarefas ultrapassam a linha de "100% aceitável"; só então os humanos as entregarão de vez à IA, e só então o impacto económico começará a sentir-se. Quais tarefas passarão primeiro essa linha é algo que a Epoch pretende acompanhar, item a item, nos próximos relatórios.
Fontes: coluna de pesquisa da Epoch AI, CocoLoop, anúncio de produto da OpenAI; a explicação da grelha de avaliação da Epoch serviu para verificar o critério estatístico da pontuação de 65%.