Epoch põe a IA a fazer o seu trabalho: no máximo 65%
A Epoch AI entregou a modelos de ponta tarefas reais da própria equipa e avaliou-os com os mesmos critérios usados para funcionários: os melhores ficaram com 65% em média.
Notícias e análises sobre Benchmarks de IA
11 artigos verificados sobre Benchmarks de IA, produtos e movimentos do setor.
Líder do ARC-AGI-2 salta para 88,06%
A TUFA Labs lidera o ranking do ARC-AGI-2 da temporada 2026 com 88,06% no Kaggle, muito acima dos 24,03% do campeão NVARC no ano anterior.
Modelos de fronteira criam algoritmo de pós-treino sozinhos: no máximo 15%
A Epoch AI divulgou os primeiros resultados do InnovationEval: o GPT-5.6 Sol chega a 35% do ganho do SDPO na leitura ampla, 15% após correções; o Fable 5 fez zero na primeira rodada.
Arena capta US$ 200 milhões e vai a US$ 3,1 bilhões
A plataforma de avaliação de modelos Arena fecha Série B de US$ 200 milhões com valuation de US$ 3,1 bilhões e lança prévia do Alignment Index para agentes de IA.
METR encontra em 10 minutos falha que permite adulterar logs de avaliação
A falha estava na renderização de fórmulas do visualizador de logs do Inspect; um pesquisador a encontrou em cerca de 10 minutos com ajuda de IA. A manutenção corrigiu em um dia.
Google faz modelo revisar a própria resposta, tarefas longas sobem 6 pontos
O VeriHarness do Google faz a IA reconferir os próprios resultados várias vezes, elevando a pontuação média em 6,2 a 6,4 pontos em tarefas longas.
AISI do Reino Unido retoma avaliações de capacidades perigosas após bloqueio de rede
O AISI britânico retomou a maioria das avaliações de capacidades perigosas após o incidente de agosto, mas os testes de ataque cibernético de maior risco seguem suspensos até a conclusão de um novo sandbox.
Opus 5.5 chega ao topo da Text Arena com 1509 pontos
A Claude Opus 5.5 (High) estreou em 1º lugar na Text Arena com 1509 pontos, mas os pouco mais de 2.300 votos deixam essa liderança ainda incerta.
OpenAI lança com mais de 80 especialistas um novo benchmark de saúde mental
A OpenAI apresenta o MentalHealthBench, benchmark aberto criado por mais de 80 especialistas para medir a qualidade das respostas de modelos de IA em conversas sobre saúde mental.
OpenAI eleva pontuação ARC a 38,3%
A OpenAI diz que o GPT-5.6 Sol subiu de 13,3% para 38,3% no conjunto público do ARC-AGI-3 após reter raciocínio e ativar compaction.
RoboDojo mostra baixo sucesso de robos reais
RoboDojo mostra baixo sucesso de robos reais e reescrito para leitores de tecnologia em portugues, preservando numeros, promessas de produto e pontos de verificacao.