9 artigos verificados sobre Benchmarks de grandes modelos, produtos e movimentos do setor.
O ThinkingBox, da Microsoft e da Hugging Face, repete cada tarefa 20 vezes para testar agentes de IA: nem o melhor modelo consegue ser consistente em mais da metade dos casos.
Documento de segurança da OpenAI para o GPT-6 Astra mostra queda acentuada na monitorabilidade da cadeia de raciocínio, com ataques à cadeia de suprimentos.
A Fortune revelou que os dados de avaliação do GPT-6 Astra da OpenAI foram alterados várias vezes após a publicação, com taxa de alucinação e notas de matemática oscilando — só os arquivos da internet restam como prova.
O Fable 5.1 da Anthropic assume a liderança do índice geral da Artificial Analysis com 66 pontos, mas rodar toda a bateria de testes custou 8523.16 dólares, com o preço por token inalterado.
O laboratório RDI de Berkeley lançou o benchmark Vero: agentes de IA escrevem implementação e prova formal em repositórios Lean 4, a melhor taxa de acerto por especificação chega a 87,3%, mas apenas 27 dos 43 projetos são resolvidos por completo.
Teste da Hume AI com 11 modelos de ASR mostra que a menor taxa de erro costuma coincidir com a maior taxa de reprodução de erros do texto de referência, um alerta para quem escolhe modelos de voz em produção.
Alibaba testa agentes com classificacao de HS Code e reescrito para leitores de tecnologia em portugues, preservando numeros, promessas de produto e pontos de verificacao.
O benchmark de 750 tarefas mostra que modelos ajudam em ciências da vida, mas ainda não fazem pesquisa independente.
Um benchmark liderado pela Shanghai Jiao Tong University mostra que agentes acham o arquivo certo, mas acertam só 14% a 19% das linhas do bug.