4 artigos verificados sobre Benchmarks de grandes modelos, produtos e movimentos do setor.
Teste da Hume AI com 11 modelos de ASR mostra que a menor taxa de erro costuma coincidir com a maior taxa de reprodução de erros do texto de referência, um alerta para quem escolhe modelos de voz em produção.
Alibaba testa agentes com classificacao de HS Code e reescrito para leitores de tecnologia em portugues, preservando numeros, promessas de produto e pontos de verificacao.
O benchmark de 750 tarefas mostra que modelos ajudam em ciências da vida, mas ainda não fazem pesquisa independente.
Um benchmark liderado pela Shanghai Jiao Tong University mostra que agentes acham o arquivo certo, mas acertam só 14% a 19% das linhas do bug.