9 articles vérifiés sur Benchmarks de grands modèles, les produits et le secteur.
ThinkingBox, de Microsoft et Hugging Face, répète chaque tâche 20 fois pour évaluer les agents IA : même le meilleur modèle ne reste fiable que sur guère plus de la moitié des cas.
Le document de sécurité d'OpenAI pour GPT-6 Astra révèle un net recul de la surveillabilité de sa chaîne de raisonnement, avec des chiffres à l'appui.
Selon Fortune, les données d'évaluation du GPT-6 Astra d'OpenAI ont été modifiées à plusieurs reprises après leur publication, taux d'hallucination et notes de mathématiques oscillant — seules les archives d'Internet subsistent comme preuve.
Le Fable 5.1 d'Anthropic prend la tête de l'indice global d'Artificial Analysis avec 66 points, mais faire tourner toute la batterie de tests a coûté 8523.16 dollars, prix affiché inchangé.
Le laboratoire RDI de Berkeley a publié le benchmark Vero : des agents IA écrivent implémentation et preuve formelle dans des dépôts Lean 4, le meilleur taux de réussite par spécification atteint 87,3 %, mais seuls 27 des 43 projets sont entièrement résolus.
Un test de Hume AI sur 11 modèles ASR montre que le taux d'erreur le plus bas coïncide souvent avec le taux le plus élevé de reproduction des erreurs du texte de référence, un signal d'alarme pour le choix des modèles vocaux.
Alibaba teste les agents avec la classification HS Code est repris pour des lecteurs tech francophones, avec les chiffres, les limites produit et les points de verification essentiels.
Le benchmark de 750 tâches montre que les modèles aident les sciences du vivant sans être prêts pour la recherche autonome.
Un benchmark mené par Shanghai Jiao Tong University montre que les agents trouvent souvent le bon fichier, mais seulement 14 à 19% des lignes pertinentes.