L'institut de recherche en IA Epoch AI a publié le 26 octobre une série d'expériences internes : il a confié à des modèles de pointe le travail que son équipe accomplit réellement au quotidien, et l'a noté selon le même barème que celui appliqué aux salariés humains. Les meilleurs résultats reviennent à Claude Fable 5.1 et GPT-6 Astra, avec 65 % en moyenne.
"A 65% score is still a failed task."
(Une tâche notée 65 reste une tâche ratée.)
Les auteurs de l'article sont Kelly Hong, Greg Burnham et Lynette Bye ; le texte résume la nouvelle série de « rapports sur l'automatisation » lancée par Epoch.
L'affaire a un précédent. Anson Ho, chercheur senior chez Epoch, avait déjà essayé de laisser l'IA reprendre son propre travail ; l'IA n'avait alors pas réussi à mener toutes les tâches à bien, et il estimait que la situation changerait avant la fin de cette décennie. Cette fois, l'essai individuel est devenu une liste de tâches pour toute l'équipe, évaluée avec une grille unique, et les modèles testés sont les six plus puissants du moment.
Comment le test a été conçu
Les tâches sont tirées du travail quotidien des salariés d'Epoch et couvrent cinq catégories, dont le graphisme, la planification de projets de recherche, la programmation et l'analyse de données. Les modèles devaient rassembler eux-mêmes le contexte, appeler des outils et gérer les nombreuses complications propres à chaque tâche. La notation consiste à compter combien de critères de la grille sont remplis par le résultat ; cette grille servait à l'origine à évaluer des salariés humains.
Epoch reconnaît que c'est bien plus laborieux que de faire tourner un benchmark standard, mais que cela se rapproche davantage du travail réel. L'article ne donne pas le nombre total de tâches.
La répartition des résultats suit un schéma net : sur les tâches bien délimitées, comme écrire du code ou analyser des données, les modèles s'en sortent correctement ; sur les tâches ouvertes, comme dégager une règle à partir de quelques exemples ou celles qui demandent de trancher, ils peinent nettement. Quand on leur demande de proposer des pistes de recherche, les idées restent utiles ; mais dès qu'il faut transformer une piste en plan d'expérience exécutable, les problèmes surviennent facilement.
Dans une expérience pilote, GPT-6 Astra a fixé un budget de tokens trop bas, si bien que 22 % des exécutions n'ont renvoyé aucune réponse ; il a pourtant inscrit ces échecs dans ses conclusions comme une « découverte importante sur les capacités du modèle », sans comprendre que l'erreur venait de son propre paramétrage.
Face aux scores des benchmarks standard
Ces deux mêmes modèles affichent en général de bien meilleurs résultats sur les classements publics de chaque éditeur. GPT-6.1 Terra, que vient de lancer OpenAI, accomplit 50,3 % des tâches au niveau le plus élevé de Terminal-Bench 4.0 et a déjà été présenté comme un grand bond en avant ; les benchmarks de pilotage d'ordinateur tels qu'Agents' Last Exam ou OSWorld racontent eux aussi de plus en plus leur histoire à travers le « taux d'achèvement ».
Les 65 % d'Epoch ne se convertissent pas directement en ces scores. Le premier est la « proportion de critères de la grille satisfaits » ; les seconds sont, pour la plupart, la « proportion de problèmes entièrement résolus ». Epoch le souligne expressément dans le texte : 65 % ne signifient pas que les deux tiers du travail sont automatisés, le score pouvant provenir en grande partie de critères faciles à obtenir, et, en temps passé comme en difficulté, couvrir 65 % des critères est loin de représenter 65 % de l'avancement.
"Every one of those tasks would be rejected or revised if a human had submitted it."
(Chacune de ces tâches aurait été rejetée ou renvoyée pour correction si c'était un humain qui l'avait rendue.)
Un changement concret a aussi eu lieu : Epoch a retiré de son jeu de tests une tâche élémentaire de production de graphiques, car Fable 5.1 réussit le plus souvent à tracer un graphique acceptable du premier coup, et l'équipe laisse désormais l'IA prendre en charge en partie cette étape.
Pour les auteurs, à chaque nouvelle génération de modèles, davantage de tâches franchiront la barre du « 100 % acceptable » ; c'est seulement alors que les humains les confieront pour de bon à l'IA, et que l'impact économique commencera à se faire sentir. Quelles tâches franchiront la barre en premier, Epoch prévoit de le suivre point par point dans ses prochains rapports.
Sources : rubrique de recherche d'Epoch AI, CocoLoop, annonce produit d'OpenAI ; la note explicative sur la grille de notation d'Epoch a permis de vérifier le mode de calcul du score de 65 %.