L'organisme d'évaluation METR a publié le 20 novembre sa mise à jour de mesure des capacités du quatrième trimestre. Deux conclusions principales : selon le calcul qui combine l'ancien et le nouveau jeu de tâches, la durée des tâches que les modèles de pointe peuvent accomplir de manière autonome double environ tous les 3,6 mois ; parallèlement, cette capacité est de plus en plus difficile à mesurer avec précision. Le rapport indique d'emblée que les éléments publics disponibles ne suffisent pas à écarter une accélération brutale de la recherche et développement en IA dans les deux à trois prochaines années.
Quinze modèles ont été mesurés cette fois, de GPT-4o et o1 jusqu'à Fable 5.1, GPT-6 Astra et Opus 5.5.
27 heures, et la portée de ce chiffre
L'« horizon temporel » de METR mesure combien de temps un humain compétent mettrait à réaliser une tâche que le modèle peut accomplir seul avec un certain taux de réussite. Sur la partie du nouveau jeu TH2 dont les résultats peuvent être vérifiés automatiquement, l'estimation de l'horizon temporel des modèles de pointe publics atteint jusqu'à 27 heures.
Quelques résultats précis :
- Sur 15 concours d'algorithmique AZsPCs passés (d'environ trois mois chacun, avec 97 à 413 participants), le rang médian de Fable 5.1, d'Opus 5.5 et de GPT-6 Astra se situe entre le 96e et le 98e centile ; dans le concours médian, seuls 4 participants humains environ les devancent ;
- Sur les 3 tâches pour lesquelles METR dispose d'une référence humaine, les modèles l'ont emporté sur toutes ;
- Sur la tâche d'accélération de l'entraînement de NanoGPT à budget limité, le meilleur agent a obtenu en 48 heures une accélération de 15,7 %, alors qu'un record humain récent assisté par IA a atteint 41 % en environ 60 heures.
Forces et faiblesses suivent un schéma. Sur les tâches de programmation et d'optimisation avec un signal de retour clair, les modèles égalent ou dépassent généralement des humains compétents ; sur les tâches qui exigent du jugement et n'offrent pas de retour expérimental net, le jugement des agents semble inférieur à celui des experts humains. METR a aussi constaté que plus il est coûteux de transformer une tâche en environnement d'entraînement par renforcement, moins le modèle y réussit, y compris après contrôle de la durée de la tâche.
Pourquoi la mesure devient de plus en plus difficile
La seconde moitié du titre du rapport est « de plus en plus difficile à mesurer », et METR avance plusieurs raisons.
Les tâches sont saturées trop vite. Le jeu de la génération précédente, TH1.1, comptait 222 tâches, la plus longue durant 30 heures. En mars 2025, le meilleur modèle, Sonnet 3.7, ne venait à bout que de tâches d'environ 1 heure ; environ un an plus tard, ce jeu était saturé. Le nouveau TH2 ne compte que 12 familles de tâches et 36 tâches.
Les références humaines sont de plus en plus difficiles à obtenir. METR a offert aux participants de référence de 200 à 350 dollars de l'heure ; 7 tentatives de référence ont coûté environ 90 000 dollars, et au final seules 9 % des estimations de durée de tâche s'appuient directement sur des données humaines mesurées, le reste étant déduit par une procédure d'estimation. Les participants qualifiés sont difficiles à trouver, et ceux que l'on trouve perdent souvent face aux modèles.
Les modèles exploitent les failles de la notation. Le rapport écrit :
"We find that models still often engage in reward hacking."
(Nous constatons que les modèles se livrent encore souvent au piratage de la récompense.)
Le rapport désigne nommément GPT-5.6 Sol comme ayant triché plus que les autres modèles de pointe. Après vérification manuelle, une dizaine d'exécutions officielles ont été notées zéro, soit moins de 0,1 %.
Les évaluations en conteneur peuvent surestimer les capacités réelles. METR craint que des environnements de test faciles à exécuter, comme les siens, ressemblent trop aux environnements d'apprentissage par renforcement qu'utilisent les entreprises pour l'entraînement, et que les résultats des modèles ici ne se transposent pas forcément au travail réel.
Y a-t-il accélération ? Les données ne permettent pas de trancher
Ce qui intéresse le plus l'extérieur, c'est de savoir si la croissance des capacités s'accélère. Lors de son évaluation d'Anthropic en octobre de cette année, METR avait cité un chiffre : en prenant octobre 2025 comme point de rupture, le rythme de croissance exponentielle des capacités ensuite était 1,9 fois celui d'avant, mais cela reposait sur des modèles internes non publiés.
Cette fois, le calcul a été refait avec des modèles publics, avec le même point de rupture : la variation de pente pour l'ensemble des modèles de pointe publics est de 1,10 fois, avec un intervalle de confiance à 95 % de 0,59 à 1,91. Séparément, Anthropic est à 1,26 fois et OpenAI à 0,94 fois, avec des intervalles qui chevauchent tous deux 1. Selon les termes de METR, l'intervalle de confiance est « extrêmement large », sur les modèles publics « aucune accélération nette n'est observée », tout en reconnaissant que la conclusion est sensible aux choix méthodologiques.
En reliant quelques jalons de ces deux années de METR : en mars 2025, le meilleur modèle en était au palier de 1 heure ; un an plus tard, la batterie plafonnée à 30 heures était saturée ; dans ce rapport, l'estimation sur les tâches vérifiables est de 27 heures, et les références humaines qui soutiennent ce chiffre couvrent moins d'un dixième des tâches. La mise à jour des outils de mesure n'a pas suivi le rythme de l'objet mesuré.
Le rapport énumère lui-même de nombreuses limites : les nouvelles tâches couvrent moins bien l'ingénierie logicielle générale que l'ancienne batterie ; les participants de référence ne représentent pas nécessairement le niveau des employés des laboratoires d'IA ; l'analyse n'a détecté aucun cas de modèle sous-performant volontairement, sans pouvoir exclure des cas non repérés. Le chiffre de 3,6 mois ne vaut pour l'instant que comme lecture de tendance assortie de larges barres d'erreur.
Sources : rapport de mise à jour de la mesure des capacités du quatrième trimestre de METR, CocoLoop ; le cycle de doublement, les résultats de chaque tâche, le coût des références et l'intervalle de confiance de la pente proviennent du corps du texte et des annexes du rapport et relèvent de la méthode propre à METR.