Prime Intellect a publié une évaluation de grande ampleur : 18 modèles de pointe ont été chargés de mener eux-mêmes des recherches en IA, pour un total de 153 expériences entièrement autonomes, chacune mobilisant 8 GPU H200, l'exécution la plus longue ayant duré plus de huit jours.
La tâche était le speedrun d'optimiseur de nanoGPT, une compétition communautaire lancée par Keller Jordan : entraîner un GPT de 124 millions de paramètres jusqu'à une perte de validation inférieure à 3,28, la victoire revenant à qui utilise le moins d'étapes d'entraînement. Les règles sont strictes : seule la partie liée à l'optimiseur peut être modifiée, aucun accès à internet n'est autorisé, et le reste est laissé à l'initiative du modèle. Le seul outil mis à disposition est un noyau IPython persistant : mise en place du pipeline expérimental, écriture du code, exécution des validations et même remise en question de ses propres hypothèses, tout est géré de façon autonome.
Le tableau des scores
La ligne de départ est fixée à 3290 étapes. La communauté humaine, des dizaines de personnes ayant travaillé pendant plusieurs mois, a fait descendre le record à 2600 étapes ; les 690 étapes qui séparent ces deux chiffres sont précisément ce que cette expérience cherche à mesurer.
Fable 5 a atteint 2726 étapes, comblant environ 82 % de cet écart. Opus 5 s'est arrêté à 2920 étapes, Kimi K3 à 2930, chacun rattrapant à peu près la moitié du chemin. GPT-5.6 Sol a obtenu 3042 étapes, tandis que GLM 5.3 n'a produit aucun résultat valide.
Opus 5 et Kimi K3 ne sont séparés que de 10 étapes. Grossièrement, cela représente 1,4 % de l'écart total et, compte tenu du bruit inhérent à l'entraînement de nanoGPT et de l'aléa d'échantillonnage, cet ordre n'a pratiquement aucun pouvoir explicatif. Autrement dit, sur des tâches exigeant une progression autonome continue sur plusieurs jours, les modèles open source ont déjà rejoint le peloton de tête des modèles fermés — Kimi K3 étant d'ailleurs le seul représentant open source parmi les trois premiers.
Ce qui creuse l'écart, c'est l'exécution
Le rapport attribue les différences entre modèles à la phase d'exécution : quelles expériences choisir, avec quel soin les mener, comment interpréter des résultats bruités — chacune de ces étapes contribue à creuser l'écart.
Concrètement, face à un résultat limite, les modèles les plus performants le retestaient d'abord sur trois graines aléatoires avant de passer à la validation complète, une fois la stabilité confirmée ; ils reprenaient aussi des études d'ablation, revisitant des pistes auparavant jugées négatives. Certains modèles sont même allés jusqu'à construire leur propre pipeline de gestion des expériences et de petits simulateurs. Les modèles les moins performants, eux, voyaient souvent des améliorations qui n'existaient pas dans le bruit, puis poursuivaient sur la base de cette conclusion erronée.
Cette conclusion n'a rien d'étranger pour les praticiens de l'ingénierie. La difficulté du réglage des hyperparamètres n'a jamais résidé dans la compréhension des articles, mais dans la patience nécessaire pour répéter trois fois un résultat positif suspect.
La douche froide : rien de nouveau
Le rapport contient une phrase autodérisoire : les auteurs disent avoir été, une fois de plus, surpris par le manque d'originalité. Sur 153 expériences, les solutions gagnantes n'ont utilisé que des techniques déjà connues — préconditionnement, planification du taux d'apprentissage, moyennage des poids — aucun modèle n'ayant proposé une méthode jamais testée auparavant.
Cette douche froide tombe à point nommé sur le débat récent autour de l'auto-amélioration de l'IA. Savoir mener des expériences et savoir proposer de nouvelles méthodes sont deux choses différentes : la première peut déjà être automatisée au point de tourner huit jours sans supervision humaine, tandis qu'aucune trace de la seconde n'apparaît dans ces données.
Jusqu'où ces données sont-elles généralisables
Les limites ne manquent pas. Le speedrun nanoGPT lui-même présente une variance élevée, et le budget de calcul n'a pas permis de répétitions suffisantes par modèle pour faire des moyennes ; les auteurs eux-mêmes reconnaissent ne pas pouvoir distinguer la part du résultat due aux particularités de cette tâche précise de celle qui reflète le plafond réel des modèles.
Une seule tâche, un seul domaine, un harness fixe : personne ne peut dire pour l'instant si le classement basculerait sur un autre axe de recherche. Mais faire tourner 18 modèles dans le même bac à sable pendant huit jours constitue une expérience contrôlée et publique d'une ampleur inédite jusqu'ici ; le simple fait de mettre la variance au jour est déjà plus utile qu'un tas d'auto-évaluations incomparables entre elles.
Sources : blog de recherche et dépôt d'expériences de Prime Intellect, CocoLoop, QbitAI ; le classement du nanoGPT speedrun a permis de vérifier le nombre d'étapes et la référence de chaque modèle.