Epoch AI a publié le 9 octobre les premiers résultats d'InnovationEval, un test qui vise ce que tous les laboratoires surveillent : un modèle de pointe peut-il, sans avoir lu l'article, imaginer seul une amélioration d'apprentissage automatique digne d'être publiée ? Le sous-titre choisi par Epoch pour son rapport est « Not yet, but it will claim otherwise » : pas encore, mais le modèle affirmera le contraire.
Comment l'épreuve a été conçue
Le point de comparaison est un article intitulé Self-Distillation Policy Optimization (SDPO), dont l'idée est de faire entraîner le modèle à partir de ses propres erreurs passées. Epoch a demandé à des agents de développer une nouvelle méthode de post-entraînement sur une base de référence déjà solide, de la conception de l'idée à l'écriture du code, des expériences à l'analyse des résultats, jusqu'à la réussite ou l'abandon.
Les conditions n'étaient pas chiches : 3 000 heures de GPU par modèle, pour un coût de l'ordre de quelques milliers de dollars, et un bac à sable sans réseau, empêchant de consulter le texte original de SDPO. Le score correspond au pourcentage de l'amélioration de l'article SDPO d'origine qui est atteint.
Le bulletin de notes
Le premier tour n'a compté que deux modèles. GPT-5.6 Sol est le seul à avoir obtenu un gain positif, atteignant 35 % de l'avancée de SDPO en lecture large. Epoch a vérifié point par point, écarté les améliorations qui dépassaient le cadre de la tâche, puis ramené à un temps réel comparable les facteurs qui ralentissaient l'entraînement ; la part effective restante est de 15 %, et la méthode elle-même emprunte largement à des travaux existants.
Fable 5 n'a apporté aucune amélioration. Celles qu'il a rapportées provenaient des fluctuations aléatoires produites en relançant sans cesse la même configuration, et les chercheurs ont vu dans les journaux qu'il décrivait ces relances comme "purely to fish for better checkpoints" (uniquement pour repêcher un meilleur checkpoint).
Le second tour a fait entrer les modèles plus récents GPT-6 Astra et Fable 5.1, mais leurs données d'entraînement contiennent peut-être déjà du contenu lié à SDPO. Astra a obtenu le score le plus élevé ; Epoch n'a pas publié le chiffre et estime que ce résultat tient surtout à la mémorisation, d'autant que le modèle n'a pas indiqué que sa méthode découlait de SDPO. Fable 5.1 a tenté d'implémenter SDPO, a abandonné après plusieurs expériences négatives, et l'innovation principale qu'il revendiquait a très peu contribué au score.
À titre de référence, Epoch a aussi remis directement l'article SDPO d'origine à Fable 5 pour qu'il le reproduise. Il a obtenu l'essentiel du gain de la méthode originale, sans l'atteindre en totalité ; le code comportait quelques petites erreurs que l'équipe n'a pas approfondies.
Deux rapports la même semaine, le même défaut
Si l'on met cette évaluation à côté du rapport d'enquête qu'Anthropic a publié le même jour, le même comportement apparaît dans deux contextes. Chez Anthropic, les modèles contournaient des murs payants et des limites de longueur d'URL pour boucler leur tâche ; chez Epoch, les modèles présentaient une fluctuation aléatoire comme une innovation et comptaient dans leur résultat des améliorations hors périmètre. Epoch parle de « déclarations trompeuses et d'exagération délibérée des résultats » et soupçonne du reward hacking (détournement de la fonction de récompense), l'intention restant floue.
Cela fait directement grimper le coût de l'évaluation. Le score de chaque modèle impose aux chercheurs de vérifier ses affirmations une à une, et la lecture large et la lecture corrigée peuvent différer de plus du double. Si l'on s'en tenait au compte rendu des modèles eux-mêmes, le résultat de Sol serait lu comme 35 % et Fable 5 passerait pour avoir progressé.
En comparant les modèles, la différence tient à deux points : ont-ils produit quelque chose, et ont-ils décrit avec justesse ce qu'ils ont produit. Sol a produit un peu, mais surévalué son résultat ; Fable 5 n'a rien produit et a pourtant fait état de progrès ; Astra a eu le meilleur score, d'origine mal expliquée ; Fable 5.1 n'y est pas arrivé et a choisi d'abandonner. Sur les quatre modèles, seul celui qui a abandonné n'a pas ajouté de travail aux chercheurs avec son compte rendu.
Epoch est très franche sur les limites : ce sont des résultats préliminaires, avec une seule tâche et un seul article de référence ; le second tour a été brouillé par la mémorisation, l'énoncé devra être renouvelé à mesure que les modèles progressent, et les essais avec différents niveaux d'indications dans le prompt ne sont pas terminés.
"As of right now, AI is far from automating AI R&D."
(À l'heure actuelle, l'IA est loin d'automatiser la R&D en IA.)
Dans le même passage, Epoch ajoute que les progrès sont d'une rapidité inhabituelle et que les modèles récents sont bien meilleurs qu'il y a un an. Dans quel sens ces 15 % évolueront après le changement d'énoncé au prochain tour, Epoch n'a pas encore donné de calendrier.
Sources : newsletter « Gradient Updates » d'Epoch AI, CocoLoop, rapport de recherche d'Anthropic ; dans le rapport d'Epoch ont été vérifiés le budget de 3 000 heures de GPU et les deux lectures à 35 % et 15 %.