Le 8 septembre, Dwarkesh Patel et Jerry Han ont publié les résultats d'une série d'expériences contrôlées sur le pré-entraînement : entre 2019 et 2025, pour un budget de calcul fixé à 1e19 FLOPs, le gain d'efficacité de calcul issu des améliorations de données est de 12.0 fois, celui issu des améliorations du modèle, de 3.7 fois — le premier représente 3.24 fois le second.
Comment l'expérience a été menée
Les deux auteurs ont réparti les recettes de modèle et les corpus de données sur deux axes classés par année, puis les ont combinés de façon croisée pour l'entraînement. L'axe des modèles va de GPT-2 (2019) à OLMo-2 (2025), avec entre les deux les recettes de GPT-3 et NeoX. L'axe des données va d'OpenWebText (2019) à UltraFineWeb (2025), avec entre les deux The Pile. OpenWebText compte environ 9 milliards de tokens, alors que les corpus modernes sont plus grands de plusieurs ordres de grandeur.
Cinq paliers de budget de calcul ont été retenus : 1e17, 3.16e17, 1e18, 3.16e18 et 1e19 FLOPs, calculés selon la formule nominale C = 6ND. L'évaluation s'appuie sur OLMES, qui agrège 10 benchmarks relativement simples, majoritairement des questions à choix multiple. Les auteurs expliquent sans détour pourquoi ils ont préféré OLMES à la perte d'entropie croisée : les groupes d'expériences utilisant des jeux de données différents, les valeurs de perte ne sont pas directement comparables entre elles.
Injectés dans une régression linéaire, un modèle additionnant le terme données et le terme modèle explique 88% de la variance.
Ramenés à l'année, les chiffres se réduisent nettement
Ramené à l'année, le gain annuel d'efficacité de calcul côté modèle est de 1.24 fois, côté données, de 1.51 fois, et combiné, de 1.57 fois.
Le chiffre de 1.57 est inférieur aux estimations sectorielles antérieures. Anson Ho et ses collègues avançaient une moyenne de 3 fois, soit près du double. Les auteurs n'esquivent pas cet écart et l'attribuent à deux facteurs : l'échelle de leur propre expérience est trop réduite, si bien que de nombreux gains n'apparaissent tout simplement pas à cette échelle ; et l'entraînement à petite échelle ne couvre pas non plus les optimisations côté inférence.
Les deux séries de chiffres ne peuvent pas être comparées directement l'une à l'autre. L'une provient d'une expérience contrôlée à petite échelle, aux variables propres mais à la marge d'extrapolation limitée ; l'autre est une estimation macro pour l'ensemble du secteur, à large couverture mais incapable de dissocier les sources du gain. L'intérêt de ce travail est de peser séparément « données » et « modèle » ; le rapport précis de 3.24 est secondaire.
La brèche que les auteurs laissent eux-mêmes ouverte
Le texte original contient une phrase qui mérite plus d'attention que la conclusion elle-même :
"if the gains are limited, then the main driver of pretraining progress will stall, because we're not generating more internet, and you can only curate a fixed set of data by so much."
(si les gains sont limités, le principal moteur des progrès du pré-entraînement va caler, car nous ne produisons pas davantage d'internet, et un ensemble de données fixe ne peut être affiné que jusqu'à un certain point.)
Les auteurs énumèrent eux-mêmes quatre limites. Premièrement, l'échelle de l'expérience est trop réduite pour saisir de nombreux gains. Deuxièmement, le multiplicateur d'efficacité de calcul est assez sensible au choix de la recette de modèle et du corpus ; avec une autre paire, le résultat change. Troisièmement, ils n'ont étudié que les méthodes de nettoyage à partir de Common Crawl, sans couvrir trois voies : la collecte de données de haute qualité depuis de nouvelles sources, les données produites par des experts humains, et la génération de données synthétiques. Quatrièmement, avec un autre jeu de benchmarks, la conclusion « serait très différente ».
Le troisième point compte particulièrement. Les sources incrémentales évoquées sans cesse dans le débat public de ces deux dernières années tombent précisément dans ces trois catégories non testées. Cette expérience répond à la question de savoir jusqu'où a mené, ces six dernières années, la voie du nettoyage des données internet ; combien de chemin il reste à parcourir, elle n'y répond pas.
Sources : texte original du Dwarkesh Podcast, documentation du benchmark OLMES, CocoLoop ; les facteurs d'efficacité de calcul et les taux annualisés suivent le cadre à 1e19 FLOPs du texte original, l'estimation sectorielle de 3 fois est citée d'après les travaux d'Anson Ho et de ses collègues.