Dwarkesh Patel und Jerry Han haben am 8. September die Ergebnisse einer Reihe kontrollierter Pretraining-Experimente veröffentlicht: Zwischen 2019 und 2025 stieg bei einem Rechenbudget von 1e19 FLOPs die Recheneffizienz durch Datenverbesserungen um das 12.0-fache, durch Modellverbesserungen um das 3.7-fache – Ersteres ist das 3.24-fache von Letzterem.
Wie das Experiment aufgebaut war
Die beiden Autoren teilten Modellrezepte und Datenkorpora jeweils in eine nach Jahren geordnete Achse und kombinierten sie kreuzweise fürs Training. Die Modellachse reicht von GPT-2 (2019) bis OLMo-2 (2025), dazwischen liegen die Rezepte von GPT-3 und NeoX. Die Datenachse reicht von OpenWebText (2019) bis UltraFineWeb (2025), dazwischen liegt The Pile. OpenWebText umfasst rund 9 Milliarden Token, moderne Korpora sind um mehrere Größenordnungen umfangreicher.
Für das Rechenbudget wurden fünf Stufen gewählt: 1e17, 3.16e17, 1e18, 3.16e18 und 1e19 FLOPs, berechnet nach der nominellen Formel C = 6ND. Zur Bewertung diente OLMES, das 10 relativ einfache Benchmarks bündelt, größtenteils Multiple-Choice-Fragen. Die Autoren begründen die Wahl von OLMES statt Cross-Entropy-Loss ganz unumwunden: Da die Experimentgruppen unterschiedliche Datensätze verwenden, sind die Loss-Werte nicht direkt vergleichbar.
In einer linearen Regression erklärt ein Modell, das Daten- und Modellterm addiert, 88% der Varianz.
Auf ein Jahr heruntergerechnet fallen die Zahlen kleiner aus
Auf ein Jahr umgerechnet liegt der jährliche Zuwachs der Recheneffizienz auf der Modellseite bei 1.24, auf der Datenseite bei 1.51, zusammen bei 1.57.
Der Wert von 1.57 liegt unter bisherigen Branchenschätzungen. Anson Ho und Kollegen kamen im Mittel auf das 3-fache – fast die Hälfte mehr. Die Autoren weichen dem nicht aus, sondern führen die Abweichung auf zwei Punkte zurück: Ihr Experiment ist zu klein angelegt, sodass sich viele Effekte in dieser Größenordnung gar nicht zeigen; und kleinskaliges Training deckt keine Optimierungen auf der Inferenzseite ab.
Die beiden Zahlenreihen lassen sich nicht direkt gegenüberstellen. Die eine stammt aus einem kontrollierten Experiment im kleinen Maßstab mit sauberen Variablen, aber begrenztem Spielraum für Extrapolation; die andere ist eine grobe Branchenschätzung mit breiter Abdeckung, die aber die Quellen des Zuwachses nicht auseinanderhalten kann. Der Wert dieser Arbeit liegt darin, „Daten“ und „Modell“ getrennt zu gewichten – der konkrete Faktor von 3.24 ist dabei zweitrangig.
Die Lücke, die die Autoren selbst offenlassen
Im Originaltext steht ein Satz, der mehr Beachtung verdient als das Fazit selbst:
"if the gains are limited, then the main driver of pretraining progress will stall, because we're not generating more internet, and you can only curate a fixed set of data by so much."
(Wenn die Gewinne begrenzt sind, gerät der Haupttreiber des Pretraining-Fortschritts ins Stocken, denn wir erzeugen kein zusätzliches Internet, und aus einem festen Datenbestand lässt sich durch Kuratieren nur so viel herausholen.)
Die Autoren nennen selbst vier Einschränkungen. Erstens: Das Experiment ist zu klein angelegt, um viele Effekte zu erfassen. Zweitens: Der Rechenmultiplikator reagiert empfindlich auf die Wahl von Modellrezept und Korpus – mit einer anderen Kombination ändert sich das Ergebnis. Drittens: Sie haben nur Methoden untersucht, die Common-Crawl-Daten bereinigen, und nicht die drei Wege abgedeckt: hochwertige Daten aus neuen Quellen sammeln, von menschlichen Experten erzeugte Daten und synthetisch generierte Daten. Viertens: Mit einem anderen Benchmark-Satz „würde die Schlussfolgerung ganz anders ausfallen“.
Der dritte Punkt wiegt besonders schwer. Die zusätzlichen Quellen, die in der öffentlichen Debatte der letzten zwei Jahre immer wieder genannt wurden, fallen genau in diese drei nicht getesteten Kategorien. Das Experiment beantwortet, wie weit der Weg der Internet-Datenbereinigung in den vergangenen sechs Jahren geführt hat – wie viel Weg noch bleibt, dazu liefert es keine Antwort.
Quellen: Originaltext des Dwarkesh Podcast, Dokumentation zum OLMES-Benchmark, CocoLoop; die Recheneffizienzfaktoren und jährlichen Wachstumsraten folgen dem 1e19-FLOPs-Rahmen des Originaltexts, die Branchenschätzung des 3-fachen stammt aus der Forschung von Anson Ho und Kollegen.