Dwarkesh Patel dan Jerry Han mempublikasikan hasil serangkaian eksperimen terkontrol tentang pretraining pada 8 September. Antara 2019 dan 2025, dengan anggaran komputasi 1e19 FLOPs, peningkatan efisiensi komputasi dari perbaikan data mencapai 12,0 kali, sedangkan dari perbaikan model 3,7 kali — angka pertama 3,24 kali lipat dari yang kedua.
Bagaimana eksperimen ini dilakukan
Keduanya membagi resep model dan korpus data menjadi dua sumbu berdasarkan tahun, lalu melatih model dengan mengombinasikan keduanya secara silang. Sumbu model berjajar dari GPT-2 (2019) hingga OLMo-2 (2025), dengan resep bergaya GPT-3 dan NeoX di antaranya. Sumbu data berjajar dari OpenWebText (2019) hingga UltraFineWeb (2025), dengan The Pile di antaranya. OpenWebText memiliki sekitar 9 miliar token, sementara korpus modern berukuran beberapa orde magnitudo lebih besar.
Mereka menguji lima tingkat anggaran komputasi — 1e17, 3,16e17, 1e18, 3,16e18, dan 1e19 FLOPs — dihitung berdasarkan rumus nominal C = 6ND. Evaluasi menggunakan OLMES, yang menggabungkan 10 benchmark yang relatif sederhana, sebagian besar berupa soal pilihan ganda. Alasan mereka memilih OLMES ketimbang cross-entropy loss cukup jelas: dataset yang digunakan berbeda di tiap eksperimen, sehingga nilai loss tidak bisa dibandingkan langsung.
Ketika hasilnya dimasukkan ke dalam regresi linear, model yang sekadar menjumlahkan komponen data dan komponen model mampu menjelaskan 88% dari variansnya.
Angka jadi lebih kecil setelah dihitung per tahun
Jika dihitung per tahun, peningkatan efisiensi komputasi dari sisi model adalah 1,24 kali per tahun, dari sisi data 1,51 kali per tahun, dan gabungan keduanya 1,57 kali per tahun.
Angka 1,57 kali ini lebih rendah dari estimasi industri sebelumnya. Anson Ho dan rekan-rekannya memberikan rata-rata 3 kali — hampir dua kali lipat dari angka ini. Para penulis tidak menghindari perbedaan ini, dan mengaitkannya dengan dua hal: skala eksperimen mereka terlalu kecil sehingga banyak peningkatan yang sama sekali tidak muncul pada skala ini, dan pelatihan skala kecil juga tidak mencakup optimasi di sisi inferensi.
Kedua kelompok angka ini tidak bisa langsung dibandingkan begitu saja. Satu adalah eksperimen terkontrol berskala kecil dengan variabel yang bersih, dengan ruang ekstrapolasi yang terbatas; yang lain adalah estimasi makro untuk seluruh industri, cakupannya luas tetapi sumber peningkatannya tidak bisa diurai. Nilai penting dari penelitian ini adalah memisahkan bobot "data" dan "model" — angka spesifik 3,24 kali justru menjadi hal sekunder.
Celah yang sengaja ditinggalkan penulis
Ada satu kalimat dalam tulisan asli yang lebih layak diingat daripada kesimpulannya:
"if the gains are limited, then the main driver of pretraining progress will stall, because we're not generating more internet, and you can only curate a fixed set of data by so much."
(terjemahan bebas: jika peningkatannya terbatas, pendorong utama kemajuan pretraining akan mandek, karena kita tidak menghasilkan lebih banyak internet, dan seberapa pun data yang tetap ini dikurasi ulang, hasil yang bisa diperas darinya tetap terbatas.)
Para penulis juga mencantumkan empat keterbatasan. Pertama, skala eksperimen terlalu kecil untuk menangkap banyak peningkatan. Kedua, pengali komputasi cukup sensitif terhadap resep model dan korpus mana yang dipilih — mengganti salah satunya akan mengubah hasil. Ketiga, mereka hanya meneliti metode pembersihan data dari Common Crawl, dan tidak mencakup tiga jalur lain: pengumpulan data berkualitas tinggi dari sumber baru, data yang dihasilkan oleh pakar manusia, dan pembuatan data sintetis. Keempat, jika benchmark yang digunakan diganti, kesimpulannya "akan sangat berbeda".
Poin ketiga ini terutama penting. Sumber data tambahan yang berulang kali dibahas dalam diskusi publik selama beberapa tahun terakhir justru jatuh tepat ke tiga kategori yang tidak diuji dalam penelitian ini. Eksperimen ini menjawab sejauh mana pembersihan data internet telah membawa kemajuan selama enam tahun terakhir — tetapi tidak menjawab berapa banyak ruang yang tersisa setelah itu.
Sumber: naskah asli Dwarkesh Podcast, dokumentasi benchmark OLMES, CocoLoop; kelipatan efisiensi komputasi dan laju tahunan mengikuti basis 1e19 FLOPs dari naskah asli, sedangkan estimasi 3 kali dari industri dikutip dari penelitian Anson Ho dan rekan-rekannya.