Prime Intellect merilis benchmark berskala cukup besar: 18 model frontier masing-masing dibiarkan melakukan riset AI sendiri, dengan total 153 eksperimen yang sepenuhnya otonom. Setiap eksperimen memakai 8 unit GPU H200, dan yang paling lama berjalan lebih dari delapan hari.
Tugasnya adalah speedrun optimizer nanoGPT, kompetisi komunitas yang digagas Keller Jordan: melatih GPT berparameter 124 juta hingga validation loss di bawah 3,28, dengan penilaian siapa yang butuh langkah pelatihan paling sedikit. Aturannya ketat — hanya bagian terkait optimizer yang boleh diubah, tidak boleh terhubung internet — sisanya diserahkan penuh ke model. Alat yang diberikan hanyalah kernel IPython yang berjalan terus-menerus; mulai dari menyusun alur eksperimen, menulis kode, menjalankan validasi, sampai membantah hipotesisnya sendiri, semuanya harus dikerjakan sendiri oleh model.
Papan skor
Garis start ada di 3.290 langkah. Komunitas manusia — puluhan orang yang bekerja selama berbulan-bulan — berhasil menekan rekor ini hingga 2.600 langkah. Selisih 690 langkah di antara keduanya itulah yang coba diukur dalam benchmark ini.
Fable 5 mencatat 2.726 langkah, menutup sekitar 82% dari selisih tersebut. Opus 5 berhenti di 2.920 langkah dan Kimi K3 di 2.930 langkah, masing-masing menutup kira-kira separuh selisih. GPT-5.6 Sol mencatat 3.042 langkah, sementara GLM 5.3 gagal menghasilkan skor yang valid.
Selisih Opus 5 dan Kimi K3 hanya 10 langkah. Kalau dihitung kasar, itu cuma 1,4% dari total selisih — mengingat noise bawaan pelatihan nanoGPT dan keacakan sampling, urutan ini praktis tidak punya kekuatan penjelas. Dengan kata lain, untuk tugas yang butuh kemajuan otonom berhari-hari berturut-turut, model open source sudah sejajar dengan model closed source kelas atas — dan Kimi K3 juga satu-satunya model open source yang masuk tiga besar.
Yang membedakan adalah eksekusi
Laporan ini menempatkan perbedaan antar-model pada tahap eksekusi: eksperimen mana yang dipilih, seberapa teliti dikerjakan, dan bagaimana membaca hasil yang mengandung noise — setiap langkah ini yang memperlebar selisih.
Secara konkret, model dengan performa baik cenderung menguji ulang hasil yang meragukan dengan tiga random seed lebih dulu, memastikan hasilnya stabil sebelum lanjut ke validasi penuh. Mereka juga kembali mengulang ablation, mencoba lagi arah yang sebelumnya dinilai tidak berpengaruh. Beberapa model bahkan membangun sendiri alur manajemen eksperimen dan simulator kecil. Sebaliknya, model dengan performa buruk sering kali melihat perbaikan yang sebenarnya tidak ada di dalam noise, lalu mengikuti kesimpulan yang salah itu sampai akhir.
Kesimpulan ini tidak asing bagi siapa pun yang pernah melakukan tuning secara langsung. Tantangan dalam tuning parameter tidak pernah soal memahami paper, melainkan soal kesabaran untuk mengulang hasil positif yang mencurigakan sampai tiga kali sebelum mempercayainya.
Yang bikin adem: tidak ada yang baru
Ada satu kalimat yang cukup jujur dalam laporan ini: para penulis mengaku kembali terkejut oleh minimnya orisinalitas. Dari 153 eksperimen, pendekatan yang menang semuanya memakai trik yang sudah ada — preconditioning, penjadwalan learning rate, weight averaging. Tidak ada satu model pun yang mengusulkan metode yang belum pernah dicoba sebelumnya.
Temuan ini menyiram air dingin ke diskusi yang sedang ramai soal AI yang bisa memperbaiki dirinya sendiri, dan waktunya pas. Mampu menjalankan eksperimen dan mampu mengusulkan metode baru adalah dua kemampuan yang berbeda. Yang pertama sudah bisa diotomatisasi berjalan tanpa pengawasan manusia selama delapan hari, sementara yang kedua sama sekali tidak terlihat jejaknya dalam data ini.
Seberapa jauh temuan ini bisa digeneralisasi
Ada cukup banyak batasan. Speedrun nanoGPT sendiri memang punya variansi tinggi, dan anggaran komputasi tidak memungkinkan pengulangan yang cukup banyak per model untuk dirata-ratakan. Para penulis sendiri mengakui belum bisa memilah berapa besar hasil ini yang berasal dari pengaturan tugas spesifik ini, dan berapa besar yang benar-benar mencerminkan batas kemampuan sesungguhnya dari tiap model.
Ini masih satu tugas, satu domain, dengan harness yang tetap — apakah peringkat akan berubah total di arah riset lain, untuk sekarang belum ada yang bisa memastikan. Tapi menempatkan 18 model dalam sandbox yang sama selama delapan hari adalah eksperimen pembanding publik dengan skala yang belum pernah ada sebelumnya. Sekadar menampilkan variansinya secara terbuka saja sudah lebih berguna daripada setumpuk evaluasi mandiri yang tidak bisa saling dibandingkan.
Sumber: blog riset dan repositori eksperimen Prime Intellect, CocoLoop, QbitAI; jumlah langkah dan baseline tiap model telah diverifikasi dengan leaderboard speedrun nanoGPT.