Tim ERNIE Baidu pada 9 November menerbitkan blog teknis yang memperkenalkan sistem riset otomatis ERNIE Evolve. Menurut blog tersebut, sistem ini membuat beberapa agen berbagi tugas dalam satu riset: memilih arah, mengajukan hipotesis, mengubah kode, menjalankan evaluasi, dan memeriksa ulang hasilnya. Tim menjalankannya pada empat tugas optimasi publik dan tiga di antaranya melampaui hasil terbaik yang ada. Mereka juga melakukan tiga optimasi pada deployment inferensi ERNIE-5.5-Flash milik sendiri.
Lima peran, dua lapis loop
Sistem ini terbagi menjadi loop luar dan loop dalam. Blog meringkasnya sebagai berikut:
“Loop luar menentukan apa yang diteliti, loop dalam bertugas menggarap satu arah dengan baik.”
Di loop luar, Director memilih arah berikutnya yang akan diuji dari perpustakaan pengalaman dan basis pengetahuan, sekaligus menentukan dari versi kode mana memulai: kode asli, versi terbaik sepanjang sejarah, versi perantara, atau commit upstream terbaru. Di loop dalam, Selector memilih satu versi kandidat sebagai titik awal pada tiap putaran dan menuliskan hipotesis putaran itu. Acuannya tidak hanya skor, tetapi juga perubahan kode, penyebab kegagalan, dan hasil-hasil sebelumnya. Executor mengubah kode di lingkungan terisolasi.
Dua peran terakhir bertugas sebagai penjaga gerbang. Evaluator ditempatkan di luar repositori yang dioptimalkan dan tidak terlihat oleh semua agen; peningkatan baru diterima jika melampaui ambang noise. Reviewer memeriksa apakah perubahan menyimpang dari arah putaran itu dan apakah hasilnya diperoleh dengan mengeksploitasi celah evaluasi. Versi yang menyimpang dari arah tidak bisa menjadi versi terbaik, sedangkan yang memanfaatkan celah langsung dibatalkan. Masalah paling umum pada sistem optimasi otomatis adalah belajar menyenangkan skor padahal kodenya sendiri tidak membaik, dan kedua gerbang ini ditujukan tepat untuk masalah tersebut.
Hasil pada tugas publik
| Tugas | Terbaik sebelumnya | ERNIE Evolve |
|---|---|---|
| NanoChat AutoResearch (BPB set validasi, makin rendah makin baik) | 0,8878 | 0,8763 |
| NanoGPT Speedrun Track 1 (waktu latih hingga target) | 39,9 detik | 38,9 detik |
| NanoGPT Speedrun Track 3 (langkah latih hingga target) | 2690 langkah | 2590 langkah |
| SOL-ExecBench (rata-rata skor SOL, makin tinggi makin baik) | 0,827 | 0,819 |
Di SOL-ExecBench, ERNIE Evolve tidak meraih posisi pertama, tetapi skornya lebih tinggi daripada Recursive yang 0,676 dan Hyra-1.0 yang 0,736. Hasil optimasi pada tugas publik diunggah ke repositori ernie-research/ERNIE-Evolve-Results di GitHub. Apakah sistem ERNIE Evolve sendiri akan dibuka sebagai open source, blog tidak menyebutkannya.
Hitungan untung-rugi optimasi inferensi
Angka pada tugas industri lebih besar. Pada skenario latensi rendah di Kunlunxin P800, sistem menjalankan empat putaran dengan empat arah riset, menaikkan kecepatan generasi menjadi 623,6% dari baseline, dan lolos semua pemeriksaan kebenaran. Blog menyebut salah satu temuan kunci: jalur komunikasi lama ternyata tidak benar-benar mengaktifkan komunikasi latensi rendah DeepEP. Dari percepatan lebih dari enam kali lipat itu, berapa bagian yang berasal dari penemuan konfigurasi yang tidak berfungsi ini dan berapa yang dari metode optimasi baru, blog tidak merincinya.
Pada tugas inferensi deterministik, throughput naik 33,7%, waktu generasi per token turun 26%, dan latensi token pertama turun 12%, dengan determinisme tetap terjaga, dalam waktu sekitar 3 hari. Pada tugas decoding GPU ekstrem, sistem mengajukan 7 arah, 3 di antaranya menghasilkan peningkatan, dan kecepatan decoding naik 14,9% dengan akurasi sama seperti baseline.
Hitung kasar: dengan throughput 33,7% lebih tinggi, jumlah kartu yang dibutuhkan untuk volume permintaan yang sama kira-kira 75% dari semula (1 ÷ 1,337). Jika optimasi ini dapat dipindahkan secara menyeluruh ke klaster produksi, yang dihemat sekitar seperempat daya komputasi inferensi. Berapa jam GPU yang dihabiskan masing-masing dari tiga tugas itu tidak diungkap blog, sehingga untuk saat ini hanya sisi manfaat yang bisa dihitung, sedangkan sisi biaya masih kosong.
Blog menulis tingkat kesulitannya dengan terus terang:
“Baseline sudah memuat optimasi khusus yang dibuat insinyur untuk inferensi deterministik, dan perbaikan yang tersisa sering kali hanya 1% – 2% per butir, setara dengan fluktuasi pengukuran.”
Cukup banyak hipotesis yang terbantahkan oleh eksperimen. Misalnya, komunikasi lintas kartu sekali jalan sudah mendekati batas bawah latensi, sehingga arah itu berhenti di sana.
Di akhir tulisan, tim menyebut bahwa perluasan self-improvement rekursif (RSI) harus terkendali, dapat dijeda, serta menjalani evaluasi keamanan dan pengawasan manusia. Dari tugas-tugas yang diungkap, yang diubah ERNIE Evolve saat ini adalah skrip pelatihan dan kode inferensi, belum menyentuh proses pelatihan model itu sendiri.
Sumber: blog teknis Baidu ERNIE, repositori open source ERNIE-Evolve-Results, CocoLoop; verifikasi hasil empat tugas publik dan besaran tiga optimasi inferensi ERNIE-5.5-Flash.