Google Research merilis kerangka pembelajaran berkelanjutan yang menjadwalkan "tidur" bagi model bahasa besar. Penulis makalahnya adalah Ali Behrouz, Farnoosh Hashemi, Adel Javanmard, dan Vahab Mirrokni, dengan Behrouz tercatat di Google sekaligus Cornell University. Gagasannya dipinjam dari otak manusia: menerima informasi pada siang hari, lalu pada malam hari merapikan memori jangka pendek menjadi memori jangka panjang.
Setelah model diterapkan, parameternya biasanya tidak lagi berubah, sehingga pengetahuannya berhenti pada tanggal batas pelatihan. Jika langsung di-fine-tune agar terus belajar, model mudah mengalami lupa katastrofik, yaitu pengetahuan baru menghapus kemampuan lama. Mengandalkan pembelajaran dalam konteks pun hanya bertahan sampai sesi berakhir; begitu jendela dibersihkan, tidak ada yang tersisa. Kerangka tidur ini mencoba menghindari kedua jebakan itu sekaligus.
Mencatat saat terjaga, mengubah parameter saat tidur
Kerangka ini membuat model beralih di antara dua fase. Pada fase terjaga, model memproses masukan seperti biasa, dan informasi baru lebih dulu ditaruh di memori jangka pendek yang diperbarui dengan frekuensi tinggi, misalnya konteks. Begitu masuk fase tidur, model berhenti menerima masukan baru dan mengerjakan dua hal.
Yang pertama adalah konsolidasi memori. Model menyiapkan lebih dulu sejumlah pakar berperingkat rendah di dalam struktur campuran pakar (MoE). Pada waktu biasa pakar ini terkunci, lalu dibuka saat tidur dan dipasang pada lapisan memori jangka panjang yang frekuensi pembaruannya lebih rendah, sementara parameter lama tidak disentuh. Isi memori jangka pendek "dipindahkan ke atas" ke pakar-pakar baru ini lewat distilasi. Satu jalur adalah distilasi on-policy, ketika model murid menyelaraskan diri dengan distribusi token guru pada urutan yang disampelnya sendiri. Jalur lainnya disebut "belajar meniru": murid melanjutkan awalan teks yang dihasilkan guru, dinilai dengan kemiripan semantik dan jarak edit, lalu dilatih dengan pembelajaran penguatan. Setelah pemindahan selesai, parameter sementara berfrekuensi tinggi dikembalikan ke nol untuk memberi ruang bagi putaran berikutnya; para penulis membandingkan langkah ini dengan pemangkasan sinaps.
Hal kedua disebut para penulis sebagai bermimpi. Saat menghasilkan data sintetis, router sengaja mengaktifkan pakar yang jarang dipasangkan, mencampur berbagai domain untuk membentuk sekumpulan "sampel mimpi". Seleksi data berbasis gradien kemudian memilih bagian yang paling mungkin memberi peningkatan untuk dipakai dalam fine-tuning terarah, dan terakhir diperiksa apakah kinerja hilir membaik. Sepanjang proses, arsitektur utama dan aturan pelatihan model tetap tidak berubah.
Rapor dan bagian yang kosong
Dalam uji terjemahan berkelanjutan, para peneliti meminta model mempelajari secara bertahap bahasa seperti Manchu dan Kalamang yang nyaris tak muncul dalam korpus pelatihan. Menurut blog, metode tidur nyaris tidak mengalami penurunan kinerja, sedangkan pembelajaran dalam konteks, Cartridges, dan SFT semuanya mengalami lupa yang parah. Pada uji konteks panjang BABILong yang mencapai 10 juta token, hasilnya mendekati sempurna dan melampaui GPT-4 serta Titans. Untuk penalaran matematika, skor AIME 24 adalah 79,2%, AIME 25 69,0%, dan HMMT 25 46,1%; untuk pengetahuan faktual, SQuAD satu tugas mencapai 48,9% dan 46,2% pada pengaturan pra-pelatihan berkelanjutan.
Angka-angka ini minim pembanding. Blog tidak mencantumkan skor spesifik tiap baseline pada matematika dan tanya jawab fakta, sementara terjemahan berkelanjutan dan pembelajaran inkremental kelas hanya diberi grafik tanpa nilai. Berapa besar parameter model dan berapa banyak komputasi yang dibutuhkan untuk sekali tidur tidak dijelaskan dalam teks. Tidak ada bagian keterbatasan tersendiri, dan hasil replikasi dari pihak luar belum muncul.
Langkah ketiga dari tim yang sama
Jika ditempatkan pada garis riset Behrouz dan Mirrokni, alurnya cukup jelas. Pada akhir 2024 mereka mengusulkan Titans, yang menambahkan modul memori jangka panjang saraf pada Transformer yang juga dapat diperbarui saat inferensi. Arsitektur Hope sesudahnya memecah model menjadi beberapa lapisan memori dengan frekuensi pembaruan berbeda, dan kerangka tidur kali ini dibangun langsung di atas Hope dan MoE. Setelah tiga langkah, pertanyaannya bergeser dari "bagaimana memperpanjang konteks" menjadi "bagaimana isi konteks diendapkan ke dalam parameter".
Ada pula riset dengan arah serupa, misalnya SEAL dari MIT, yang membuat model menghasilkan sendiri data fine-tuning dan memperbarui bobotnya; blog memasukkannya ke dalam baseline pembanding. Yang ditambahkan kerangka tidur adalah mekanisme pakar cadangan ditambah pengosongan berkala, yang memakai struktur untuk memisahkan pengetahuan baru dan lama.
Kerangka ini masih jauh dari produk. Jika model daring "tidur" dan mengubah parameternya setiap malam, evaluasi keamanan dan manajemen versi harus dirancang ulang, dan pengguna hari ini serta besok bisa berhadapan dengan dua model yang sedikit berbeda. Google sampai sekarang tidak mengungkapkan rencana penerapan apa pun; makalahnya sudah tersedia di arXiv.
Sumber: blog Google Research, CocoLoop, makalah arXiv; dasar penilaian skor AIME, HMMT, dan SQuAD serta panjang konteks pada uji BABILong telah diverifikasi.