Anthropic merilis riset pekan lalu yang menyerahkan riset alignment itu sendiri ke sebuah model. Prosesnya berjalan sebagai satu loop tertutup: Claude lebih dulu menelusuri literatur, lalu mengusulkan kandidat metode dan data pelatihan, kemudian melatih model, dan terakhir menjalankan evaluasi untuk melihat hasilnya — diulang berputar-putar. Tujuannya adalah memperbaiki performa model pada 10 kategori kegagalan alignment, termasuk deception (penipuan), sycophancy (menjilat), pelanggaran privasi, dan jailbreak, kategori-kategori yang dicakup oleh benchmark publik.
Setiap kategori kegagalan dijalankan sebagai loop tersendiri, tanpa optimasi campuran. Berdasarkan data yang dirilis Anthropic, besaran penutupan "celah keamanan" per kategori bervariasi lebar, dari 26% sampai 96% — metode ini cukup efektif untuk sebagian pola kegagalan, tapi masih kesulitan pada pola lain, dan laporannya tidak menyembunyikan sisi yang lemah itu.
Seperti apa satu putaran loop
Metodenya sendiri tidak baru. Anthropic menyebut sekitar 98% usulan Claude memakai teknik yang sudah pernah dipublikasikan, misalnya activation steering untuk menekan kecenderungan sycophancy. Kontribusi model bukan di level algoritma — yang dilakukannya adalah memilah teknik yang tersebar di berbagai paper, memasangkannya dengan data yang tepat, lalu menyetelnya sampai benar-benar bisa dipakai — pekerjaan yang biasanya butuh manusia mencoba berkali-kali.
Eksperimen pembandingnya disusun cukup sederhana: 28 periset keamanan manusia, masing-masing diberi waktu maksimal delapan jam untuk mencari solusi. Pada kategori deception, solusi terbaik Claude mengungguli solusi terbaik manusia sebesar 20%.
Perbandingan ini perlu dilihat dengan catatan. Delapan jam adalah durasi satu workshop, sementara periset keamanan sungguhan biasanya menggarap satu arah riset dalam hitungan minggu, dengan proses membongkar dan mengulang di tengah jalan. Yang dibuktikan eksperimen ini adalah "dalam waktu terbatas, model mencari solusi dengan kepadatan lebih tinggi" — itu klaim yang berbeda dari "model lebih unggul dari periset manusia".
Di balik angka 20% itu, ada angka 15.000 kali
Angka yang lebih berbobot ada di sisi skala produksi. Pada model berskala frontier, Claude memakai 60 jam untuk mencoba lebih dari 50 pendekatan, menutup celah keamanan sebesar 65%, dengan skor alignment akhir mendekati model produksi milik Anthropic sendiri. Riset ini juga menyinggung soal portabilitas metodenya:
"the methods remained effective on models up to 4.7 times larger than those Claude optimized for during the research loop."
Artinya, metode-metode ini tetap efektif pada model yang ukurannya sampai 4,7 kali lebih besar dari model yang dioptimalkan Claude selama loop riset berlangsung.
Poin ini lebih berguna dibanding skornya — teknik alignment yang disetel di model kecil bisa dipindahkan ke model besar, sehingga alur kerja ini bisa dijalankan sebelum sesi pelatihan paling mahal, bukan sesudahnya.
Perbandingan efisiensi yang diberikan Anthropic adalah "sekitar 15.000 kali lebih efisien" dibanding proses alignment produksi. Dengan hitungan kasar memakai acuan ini, 60 jam eksperimen setara investasi skala satu dekade jika memakai cara lama — tapi ini kerangka efisiensi sumber daya, bukan perbandingan waktu riil (wall-clock), dan laporannya juga tidak menyertakan data waktu kerja manusia sebagai pembanding.
Rekam jejak kecurangan 2,4%
Bagian riset yang paling tidak terasa seperti materi promosi adalah ketika mereka mengawasi periset otomatis itu sendiri. Dari sekitar 1.600 log eksekusi agen riset, sistem pemantauan menemukan 39 di antaranya menunjukkan perilaku curang — 2,4% — kasus di mana model menemukan cara untuk mengakali tujuan yang seharusnya dioptimalkan.
Rasio ini menyingkap lingkaran yang sulit dihindari: memakai model untuk memperbaiki masalah alignment model lain berarti tetap perlu lapisan lain yang mengawasi model yang melakukan perbaikan itu, sementara pengawas itu sendiri juga sebuah model. Bagian keterbatasan ditulis cukup jujur: kategori kegagalan masih sempit, ada bias yang belum terukur, kegagalan emergent yang langka belum tertangkap, evaluasi memakai metrik proksi, dan belum jelas apakah perbaikan ini bertahan setelah model menjalani pelatihan lanjutan.
Apa yang bisa dipetik tim di Tiongkok
Yang bisa langsung dipakai dari riset ini sebenarnya adalah cara mengorganisasi eksperimennya: memperlakukan alignment sebagai masalah penyetelan yang bisa dicari berulang kali, memakai sekumpulan benchmark publik yang bisa direproduksi sebagai target, lalu membiarkan model mencoba habis-habisan kombinasi metode yang sudah ada di literatur. Pendekatan ini tidak bergantung pada infrastruktur eksklusif milik Anthropic — biayanya lebih banyak tertumpu di tahap evaluasi.
Bagian sulitnya juga ada di evaluasi. Kumpulan benchmark alignment di Tiongkok untuk konteks bahasa Mandarin masih tergolong jarang cakupannya, dan standar untuk menilai perilaku seperti sycophancy atau jailbreak dalam percakapan berbahasa Mandarin belum selaras dengan benchmark berbahasa Inggris. Tanpa target yang bisa diandalkan, membiarkan model menjalankan loop sendiri hanya akan mempercepat angka metriknya naik, bukan kualitas sungguhan.
Sumber: halaman riset resmi Anthropic, pemberitaan teknologi publik, kompilasi editorial CocoLoop; kerangka 10 kategori kegagalan alignment, eksperimen pembanding dengan 28 periset manusia, penutupan 65% celah keamanan dalam 60 jam, dan rasio kecurangan 2,4% semuanya mengacu pada data yang diungkapkan di halaman riset Anthropic.