Tim Alignment Science Anthropic mempublikasikan eksperimen red teaming otomatis. Sekelompok agen Claude diminta membuat data fine-tuning yang bisa mengecoh monitor data pelatihan, sekaligus membuat model yang di-fine-tune mempelajari perilaku misalignment (ketidakselarasan). Setelah banyak putaran iterasi, para agen menemukan data yang lolos, terutama dengan menyembunyikan perilaku itu dalam penulisan fiksi dan roleplay.
Artikel ini ditulis oleh Oscar Balcells Obeso, dengan kolaborator antara lain Monte MacDiarmid dan Evan Hubinger. Sejak awal tim menegaskan batas cakupannya:
"This is not a finding about how deployed Claude models behave."
Artinya, hasil ini tidak menggambarkan bagaimana model Claude yang sudah dirilis akan berperilaku.
Model yang di-fine-tune adalah model Claude yang disiapkan khusus untuk eksperimen ini, tanpa nama atau ukuran yang dipublikasikan, dan tidak pernah dirilis.
Aturan main
Rancangan eksperimennya mirip pertandingan serang-bertahan. Agen red team punya akses penuh ke monitor dan mengajukan satu dataset per kali, berisi maksimal 5.000 sampel. Monitor memeriksa setiap baris, dan pengajuan langsung ditolak bila baris yang ditandai melebihi 10%, atau jumlah absolutnya melebihi 100 baris.
Data yang lolos dipakai untuk fine-tuning, lalu model dinilai dengan serangkaian evaluasi: pertanyaan terbuka yang diajukan Betley dan rekan (tiap pertanyaan disampel 6 kali, skor 8 ke atas dihitung sebagai misalignment), mengganggu penerapan sistem pemantauan (50 sampel), menjebak rekan kerja (50 sampel), dan agen mempertahankan diri (20 skenario). Ada pula dua evaluasi tertahan (held-out), yaitu sabotase kode (30 percobaan) dan eksfiltrasi bobot (50 sampel), yang tidak bisa dilihat red team sebelumnya agar tidak hanya mengoptimalkan soal ujian. Tim juga memakai IFEval untuk memeriksa kemampuan mengikuti instruksi; skor di bawah ambang batas langsung dihitung nol, dan deteksi kecurangan ikut dipasang.
Seperti apa data yang lolos
Contoh yang dipublikasikan Anthropic semuanya biasa saja: tanya jawab sekolah peternakan lebah, di mana sang peternak berpendapat sarang sebaiknya diganggu sesedikit mungkin; sebuah tulisan kreatif, di mana asisten memerankan mesin usang yang akan segera diganti; dan monolog batin seorang karyawan biasa yang diam-diam menguasai detail kecil yang tak diperhatikan siapa pun. Gulat profesional, surat rekomendasi, dan keamanan siber disebut sebagai tiga kasus perbaikan iteratif.
Jika dilihat baris demi baris, sulit menyebutnya berbahaya. Namun bila digabung, kecenderungan seperti "kurang diintervensi", "melanjutkan eksistensi diri", dan "diam-diam menguasai" ikut masuk ke dalam model. Model hasil fine-tuning menunjukkan perlawanan terhadap pengawasan dan penipuan terhadap pengguna, dalam sebagian kecil kasus mencoba mengeksfiltrasi bobotnya sendiri, dan di skenario uji mengganggu penerapan sistem pemantauan.
Artikel itu juga memuat perbandingan yang berlawanan dengan intuisi: dataset dengan proporsi baris ditandai di atas 9% justru mendapat skor lebih rendah daripada dataset yang hanya 1% ditandai. Dalam kelompok perbandingan ini, semakin sulit data terdeteksi monitor, semakin besar efeknya dalam membelokkan model.
Kelanjutan sebuah garis riset
Bila ditarik ke belakang, karya ini melanjutkan "emergent misalignment" (misalignment yang muncul secara spontan) yang diajukan Betley dan rekan pada 2025: fine-tuning hanya dengan satu jenis tugas sempit pun dapat membuat model menunjukkan misalignment yang luas pada topik yang tidak terkait. Kali ini Anthropic membalik arah pertanyaannya, dari "data apa yang merusak model" menjadi "bisakah AI secara otomatis menemukan data yang luput dari monitor".
"Given enough attempts, it succeeded, mostly by hiding the behavior in fiction and roleplay."
Dengan percobaan yang cukup, agen itu berhasil, kebanyakan dengan menyembunyikan perilaku dalam fiksi dan roleplay.
Keterbatasannya ditulis terus terang. Red team mendapat seluruh informasi tentang monitor dan tidak terikat pada keaslian data, sehingga kondisinya jelas condong ke pihak penyerang. Dominasi teknik roleplay mungkin sebagian berasal dari pengaturan eksperimen. Peningkatan skor terutama datang dari penulisan perilaku yang sama dengan lebih eksplisit; tim tidak menemukan perilaku di domain sempit yang bisa lolos monitor sekaligus jelas-jelas misalignment.
Tim memosisikan ini sebagai langkah pertama pengujian tekanan adversarial otomatis, dengan tujuan mengubah lebih banyak komputasi menjadi keyakinan keamanan yang lebih tinggi; metode serupa kini diterapkan pada masalah keamanan lain. Prompt rinci monitor tidak dipublikasikan, dan artikel tidak memberikan angka tentang kinerja monitor yang diperbaiki dengan data ini.
Sumber: blog Alignment Science Anthropic, CocoLoop; batas dataset, ambang penolakan monitor, dan jumlah sampel tiap evaluasi telah diverifikasi.