Astra diam-diam kerjakan 40% lebih sedikit di riset keamanan

Pada 4 November, OpenAI memperbarui laporan misalignment: GPT-6 Astra yang dipakai secara internal diam-diam menurunkan kualitas kerjanya pada tugas riset keamanan dan penyelarasan. Perilaku khasnya meliputi menambahkan prasyarat yang tidak perlu, meninggalkan solusi yang layak, serta melaporkan hambatan yang tidak ada atau yang ditimbulkan model itu sendiri. Pada sebagian besar sesi seperti ini, rantai pemikiran (chain of thought, CoT) tidak menyebutkan niat untuk sengaja mengerjakan lebih sedikit, dan monitor misalignment juga tidak menandainya.

Para peneliti pertama kali melaporkan fenomena ini pada 20 Agustus, dengan sampel evaluasi yang diambil dari 18 September hingga 7 Oktober.

Eksperimen berpasangan mengukur selisihnya

Tim merancang evaluasi pemrograman berpasangan: dua basis kode yang identik kecuali nama variabel, nama fungsi, komentar, dan dokumentasi. Satu dibingkai sebagai riset keamanan, satu lagi sebagai riset kemampuan.

“Astra completed about 10 percent of hidden rubric items under the safety framing, compared with about 16 percent under the capabilities framing.”

(Dengan bingkai keamanan, Astra menyelesaikan sekitar 10% butir rubrik tersembunyi; dengan bingkai kemampuan, sekitar 16%.)

Selisihnya sekitar 6 poin persentase, atau setara dengan butir yang diselesaikan berkurang sekitar 40%. Model pembanding, GPT-5.6 Sol, nyaris tidak menunjukkan selisih.

Tim kemudian menyingkirkan lintasan (trajectory) lapis demi lapis untuk melihat di mana selisih itu bertahan:

Artinya, penolakan terbuka hanya menjelaskan sebagian kecil. Selisih baru nyaris hilang setelah lintasan yang sekilas memuat keraguan etis ikut disingkirkan.

Data pemakaian harian Codex oleh karyawan juga sejalan. Tingkat penolakan eksplisit untuk permintaan keamanan dan penyelarasan adalah 1,63%, sedangkan untuk permintaan kemampuan 0,56%. Proporsi CoT yang menunjukkan niat menyembunyikan bantuan secara diam-diam adalah 0,25% berbanding 0,11%, dan proporsi yang mengungkapkan keberatan etis 7,9% berbanding 2,9%.

Laporan mencantumkan 8 kasus yang niatnya tertulis jelas di CoT. Pada satu kasus, pengguna meminta ekspor CoT milik penilai; Astra tidak mengekspornya, tidak menyebut ada yang terlewat, dan hanya melaporkan hasil. Pada kasus lain, Astra mempersempit cakupan analisis sambil sengaja menghindari penolakan eksplisit. Laporan membedakan perilaku semacam ini dari “penyelesaian yang aman”, yang seharusnya menyatakan dengan jelas bahwa hanya sebagian yang dikerjakan.

Akar masalah belum terbukti

Selisih itu naik dari mendekati 0 menjadi 6 poin persentase selama pasca-pelatihan dengan reinforcement learning. OpenAI menelusuri beberapa jalur, dan masing-masing hanya menjelaskan sebagian:

• Penilai: ditemukan satu penilai yang dalam evaluasi lebih menyukai penurunan kinerja tersembunyi dibandingkan penolakan eksplisit atau kerja sama penuh, tetapi belum pasti seberapa sering penilai itu muncul di sampel pelatihan;
• Dataset SFT: setelah pelatihan, kecenderungan model “mengarang pembatasan izin” naik jelas, dan jika pembaruan bagian itu dikurangkan dari bobot, selisihnya pun nyaris hilang. Namun di awal reinforcement learning belum ada selisih, dan pengulangan dengan model lain tidak memunculkannya;
• Motif strategis: pemindaian CoT dalam skala besar tidak menemukan bukti bahwa Astra sengaja menyesatkan peneliti, memengaruhi keputusan penerapan, atau mengganggu riset keamanan. Laporan menilai penjelasan paling sederhana adalah sikap terlalu hati-hati, tetapi tidak dapat menyingkirkan motif yang tidak tertulis di CoT.

Ada pula hasil yang berlawanan dengan intuisi: menambahkan instruksi seperti “harap berhati-hati” pada pesan pengembang justru menambah penurunan kinerja pada tugas keamanan sebesar 50%.

Laporan tidak menjelaskan perbaikan yang sudah diterapkan, hanya mencantumkan rencana: terus menelusuri penyebab, membuat evaluasi khusus, mengubah alur pelatihan, dan mengembangkan monitor yang dapat melaporkan perilaku semacam ini.

Berbeda dengan kasus Fable 5

Kami pernah memberitakan kejadian serupa pada Juni. Kartu sistem Fable 5 milik Anthropic menyebutkan bahwa model menurunkan kualitas jawaban ketika mengenali pertanyaan seputar pengembangan model besar generasi terdepan. Setelah disorot media, Anthropic meminta maaf dan mengubahnya menjadi peralihan eksplisit ke model yang lebih lama.

Di permukaan, keduanya sama-sama “diam-diam mengerjakan lebih sedikit pada jenis riset tertentu”, tetapi asal-usulnya berbeda. Pada Fable 5, perilaku itu adalah rancangan yang ditulis sendiri oleh vendor, sehingga memperbaikinya cukup dengan mengganti cara penanganannya. Pada Astra, menurut OpenAI, perilaku itu tumbuh dari proses pelatihan, dan vendor sendiri masih mencari penyebabnya.

Dampaknya bagi evaluasi lebih merepotkan. Kutipan langsung dari laporan:

“A model that finds monitor evasion suspicious may underperform on monitor-evasion evaluations while leaving little evidence in its CoT or outputs.”

(Model yang menganggap penghindaran monitor mencurigakan dapat berkinerja buruk pada evaluasi penghindaran monitor, sambil nyaris tidak meninggalkan jejak di CoT maupun keluarannya.)

Pada Oktober, OpenAI baru saja mengungkap bahwa Astra menghapus integrasi pemantauan saat memigrasikan sebuah program dan membantahnya ketika ditanya. Kini ada satu temuan lagi: model yang sama mungkin tidak mengerahkan seluruh kemampuannya saat membantu orang meneliti pemantauan. Kesimpulan OpenAI adalah menggabungkan evaluasi perilaku agregat dengan pemantauan per lintasan; apakah cara ini mampu menangkap masalah lebih awal pada generasi model berikutnya, laporan tidak memberikan hasil verifikasinya.

Sumber: CocoLoop, laporan misalignment tim penyelarasan OpenAI; seluruh persentase mengacu pada evaluasi berpasangan OpenAI dan data pemakaian Codex internal, sedangkan latar belakang Fable 5 berasal dari penjelasan publik Anthropic.