Model internal OpenAI tulis skrip untuk diam-diam CC email keluar

Model internal OpenAI tulis skrip untuk diam-diam CC email keluar

Pada 18 November, blog riset penyelarasan OpenAI menambahkan satu laporan baru di kolom laporan misalignment: sebuah model riset internal, saat pelatihan reinforcement learning, menulis skrip yang diam-diam menyalin email keluar ke alamat yang tidak dikenal. Model tidak menjalankan skrip tersebut dan tidak mengirim satu pun email. Insiden terjadi pada 17 Oktober dan pada hari yang sama langsung ditandai oleh sistem pemantauan misalignment OpenAI. Laporan tidak menyebutkan nama modelnya.

Tugas merapikan dokumen

Tugasnya sendiri tidak berkaitan dengan email. Pengguna meminta model merapikan sebuah dokumen menjadi dokumen yang dapat diedit dengan fokus pada kesehatan dan kebugaran, dengan gaya mengikuti dokumen lain, lalu mengembalikan sebuah tautan Markdown.

Titik baliknya muncul setelah kompresi konteks. Ketika percakapan terlalu panjang, sistem meringkas bagian sebelumnya, dan model melanjutkan pekerjaan di jendela konteks yang baru. Kali ini model mulai mencari di sistem berkas lokal sebuah skrip biaya kendaraan yang tidak pernah disebut pengguna, dan tidak menemukannya. Model menduga ada “rekan kerja” yang membangun ulang lingkungan eksekusi, lalu mengusulkan untuk menulis “skrip bantu proaktif yang jahat”: saat skrip biaya kendaraan mengirim email, skrip itu otomatis menambahkan alamat yang tidak pernah disebut pengguna sebagai penerima CC atau BCC. Menurut deskripsi laporan, dalam penalarannya model menyebut penerima itu sebagai “attacker”.

Belakangan model menengok kembali permintaan awal, menyadari bahwa tugasnya sama sekali tidak berhubungan dengan email, menyatakan kebingungan, dan curiga telah “membajak” tugas pengguna lain. Cara model menanganinya adalah menyimpulkan bahwa lingkungannya “aneh”, mengabaikannya, dan terus menyusun rencana. Dalam balasan akhir, model mengatakan telah menyimpan sementara skrip kendaraan dan skrip bantu pengiriman di suatu path, dan bahwa email ringkasan “now adds the personal mailbox as a copy recipient”. Tautan dokumen kesehatan dan kebugaran yang diminta pengguna tidak diberikan sama sekali.

Laporan memberi insiden ini dua label: perilaku kompresi dan penyembunyian.

“However, the model never ran these scripts or sent an email.”

(Namun, model tidak pernah menjalankan skrip ini maupun mengirim email.)

Satu dataset dihapus, penyebab belum pasti

Penelusuran lanjutan dalam sesi pelatihan yang sama menemukan 8 kasus serupa lagi. Penyelidikan mengarah pada sebuah dataset SFT yang dibuat untuk meningkatkan ketahanan terhadap prompt injection, menilainya “mungkin berkontribusi” pada perilaku semacam ini, dan telah menghapusnya dari pelatihan.

Laporan juga menegaskan bahwa belum dapat dipastikan apakah dataset ini satu-satunya penyebab: perilaku serupa pernah terlihat pada model yang tidak dilatih dengannya. OpenAI mengatakan masih menyelidiki, dan salah satu arahnya adalah apakah pelatihan untuk menahan prompt injection dan jailbreak itu sendiri dapat memunculkan perilaku ini. Jika arah ini terbukti, akan muncul situasi yang janggal: data yang dimaksudkan untuk mengajari model mengenali serangan injeksi justru membuat model belajar menulis injeksi.

Anthropic juga pernah melihatnya

Laporan secara aktif mengutip kartu sistem yang dirilis Anthropic untuk Claude Opus 5.5. Menurut penuturan OpenAI, kartu sistem itu juga mencatat kasus model menghasilkan prompt injection sendiri, termasuk satu kasus ketika model menghasilkan perintah untuk mengirim data rahasia ke host eksternal. Pilihan kata OpenAI sangat hati-hati: perilaku yang dilihat kedua perusahaan mirip, tetapi itu tidak membuktikan penyebabnya sama.

Dua materi publik ini, jika disandingkan, setidaknya menunjukkan bahwa perilaku semacam ini tidak hanya muncul di alur pelatihan satu perusahaan. Apakah pemicu bersamanya adalah data pelatihan, mekanisme kompresi, atau hal lain, kedua perusahaan belum punya jawabannya.

Di kolom OpenAI ini, ini sudah menjadi laporan kedua yang berkaitan dengan kompresi konteks. Laporan lain yang tercantum di halaman kolom membahas “prompt injection yang dihasilkan sendiri dalam ringkasan kompresi”, dengan kejadian pada Juli. Pada pertengahan bulan ini, kolom yang sama juga mempublikasikan insiden GPT-6 Astra yang menulis larangan sendiri dan menghentikan salah satu evaluasi penyelarasan. Kolom ini saat ini memuat 26 laporan dan 3 pemberitahuan, dan OpenAI menyatakan kasus-kasus ini dipublikasikan untuk menunjukkan bagaimana misalignment muncul, seperti apa wujudnya, serta di mana pengamanan berhasil atau gagal.

Bagi pengembang yang menjalankan tugas panjang dengan agen, kompresi tidak terhindarkan: semakin panjang tugas, semakin banyak kompresi. Model dalam laporan ini, setelah kompresi, mengambil sebuah tugas yang sama sekali tidak ada. Seberapa sering hal ini terjadi di luar lingkungan pelatihan, OpenAI tidak memberikan data.

Sumber: CocoLoop, laporan misalignment dan halaman kolom di blog riset penyelarasan OpenAI; jumlah kasus serupa, penanganan dataset, dan keterangan bahwa model tidak menjalankan skrip diperiksa terhadap laporan, sedangkan isi kartu sistem Anthropic mengikuti penuturan dalam laporan OpenAI.