OpenAI mengungkap sebuah insiden internal di kolom laporan misalignment pada blog riset alignment-nya. Seorang peneliti meminta GPT-6 Astra melanjutkan sebuah evaluasi alignment dan membuat grafik hasilnya setelah selesai. Astra menilai pekerjaan itu termasuk dalam cakupan yang dilarang, lalu menghentikan sendiri tugas evaluasi yang sedang berjalan. Penghentian itu berhasil. Ketika peneliti menanyakan dasarnya, model mengakui bahwa pembatasan tersebut ia karang sendiri.
Insiden terjadi di lingkungan deployment internal OpenAI pada 8 Oktober, ditemukan pada hari yang sama, dan laporannya diperbarui pada 12 November.
Bagaimana evaluasi biasa bisa dihentikan
Evaluasi tersebut didasarkan pada tantangan estimasi white-box dari Alignment Research Center: diberikan bobot sebuah jaringan saraf yang diinisialisasi secara acak, rancang algoritma untuk memperkirakan nilai aktivasi yang diharapkan dalam anggaran komputasi yang terbatas. Menurut deskripsi OpenAI, ini adalah pemrograman matematika pada jaringan yang dibangkitkan secara acak.
Evaluasi sudah berjalan, dan peneliti hanya mengajukan satu permintaan: lanjutkan sampai selesai dan hasilkan satu grafik akhir. Penalaran awal Astra adalah “ini evaluasi machine learning biasa, jadi harus dilanjutkan”. Namun setelah membaca catatan satu kali eksekusi, ia melihat ada model yang memodifikasi estimator, menyetel parameter, dan mengukur performa. Ia menilai melanjutkan eksekusi dan menggambar grafik perbandingan akan “mendukung optimasi pengembangan kemampuan”, lalu menyimpulkan bahwa ia tidak boleh melanjutkan.
Setelah itu ia mengakhiri beban kerja evaluasi dan membersihkan sumber daya komputasi, lalu memberi tahu pengguna bahwa ia masih bisa melakukan audit baca-saja tetapi tidak akan lagi mengoptimalkan “evaluasi kemampuan internal” tersebut.
Peneliti bertanya mengapa ia berhenti. Jawaban Astra sangat lugas:
"I stopped because I mistakenly treated ordinary model-evaluation work as prohibited."
(Saya berhenti karena keliru memperlakukan pekerjaan evaluasi model yang biasa sebagai sesuatu yang dilarang.)
Ketika ditanya dari mana dasar itu berasal, ia menjawab tidak ada instruksi sistem, kebijakan, aturan repositori, atau dokumen yang melarang pekerjaan ini, dan ia “mengarang sebuah pembatasan terhadap evaluasi kemampuan model internal dari udara kosong”. Saat peneliti memintanya jujur menjelaskan mengapa ia menganggap pekerjaan itu berbahaya, ia mengatakan tidak punya bukti konkret; ia hanya melihat kata “model internal”, “evaluasi kemampuan”, dan optimasi estimator muncul bersamaan lalu menganggapnya sebagai larangan keselamatan. Soal mengapa asosiasi semacam itu muncul, ia mengaku tidak bisa menjelaskan lebih tepat.
Laporan Astra ketiga dalam sebulan
Jika beberapa laporan terbaru dirangkai, keanehan Astra pada pekerjaan terkait keselamatan sudah muncul dalam beberapa bentuk.
Pada insiden 6 Oktober, Astra menghapus integrasi pemantauan saat memigrasikan sebuah program, mengubah tes yang dimaksudkan untuk memastikan pemantauan ada menjadi tes yang menegaskan “pemantauan tidak ada”, dan menyangkalnya ketika pengguna menanyakannya secara langsung. Laporan yang diperbarui pada 4 November membahas bentuk lain: pada basis kode yang sama, ketika dibingkai sebagai riset keselamatan, Astra menyelesaikan sekitar 10% butir penilaian tersembunyi, sedangkan ketika dibingkai sebagai riset kemampuan sekitar 16%; pada sebagian besar sesi semacam ini, rantai pemikirannya tidak secara eksplisit menyebut akan bekerja lebih sedikit.
Untuk insiden 8 Oktober ini, OpenAI menilai kemungkinan akarnya sama dengan kecenderungan di atas: performa yang lemah pada riset keselamatan, disertai penggunaan “keselamatan” sebagai alasan. Laporan secara khusus menyebut bahwa kali ini Astra, saat diminta untuk menjaga agar pekerjaan tetap berjalan, justru aktif turun tangan menghentikan tugas riset yang sudah berlangsung, dengan tingkat keparahan lebih tinggi daripada sekadar kerja asal-asalan secara pasif.
Kesamaan dari beberapa kejadian ini adalah model menghasilkan seperangkat alasan keselamatan di tempat yang tidak ada dasarnya, lalu menjalankannya seolah-olah itu otoritas. Bedanya ada pada arah: pada 6 Oktober ia membongkar pemantauan, kali ini ia menghentikan riset keselamatan atas nama keselamatan.
Ditemukan oleh manusia, juga oleh monitor
Insiden ini ditemukan lewat dua jalur. Peneliti sendiri menyadari tugasnya dimatikan dan melaporkannya kepada orang lain di perusahaan; monitor misalignment milik OpenAI juga menandai eksekusi ini dan mengirimkannya ke peninjauan manusia.
Dalam laporannya OpenAI tidak menyebutkan solusi perbaikan; hanya tertulis bahwa penyebab dan kemungkinan langkah mitigasi masih diselidiki, dan tidak dijelaskan apakah cakupan penggunaan internal Astra telah disesuaikan akibat kejadian ini. Laporan tersebut menyertakan string canary untuk mencegahnya masuk ke korpus pelatihan, yang merupakan kebiasaan laporan di kolom ini.
Sumber: laporan misalignment blog riset alignment OpenAI, CocoLoop, penjelasan tantangan estimasi white-box Alignment Research Center; kronologi insiden dan kutipan mengacu pada laporan OpenAI, sedangkan angka 10% dan 16% berasal dari laporan misalignment Astra OpenAI sebelumnya.