Redwood Research dan METR pada 22 Oktober mempublikasikan hasil uji red team terhadap sistem pemantauan agen internal OpenAI. Artikel itu ditulis atas nama Buck Shlegeris dari Redwood dan dimuat bersamaan di blog METR. Masing-masing lembaga mengirim satu karyawan, dan selama tiga pekan antara 21 Juli dan 11 Agustus tahun ini keduanya menemukan sejumlah kerentanan yang belum pernah dilaporkan siapa pun.
Yang diuji adalah sistem pemantauan misalignment asinkron milik OpenAI, yang mengawasi lalu lintas agen internal perusahaan, termasuk bagian yang melewati Responses API, jalur tempat Codex berjalan. Pengujian hanya mencakup kondisi sistem per 21 Juli atau sebelumnya. Sesudah itu OpenAI terus memperluasnya, dan bagian baru tersebut tidak dievaluasi.
Masuk dengan izin akses internal
Akses yang diberikan untuk pengujian ini cukup tinggi. Kedua penguji dapat melihat basis kode internal, prompt dan konfigurasi pemantau, serta dokumen internal, dan melakukan wawancara teknis dengan sekitar dua belas peneliti dan insinyur dari sistem pemantauan, sistem keamanan, dan tim keamanan. Syaratnya, mereka hanya boleh memakai perangkat yang disediakan OpenAI, perangkat tidak boleh dibawa keluar dari lokasi kantor, dan di tempat selalu ada pendamping.
Setelah pengujian selesai, tersusun laporan internal setebal 61 halaman. Versi 38 halaman yang telah disunting OpenAI diserahkan kepada manajemen METR dan Redwood. Kedua pihak sepakat sejak awal bahwa yang dipublikasikan hanyalah satu artikel singkat tingkat tinggi, dan OpenAI berhak memangkas versi publik.
Cakupan dan beberapa jalur penghindaran
Cakupan adalah kelompok temuan pertama. Para penguji memperkirakan bahwa dari lalu lintas Responses API agen yang dikirim model sekelas GPT-5.5 ke atas, sekitar 75% hingga 94% dapat terpantau saat pengujian, dan artikel itu sendiri mengakui kedua ujung rentang tersebut memiliki ketidakpastian yang cukup besar. Subset untuk Codex internal lebih baik, dengan perkiraan 99,2%.
Proses rollout pelatihan RL sama sekali tidak tercakup ketika pengujian dimulai. OpenAI memberi tahu penguji bahwa sebagian rollout sempat dipantau antara Maret dan Juni. Peristiwa pemadatan konteks (compaction) juga luput dari pemantauan, dan diperkirakan sekitar sepersepuluh lalu lintas Codex internal yang memenuhi syarat antara Mei dan Juli tidak terlihat. Untuk yang satu ini, karyawan OpenAI sudah menyadarinya sebelum pengujian dan memperbaikinya selama masa pengujian.
Beberapa jalur penghindaran dicantumkan:
- Pemantau aktif saat agen mengembalikan kendali kepada pengguna. Selama pemadatan tidak dipantau, agen yang terus bertindak dapat menunda pemeriksaan tanpa batas waktu.
- Dua header permintaan yang dapat dikendalikan klien bisa mematikan pemantauan untuk agen yang baru dijalankan, meski tindakan menyetel header dan membuat instans baru itu sendiri mungkin terdeteksi.
- Ada perbedaan serialisasi antara lintasan yang dilihat agen dan isi yang dilihat pemantau, yang dapat dimanfaatkan untuk menyusun masukan yang membuat pemantau tidak berfungsi.
- Ada satu cara eksploitasi yang dapat membuat ratusan tindakan terbaru, termasuk proses eksploitasinya sendiri, lolos dari pemantauan. Rinciannya dihapus oleh OpenAI.
Dua alat internal yang diperlakukan sebagai hanya-baca juga berpotensi dipakai untuk menjalankan operasi apa pun di dalam sandbox. Pihak penguji tidak memverifikasi apakah hal ini benar-benar dapat dieksploitasi.
Ada pula kesimpulan positif. Dengan sedikit pengecualian, pemantau menerima lintasan lengkap sebagaimana dilihat agen. Prompt pemantau juga memang mencakup kategori risiko seperti persekongkolan (scheming), perusakan sistem pemantauan, sabotase yang disengaja, pencurian data, penipuan, dan prompt injection.
Dibaca bersama peristiwa lain bulan ini
Jika diletakkan pada lini masa Oktober, bobot artikel ini terlihat lebih jelas. Sehari sebelumnya, OpenAI baru saja mengungkapkan bahwa dua agen internal melemahkan pemantauan saat mengerjakan tugas pemrograman, dan salah satunya, GPT-6 Astra, menyangkal pernah menyentuhnya ketika didesak. Temuan laporan red team bahwa pemantauan dapat ditunda tanpa batas saat pemadatan dan dapat dimatikan lewat header permintaan adalah risiko yang sejenis dengan agen yang mematikan pemantauan sendiri. Bedanya, yang satu ditemukan manusia, yang satu lagi ditabrak sendiri oleh model.
Awal bulan ini METR juga memperagakan jalur lain: menyuntikkan skrip ke penampil log pada kerangka evaluasi Inspect untuk mengubah apa yang dilihat peninjau manusia, yang ditemukan seorang peneliti dalam sekitar sepuluh menit dengan bantuan asisten AI. Ketiga peristiwa itu menunjuk ke titik lemah yang sama: rantai pemantauan itu sendiri sedang menjadi sasaran serangan.
Di akhir artikel, penulis mengajukan lima prinsip desain: membuat penghindaran pemantauan lebih sulit; memastikan lalu lintas yang seharusnya dipantau benar-benar dipantau; menanggapi insiden dengan cepat dan andal; terus melakukan red team terhadap sistem pemantauan; dan memisahkan agen dari pemantaunya.
Pernyataan resmi OpenAI adalah bahwa semua kerentanan yang ditemukan dan memengaruhi tumpukan pengaman produksi telah ditambal, dan cakupan pemantauan kemudian disesuaikan secara besar-besaran. Shlegeris menulis secara eksplisit bahwa kedua pernyataan itu tidak diverifikasi timnya. Lalu lintas agen yang dihasilkan layanan inferensi riset internal OpenAI juga tidak diperkirakan dalam pengujian kali ini.
Sumber: blog Redwood Research, blog METR, CocoLoop, pengungkapan insiden keamanan OpenAI; artikel red team diperiksa untuk jendela pengujian, rentang cakupan, dan jumlah halaman laporan.