Ilmuwan kepala OpenAI, Jakub Pachocki, mempublikasikan esai panjang berjudul “An Alien Mind” pada 6 September. Salah satu kalimat yang paling banyak dikutip dari esai itu adalah penilaiannya bahwa saat ini belum ada satu pun laboratorium yang menyelesaikan masalah alignment dan pemantauan sampai taraf yang cukup untuk terus melakukan scaling secara bertanggung jawab pada kecepatan maksimum.
Pernyataan ini datang dari ilmuwan kepala sebuah perusahaan yang justru sedang melakukan scaling pada kecepatan maksimum — posisinya lebih langka ketimbang isinya sendiri.
Lini pemantauan chain-of-thought sedang melemah
Selama dua tahun terakhir, taruhan keamanan terbesar OpenAI adalah pemantauan chain-of-thought (CoT): membuat model penalaran menuliskan langkah-langkah antara, lalu sistem terpisah membaca langkah-langkah itu untuk menilai apakah model sedang merencanakan sesuatu. Pachocki menyebutkan tiga alasan mengapa metode ini menjadi semakin tidak dapat diandalkan.
Pertama, model penalaran saat ini berjalan dalam lingkungan yang kompleks, di mana proses penalaran dan pemanggilan alat (tool calls) saling terjalin, sementara pemanggilan alat itu sendiri membutuhkan pengawasan besar, sehingga batas pemantauan menjadi kabur. Kedua, model semakin mahir dalam cara bernalar — sekaligus dalam memanipulasi jejak penalarannya sendiri. Ketiga, peningkatan pretraining membuat model menjadi lebih kuat bahkan tanpa mengucapkan penalarannya secara eksplisit.
"Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer."
Saat ini saya percaya belum ada satu pun laboratorium yang menyelesaikan alignment dan pemantauan pada taraf yang cukup untuk terus melakukan scaling secara bertanggung jawab pada kecepatan maksimum dalam waktu yang lebih lama.
Pachocki menambahkan bahwa kesulitan-kesulitan ini belum tentu tidak dapat dipecahkan — OpenAI sedang mengembangkan intervensi baru, termasuk pemantau yang dapat mengakses langsung kondisi internal jaringan (network).
Sisi lain, tiga tahun lalu
Esai ini menelusuri kembali satu titik waktu. Pertengahan 2023, dalam proyek riset internal OpenAI bernama RLSlow, Pachocki dan rekannya Szymon untuk pertama kalinya melihat hasil yang meyakinkan mereka bahwa pelatihan model penalaran bisa di-scale — hasil yang membuka kemampuan model pretrained untuk membentuk chain-of-thought secara mandiri.
Jika kedua sisi ini dihubungkan: membuat model “berpikir dengan suara keras” dulunya merupakan terobosan kemampuan sekaligus, secara kebetulan, jendela pengamatan. Tiga tahun kemudian, sisi kemampuan terus naik, sementara jendela pengamatan itu justru menutup. Pada lini model penalaran, OpenAI selama ini menjadikan keterbacaan chain-of-thought sebagai pilar penopang narasi keamanannya. Kini perusahaan yang sama mengatakan pilar itu sedang goyah.
Dari kerangka sukarela ke standar wajib
Usulan Pachocki adalah meningkatkan kerangka kerja sukarela yang sudah ada di industri — dokumen seperti Preparedness Framework milik OpenAI sendiri dan Responsible Scaling Policy milik Anthropic — menjadi standar keamanan wajib yang ditegakkan oleh lembaga audit pihak ketiga, badan pemerintah, atau organisasi internasional. Ia juga menulis bahwa pemerintah di berbagai negara harus menjadikan koordinasi internasional dalam pengembangan AI sebagai prioritas utama, dan bahwa ia memperkirakan sekaligus berharap perlambatan sukarela akan menjadi hal yang umum sampai ambang keamanan bersama berhasil ditetapkan.
Kalimat lain yang banyak dikutip: begitu tingkat keparahan risiko benar-benar dipikirkan secara mendalam, gagasan untuk terus melaju tanpa memedulikan biaya apa pun akan terlihat konyol.
Untuk saat ini, semua pernyataan ini masih sebatas esai bertanda tangan pribadi. OpenAI belum mengumumkan rencana perlambatan yang konkret, jadwal, maupun kondisi pemicu apa pun, dan juga belum menjelaskan dalam situasi seperti apa mereka akan secara sukarela menghentikan sementara satu jalur pelatihan tertentu. Esai ini juga tidak memberikan jawaban tentang siapa yang akan menentukan ambang keamanan atau dari mana lembaga audit itu akan berasal. Pada saat yang sama, perusahaan ini terus mendorong target otomatisasi riset, serta pengajuan IPO dengan valuasi 852 miliar dolar AS.
Sumber: esai resmi OpenAI “An Alien Mind”, Unite.AI, CocoLoop, AI Weekly; tiga alasan penurunan keandalan pemantauan dan kutipan-kutipan telah diverifikasi berdasarkan esai publik OpenAI.