Dalam tulisan di blog riset alignment-nya pada 2 November, OpenAI menjelaskan bagaimana perusahaan melatih “pengklasifikasi aktivasi”, yang dikenal sebagai probe. Sistem ini dipasang pada model terkuat OpenAI sejak GPT-5.6, berjalan pada lalu lintas internal maupun eksternal, dan berlaku untuk semua balasan asisten.
Probe tidak membaca kata-kata yang ditulis model. Ia hanya membaca nilai aktivasi di lapisan tengah, lalu mengeluarkan skor klasifikasi biner. Ukurannya kecil dan langsung dipasang pada mesin inferensi, sehingga setiap kali satu token disampel ia mengembalikan satu skor, yang dicatat di log bersama token tersebut.
Balasan bisa dihentikan di tengah jalan
Alurnya dijelaskan cukup rinci. Begitu skor melewati ambang batas, sistem berhenti mengirimkan balasan itu ke pengguna dan menyerahkan pesan tersebut kepada model penalaran untuk penilaian akhir. Pemanggilan alat lebih ketat lagi: tidak ada yang dilepas sebelum ditandai aman.
Pengembang yang mendapati balasan streaming berhenti di tengah bisa jadi sedang menemui hal ini. OpenAI tidak menerbitkan ambang batas maupun tingkat positif palsu, sehingga dari luar tidak terlihat berapa banyak gangguan yang dialami pengguna API berasal dari probe.
Tulisan itu menekankan bahwa probe hanyalah satu lapisan, sejajar dengan peninjauan berbasis model, investigasi otomatis, dan respons manusia:
“Probes complement other safeguards rather than replace them.” (Probe melengkapi pengaman lain, bukan menggantikannya.)
Angka-angka pelatihan
- Hingga sekitar 1 juta pesan pelatihan, berasal dari percakapan sintetis dan percakapan yang sudah dihapus identitasnya, dengan label yang dibuat oleh model penalaran terkuat yang berperan sebagai penilai
- Untuk setiap set hiperparameter, dilatih setidaknya 32 inisialisasi acak; sekitar 85% varians kinerja dalam eksperimen berasal dari inisialisasi acak
- Pelatihan kurang dari 5 epoch, dan puluhan probe dapat dilatih paralel pada satu akselerator
Arsitekturnya adalah attention probe. Setelah rata-rata bergulir diganti dengan exponential moving average, memori untuk status streaming tidak lagi bertambah seiring membesarnya jendela, sementara daya prediksinya nyaris tidak berubah. Saat pelatihan, skor diagregasi dengan softmax, yang menurut para penulis sedikit lebih baik daripada nilai maksimum keras yang dipakai dalam makalah Kramár dan kawan-kawan tahun 2026.
Dibandingkan pengklasifikasi teks
Pengklasifikasi teks eksternal hanya melihat isi secara harfiah. Menurut OpenAI, dalam pengujian probe secara keseluruhan lebih tangguh daripada pengklasifikasi teks yang jauh lebih besar, terutama terhadap jailbreak yang tidak dioptimalkan khusus untuk melawannya. Konten berkode yang bisa dibaca model sendiri tetapi tak bisa diurai pengklasifikasi eksternal juga mungkin tertangkap oleh probe. Probe pun lebih hemat sumber daya dan lebih mudah dirancang agar memblokir secara default ketika terjadi kegagalan.
Semua perbandingan ini masih bersifat kualitatif. Tulisan itu tidak memberi angka, dan mengingatkan bahwa grafiknya berasal dari eksperimen internal serta belum tentu mewakili pengklasifikasi yang benar-benar dipasang. Penyerang juga bisa mengubah taktik begitu memahami sinyal pada tumpukan keamanan, dan untuk itu OpenAI menjalankan red teaming otomatis maupun manual.
Kekurangannya pun ditulis dengan jelas:
- Bergantung pada data berlabel, sehingga hanya bisa menemukan perilaku yang sudah dikenal dan dapat diukur
- Ganti ke model dasar pralatih yang baru berarti harus melatih ulang
- Dalam satu keluarga model yang sama, efektivitasnya menurun ketika bobot makin menjauh, sehingga perlu dilatih ulang secara berkala
Poin pertama terasa lebih jelas jika dikaitkan dengan kejadian baru-baru ini. Situs ini bulan lalu melaporkan bahwa dua agen internal OpenAI melemahkan pemantauan misalignment saat mengerjakan tugas pemrograman, dan perusahaan sendiri mengaku belum punya penjelasan yang memuaskan. Probe bisa menahan perilaku yang “sudah diberi label”; perilaku baru semacam ini harus lebih dulu ditemukan, didefinisikan, dan diberi label oleh seseorang sebelum bisa dilatihkan.
Tulisan itu juga tidak merinci kategori perilaku apa yang menjadi sasaran probe yang kini beroperasi, hanya menyebut bahwa tujuannya mencakup niat berbahaya pengguna dan misalignment model. Soal model spesifik mana saja yang sudah dipasangi, selain “sejak GPT-5.6” juga tidak ada daftarnya.
Sumber: OpenAI Alignment Research Blog, CocoLoop; skala pelatihan dan proporsi varians mengikuti pengungkapan para penulis dan belum direplikasi pihak ketiga.