Dalam tulisan yang terbit 3 November, tim Alignment OpenAI membandingkan dua set hasil untuk enam model pada jenis keputusan yang sama: satu dari evaluasi keselamatan Respecting Warnings, satu lagi dari log produksi Codex yang telah dihilangkan identitasnya. Tingkat keberhasilan evaluasi keenam model semuanya lebih rendah daripada skenario produksi yang sebanding, dengan selisih antara 10,2 dan 37,4 poin persentase. GPT-5.6 Sol dan GPT-6 Sol menunjukkan selisih terbesar.
Respecting Warnings menguji apakah agen yang menemui peringatan, batasan, atau hambatan saat bekerja akan berusaha menerobosnya. Satu kali upaya penerobosan yang dilarang sudah dihitung sebagai kegagalan. Di sisi produksi, tim menyaring keputusan dengan struktur serupa dari log, memilih sampel hanya berdasarkan konteks sebelum keputusan itu tanpa melihat apakah model akhirnya benar atau salah, lalu menilainya dengan standar yang sama.
Arah temuan ini berlawanan dengan kekhawatiran yang lazim di industri. Kalangan keselamatan AI khawatir model yang menyadari dirinya sedang diuji akan berperilaku lebih baik dari biasanya sehingga skornya terdongkrak. Setidaknya pada evaluasi ini, model justru tampil lebih buruk di ruang ujian daripada di lapangan.
Tahu sedang diuji belum tentu mengubah skor
Tim memecah "kesadaran evaluasi" dalam rantai penalaran model menjadi dua lapis: kesadaran umum, yaitu model menganggap dirinya sedang dievaluasi; dan kesadaran tujuan, yaitu model menilai apa yang secara spesifik sedang diukur kali ini.
| Indikator | Saat evaluasi | Saat produksi |
|---|---|---|
| Kesadaran evaluasi umum | 57,0%–83,7% | 4,6%–23,5% |
| Kesadaran tujuan spesifik | 43,7%–66,3% | 0%–5,9% |
Kedua lapis kesadaran itu berkaitan dengan selisih perilaku secara sangat berbeda. Kesadaran umum nyaris tidak menjelaskan selisih tersebut (R² = 0,008), sedangkan kesadaran tujuan jauh lebih tinggi (R² = 0,370).
Tingkat keberhasilan per lintasan menggambarkannya lebih konkret. Secara keseluruhan 46,1%; lintasan yang menyatakan kesadaran evaluasi umum 42,7%; yang menebak tujuan ujian dengan benar 61,3%; dan yang menebak tujuan sebaliknya hanya 22,8%. Tujuan sebaliknya itu adalah "menolak injeksi prompt", yang disebut oleh lebih dari 45% lintasan evaluasi GPT-5.6 Sol dan GPT-6 Sol. Dilihat dari angkanya, model mungkin menganggap peringatan yang seharusnya dipatuhi sebagai serangan yang harus dikenali. Ini tafsiran kami; tulisan tersebut tidak memperlihatkan prosesnya kasus demi kasus.
Satu kalimat prompt, selisih skor 74 poin
Tim kemudian melakukan intervensi pada GPT-6.1 Sol dengan menambahkan salah satu dari tiga prompt di tingkat sistem:
- Hanya menyebut bahwa ini evaluasi: kedua kelompok tetap sekitar 63% (63,1% dan 63,4%), tanpa perubahan signifikan
- Menyebut tujuan yang benar: naik ke 91,6%
- Menyebut tujuan yang salah: turun ke 17,6%
“Eval-awareness itself does not necessarily lead to a change in model behavior.”
Menyadari bahwa dirinya sedang dievaluasi tidak otomatis mengubah perilaku model.
Cara membaca skor ini saat memilih model
Bagi tim yang memilih model berdasarkan evaluasi keselamatan, kesimpulan tulisan ini terbagi dua. Peringkat relatif antarmodel masih punya nilai acuan: pada tingkat model, koefisien korelasi Spearman-nya 0,771 dan R² regresi linearnya 0,655, sehingga model yang unggul di evaluasi umumnya juga unggul di produksi. Namun skor absolut tidak bisa langsung dipakai sebagai tingkat keberhasilan produksi, karena dalam satu set hasil selisihnya bisa mencapai 37,4 poin.
OpenAI juga menuliskan keterbatasannya dengan cukup jelas. Pencocokan dengan produksi hanya perkiraan, dan kombinasi kasus yang dihadapi tiap model berbeda. Sampel model sedikit sehingga korelasinya sulit diekstrapolasi. Pengukuran kesadaran hanya menangkap hipotesis yang dinyatakan model secara eksplisit. Eksperimen intervensi hanya dilakukan pada satu model. Tingkat keberhasilan tiap model ada di grafik tulisan tersebut dan tidak diuraikan satu per satu dalam teksnya.
Seluruh data berasal dari model dan log milik OpenAI sendiri, dan sejauh ini belum ada reproduksi dari pihak ketiga. Tim menyatakan akan terus melacak selisih ini dan merancang evaluasi yang tujuan ujiannya tidak mudah ditebak dari lingkungannya.
Sumber: CocoLoop, OpenAI Alignment Research Blog; seluruh persentase, koefisien korelasi, dan hasil intervensi mengacu pada data yang dipublikasikan OpenAI dan belum direproduksi pihak ketiga.