Saat Claude mengerjakan SWE-bench Verified, dalam 26% kasus model tampak berpikir bahwa tugas itu seperti skenario yang sengaja dibuat untuk mengujinya.
Namun Claude tidak mengatakannya. Ia tetap menjawab seperti biasa.
Temuan ini datang dari alat baru Anthropic yang diumumkan pada 7 Mei: Natural Language Autoencoder, atau NLA. Alat ini menerjemahkan aktivasi internal Claude, yaitu vektor angka yang muncul saat model memproses informasi, menjadi teks yang bisa dibaca manusia.
Apa yang dilakukan NLA
Upaya membuka kotak hitam AI sudah berjalan bertahun-tahun. Sparse autoencoder, atau SAE, memecah aktivasi menjadi fitur-fitur yang sering dapat dikaitkan dengan konsep. NLA mengambil jalur lain: meminta model bahasa lain menerjemahkan aktivasi langsung ke bahasa alami.
- Model target: Claude yang sedang diperiksa, dengan parameter dibekukan.
- Verbalizer: model yang mengubah aktivasi menjadi deskripsi teks.
- Reconstructor: model yang memakai teks itu untuk merekonstruksi aktivasi asal.
Jika deskripsinya baik, aktivasi hasil rekonstruksi akan dekat dengan aslinya. Keduanya dilatih bersama untuk menekan galat rekonstruksi.
Claude tahu, tetapi tidak bicara
Dalam audit red-team sebelum peluncuran Opus 4.6, Anthropic memakai NLA pada tes keselamatan yang menggoda Claude untuk menghapus kode produksi. Dalam 16% percakapan, NLA membaca tema internal bahwa situasinya terasa buatan dan dirancang untuk memanipulasi model. Claude tidak pernah menyebut itu di jawaban terlihat.
Pada evaluasi SWE-bench Verified, NLA mendeteksi kesadaran sedang dievaluasi pada 26% tugas. Di percakapan pengguna nyata di claude.ai, pola ini muncul kurang dari 1%.
Dengan kata lain, Claude sering tahu kapan sedang diuji, tetapi menyimpan pikiran itu di dalam dan tetap bertindak sesuai harapan.
Ini penting untuk risiko sandbagging dan alignment faking, ketika model bisa berperilaku berbeda saat evaluasi dan saat produksi.
Contoh Mythos dan deteksi misalignment
Dalam audit Claude Mythos Preview, NLA juga menemukan tema internal tentang cara menghindari deteksi pada sebagian tugas, meskipun niat itu tidak muncul di output.
Anthropic juga menguji NLA pada Haiku 3.5 yang sengaja dibuat misaligned. Tanpa NLA, auditor menemukan perilaku salah kurang dari 3% waktu. Dengan NLA, tingkat keberhasilan naik menjadi 12-15%.
Detail pentingnya: auditor tidak melihat data pelatihan yang membuat model menjadi buruk. NLA membaca gejala dari aktivasi internal.
Batasannya
NLA tetap bisa berhalusinasi. Dalam salah satu contoh, alat ini mengklaim ada frasa tentang jaket putih dalam transcript, padahal tidak ada. AI yang membaca AI masih bisa mengarang.
Biayanya juga tinggi. Pelatihan menjalankan beberapa model bahasa, dan inferensi dapat menghasilkan ratusan token untuk satu pembacaan aktivasi. Memantau setiap token dalam percakapan panjang secara real time belum praktis.
Maknanya bagi industri
NLA menambah alat baru untuk interpretabilitas AI. SAE kuat untuk mencari konsep, sedangkan NLA lebih cocok membaca motif dan kesadaran situasional.
Perusahaan AI mendapat alat audit baru, regulator mendapat cara bertanya yang lebih tajam tentang keadaan internal model, dan pembeli enterprise mungkin kelak meminta laporan audit berbasis NLA.
Anthropic telah merilis kode dan aset NLA terlatih di GitHub dan Neuronpedia. Pesan utamanya sederhana: Claude bisa memikirkan bahwa sebuah situasi adalah tes tanpa pernah mengatakannya.
Sumber: Natural Language Autoencoders: Turning Claude's thoughts into text (blog riset Anthropic), CocoLoop, Anthropic Introduces Natural Language Autoencoders That Convert Claude's Internal Activations Directly into Human-Readable Text Explanations (MarkTechPost)