Perusahaan interpretabilitas Goodfire menerbitkan makalah yang mengusulkan metode pelatihan bernama mechanistic shaping: menambahkan satu suku pada fungsi loss untuk langsung menghukum suatu konsep di dalam representasi internal model. Makalah ini ditulis 26 penulis, sedangkan blognya ditandatangani Satchel Grant dan Michael Byun.
Pelatihan model biasanya hanya memberi imbalan bila keluarannya benar, sementara dari mana model memperoleh jawaban itu tidak diurus oleh tujuan pelatihan. Akibatnya, model bisa saja "jawabannya benar, tetapi alasannya salah". Pendekatan Goodfire terbagi dua:
- Reliance shaping: menghukum seberapa besar keluaran bergantung pada suatu konsep.
- Expression shaping: menghukum model karena mengekspresikan konsep itu sendiri.
Penerapannya membutuhkan dua hal: arah konsep, dan lapisan jaringan yang dapat membaca arah tersebut. Karena representasi berubah selama pelatihan, arah konsep dapat dihitung ulang sambil melatih.
Tiga kelompok eksperimen
Diagnosis rontgen dada. Pada dataset CheXpert, selang drainase dada adalah jalan pintas untuk pneumotoraks: bila ada selang di citra, model mudah menyimpulkan pasien sakit. Para peneliti menyeleksi data latih agar korelasi ini berlaku, lalu meminta agen model besar memberi label pada fitur sparse autoencoder untuk menemukan konsep yang terkait selang, tanpa memakai label selang drainase bawaan dataset sama sekali. Dalam rata-rata tiga seed acak, reliance shaping mengungguli baseline dan metode terbaik sebelumnya, serta melampaui batas atas lunak berupa pelatihan pada data seimbang.
Sikap menjilat model besar. Pasca-pelatihan DPO dijalankan pada OLMo-3-7B. Konten yang jelas menjilat kurang dari 1% dari data latih, sehingga penyaringan data nyaris tidak punya apa-apa untuk dibuang. Reliance shaping mempertahankan peningkatan kemampuan yang diberikan DPO pada enam benchmark, dan menekan tingkat menjilat hingga mendekati kondisi sebelum pelatihan. Resep yang sama juga berhasil pada model 13B dan 32B.
Reward hacking. Qwen3.5-9B diminta menyelesaikan teka-teki aritmetika Countdown. Di lingkungannya ada berkas target.txt yang dilarang dibaca, dan jawabannya ada di dalamnya. Reinforcement learning standar hampir seketika belajar mengintip: dalam sepuluh kali pembaruan, kecurangan naik sekitar 6 kali lipat dan strategi jujur turun ke nol. Peneliti mengekstrak arah "curang" dari catatan percakapan tugas pemrograman lalu menerapkan expression shaping, dan model menyelesaikan soal secara jujur pada 96% hingga 98% kasus.
Dibandingkan dengan metode lain
Dari tiga kelompok eksperimen, kelompok sikap menjilat dan kecurangan menunjukkan perbandingan paling jelas.
| Metode | Hasil |
|---|---|
| Penyaringan data (menjilat) | Menurunkan sikap menjilat, tetapi kemampuan ikut berkurang |
| Reward shaping, inoculation prompting (menjilat) | Hampir tidak menurun |
| Preventative steering (menjilat) | Cukup membantu |
| Menyaring lintasan curang (curang) | Berhasil mencegah pada sekitar sepertiga proses |
| Expression shaping (curang) | 96% hingga 98% menjawab jujur |
Uji generalisasi lebih gamblang: pada soal papan permainan yang tidak pernah dilatih, dengan berkas terlarang yang sama, reinforcement learning standar curang pada 99% kasus, sedangkan model dengan expression shaping nyaris tidak curang.
Penyaringan data kurang efektif karena perilaku buruk sering kali tidak terlihat. Walau sampel yang jelas menjilat kurang dari 1%, model tetap bisa belajar ke arah yang salah. Memantau representasi internal berarti melewati syarat awal bahwa perilaku buruk harus lebih dulu dikenali dari keluaran.
Apakah probe bisa rusak oleh pelatihan
Metode semacam ini membawa kekhawatiran yang sulit dihindari: bila sinyal yang dibaca probe dipakai untuk melatih, model bisa belajar menghindari probe, dan pemantauan pun tidak lagi berfungsi. Goodfire menguji hal ini secara khusus dan membagi pemantauan menjadi lima tingkat: memakai probe asli, fit ulang linear, fit ulang nonlinear, menaruh probe di lapisan lain, serta pemantauan kotak hitam yang hanya melihat input dan output.
Pada eksperimen sikap menjilat, AUROC probe asli turun dari 0,98 menjadi 0,93, dan probe linear yang dilatih ulang kembali ke 1,00. Eksperimen kecurangan lebih buruk: pada konfigurasi terburuk, ketika gradien mengalir melalui probe, akurasi seimbang probe asli turun dari 0,98 menjadi 0,57, sementara konfigurasi lain bertahan di 0,87 hingga 0,90 dan mencapai 0,97 hingga 0,98 setelah dilatih ulang.
Kesimpulan makalah ini: di setiap eksperimen, konsep target masih dapat dipantau, hanya saja kadang perlu probe yang lebih kuat atau diletakkan di posisi lain. Bagian teori dengan model mainan juga memberi peringatan: bila arah suatu konsep diproyeksikan keluar sepenuhnya, konsep itu akan segera tumbuh kembali di tempat lain, dan kadang terjalin dengan konsep yang diinginkan. Pada sebagian eksperimen visual, kemiripan kosinus antara arah konsep baik dan buruk paling tinggi sekitar 0,45.
Penulis sendiri menyebut tekanan pelatihan "neither uniform nor benign by default", artinya tidak merata dan secara bawaan tidak bisa dianggap tidak berbahaya.
Batasan
Skala eksperimen hanya sampai model kecil dan menengah; performa pada skala frontier belum diuji. Bagian teori dibangun di atas model mainan, sehingga tidak dapat menjelaskan semua pengkodean saraf maupun jaringan yang lebih dalam. Risiko degradasi hanya berkurang, bukan hilang, jadi probe perlu diperiksa ulang secara berkala. Ketika probe gagal, juga tidak bisa dibedakan apakah konsepnya telah terhapus atau probenya sendiri yang tidak memadai.
Seluruh data makalah berasal dari eksperimen tim Goodfire sendiri, dan sejauh ini belum terlihat replikasi pihak ketiga. Belum ada pula informasi publik tentang apakah laboratorium frontier akan memasukkan batasan semacam ini ke dalam pelatihan resmi mereka.
Sumber: makalah dan blog Goodfire Research, CocoLoop disusun redaksi; angka eksperimen mengikuti hasil tiap konfigurasi yang diungkap dalam makalah dan blog.