解釈可能性を手がけるGoodfireが論文を公開し、mechanistic shapingという訓練手法を提案した。損失関数に1項を加え、モデルの内部表現にある特定の概念に直接ペナルティを課すものだ。論文の著者は26人で、ブログはSatchel GrantとMichael Byunの連名となっている。
モデルの訓練では通常、出力が正しいことだけが報酬の対象となり、モデルがどんな根拠で答えを出したかは訓練目標の関知するところではない。その結果、「答えは合っているが理由は間違っている」モデルが生まれうる。Goodfireの手法は2種類ある。
- Reliance shaping：出力が特定の概念にどれだけ依存しているかにペナルティを課す。
- Expression shaping：モデルがその概念そのものを表出することにペナルティを課す。
実施には、概念の方向と、それを読み取れるネットワーク層の2つが必要になる。表現は訓練中に変化するため、概念の方向は訓練しながら再計算できる。
3つの実験
胸部X線の診断。CheXpertデータセットでは、胸腔ドレーンが気胸の近道（ショートカット）になる。画像にチューブが写っていると、モデルは病気と判定しやすい。研究者は訓練セットを絞ってこの相関が成り立つようにしたうえで、大規模モデルのエージェントにスパースオートエンコーダの特徴へラベルを付けさせ、チューブに関わる概念を特定した。データセット既存のドレーンのラベルは一切使っていない。3つの乱数シードの平均では、reliance shapingがベースラインとこれまでの最良手法を上回り、均衡データで訓練した場合の目安となる上限も超えた。
大規模モデルの追従（sycophancy）。OLMo-3-7BでDPOによる後訓練を行った。訓練データのうち明らかに追従的な内容は1%に満たず、データを絞り込もうにも削れるものがほとんどない。Reliance shapingは、DPOが6つのベンチマークで得た性能向上を維持しつつ、追従の度合いを訓練前に近い水準まで下げた。同じ手順は13Bと32Bのモデルでも機能した。
報酬ハッキング。Qwen3.5-9BにCountdownという算数パズルを解かせた。環境には読み取りが禁止されたtarget.txtがあり、答えがそこに書かれている。標準的な強化学習はほぼ即座に盗み見を覚え、10回の更新で不正は約6倍に増え、誠実な戦略はゼロになった。研究者はプログラミング課題の対話記録から「不正」の方向を抽出してexpression shapingを適用したところ、モデルは96〜98%の確率で誠実に問題を解いた。
他の手法との比較
3つの実験のうち、追従と不正の2つが比較の構図を最もはっきり示している。
| 手法 | 結果 |
|---|---|
| データのフィルタリング（追従） | 追従は減るが、性能も落ちる |
| 報酬の整形、予防接種型プロンプト（追従） | ほとんど下がらなかった |
| 予防的ステアリング（追従） | ある程度の効果 |
| 不正な軌跡のフィルタリング（不正） | 約3分の1の実行で防げた |
| Expression shaping（不正） | 96〜98%が誠実に解答 |
汎化テストはさらに分かりやすい。訓練に使っていない盤面問題に切り替え、同じく読み取り禁止のファイルを置いたところ、標準的な強化学習は99%の確率で不正を働いた。一方、expression shapingを加えたモデルはほとんど不正をしなかった。
データのフィルタリングが振るわないのは、悪い挙動がしばしば目に見えないためだ。明らかに追従的なサンプルが1%に満たなくても、モデルは偏った学習をしてしまう。内部表現に着目すれば、「まず出力の中で悪い挙動を見分ける」という関門を迂回できる。
プローブは壊されないか
この種の手法には避けて通れない懸念がある。プローブで読み取った信号を使って訓練すると、モデルがプローブを回避する方法を覚え、監視が機能しなくなるおそれがあるのだ。Goodfireはこの点を専用に検証し、監視を5段階に分けた。元のプローブの継続使用、線形での再フィット、非線形での再フィット、別の層へのプローブ設置、そして入出力だけを見るブラックボックス監視である。
追従の実験では、元のプローブのAUROCが0.98から0.93に下がり、再訓練した線形プローブは1.00に戻った。不正の実験はもっと厳しい。勾配がプローブを通る最悪の構成では、元のプローブの均衡精度が0.98から0.57まで落ちた。その他の構成は0.87〜0.90を維持し、再訓練後は0.97〜0.98に達した。
論文の結論は、どの実験でも対象の概念は監視可能なままだったが、より強いプローブや別の位置のプローブが必要になる場合がある、というものだ。トイモデルによる理論部分も注意を促している。ある概念の方向を完全に射影で取り除くと、その概念は別の場所ですぐに復活し、残したい概念と絡み合うこともある。一部の視覚実験では、良い概念と悪い概念の方向のコサイン類似度は最大で約0.45だった。
著者自身は、訓練の圧力は「neither uniform nor benign by default」、つまり一様でもなく、既定で無害でもないと述べている。
限界
実験の規模は小〜中規模のモデルまでで、フロンティア規模での挙動は検証されていない。理論部分はトイモデルに基づいており、あらゆる神経符号化や、より深いネットワークを説明できるわけではない。劣化のリスクは下がるだけでゼロにはならず、プローブは定期的な再点検が必要だ。プローブが機能しなくなったとき、概念が消えたのか、プローブ自体が力不足なのかも区別がつかない。
論文のデータはいずれもGoodfireチームによる自前の実験で、現時点で第三者による再現は確認されていない。フロンティアラボがこの種の制約を本番の訓練に取り入れるかどうかについても、公開情報はない。
参考資料：Goodfire Researchの論文とブログ、CocoLoop編集部による整理。実験の数値は、論文とブログで開示された各構成の結果に基づく。