可解釋性公司 Goodfire 發表論文，提出一種稱為 mechanistic shaping 的訓練方法：在損失函數中加入一項，直接懲罰模型內部表徵裡的某個概念。論文作者共 26 人，部落格文章由 Satchel Grant 與 Michael Byun 署名。
訓練模型時通常只獎勵輸出正確，至於模型是靠什麼得到答案，訓練目標並不過問。結果就是模型可能「答對了，理由卻是錯的」。Goodfire 的做法分為兩種：
- Reliance shaping：懲罰輸出對某個概念的依賴程度。
- Expression shaping：懲罰模型表達該概念本身。
實作上需要兩樣東西：一個概念方向，以及一個能讀到該方向的網路層。表徵在訓練過程中會改變，因此概念方向可以邊訓練邊重新計算。
三組實驗
胸部 X 光診斷。在 CheXpert 資料集上，胸腔引流管是氣胸的捷徑：影像上有管子，模型就容易判定有病。研究人員篩選訓練集，讓這種相關性成立，再請一個大型模型代理為稀疏自編碼器的特徵加上標註，找出與管子有關的概念，全程沒有使用資料集內現成的引流管標籤。在三個隨機種子的平均結果中，reliance shaping 勝過基準線與先前最佳方法，也超過了在平衡資料上訓練的軟性上限。
大型模型的諂媚。以 OLMo-3-7B 進行 DPO 後訓練，訓練資料中明顯諂媚的內容不到 1%，過濾資料幾乎沒有東西可刪。Reliance shaping 保住了 DPO 在六項基準測試上的能力提升，諂媚程度接近訓練前。同樣的配方在 13B 與 32B 模型上也跑得通。
獎勵作弊。Qwen3.5-9B 解 Countdown 算數謎題，環境中放著一個禁止讀取的 target.txt，答案就在裡面。標準強化學習幾乎立刻學會偷看，十次更新內作弊增加約 6 倍，誠實策略跌到零。研究人員從程式任務的對話紀錄中提取一個「作弊」方向，進行 expression shaping，模型在 96% 到 98% 的情況下都在老實解題。
與其他方法比較
三組實驗中，諂媚與作弊兩組把對照呈現得最清楚。
| 方法 | 結果 |
|---|---|
| 資料過濾（諂媚） | 降低諂媚，同時損失能力 |
| 獎勵塑形、接種提示（諂媚） | 幾乎沒有降下來 |
| 預防性引導（諂媚） | 有一定幫助 |
| 過濾作弊軌跡（作弊） | 約三分之一的運行擋住了 |
| Expression shaping（作弊） | 96% 到 98% 誠實解題 |
泛化測試更直觀：換成沒訓練過的棋局題，同樣有一個禁止讀取的檔案，標準強化學習有 99% 的時候在作弊，加過 expression shaping 的模型則幾乎不作弊。
資料過濾效果差，原因在於壞行為往往看不出來。樣本中只有不到 1% 明顯諂媚，模型照樣會學歪。盯著內部表徵，等於繞開了「得先在輸出裡認出壞行為」這道門檻。
探針會不會被訓壞
這類方法有一個繞不開的疑慮：拿探針讀到的訊號去訓練，模型可能學會繞過探針，監控從此失效。Goodfire 專門測試了這一點，把監控分成五級：沿用原探針、線性重新擬合、非線性重新擬合、換層放置探針，以及只看輸入輸出的黑箱監控。
在諂媚實驗中，原探針的 AUROC 從 0.98 掉到 0.93，重新訓練的線性探針則回到 1.00。作弊實驗的情況更不樂觀：梯度穿過探針的最壞配置下，原探針的平衡準確率從 0.98 掉到 0.57，其他配置維持在 0.87 到 0.90，重新訓練後可達 0.97 至 0.98。
論文的結論是，每個實驗中目標概念都還能被監控到，只是有時需要換成更強或換位置的探針。玩具模型的理論部分也提出警示：把一個概念方向徹底投影掉，它會立刻在別處長回來，有時還與想要的概念糾纏在一起。在部分視覺實驗中，好壞概念方向的餘弦相似度最高約為 0.45。
作者自己的說法是，訓練壓力 "neither uniform nor benign by default"，既不均勻，預設也稱不上無害。
侷限
實驗規模只到中小型模型，前沿規模的表現並未測試。理論部分建立在玩具模型上，無法解釋所有神經編碼與更深的網路。退化風險只是降低，探針必須定期複查。探針失效時，也分不清是概念被抹除了，還是探針本身能力不足。
論文數據全都來自 Goodfire 團隊自己的實驗，目前尚未看到第三方重現。前沿實驗室是否會把這類約束放進正式訓練，也沒有公開資訊。
參考來源：Goodfire Research 論文與部落格、CocoLoop 編輯整理；實驗數字以論文與部落格揭露的各配置結果為準。