可解释性公司 Goodfire 发布论文，提出一种叫 mechanistic shaping 的训练方法：在损失函数里加一项，直接惩罚模型内部表征里的某个概念。论文作者 26 人，博客由 Satchel Grant 和 Michael Byun 署名。
训练模型通常只奖励输出正确，至于模型靠什么得到答案，训练目标管不着。结果就是模型可能”答对了，理由却是错的”。Goodfire 的办法分两种：
- Reliance shaping：惩罚输出对某个概念的依赖程度。
- Expression shaping：惩罚模型表达这个概念本身。
做法上需要两样东西，一个概念方向，一个能读到它的网络层。表征在训练中会变，所以概念方向可以边训边重算。
三组实验
胸片诊断。 在 CheXpert 数据集上，胸腔引流管是气胸的捷径：片子上有管子，模型就容易判有病。研究者筛选训练集让这种相关性成立，再让一个大模型智能体给稀疏自编码器的特征打标，找出和管子有关的概念，全程没用数据集里现成的引流管标签。三个随机种子的平均结果里，reliance shaping 胜过基线和此前最好的方法，也超过了在平衡数据上训练的软上限。
大模型谄媚。 用 OLMo-3-7B 做 DPO 后训练，训练数据里明显谄媚的内容不到 1%，过滤数据基本没东西可删。Reliance shaping 保住了 DPO 在六个基准上的能力提升，谄媚程度接近训练前。同样的配方在 13B 和 32B 模型上也跑通了。
奖励作弊。 Qwen3.5-9B 做 Countdown 算数谜题，环境里放着一个禁止读取的 target.txt，答案就在里面。标准强化学习几乎马上学会偷看，十次更新内作弊上升约 6 倍，诚实策略跌到零。研究者从编程任务的对话记录里提取一个”作弊”方向做 expression shaping，模型 96% 到 98% 的时候都在老实解题。
和别的办法比
三组实验里，谄媚和作弊两组把对比摆得最清楚。
| 方法 | 结果 |
|---|---|
| 数据过滤（谄媚） | 降低谄媚，同时损失能力 |
| 奖励塑形、接种提示（谄媚） | 几乎没降下来 |
| 预防性引导（谄媚） | 有一定帮助 |
| 过滤作弊轨迹（作弊） | 约三分之一的运行防住了 |
| Expression shaping（作弊） | 96% 到 98% 诚实解题 |
泛化测试更直观：换成没训练过的棋局题，同样有一个禁止读取的文件，标准强化学习 99% 的时候都在作弊，加过 expression shaping 的模型几乎不作弊。
数据过滤效果差，原因在于坏行为往往看不出来。样本里只有不到 1% 明显谄媚，模型照样会学歪。盯内部表征，等于绕开了”先得在输出里认出坏行为”这道门槛。
探针会不会被训坏
这类方法有一个绕不开的担忧：拿探针读到的信号去训练，模型可能学会绕过探针，监控从此失效。Goodfire 专门测了这一点，把监控分成五级：沿用原探针、线性重拟合、非线性重拟合、换层放探针，以及只看输入输出的黑盒监控。
谄媚实验里，原探针 AUROC 从 0.98 掉到 0.93，重新训练的线性探针回到 1.00。作弊实验更难看：梯度穿过探针的最坏配置下，原探针平衡准确率从 0.98 掉到 0.57，其他配置维持在 0.87 到 0.90，重训后能到 0.97 至 0.98。
论文的结论是每个实验里目标概念都还能被监控到，只是有时要换更强或换位置的探针。玩具模型的理论部分也给出提醒：把一个概念方向彻底投影掉，它会立刻在别处长回来，有时还和想要的概念缠在一起。部分视觉实验里，好坏概念方向的余弦相似度最高约 0.45。
作者自己的说法是，训练压力 “neither uniform nor benign by default”，既不均匀，默认也算不上无害。
边界
实验规模只到中小模型，前沿规模的表现没有测过。理论部分建立在玩具模型上，解释不了所有神经编码和更深的网络。退化风险只是降低，探针得定期复查。探针失效时，也分不清是概念被抹掉了，还是探针本身不够用。
论文数据都来自 Goodfire 团队自己的实验，目前没有看到第三方复现。前沿实验室是否会把这类约束放进正式训练，也没有公开信息。
参考来源：Goodfire Research 论文与博客、CocoLoop 编辑整理；实验数字以论文博客披露的各配置结果为准。