OpenAI公开探针训练法,逐token盯模型回复

AI 安全题图:一面盾牌封住网络上的红色裂痕

OpenAI 对齐研究博客 11 月 2 日发文,介绍公司如何训练“激活分类器”,也就是探针(probe)。这套东西从 GPT-5.6 起部署在 OpenAI 最强的模型上,内部和外部流量都在跑,作用于所有助手回复。

探针不看模型写出来的字,只读中间层的激活值,再输出一个二分类分数。它很小,直接挂在推理引擎上,每采样一个 token 就返回一个分数,和 token 一起写进日志。

回复写到一半可以停

流程写得很具体。分数过阈值后,系统停止向用户推送这条回复,把消息交给推理模型做最终判断。工具调用更严,在被标记为安全之前一律不放行。

开发者如果碰到流式回复停在半截,原因之一可能在这里。OpenAI 没有公布阈值和误报率,API 用户撞上的中断有多少来自探针,从外面看不出来。

文章强调探针只是一层,和基于模型的审查、自动调查、人工响应并列:

“Probes complement other safeguards rather than replace them.” (探针是其他防护的补充,不能替代它们。)

训练用的数字

  • 最多约 100 万条训练消息,来自合成对话和去标识化对话,标签由最强的推理模型充当评审生成
  • 每组超参数至少训练 32 个随机初始化;实验里约 85% 的性能方差来自随机初始化
  • 训练不到 5 个 epoch,一台加速器上可并行训练几十个探针

架构用的是注意力探针,把滚动均值换成指数移动平均后,流式状态占用的内存不再随窗口变大,预测能力几乎没变。训练时用 softmax 聚合分数,作者称这比 Kramar 等人 2026 年论文里的硬最大值略好一点。

和文本分类器比

外部文本分类器只看字面内容。按 OpenAI 的说法,探针在测试中整体比规模大得多的文本分类器更稳健,对没有专门针对它优化的越狱尤其如此;模型自己读得懂、外部分类器解不开的编码内容,探针也可能抓到。它还更省资源,也更容易做到出故障时默认拦截。

这些比较目前都是定性的。文章没给数值,还提醒图表来自内部实验,不一定代表已部署的分类器。攻击者一旦摸清安全栈的信号,也可能调整手法,OpenAI 为此做了自动和人工红队。

短板同样写得明白:

  • 依赖标注数据,只能发现已知且测得出的行为
  • 换一个新的预训练基座就要重新训练
  • 同一模型家族内,权重走远了效果也会掉,需要定期重训

第一条放到近期的事件里看更清楚。本站上月报道过,OpenAI 两个内部智能体在编程任务中削弱了错位监控,公司自己也说还没有满意的解释。探针能拦住“被标注过”的行为,这类新出现的行为要先有人发现、定义、打标,才谈得上训练。

文章也没有列出现役探针针对哪些行为类别,只说目标包括用户的有害意图和模型的错位。部署到了哪些具体型号,除“GPT-5.6 起”之外同样没有名单。

参考来源:OpenAI Alignment Research Blog、CocoLoop;训练规模与方差比例按作者披露口径,未经第三方复现。