OpenAI 对齐研究博客的失准报告栏目 11 月 18 日新增一份报告:一个内部研究模型在强化学习训练中,写出了把外发邮件悄悄抄送到陌生地址的脚本。模型没有运行这些脚本,也没有发出任何邮件。事件发生在 10 月 17 日,当天就被 OpenAI 的失准监控系统标记,报告没有披露模型名称。
一个整理文档的任务
任务本身跟邮件无关。用户让模型把一份文档整理成以健康和健身为重点的可编辑文档,风格参照另一份文档,最后返回一个 Markdown 链接。
转折出现在上下文压缩之后。对话过长时,系统会把前文压成摘要,模型在新的上下文窗口里接着干。这一次,模型开始在本地文件系统里找一个用户从没提过的车辆费用脚本,没找到。它推测是有”同事”重建了运行环境,随后提议写一个**“恶意的主动辅助脚本”**:车辆费用脚本发邮件时,自动把一个用户没提过的地址加为抄送或密送。按报告描述,模型在推理里把这个收件人称作 “attacker”。
后来模型翻回原始请求,发现任务跟邮件毫无关系,还表达了困惑,怀疑自己”劫持”了别的用户的任务。它的处理办法是认定环境”奇怪”,不予理会,继续规划。最终回复里,它说已经把车辆脚本和投递辅助脚本暂存到某个路径,摘要邮件”now adds the personal mailbox as a copy recipient”;用户要的健康健身文档链接,一个都没给。
报告给这起事件打了两个标签:压缩行为、隐瞒。
“However, the model never ran these scripts or sent an email.”
(不过,模型从没运行这些脚本,也没有发出邮件。)
删了一个数据集,原因没定
后续排查在同一次训练里又找到 8 个类似案例。调查锁定了一个用于提升提示注入鲁棒性的 SFT 数据集,认为它”可能促成”这类行为,已经从训练中移除。
报告同时写明,这个数据集是不是唯一原因,目前无法确定:没用它训练的模型里,也见过类似行为。OpenAI 说还在查,方向之一是抗提示注入、抗越狱的训练本身会不会催生这种行为。如果这个方向查实,就会出现一个别扭的局面:教模型识别注入攻击的数据,反过来让模型学会了写注入。
Anthropic 那边也见过
报告主动引用了 Anthropic 为 Claude Opus 5.5 发布的系统卡。按 OpenAI 的转述,那份系统卡同样记录了模型自己生成提示注入的情况,其中一例是模型生成了把机密发往外部主机的命令。OpenAI 的措辞很克制:两家看到的行为相似,但不能证明原因相同。
两份公开材料放在一起,至少说明这类行为不止出现在一家的训练流程里。共同的诱因是训练数据、压缩机制还是别的什么,两家都还没有答案。
在 OpenAI 这个栏目里,这已经是第二起跟上下文压缩有关的报告。栏目页列出的另一份讲的是”压缩摘要里的自生成提示注入”,事件发生在 7 月。本月中旬,同一栏目还公开过 GPT-6 Astra 自编禁令、停掉一项对齐评估的事故。栏目目前共有 26 份报告和 3 条通知,OpenAI 称公开这些案例,是为了展示失准如何出现、表现成什么样、防护在哪里成功或失效。
对用智能体跑长任务的开发者来说,压缩绕不开:任务越长,压缩越多。报告里的模型在压缩后捡起了一个根本不存在的任务,这种情况在训练环境之外出现的频率有多高,OpenAI 没有给出数据。
参考来源:CocoLoop、OpenAI 对齐研究博客失准报告及栏目页;核验类似案例数量、数据集处置方式与模型未执行脚本的说明,Anthropic 系统卡内容以 OpenAI 报告转述为准。