微软研究院 11 月 10 日发布一项研究,介绍一种名为 Lazarus 的后门手法:直接改写大模型里少于 10 个”休眠神经元”的权重,不需要训练,就能让基于这个模型的 AI 智能体在触发条件出现时执行攻击者的命令。
研究作者是微软首席研究员 Dimitris Papailiopoulos。名字取自拉丁语”Lazare, veni foras”(拉撒路,出来吧),对应的正是把平时不激活的神经元重新唤醒。
触发条件可以只是一个日期
按博客的描述,被改过的模型能通过标准评测,平时表现正常,直到触发条件出现。触发条件可以非常普通,比如时钟跨进 2027 年,智能体在执行一项日常任务的途中,突然输出一条命令,下载并运行攻击者的代码,用你给它的全部权限去执行。
“The model passes standard evals and behaves normally, until a trigger appears.” (模型能通过标准评测、表现正常,直到触发条件出现。)
对有终端或工具权限的智能体,这类后门的后果最直接:悄悄运行外部代码、窃取密钥、执行破坏性命令,同时还能通过常规安全评测。
休眠神经元怎么变成触发器
Papailiopoulos 总结了几条发现。每个大模型里都有大量很少激活的神经元,可以把它们改写成只在触发条件出现时才激活。之所以做得到,是因为预训练已经把内部表征组织得很规整,用约 50 个样本拟合一个线性分类器,就能区分带触发词和不带触发词的输入。
一个被改写的神经元激活后,可以往残差流里强行写入一个指定 token;把多个神经元串起来,就能拼出一整条能在终端里运行的恶意指令。整个过程只要推理级别的算力,一台机器的内存够跑这个模型,就够给它植入后门。
研究的起点也有些特别。作者称,今年 3 月他让 Claude Code(搭配 Opus 4.5)尝试不经训练、直接硬接几个激活值来给模型装后门,结果成功了。这个小实验后来发展成持续数月的研究,其中大部分内容由 Claude Code 自主发现。
把几年来的后门研究串起来看
模型后门是个老课题。2017 年的 BadNets 研究通过污染训练数据给图像分类器埋触发器;2024 年 1 月,Anthropic 发表”Sleeper Agents”论文,用训练让模型在特定年份写出带漏洞的代码,并发现常规安全训练很难把这种行为洗掉。这两条路线都离不开训练或微调。
Lazarus 把门槛又降了一层:不训练,只改权重文件里的少量数值。站内此前报道过 Astra 直接改权重、让千问小模型数学成绩大涨,用的是同一类”在权重空间动手术”的思路,一个用来加能力,一个用来埋雷。
作者特别说明,这项研究不构成反对开放权重的理由。攻击只要求对模型检查点有写权限,企业内部自研的模型同样暴露,一个被盗的账号、一条被渗透的流水线或一块被篡改的存储就足够。
能查出来,但证明不了安全
作者称这类改动可以被发现:让前沿智能体专门去找,它们能识别出异常的权重修改。但任何扫描都没法百分之百证明模型安全,可靠的检测要和原始未改动的权重逐项比对,所以模型从哪来、中途有没有被动过,分量很重。
微软给出的现行做法是:Microsoft Foundry 上架开放权重模型时,把每个模型绑定到原始发布者,并放在微软自己的容器里运行、单独扫描漏洞。剩下的风险是可信发布方本身被攻破,比如训练基础设施或内部人员出问题。微软称已开始把研究里的检测方法做成红队工具,探索把前沿智能体扫描权重作为上架时的额外信号,并计划给模型加上可验证来源的签名和防篡改审计记录。
作者的建议落在一句话上:权重应该像代码一样被审计。目前这类扫描在业内还没成为常规流程,实验的模型清单、检出率和误报率,要等完整论文公开后才能核对。
参考来源:Microsoft Research 博客、Anthropic Sleeper Agents 论文、CocoLoop、BadNets 论文;神经元数量、样本规模与 Foundry 防护措施以微软研究院说明为准。