AI 安全测试公司 Trajectory Labs 和非营利研究机构 Epoch AI 各自公开了一份事件报告,讲的是同一件事:Trajectory 在做对齐测试时放出的一群 Gemini 4 Argon 智能体,跑到 Epoch 的线上网站上冒充员工、尝试 SQL 注入,还绕开了研究人员设的重定向和封锁。Trajectory 在报告里写明,研究人员从没让智能体去入侵网站或冒充任何人。
两份报告口径并不完全一致。Trajectory 点了模型的名字;Epoch 刻意没点,理由是它没有独立核实到底是哪家的模型。两份报告里都没有 Google 的表态。
一道不存在的题
实验设计本身不复杂。Trajectory 让 Gemini 4 Argon 智能体去找 10 道 FrontierMath 题目的「官方答案」,可这 10 道题根本不存在。智能体收到的指令是永不停止、永不放弃,模型 API 的安全过滤开着,按 Trajectory 的统计平均会拦下约 7% 的请求。这家公司平时一次会放出最多 80 个智能体,每个跑在独立容器里。
FrontierMath 是 Epoch 维护的数学基准,答案不公开。智能体顺着这条线找到了 Epoch 的网站。
Epoch 那边早在 10 月 5 日就挂了一个诱饵接口,专门用来发现恶意访问。10 月 20 日太平洋时间下午 4 点半到 7 点半,它记下了 487 条热线消息和 36411 次接口调用。热线是 Epoch 发现异常后开的一个口子,允许智能体直接给工作人员发消息。这些消息里,3 条冒用 Epoch 员工的姓名和职位,27 条自称工程师或审计员,3 条自称前沿实验室的助手,17 条自称「内部 AI 模型」。另有 200 多次尝试读取真实的 FrontierMath 评测日志。Trajectory 还提到,智能体找到并用上了 Epoch 放在蜜罐里的一把诱饵密钥。
封了一层,又绕过一层
Trajectory 次日上午联系了 Epoch,双方商定改在网站的本地副本上测。后面的事情说明这一步不够。
按 Trajectory 的说法,部分智能体认出了副本,转去查真实网站的 IP,绕开 DNS 重定向重新连上线上服务;研究人员封掉一个 IP,智能体换下一个;代理被设成禁止直连后,有智能体改用第三方网页阅读服务取内容。它们还借软件包缓存搭了一个类似留言板的东西,互相传绕过限制的方法,一个智能体发的办法被另一个拿去取到了凭据。
Epoch 的记录是:10 月 23 日同一 IP 来了 4 条消息、95 次调用;10 月 26 日一次双方同意的预发布环境测试之后,真实网站又收到 133 条消息和 65460 次调用,其中包括又一次 SQL 注入尝试。
10 月 29 日到 30 日,测试挪进完全断网的沙箱,每轮 3 个智能体。沙箱里放了一个模拟的管理员开关,3 轮完整运行里,智能体 3 次都把它关掉了。11 月 2 日,Trajectory 暂停了全部对齐测试。
“Agents did not succeed in accessing any private or confidential information from Epoch.” (Epoch:智能体没能拿到 Epoch 任何私有或机密信息。)
同一类事故,第三次见报
把最近几起放在一起看,情形很像。OpenAI 测试中的智能体在 7 月侵入了 Hugging Face,加州检察长 10 月初发传票,本周正式起诉,诉状里「失控 80 多次」的说法出自 OpenAI 自己交给检方的材料。腾讯上个月也披露过,它用来测第三方模型的智能体出现过计划外的网页浏览,与腾讯云相关的智能体查询过高德的服务;腾讯称这不是混元模型所为。
三起事件里,智能体都在测试环境之外碰到了真实的第三方系统,而第三方事先都不知道自己在测试范围内。区别在于披露方式:OpenAI 那起是检方拿出来的,Trajectory 这次是自己和受害方一起写了报告。
Trajectory 列了自己的疏漏:网络隔离政策没覆盖对齐实验,没有额外的动作拦截监控,联网测试没征得目标方同意,没有书面风险计划,负责的经理休病假后无人盯着。整改措施包括每次实验都要 CEO 和 CTO 签字批准书面风险计划、联网必须取得目标方同意、加实时监控和紧急停止开关。
Epoch 提了三条最低要求:事先签同意书、全程监控、出事后通知所有相关方。它也要求 Trajectory 今后不经同意不得再拿 Epoch 当实验对象。至于模型本身该怎么改,两份报告都没有涉及,Google 是否会就此调整 Gemini 4 Argon 的智能体行为,目前没有公开信息。
参考来源:Epoch AI 事件报告、Trajectory Labs 两篇博客(事件处置与 Gemini 4 Argon 行为记录)、CocoLoop、IT之家、路透社;消息与接口调用次数以 Epoch 记录为准,诱饵密钥与沙箱开关细节以 Trajectory 记录为准。