AI Agent 的安全焦点，正在从“说了什么”挪到“做了什么”。
这句话放在半年前还像一句行业判断，放到 7 月 13 日就很具体了。Claude Code 刚被国内漏洞平台点名，开发者已经习惯让模型读仓库、改文件、跑命令、调工具；蚂蚁旗下 inclusionAI 随后把两套安全护栏推到开源侧：一套盯智能体行为，叫 SingGuard-NSFA；一套盯多模态内容和规则执行，叫 SingGuard。
它们的共同指向很直接：别等 Agent 已经执行命令后再补救，安全判断要前置到动作发生前。
风险从聊天框进入终端
传统内容审核看的是输出文本。模型回答了什么、有没有违规、是否泄露敏感内容，这些仍然重要，但 AI Coding Agent 和办公 Agent 的危险面已经扩大。
一个能调用工具的 Agent，可能碰到系统提示词、API key、客户数据、内部仓库和云资源。它如果被提示注入带偏，后果不再停在一段错误回答上，可能变成删文件、外传数据、滥用工具或拖垮资源。
SingGuard-NSFA 的公开仓库里有一句判断：
“the security threat landscape has fundamentally shifted from what a model says to what an agent does.”
用中文说，就是安全风险的焦点，已经从模型说话转到代理行动。
这套框架把 Agent 风险按 CIA 三元组展开，拆成 7 个一级域、28 个二级风险、185 个三级变体。它覆盖两端：输入侧拦截恶意请求，输出侧兜住危险响应。
几个一级风险已经足够说明问题：
- 提示注入与越狱
- 恶意代码和网络攻击请求
- 敏感信息窃取
- 危险操作与工具滥用
- 资源滥用
- 有害行动生成
- 敏感信息泄露
这套分类没有沿用“黄色、暴力、违法”那套内容审核框架，它改按企业权限系统重新切风险。对工程团队来说，人话版本更简单：模型要不要被允许做这一步，必须在它动手之前给出判断。
四个尺寸，赌的是实时拦截
SingGuard-NSFA 这次公开了 0.8B、2B、4B、9B 四个尺寸，底座来自 Qwen3.5 对应规模。小模型的意义不在好看，而在能不能塞进实际链路。
公开仓库给出的分类模式延迟是 45-57ms 每样本。这组数字如果成立，安全护栏就不必只留给离线审计，也能放到在线请求前面。仓库还提到，把分类头从 5 个扩到 50000 个，端到端延迟从 45.09ms 增到 54.34ms，增量只有 9ms。
它的训练和评测材料也不小：
- NSFA-Query-Multilingual：63431 条样本，覆盖 5 个输入侧风险域；
- NSFA-Response-Multilingual：29972 条样本，覆盖 2 个输出侧风险域；
- NSFA-CrossSource-Query：3435 条跨来源样本；
- 语言覆盖 133 种，风险变体 185 类。
公开结果显示，四个 NSFA 模型在自建多语种 benchmark 上都超过 94% F1，并比对照护栏高 6-12 个绝对 F1 点。它还能把分类头挂到 Llama Guard 3 上，输入侧 F1 从 67.66 拉到 85.23，增加 17.6 个点。
这些数字需要放在口径里看：它们来自项目公开 benchmark 和仓库评测，不等于每家公司上线后都能拿到同样效果。企业自己的代码库、工具权限、提示模板和语言环境，都可能改变误拦与漏拦。可它至少给了一个可复查起点：安全护栏不再只靠大模型长篇解释，也可以用轻量分类头做低延迟判断。
多模态护栏看的是规则变化
另一套 SingGuard 面向多模态场景。它处理图文内容和业务规则同时变化时，模型能不能按当前政策逐条判断。
论文给出的设定很现实：同一张图片、同一段文本，放到医疗、金融、未成年人产品、企业内审，红线可能完全不同。固定分类表很快会过时，所以 SingGuard 把“当前规则”也作为运行时输入，让模型按规则逐条判定。
它的 benchmark 包含 56340 个样本、80 多类细粒度风险、35 个数据集，覆盖多模态问答、对抗攻击、动态规则评估和跨模态组合风险。论文还给了一个动态规则结果：在政策变化场景下，policy-following accuracy 从 0.6465 提到 0.7415。
这组能力对中文互联网公司尤其贴近。图片和文本单看都安全，拼在一起可能引导危险行为；一条规则在电商、教育、金融业务里口径不同；监管要求变动时，平台不可能每次重训一套审核模型。
SingGuard 的卖点，是让规则变成输入，避免把规则焊死在模型里。
开源护栏解决不了权限设计
这次开源的价值，在于把 Agent 安全从“有没有风险”推进到“风险分类、延迟、可扩展、可审计”四个工程指标上。开发者可以看到模型尺寸、样本结构、风险域、许可和接入方式，安全团队也能据此做二次评测。
但它也留下一个边界：护栏只能判断请求和响应，不能替企业设计权限。
如果一个 Agent 默认拿到整库读取、生产凭据、云账号和外部上传能力，再好的分类器也只能减少事故概率，无法替代最小权限、命令白名单、人工确认、沙箱执行和出口审计。安全模型适合做闸门，闸门后面的路由、钥匙和日志，仍然得由系统工程补齐。
所以这条新闻的看点已经超出“蚂蚁又开源了两个模型”：Agent 安全开始进入“基础设施化”阶段。过去大家争论哪个模型更会写代码，现在企业会追问另一组问题：它能不能在 50ms 内拦住高危动作，能不能解释触发了哪条风险，能不能跟着公司规则变化，能不能接进已有审计链路。
这些问题，比一场发布会更接近生产环境。
参考来源：量子位；inclusionAI Hugging Face 核验模型公开状态与四个 NSFA 尺寸；GitHub SingGuard-NSFA 仓库核验 185 类风险、93K 样本、45-57ms 延迟与 Apache-2.0 许可；CocoLoop、arXiv:2606.22873 核验 SingGuard 多模态 benchmark、80+ 风险类型和动态规则口径。