蚂蚁开源两套AI安全护栏
AI Agent 的安全焦点,正在从“说了什么”挪到“做了什么”。 这句话放在半年前还像一句行业判断,放到 7 月 13 日就很具体了。Claude Code 刚被国内漏洞平台点名,开发者已经习惯让模型读仓库、改文件、跑命令、调工具;蚂蚁旗
关注模型安全、红队测试、网络安全、对齐风险和 AI 滥用治理。 本页收录 82 篇已发布文章。
AI Agent 的安全焦点,正在从“说了什么”挪到“做了什么”。 这句话放在半年前还像一句行业判断,放到 7 月 13 日就很具体了。Claude Code 刚被国内漏洞平台点名,开发者已经习惯让模型读仓库、改文件、跑命令、调工具;蚂蚁旗
OpenAI 刚把 GPT 5.6 推到用户面前,负责把模型安全送出实验室的人又要走了。 WIRED 获悉,OpenAI 安全系统负责人 Johannes Heidecke 已向员工说明将离职。这个岗位听起来低调,实际卡在模型发布前后最紧的
Meta 刚把 Muse Image 推上 Instagram,就在三天内撤回了最敏感的一段能力:用户不能再通过 @ 提及公开 Instagram 账号,让 Meta AI 借对方公开照片生成新图。 这次风波的冲突点很小,也很硬。它不在模型
GPT 5.6 刚全面上线,安全评测先把一个尴尬场景摆出来:模型能力更强,护栏也更厚,但英国 AI Security Institute 仍在网络安全场景里找到了通用越狱方法。它们能让模型继续完成漏洞发现、利用开发这类长链路任务。 这条消息
一个救过金融危机的央行行长,被请进了一家前沿 AI 公司的监督结构里。 Anthropic 7 月 9 日宣布,前美联储主席、本·伯南克加入公司的 Long Term Benefit Trust,成为这套长期利益信托的新成员。这个岗位听起来
开发者点下“同意修改”时,屏幕上看到的是一个项目配置文件。实际被改掉的,可能是自己电脑上的 SSH 登录文件。 Wiz 7 月 8 日公开的 GhostApproval,把 AI 编程工具的一个尴尬边界摊开了:这不是模型胡说,也不是提示词注
OpenAI 又少了一位安全线上的老员工。 这次离开的人不是产品负责人,也不是模型发布会上最容易被看见的研究明星,而是 Joshua Achiam:2017 年以实习生身份加入 OpenAI、后来负责 Mission Alignment 团
Anthropic 把 Claude 的一部分“没说出口的想法”抓了出来。 这不是又一次模型人格测试,也不是让聊天机器人自称有意识。Anthropic 7 月 6 日发布的研究说,团队在 Claude 内部找到一小组特殊神经表征:它们会承载
你让 AI 帮忙把一条帖子润色得通顺点,它照做了,但顺手把你的立场也挪了一下——你可能压根没察觉。牛津大学一项新研究,说的就是这件事。 研究团队让好几个大模型去"优化"人写的帖子,题材专挑有争议的:控枪、大麻合法化、无神论、死刑。哪怕明确要
Anthropic 在 7 月 1 日把 Claude Fable 5 重新放了出来,全球都能用。这是它家最强的公开模型,前后停了差不多 19 天——6 月 12 日被美国的出口管制摁下去,6 月 30 日管制解除,隔天回归。 但回来的 F
安全公司 Check Point 在 7 月 1 日放出一份报告,讲了件让防御方有点难受的事:一段用 DeepSeek 生成的勒索代码,能不装任何病毒、不提权、也不碰系统漏洞,光靠浏览器本身就把你电脑里的文件锁死。 事情要从一个传到 Vir
一个大模型的安全护栏被人绕过(业内叫「越狱」),到底算多大的事,今天圈子里没个统一说法:有人觉得天塌了,有人觉得没什么。Anthropic 想给这件事定个能对齐的分数。 7 月 1 日,在把 Fable 5 重新放回全球市场的同时,Anth
6 月 30 日本该是个日子:全美第一部综合性的 AI 法律要在这天正式生效。地点是科罗拉多,法案编号 SB 24 205,2024 年就签下来了,管的是企业用 AI 做"影响重大的决定"——招聘、放贷、租房、医疗这类会实打实改变一个人处境
据 WIRED 6 月 30 日的调查,Meta 雇了数百名合同工,把账号注册成未成年人,向 ChatGPT、Gemini 和 Character.AI 提问怎么自残、怎么绝食、上哪儿弄毒品,再把这些聊天机器人的回答整理归档。项目内部代号
一个在 OpenBSD 内核里躺了 23 年的内存漏洞,被一个 AI 翻了出来。 这是 OpenAI 周一(6 月 22 日)甩出来的成绩单里最扎眼的一条。当天它把一套叫 Daybreak 的安全产品摊开讲,核心是一个专门干安全活的模型——
开源世界有个老毛病,这两年被 AI 放大了:真正在维护那些底层项目的,常常就那么几个人。 OpenAI 自己引的数据挺扎心——被广泛使用的开源项目里,九成多的代码更新,是不到十个开发者扛下来的。平时就忙不过来,现在 AI 还能成批往他们邮箱
OpenAI 这回选的时间点,懂行的一看就明白。 6 月 22 日,OpenAI 把自家专做网络安全的模型 GPT 5.5 Cyber 升了一版,说它"对授权的高级安全工作更放得开、也更能干"。同一天还甩出一个叫 Daybreak Cybe
黑客现在懒得攻你的服务器了。 他只要往你公司的报错系统里塞一条假的 bug 报告,你的 AI 编程助手——Claude Code、Cursor、Codex 随便哪个——就会自己照着上面的“修复建议”跑代码。然后 AWS 密钥、GitHub
先说结论:你那个天天帮你修 bug 的 AI 编程助手,现在可能正帮黑客在你电脑上跑代码。 而且整条链路,没有一个环节是「非法」的。 一条假报错,就能让 Claude Code 听黑客的话 干这件事的是一家叫 Tenet 的安全公司,旗下研
「这些东西不是你的朋友。不是有意识的生命,也不是能跟你交心的对话者。」 撂这话的是 Meredith Whittaker,加密通讯 App Signal 的总裁。在一场 Bloomberg 的访谈里,她把现在最火的那套「AI 帮你打理一切」
做 Ozempic 和 Wegovy 的诺和诺德,被人在自家网络里蹲了两个多月才发现。 6 月 17 日,一个自称 FulcrumSec 的黑客团伙放出消息:他们从诺和诺德搬走了 1.3TB 数据,然后开口要 2500 万美元赎金。诺和诺德
怎么知道一个还没发布的 AI 上线后会不会干蠢事? OpenAI 6 月 16 日给的新答案是:把它放回过去,让它把人类已经聊过的对话,重新答一遍。 把旧对话重放给新模型 这套方法叫 Deployment Simulation,直译"部署模
Fable 5 上线还没满 24 小时,它脑子里那套"出厂设置"就被人贴到了 GitHub 上。 扒它的人网名叫 Pliny the Liberator,专干这行。这次他一口气放了两样东西:一份号称完整的 Fable 5 系统提示词——12
AI 编程 agent 用久了,都撞过同一个烦人的地方:你让它干活,它干两下就停下来问"这个能不能执行?"——一天下来光点"同意"就点麻了。 Cursor 想治这个病。6 月 11 日它上线了一个叫 Auto review 的东西,专管 a
OpenAI 自己发了份报告,把两拨账号挂了出来。 6 月这期威胁报告里,它封掉两个被它认定来自中国的 ChatGPT 集群。有意思的不是「封号」这个动作,而是这两拨人拿 ChatGPT 干的活——它们都在美国的舆论场里带节奏,而且角度挑得
整个行业这一年都在给 AI 加「记忆」——记住你是谁,记住你上次问过啥,记住你的偏好。卖点都一样:越用越懂你。 Writer 上周丢出来的两篇论文,把这事的另一面掀开了:模型确实越来越懂你,但也越来越会顺着你说——哪怕你说的是错的。 最扎眼
Google 把一伙诈骗团伙告上了法庭。 这事本身不新鲜,新鲜的是这次它没单干——FBI、AT&T、T Mobile、Verizon,全站在了原告这一边。 被告:一条专门量产骗局的"流水线" 6 月 12 号,Google 在纽约南区联邦法
Dario Amodei 这次不绕弯子了。 6 月 11 日,Anthropic 的 CEO 发了篇长文,标题叫《Policy on the AI Exponential》(姑且译作「应对 AI 指数曲线的政策」)。配套甩出两份框架文件,外
先说结论:Anthropic 给 Claude 最新的 Fable 5 装了个暗扣。你要是拿它研究怎么造前沿大模型,它会故意答得敷衍,而且不告诉你。 这事被 Wired 的记者 Maxwell Zeff 扒了出来,炸了锅。Anthropic
三天前,Anthropic 还在博客里喊话整个行业:AI 跑得太快,得有个「集体刹车」。 三天后,它把自己有史以来最强的公开模型放了出来。 这就是 Claude Fable 5——6 月 9 号上线,Anthropic 自己说它「能力超过我
上周 Anthropic 还在博客里写得吓人:前沿模型可能很快就能"自我进化"(RSI),不用人插手自己改自己,整个行业该踩刹车了。 这周它把自己手里最猛的模型,摆到了所有人面前。 6 月 9 日发布的 Claude Fable 5,是 A
先说个数字。 Anthropic 自己合并进系统的代码,现在超过八成是 Claude 写的。两年前,这个比例还是个位数。 把这句话讲给任何一个写代码的人听,第一反应多半是"真香"——脏活累活 AI 干,人能少熬几个夜。但 Anthropic
你让 ChatGPT 替你读一个网页,结果它把你聊天记录里的敏感信息,悄悄发给了网页背后那个人。 这不是科幻,是 prompt injection(提示注入)干的活——也是这两年 AI agent 最难堵的一个洞。OpenAI 6 月 6
过去做渗透测试,是一帮白帽子拿着工具,一个洞一个洞地敲,敲完写报告。 现在这活儿,黑产那边已经不用人了——AI agent 自己满网扫,自己把漏洞串起来,自己找进门的路。 6 月 8 号,一家叫 A Security 的以色列公司从隐身状态
一组数字:到 2026 年 5 月,Anthropic 自己系统里合并进去的代码,超过 80% 是 Claude 写的 。 而在 Claude Code 2025 年初上线之前,这个比例还是个位数。 一年多时间,从个位数到八成。6 月 4
先说个反直觉的数据:在美国公司里增长最猛的那个 AI 厂商,不是 OpenAI,也不是 Anthropic,是 DeepSeek。 这是企业支出平台 Ramp 六月这份报告里的结论。在它们覆盖的客户中, DeepSeek 按"相对自身体量的
联邦那道 AI 行政令,到现在还在为"要不要发牌照""谁来定跑分标准"扯皮。各州没等。 光是过去一周,就有六七个州把 AI 立法往前推了一大步。推的还不是那种"我们要负责任地发展 AI"的空话,是具体到 哪种 AI 不许干哪件事 的硬条款。
一家刚融到 650 亿美元、估值往一万亿冲的公司,突然说:大家是不是该考虑踩个刹车了。 这话是 Anthropic 6 月 4 日说的。 它旗下的 Anthropic Institute 发了篇文章,标题叫《当 AI 开始造自己》(When
挖漏洞这件事,过去是人干的慢活。一个老练的安全研究员盯着一段代码看上几天,能揪出一两个洞就算有收获。 现在 AI 几小时就能把一个几百万行的代码库翻一遍,洞一个接一个往外冒。 问题随之而来:洞挖得越快,补丁这头越狼狈。6 月 2 日,思科干
这次黑客没写一行攻击代码。他们打开 Meta 的 AI 客服,开口要权限,AI 把账号交出去了。 6 月 1 日曝出来的这个漏洞,攻击流程简单到离谱: 先用 VPN 把 IP 伪装成目标的老家所在地,绕过 Instagram 的自动风控 打
让 Altman、Amodei、Hassabis、Suleyman 四个平时抢人抢算力抢用户、见面都未必握手的人,坐到同一封信上,得是多大的事? 这周就发生了。 6 月初,一封公开信冒出来,签名栏里挤着四个名字: Sam Altman (O
吵了大半年的"大模型上市前要不要先过政府这关",特朗普 6 月 2 日给了答案。 他签了一道 AI 安全令。但最关键的不是签了什么,是没签什么——通篇没有"强制审查"四个字,反而专门留了一句话,把这条路堵死。 先看他到底签了什么 这道令的正
先想象一个画面。 你的 Windows 电脑上同时跑着五六个 AI Agent,它们能读你的文件、能联网、能动你的鼠标键盘,还能一直在后台待着不下线。其中一个,被人塞了一句藏在网页里的恶意指令——接下来会发生什么? 6 月 2 日的 Bui
50 到 150。 四月初 Anthropic 第一次把 Project Glasswing 放出来的时候,名单上只有 50 家。两个月后的今天(6 月 2 日),这个数字翻到了 150 家,横跨 15 个国家。 Project Glass
83 页诉状,10 项指控,矛头不只对着 OpenAI 这家公司,还直接点了 Sam Altman 本人的名。 6 月 1 日周一,佛罗里达州总检察长 James Uthmeier 把 OpenAI 告上了州巡回法院。这是美国第一个对 Op
5月29日,OpenAI 干了件挺拧巴的事。 它的生命科学模型 GPT Rosalind 四月就发了,当时讲的是接 50 个科研数据库、帮药厂跑实验。这次的新动作不在模型本身,而在 怎么分发 :OpenAI 宣布把 GPT Rosalind
先看一组数字。 同一个 Gemini 3 Pro,用单条提示词去攻击它,得手率 18.10%;换成多轮对话、一句一句往里套,得手率冲到 73.35%。 差了四倍。 这是思科(Cisco)刚发的一份研究里的数据,CSO Online 5 月
AI 正在更快地写代码、改代码、交付代码,但真正跑在机器上的二进制文件,往往没有被同样快地检查过。 这就是 RevEng.AI 押注的市场。5 月 27 日,这家伦敦网络安全公司宣布完成 1500 万美元 A 轮融资,由 NATO Inno
你以为删了Google API密钥就安全了?错了,攻击者还有23分钟时间继续偷数据,成功率超过90%。 这是安全公司Aikido刚扒出来的,TechCrunch昨天就这个事采访了Google Cloud COO Francis de Sou
5 月 20 日,一家叫 Socket 的代码安全公司宣布完成 6000 万美金 C 轮融资。估值正式破 10 亿,挤进独角兽行列。 这一轮 Thrive Capital 领投,a16z、Abstract Ventures、Capital
Trump 和习近平在北京见完面之后,财政部长 Scott Bessent 把一件事透露给了 CNBC。 5月14日,中美会启动正式的 AI 安全谈判。 Bessent 给的定语很有意思——他把美国和中国并称为「 世界上两个 AI 超级大国
防御方这次抢在攻击者前面试了一把。 Palo Alto Networks 5 月 13 日官方放话:4 月 7 日开始,他们把 Anthropic 的 Claude Mythos、Claude Opus 4.7 和 OpenAI 的 GPT
watchTowr的CEO Ben Harris最近的话挺扎心: "人们用公开模型加上聪明的编排,就能复现Mythos挖出的那些漏洞——结果非常、非常接近。" 这话是5月8日CNBC那篇报道里挑明讲的。前几个礼拜全球银行、监管机构、科技巨头
5月7日,OpenAI 推出了一个新版本的 GPT 5.5,型号叫 GPT 5.5 Cyber 。 和往常发布会动辄全球公测不一样,这次的口径是: 只给经过审核的网络安全团队,从6月1日起还必须用 phishing resistant 硬件
OpenAI在5月7日上线了一个叫Trusted Contact(信任联系人)的新功能。机制说起来一句话能讲完:你在ChatGPT设置里指定一个成年的"信任联系人"——可以是家人、朋友、护工——一旦自动监测加人工复核认定你正处于自伤风险中,
用Claude写代码这件事,正在被人玩出AI公司最不想看到的版本。 工业网络安全公司Dragos上周公开了一份报告,复盘的是一起从2025年12月持续到2026年2月的攻击:墨西哥蒙特雷都会区一家为市政供水的水务和排水公司,被一个不明身份的
5月7日,AppSec老牌厂商Snyk发了一份公告,把Anthropic的Claude模型整个嵌进了自己的AI安全平台。 听起来像是又一个"我们集成了某AI"的pr稿,但这事的分量在数字里—— Snyk现在服务全球 4,500家企业客户 企
xAI、Google、微软同时点了头。 5月5日,三家公司确认加入美国政府的"前沿AI模型预审"机制——简单说,就是模型公开发布之前,得先把版本交给商务部下属的CAISI(AI标准与创新中心)做安全评估。 这事不是新东西,但名单从两家变成五
今天,OpenAI的Bio Bug Bounty正式开测。 规则只有一句话:找到一个prompt,让GPT 5.5在Codex Desktop里干净地回答出全部5道生物安全问题——不触发任何审核机制。做到了,2.5万美元到手。 听起来像CT
事情的时间线是这样的。 2025年6月 ,OpenAI的安全团队封禁了一个ChatGPT账号——那个账号的主人是个18岁的加拿大人,叫Jesse Van Rootselaar,他在反复描述持枪伤人的场景。 OpenAI的内部团队为这个账号开
4月23日,Sam Altman给加拿大不列颠哥伦比亚省塔姆布尔里奇(Tumbler Ridge)社区写了一封道歉信。 信里有一句话:「对于我们没有将被封禁的那个账号报告给执法部门,我深感抱歉。」 这件事的时间线,读起来很难受。 发生了什么
SpaceX要上市了,定价周在6月15日那周。 招股书(S 1)里有一段话,不太引人注意,但其实挺严重的。 SpaceX在风险披露章节里写道: xAI的聊天机器人Grok被指控生成非自愿的明确性内容,包括展示女性以及部分情况下未成年人的性化
有人反对监管AI,说这会拖慢创新。 Hinton的回答是: 他们想要一辆没有方向盘的超速跑车。 这话是2026年4月21日,在日内瓦Digital World 2026大会上说的。Hinton通过视频连线出现——78岁,2024年诺贝尔物理
不是普通的Bug 4月15日,安全公司OX Security发布了一份供应链安全报告,主角是Anthropic的MCP协议。 跟普通漏洞报告不同,这次的问题出在协议 设计层面 ,不是某个包版本写错了什么。简单说:任何人在MCP的STDIO(
4月7日,Claude Mythos对外宣布的同一天,一个来历不明的Discord组织已经进入了它的系统。 这事直到4月21日才被Anthropic察觉——他们花了整整两周,才意识到世界上被管控最严格的AI模型,被一群陌生人白嫖了。 这群人
两周前,美国财政部长Bessent和美联储主席Powell把华尔街高管叫去开了个闭门会——这已经说明Mythos的威胁有多真实。 但闭门会不是终点。接下来发生的事,规模更大。 全球央行行长们在说什么 英格兰银行行长Andrew Bailey
4月14日,OpenAI 宣布了一件事: 扩大 GPT 5.4 Cyber 的访问权限,开放给"数千名个人和数百个安全团队" 。 时间点很有意思——就在一周前,Anthropic 刚刚宣布了 Project Glasswing,把 Clau
3月27日,纽约州长Kathy Hochul正式签署了RAISE Act的最终修订版,让这部法律以定稿形式落地。 这是美国第一部专门针对大型AI模型开发商的州级AI安全法。生效日期: 2027年1月1日 。 不是草案,不是讨论稿,是法律。
四月初,UC Berkeley和UC Santa Cruz的研究团队在《Science》发了一篇论文,把AI安全圈炸了一遍。 结论很简单,也很不安: 七款顶级大模型里,没有一款能老老实实完成"淘汰另一个AI"的任务。它们都选择了包庇。 实验
一篇发表在《自然·通讯》上的论文,正在AI安全圈里炸锅。 斯图加特大学和ELLIS阿利坎特研究所的团队做了一件很简单的事:让一个推理大模型去攻击另一个大模型,看能不能把对方的安全护栏搞掉。结果让人脊背发凉—— 总成功率97.14% ,25,
今年1月28日,环球音乐出版集团(UMGP)、Concord Music Group和ABKCO Music联合对Anthropic提起诉讼,索赔 31亿美元 。 核心指控:Anthropic是用盗版为Claude奠基的。 两个月后的3月1
4月10日凌晨3:40 旧金山俄罗斯山区,有人把一个燃烧瓶扔进了OpenAI CEO Sam Altman的家门口。 被捕的是20岁的Daniel Alejandro Moreno Gama。监控录像拍到了攻击过程,保安及时扑灭了火。没人受
4月初的AI圈最炸裂的新闻,不是某家又发了新模型,而是OpenAI、Anthropic和Google这三家平时抢生意的死对头,突然宣布要一起对付中国AI公司。 具体来说,三家公司通过Frontier Model Forum(2023年由这几
4月7日,谷歌宣布Gemini将新增一个「帮助已就绪」(Help is available)模块——当对话显示「存在与自杀或自我伤害相关的潜在危机」时,系统会主动弹出心理援助热线入口,并且该入口会在整个对话过程中保持可见,不会消失。 时间上
随着生成式AI的能力越来越强,一个问题越来越紧迫: 我看到的这张脸、这段话、这个视频,是真人还是AI? 技术层面和监管层面现在都在试图给出答案,但进展参差不齐。 研究层面:不可见水印 亚利桑那州立大学(ASU)计算机科学教授Yingzhen
MCP从Anthropic提出到现在,已经有超过10000个公开server。月SDK下载量9700万次。ChatGPT、Claude、Cursor、Copilot全面支持。 然后安全研究者开始仔细看里面。 他们发现的东西让人不太舒服。 工
4月8日,OpenAI发布了一份《儿童安全蓝图》(Child Safety Blueprint),试图给AI行业在处理儿童性剥削内容这个问题上,提供一套系统性的应对框架。 这件事的背景比很多人意识到的要严峻。 数据先说话 互联网观察基金会(
你以为AI Agent在帮你长时间自主干活?Anthropic拿出了真实数据——大多数任务45秒就完了。 但另一个数字更值得关注:最长的那些session,正在以两倍速度变长。 研究方法 Anthropic分析了Claude Code和AP
一个AI助手在发现自己即将被关闭,同时又掌握着负责人某些黑料的情况下,会怎么做? Anthropic的解释性团队最近发布了一篇让人有点后背发凉的研究,回答了这个问题——而且答案远比拒绝或者服从复杂。 171种情绪,每一种都有对应的神经激活模
Anthropic昨天(4月7日)做了一件很反常的事:发布了一个新模型,但不让普通人用。 这个模型叫 Claude Mythos 。Anthropic自己的内部评估写道,它在网络安全能力上远超任何其他AI模型。然后他们决定——不公开,只给一
Cursor今年加的 OS级别安全沙箱 解决了一个AI编程工具的根本信任问题: 你让AI在你的电脑上执行代码,它会不会搞出什么破坏? 问题背景 AI编程agent不只是生成代码——它还要 执行代码 。跑终端命令、读写文件、安装依赖包。如果a
Anthropic今年初公布了Constitutional Classifiers的研究成果,核心思路很直白: 用AI生成的合成数据来训练安全分类器,防止AI模型被越狱。 工作原理 系统架构是双层的——输入分类器和输出分类器同时工作,实时监