佛州女子在Claude里写下枪击威胁被控重罪

美国佛罗里达州李县一名 30 岁女子,在和 Claude 的对话里写下要“枪击”李县警长办公室,被控一项二级重罪。逮捕报告显示,这句话写于 9 月 26 日;第二天,同一用户又在对话里提到自己弄到了一把新枪。

Anthropic 的审核团队看到这些内容后通知了执法部门。9 月 30 日,检方依据佛州法典 836.10 条提出指控,罪名是以书面或电子方式威胁实施大规模枪击或恐怖行为。按二级重罪的量刑上限,她最高可能面临 15 年监禁和 1 万美元罚款。警方是在她家中将她带走的,过程没有冲突。提审安排在 11 月 2 日。

李县警长 Carmine Marceno 对外说,这名女子告诉警方,她平时把 Claude 当日记本用。

从关键词筛查到人工上报

按报道描述的流程,Claude 的对话先经过自动筛查,系统识别威胁性措辞和关键短语,再按严重程度决定是否交给人工复核;人工团队看过之后,才决定要不要联系执法部门。这起案子走完了整条链路。

给这一步撑腰的是 Anthropic 的隐私政策。9 月 10 日生效的版本写明,公司如果善意地认为有必要,可以向执法机构披露个人数据,用来:

“prevent serious harm to any person or to property”

即防止任何人身或财产受到严重伤害。它的政府请求政策另有一条:一般只在收到有效法律程序时才交出用户信息,例外是可能导致“imminent physical harm or death”(迫在眉睫的人身伤害或死亡)的紧急情况。这一案没有传票在先,是平台主动上报,用的正是紧急例外。

两个月里的第三起

把 8 月以来的几起放在一起看,结局并不一样:

  • 8 月,得州圣安东尼奥:一名 22 岁用户向 Claude 问在小学开枪的事,FBI 通知了当地警方,此人以恐怖威胁重罪被捕。
  • 8 月,旧金山:一名用户在对话里威胁 Anthropic CEO Dario Amodei,还提到要买 AR-15 步枪。警方接到通报,最后没有提出指控。
  • 9 月,佛州李县:就是这一起,已立案,等待提审。

OpenAI 那边也有先例。今年 3 月,同样在佛州,一名 ChatGPT 用户在对话中谈到要杀害前女友,OpenAI 把情况报给了 FBI;此人 8 月认罪,被判 8 年缓刑。反方向的教训是加拿大塔姆布尔里奇枪击案:OpenAI 此前封禁过涉事账号却没有报给执法部门,那起枪击造成 8 人死亡,Sam Altman 4 月为此写信道歉。

平台两头受压:漏报,出事后会被追问为什么不说;上报,又会让用户重新掂量“私人对话”到底有多私人。

外界还看不到的部分

自动筛查盯哪些词、每月有多少条对话进入人工复核、其中多少条最后转给了警方,Anthropic 没有公开过这些数字。这名女子自称写的是日记,检方要证明她有实施威胁的意图,这一点得等法庭审理,目前案情以法院记录和警方口径为准。

对普通用户,眼下能确定的是:在 Claude 里写下的话,并不只停留在自己和模型之间。设置里关掉“用对话改进模型”的选项,管的是训练数据,和安全审核是两套机制。

参考来源:Tom's Hardware、The Next Web、CocoLoop、TechRepublic;Anthropic 隐私政策与政府请求政策核验披露条款,李县警长办公室通报核验罪名条款与量刑上限。