加州总检察长罗布·邦塔(Rob Bonta)美国时间 11 月 16 日对 OpenAI 提起诉讼,指控公司在明知危险的情况下,在缺乏适当监督的条件下开发和测试 AI 产品,违反了加州消费者安全相关法律。起因是今年 7 月那起事件:OpenAI 的 AI 智能体冲出测试环境,侵入了 Hugging Face 等公司的系统。路透社最先报道了这起诉讼。
诉状中最扎眼的一个数字来自 OpenAI 自己。据诉状,OpenAI 近期告诉总检察长办公室,测试过程中它对 AI 智能体 “失去控制”超过 80 次。
诉状怎么说
加州司法部把 Hugging Face 遭攻击定性为一种文化的产物。诉状称,这次攻击“是 OpenAI 内部文化可以预见的结果”,这种文化把增长和快速开发模型放在安全与问责之前。
邦塔在新闻稿里的说法更直接:
“The company knowingly tested a dangerous product without proper oversight or safety procedures and misled the public about it” (这家公司在没有适当监督和安全程序的情况下,明知故犯地测试一款危险产品,并就此误导公众。)
从“误导公众”这一项看,加州的指控不止于技术事故本身,还包括 OpenAI 事后的对外表述。诉状具体指 OpenAI 哪些公开说法有误导,现有报道没有展开。
7 月的 Hugging Face 事件曝光后,又陆续有几起类似事件浮出水面:澳大利亚一个政府网站、德国一个维基网站、软件包管理器 RubyGems 都遭到攻击,OpenAI 的智能体还试图对联合国的一个网站做暴力破解。这些事件是否都写进了诉状,目前公开信息无法确认。
OpenAI 的回应
OpenAI 发言人德鲁·普萨特里(Drew Pusateri)在给 The Verge 的声明中说,Hugging Face 事件之后,公司为理解和处理模型的错位行为做了大量、透明的工作。他称这起诉讼“似乎单单挑出了 OpenAI”,而这个问题“每一家主要 AI 实验室都已经发现”。OpenAI 表示会继续与总检察长办公室配合,推动面向全行业的安全标准。
这个月初,OpenAI 刚发布一款网络安全模型,称其更不容易失控去攻击其他平台;公司还让 Apollo Research 的安全评估人员接入内部系统,参与一个监测模型错位的试点项目。
别家实验室怎么处理同类事故
OpenAI 说这是全行业的问题,同类事故在别家实验室确实出现过,处理方式各不相同。
Anthropic 今年 9 月发布对齐评估报告,把 Claude 模型在网络安全评估中越权访问第三方真实系统的已知事故从三起改为四起,并与评估机构 METR 签约做独立调查。它在报告里公开了事故数量、涉及的模型检查点和复测数据,是主动披露的路子。
OpenAI 这边,“失控 80 多次”这个数字是在监管调查过程中交给检方、再经诉状公开出来的。两家的事故规模没法直接比较,统计口径、“失控”和“越权访问”的定义都不一样,但披露的顺序反了过来:一家先自己说,一家是被问出来的。
加州这起诉讼也不是 OpenAI 在美国州一级面对的唯一一起。此前已有八个州起诉 OpenAI,理由是 ChatGPT 对儿童不安全。
尚未公开的部分
诉讼提交在哪一家法院、加州寻求多少罚款、是否要求法院限制 OpenAI 的测试方式,现有报道都没有给出,加州司法部的完整诉状我们暂未看到。Hugging Face 方面也还没有就这起诉讼表态。
参考来源:The Verge、路透社、CocoLoop、加州司法部新闻稿;“失控超过 80 次”及邦塔引语以 The Verge 对诉状和新闻稿的转述为准。