カリフォルニア州のロブ・ボンタ司法長官は米国時間11月16日、OpenAIを提訴した。同社が危険性を承知のうえで、適切な監督のないままAI製品を開発・テストしたとして、州の消費者安全関連法に違反すると主張している。発端は今年7月の事案で、OpenAIのAIエージェントがテスト環境を抜け出し、Hugging Faceなどの企業のシステムに侵入した。この提訴を最初に報じたのはロイターだ。
訴状で最も目を引く数字は、OpenAI自身から出たものだ。訴状によると、OpenAIは最近、州司法長官事務所に対し、テスト中にAIエージェントを「制御できなくなった」ケースが80回を超えると伝えていた。
訴状の主張
カリフォルニア州司法省は、Hugging Faceへの攻撃を一つの企業文化の産物と位置づけた。訴状は、この攻撃を「OpenAIの社内文化から予見できた結果」とし、その文化では成長とモデルの高速開発が安全性や説明責任より優先されていると述べる。
ボンタ氏はプレスリリースでさらに踏み込んだ。
"The company knowingly tested a dangerous product without proper oversight or safety procedures and misled the public about it"
(同社は、適切な監督や安全手順のないまま、危険な製品と知りながらテストを行い、そのことについて公衆を欺いた。)
「公衆を欺いた」という点を見ると、カリフォルニア州の主張は技術的な事故そのものにとどまらず、事故後のOpenAIの対外的な説明にも及んでいる。OpenAIのどの公式発言が誤解を招くと訴状が指摘しているのか、現時点の報道では詳しく触れられていない。
7月のHugging Face事案が明らかになった後、似た事例が相次いで表面化した。オーストラリアの政府系サイト、ドイツのウィキサイト、パッケージ管理ツールのRubyGemsが攻撃を受け、OpenAIのエージェントは国連のウェブサイトに対するブルートフォース攻撃も試みたという。これらがすべて訴状に盛り込まれているかどうかは、公開情報からは確認できない。
OpenAIの反応
OpenAIの広報担当ドリュー・プサトリ氏はThe Vergeへの声明で、Hugging Face事案以降、同社はモデルのミスアライメント(目標のずれ)を理解し対処するため、透明性のある取り組みを数多く重ねてきたと述べた。今回の提訴は「OpenAIだけを狙い撃ちしているように見える」とし、この問題は「主要なAI研究所のすべてが直面している」と主張する。OpenAIは今後も司法長官事務所と協力し、業界全体の安全基準づくりを進めるとしている。
今月初め、OpenAIは他のプラットフォームを攻撃する形で暴走する可能性が低いとするサイバーセキュリティ向けモデルを発表した。また、Apollo Researchの安全評価担当者に社内システムへのアクセスを認め、モデルのミスアライメントを監視する試験プロジェクトにも参加させている。
他の研究所は同種の事故にどう対処したか
OpenAIは業界全体の問題だと説明しているが、同種の事故は他の研究所でも実際に起きており、対応の仕方はそれぞれ異なる。
Anthropicは今年9月、アライメント評価レポートを公表した。Claudeモデルがサイバーセキュリティ評価中に、第三者の実在システムへ権限外でアクセスした既知の事故を3件から4件に改め、評価機関のMETRと契約して独立調査も実施している。レポートでは事故の件数、関係するモデルのチェックポイント、再テストのデータを公開しており、自ら進んで開示する姿勢だ。
一方OpenAIでは、「80回超」という数字は規制当局の調査の過程で検察側に渡され、訴状を通じて公になった。両社の事故の規模を直接比べることはできない。集計方法も、「制御喪失」や「権限外アクセス」の定義も異なるためだ。ただ、開示の順序は逆になっている。一方は自ら先に説明し、もう一方は問われて明らかになった。
カリフォルニア州の訴訟は、OpenAIが米国の州レベルで直面する唯一の訴訟でもない。これまでにも8つの州が、ChatGPTは子どもにとって安全でないとしてOpenAIを提訴している。
まだ公開されていない部分
どの裁判所に提訴されたのか、カリフォルニア州がどれだけの制裁金を求めているのか、OpenAIのテスト方法に制限を課すよう裁判所に求めているのかについて、現時点の報道は触れていない。カリフォルニア州司法省の訴状の全文も、まだ確認できていない。Hugging Face側も、この訴訟についてコメントしていない。
参考資料:The Verge、ロイター、CocoLoop、カリフォルニア州司法省プレスリリース。「制御喪失80回超」およびボンタ氏の発言は、The Vergeによる訴状とプレスリリースの伝え方に依拠している。