米フロリダ州リー郡に住む30歳の女性が、Claudeとの会話の中でリー郡保安官事務所を「銃撃する」と書き込み、第2級重罪で起訴された。逮捕報告書によると、この書き込みは9月26日のもの。翌日、同じユーザーは会話の中で新しい銃を手に入れたと述べていた。
Anthropicの審査チームがこの内容を確認し、法執行機関に通報した。9月30日、検察はフロリダ州法836.10条に基づき起訴した。同条は、大規模銃撃やテロ行為を文書や電子的手段で威嚇する行為を対象とする。第2級重罪の量刑上限により、最大で禁錮15年と1万ドルの罰金が科される可能性がある。女性は自宅で、抵抗なく身柄を拘束された。出廷は11月2日に予定されている。
リー郡のCarmine Marceno保安官はメディアに対し、女性は普段Claudeを日記のように使っていたと話した、と説明した。
キーワード検知から人による通報まで
報道によれば、Claudeの会話はまず自動検知システムを通過し、威嚇的な言葉やキーフレーズを検出する。深刻度に応じて人による審査に回され、審査チームが内容を確認した上で、法執行機関に連絡するかどうかを判断する。今回のケースはこの一連のプロセスをすべて経た。
この仕組みを支えているのがAnthropicのプライバシーポリシーだ。9月10日に施行された版には、同社が誠実に必要と判断した場合、個人データを法執行機関に開示できると明記されている。目的は次の通りだ。
"prevent serious harm to any person or to property"
つまり、人や財産への重大な危害を防ぐためだ。政府からの情報開示請求に関するポリシーには別の条項があり、通常は有効な法的手続きを受けた場合にのみユーザー情報を提供するが、「imminent physical harm or death」(切迫した身体的危害や死亡)につながりかねない緊急事態は例外とされる。今回は事前の召喚状はなく、プラットフォーム側が自主的に通報し、この緊急例外を適用した形だ。
2カ月で3件目
8月以降の事例を並べると、結末はそれぞれ異なる。
- 8月、テキサス州サンアントニオ：22歳のユーザーがClaudeに小学校での銃撃について尋ね、FBIが地元警察に通報。テロ威嚇の重罪容疑で逮捕された。
- 8月、サンフランシスコ：あるユーザーが会話の中でAnthropicのCEO、Dario Amodei氏を脅迫し、AR-15ライフルの購入にも言及。警察に通報されたが、最終的に起訴には至らなかった。
- 9月、フロリダ州リー郡：今回のケース。すでに立件され、出廷を待っている状態。
OpenAI側にも先例がある。今年3月、同じフロリダ州で、あるChatGPTユーザーが会話の中で元交際相手を殺害する話をし、OpenAIがFBIに通報した。この人物は8月に罪を認め、執行猶予8年の判決を受けた。逆の教訓となったのが、カナダのタンブラーリッジ銃撃事件だ。OpenAIは事件に関与したアカウントを以前にBANしていたが、法執行機関には通報していなかった。この銃撃事件では8人が死亡し、Sam Altman氏は4月に謝罪の書簡を出した。
プラットフォームは両方向から圧力を受けている。通報しなければ、事件後に「なぜ言わなかったのか」と問われる。通報すれば、ユーザーは「私的な会話」がどこまで本当に私的なのかを考え直すことになる。
まだ公開されていない部分
自動検知がどの言葉に反応するのか、毎月何件の会話が人による審査に回されるのか、そのうち何件が最終的に警察に通報されるのか——Anthropicはこれらの数字を公表していない。女性は日記として書いたと主張しているが、検察側は威嚇を実行する意図があったことを証明する必要があり、それは今後の裁判で判断される。現時点での事実関係は裁判記録と警察の説明に基づく。
一般のユーザーにとって今はっきりしているのは、Claudeに書き込んだ内容は自分とモデルの間だけに留まるわけではないという点だ。設定で「会話をモデル改善に利用する」をオフにしても、それは学習データに関する制御であり、安全審査とは別の仕組みである。
参考資料：Tom's Hardware、The Next Web、CocoLoop、TechRepublic。Anthropicのプライバシーポリシーと政府情報開示請求ポリシーの開示条項を確認、リー郡保安官事務所の発表内容を起訴条文と量刑上限に照らして確認。