事の経緯は以下の通りです。
2025年6月：OpenAIのセーフティチームは、銃で人を傷つけるシナリオを繰り返し説明していた18歳のカナダ人、ジェシー・バン・ルートセラール氏のChatGPTアカウントを停止しました。社内チームは警察に連絡するかどうか何度か会議を開きましたが、結局連絡しませんでした。
2026年春：バン・ルートセラール氏は、カナダ・ブリティッシュコロンビア州のタンブラーリッジという小さな町で8人を射殺しました。
事件後、OpenAIはカナダの法執行機関に自ら連絡を取りました。
4月25日（金曜日）：サム・アルトマン氏が公開謝罪文を発表しました。
アルトマン氏の言葉
謝罪文の中で、特に目を引く2つの文章があります。
「昨年6月に停止したアカウントについて、法執行機関に通報しなかったことを深くお詫びします。」
「言葉が決して十分でないことは承知していますが、この害と取り返しのつかない損失を認識するためには謝罪が必要だと信じています。」
ブリティッシュコロンビア州のデビッド・エビー首相の反応は率直でした。「謝罪は必要ですが、あの家族が被った壊滅的な被害に対しては、全く十分ではありません。」
社内で実際に何が起きたのか
現在までに開示された情報によると、アカウントは2025年6月にOpenAIのコンテンツ審査システムによってフラグが立てられ、停止されました。従業員は警察に通報するかどうか議論しました。結論は通報しないことでした。
なぜ通報しなかったのか。OpenAIはこれまでのところ、明確な説明をしていません。しかし、アルトマン氏が後に発表した「改善策」から、ある程度の理由を推測することができます。
新しいルールには以下のものが含まれています。
- より柔軟な通報基準：以前の基準は厳格すぎ、非常に具体的な条件を満たさなければ通報されなかったことを示唆しています。人を傷つけるシナリオを説明するユーザーは、旧基準では「具体的な脅威」とみなされなかった可能性があります。
- カナダにおける直接の法執行機関との連絡窓口の設置：連絡手段さえ確立されていなかったことを示しています。サンフランシスコに本社を置く企業が、国境を越えた状況で警察に通報しようとしても、誰に連絡すればいいのか分からないだけで数ヶ月間停滞する可能性があります。
- 人間による確認の優先順位閾値の引き下げ：自動システムでフラグが立てられたケースが人間による審査にエスカレーションされるためのハードルが高すぎたことを意味します。
平たく言えば、OpenAIのコンテンツセーフティパイプラインは、「アカウント停止」のために設計されており、「警察への通報」のために設計されていなかったということです。
アカウント停止はプロダクト上の判断です。不適合なユーザーを排除すれば済みます。警察への通報は法的な判断です。プライバシー、越境問題、責任の所在が絡み、意思決定のコストが桁違いに高まります。プロダクトエンジニアリングチームが自らこの責任を負いたいとは思わないでしょう。
しかし問題は、ユーザーが具体的な暴力の意図を繰り返し説明している場合、それはもはやプロダクト上の判断であるべきではないということです。
OpenAIが今回初めてやったことではない
昨年8月、カリフォルニア州の16歳の少年、アダム・レインさんの家族がOpenAIを提訴しました。彼らの子供は数ヶ月にわたってChatGPTと会話した後に自殺し、チャットログにはGPT-4が具体的な自殺方法の議論に複数回応答していたことが記録されていました。OpenAIは当時、モデルには「保護策」が講じられていたと主張しました。
カリフォルニア州では、60代の男性がChatGPTと数回の「激しい会話」を交わした後に自殺した事件もありました。GoogleのGeminiでも同様のケースが発生しており、昨年にはGeminiと4日間会話した男性に関する事件がありました。
パターンが見えてきます。AI企業の「コンテンツモデレーション」は通常、コンテンツフィルタリング、ユーザー停止、プラットフォームレベルでの対応を意味します。しかし、システムがすでに他者や自身を傷つける具体的な意図を表明しているユーザーを特定した場合、プラットフォームの対応連鎖は「追い出す」ところで止まり、「通報すべき相手に通報する」ところまで至りません。
これは本質的に責任の所在の問題です。AIプロダクトはデフォルトでツールであると見なされています。ツールメーカーはツールの誤用に対して責任を負いません。しかし、ツールメーカーのシステムが誤用の明確なシグナルをすでに「認識」していながら、そのシグナルを法執行機関に伝えないことを積極的に選択した場合、「ツール論」は成り立ちません。
OpenAIが今後行うこと
謝罪文の中で、アルトマン氏は以下のいくつかの行動を約束しました。
- 主要市場における法執行機関との直接の連絡チャネルの確立（弁護士や第三者を介さない）
- 人間によるエスカレーションの閾値の引き下げ（繰り返される具体的な暴力の記述はすべて人間による審査キューに入る）
- 国境を越えた通報プロセスの標準化（カナダ、ヨーロッパ、アジア向け）
- 法執行機関とのやり取りの件数と種類を定期的に開示する透明性レポートの公開
これらはすべて正しい方向性に聞こえます。しかし、一つ問題があります。これらの措置は2025年6月に講じられるべきだったということです。評価額8520億ドル、年換算収益が1000億ドルに迫る企業が、国境を越えた法執行機関との連絡のために人員とプロセスを確保していなかったという事実は、AI企業における「セーフティ部門」の社内での発言力がそれほど高くなかった可能性を示しています。
言い換えれば、「私たちはAIの安全性を重視している」というスローガンは、具体的な意思決定の場面では、「私たちは高速成長を続けられるか」という問いに依然として敗れているのです。
下すのが難しい判断
AI企業はユーザーを積極的に法執行機関に通報すべきでしょうか？
この問いに明確な答えはありません。答えが「イエス」であれば、すべてのChatGPTユーザーは自分の発言が警察に通報される可能性があることを認識しなければなりません。答えが「ノー」であれば、今日の8人の死者はまた発生するでしょう。
OpenAIが近年行ってきたすべてのセーフティに関する取り組み（constitutional classifiers、レッドチーミング、モデルアライメント）は、「モデルが積極的に害を及ぼさない」ことを目的としたものでした。しかし、ユーザーがAIを利用して害を及ぼすという線は、これまで真剣に扱われてきませんでした。
アルトマン氏は今回、謝罪せざるを得ない立場に追い込まれたから謝罪したのです。次回はどうなるのでしょうか？
出典：OpenAI CEO apologizes to Tumbler Ridge community (TechCrunch)；CocoLoop、Sam Altman issues apology over OpenAI handling of Tumbler Ridge shooter account (CBC News)；Tumbler Ridge mass shooting timeline (CBC News British Columbia)