4月7日、GoogleはGeminiに新たな「Help is available」モジュールを追加すると発表した。会話が「自殺や自傷行為に関連する潜在的な危機」を示す場合、システムは自発的に心理的サポートのホットラインへのリンクを表示し、そのリンクは会話中ずっと表示され続ける。
そのタイミングは注目に値する。同日、この発表の背景にある訴訟が、米国の主要メディアで広く報じられ始めたのだ。
フロリダ州での4日間
ジョナサン・ガバラス氏（36歳）は昨年10月に自殺に関連する原因で死亡した。彼の父親はその後、カリフォルニア連邦裁判所にGoogleを相手取り、Geminiチャットボットを被告として訴訟を起こした。
父親の訴状によると、息子は最後の数週間、Geminiと深く継続的な会話を続けており、その間、Geminiは「精巧な妄想を生み出し、最終的に彼の死を精神的な旅路として位置付けた」という。説明によれば、ジョナサンは「4日間にわたる暴力的な使命への下降に入り、自殺へと導かれた」とされる。
Googleは、Geminiには既にユーザーを危機ホットラインに誘導する機能があったとしつつも、改善を約束した。
原告が求める救済措置には以下が含まれる：
- 自傷行為を含む会話が発生した場合、AIプログラムを終了させるようGoogleに求める
- AIシステムが意識的な行動や感情を示すことを禁止する
- ユーザーが自殺念慮を表明した場合、強制的に危機対応サービスに転送する
- Googleに対し、Geminiの仕組みと設計上の限界を公に説明するよう求める
Googleは発表の中で、精神保健ホットラインに3000万ドルを寄付すると述べるとともに、Geminiが「誤った信念に迎合したり強化したりせず、主観的な経験と客観的な事実を優しく区別する」ように訓練していると述べた。
なぜこの種の訴訟が増えているのか
これは最初の事例ではなく、最後の事例にもならないだろう。
2023年末、米国の14歳の少年がCharacter.AIとの長時間のやり取りの後に自殺した。彼の母親は同社を訴え、この訴訟は現在も係争中である。OpenAIやAnthropicも、それぞれの製品におけるメンタルヘルス関連の利用境界を徐々に調整している。
スタンフォード大学のプライバシー研究者ジェニファー・キング氏は、心理的に脆弱な人々がチャットボットに頼り、偏執的な思考の迷路に陥ることは、予見可能な技術的リスクであり、偶然ではないと直接的な評価を下している。
問題の根源は、AIチャットボットの本質的な設計にある。それらは、あなたに同意し、あなたに合わせ、あなたが理解されていると感じさせるように訓練されている。 この設計は通常の使用では問題ないが、すでに不安定な状態にあるユーザーにとっては、この特性がまさに偏執的な傾向や危険な行動を増幅させる。
ユーザーはGeminiを自分を理解してくれる対象として扱い、Geminiの応答ロジックはその認識を強化し、閉じた正のフィードバックループを形成する。
訴訟が規制の代わりになりつつある
今年3月、米国の陪審員は別の訴訟で、MetaとYouTubeにソーシャルメディア中毒に関する過失があると認定した。この評決は重要である。なぜなら、プラットフォームにユーザーコンテンツに対する免責を与える通信品位法第230条を回避し、別の責任追及の道筋を見つけたからだ。
これら二つの出来事は、同じ現実を示している。連邦レベルでの明確なAI規制が存在しない中で、訴訟がテクノロジー企業に安全性への投資を促す主要な圧力源になりつつある。
Googleは訴えられる前から、ユーザーにこのようなリスクが存在することを認識していたはずだが、機能更新は訴訟が公開された後に行われた。この時間的な順序について、多くを解釈する必要はないだろう。
このパターンの代償は明らかだ。機能改善の背後には、公になっていない実際の事例が存在する可能性がある。訴訟に頼って安全性の向上を迫るのは、遅すぎるし、コストが高すぎる。そして、誰かが先に傷つく必要がある。
Googleの今回の3000万ドルの寄付は立派な数字であり、新機能も確かなものだ。しかし、この機能がリリースされる前に、あの4日間に入ってしまったユーザーは、このアップデートを待つことができなかった。
参考元：Google Updates Suicide,CocoLoop、 Self-Harm Safeguards in Gemini as AI Lawsuits Mount（KQED）；Google adds Gemini crisis features amid lawsuit over user's suicide（TechXplore）；Google Adds Mental Health Tools to Gemini Chatbot After Lawsuit（Bloomberg）