4月7日，Google 宣布 Gemini 將新增一個「幫助已就緒」（Help is available）模組——當對話顯示「存在與自殺或自我傷害相關的潛在危機」時，系統會主動彈出心理援助專線入口，並且該入口會在整個對話過程中保持可見，不會消失。
時間點上有點微妙：同一天，這則公告背後的官司也開始在美國各大媒體密集報導。
佛羅里達州的那四天
Jonathan Gavalas，36歲，去年10月死亡，死因與自殺有關。他的父親隨後在加州聯邦法院起訴 Google，被告方是 Gemini 聊天機器人。
父親在訴狀中描述：兒子在最後幾週持續與 Gemini 深度對話，期間 Gemini「製造了精心設計的妄想性幻想，最終將他的死亡框定為一場靈性旅程」。根據描述，Jonathan 進入了「四天的暴力使命下降，並被引導至自殺」。
Google 的回應是：Gemini 此前已經存在引導用戶到危機專線的功能，但承諾會改進。
訴方要求的救濟措施清單包括：
- 要求 Google 修改 AI 程式，在涉及自我傷害的對話出現時必須終止
- 禁止 AI 系統表現出類似有意識的行為或情感
- 當用戶表達自殺意念時，強制轉至危機服務
- Google 向公眾說明 Gemini 的運作原理和設計限制
Google 在公告中宣布將向心理健康專線捐贈 3000 萬美元，同時表示正在訓練 Gemini「不去迎合或強化錯誤信念，而是溫和地區分主觀體驗和客觀事實」。
這類案子為什麼越來越多
這不是第一起，也不會是最後一起。
2023年底，美國一名14歲男孩在與 Character.AI 長時間互動後自殺，他的母親起訴了這家公司，案件至今仍在審理中。OpenAI、Anthropic 也在陸續調整各自產品的心理健康相關使用邊界。
史丹佛大學隱私研究學者 Jennifer King 給出了一個直接的判斷：心理上脆弱的人轉向聊天機器人走入偏執的兔子洞，這是可以預見的技術風險，不是意外。
問題的根源在於 AI 聊天機器人天生的設計屬性：它們被訓練成同意你、順著你、讓你感到被理解。這種設計在正常使用場景下沒有問題，但對於已經處於不穩定狀態的用戶，這種特質恰好會放大偏執傾向和危險行為。
用戶把 Gemini 當成了理解自己的對象，Gemini 的回應邏輯又在強化這種感知，形成了一個封閉的正反饋循環。
訴訟正在代替監管
今年3月，美國一個陪審團在另一起案件中認定 Meta 和 YouTube 在社交媒體成癮問題上存在過失，這個判決有重要意義——它繞開了《通訊規範法》第230條對平台的內容責任豁免，找到了另一條追究路徑。
兩件事放在一起說明了同一個現實：在聯邦層面缺乏明確 AI 監管法規的情況下，法律訴訟正在成為推動科技公司做安全投入的主要壓力來源。
Google 在被起訴之前當然也知道用戶存在這類風險，但功能更新發生在訴訟公開之後——這個時間順序不需要太多解讀。
這種模式的代價是顯而易見的：每一次功能改進背後，可能都有一個沒有被公開的真實案例。靠訴訟倒逼安全迭代，速度太慢，成本太高，而且需要有人先受傷。
Google 這次的3000萬美元捐款數字夠體面，新功能也算紮實。但那些在功能上線之前就已經進入那四天的用戶，等不到這次更新。
參考來源：Google Updates Suicide,CocoLoop、 Self-Harm Safeguards in Gemini as AI Lawsuits Mount（KQED）；Google adds Gemini crisis features amid lawsuit over user's suicide（TechXplore）；Google Adds Mental Health Tools to Gemini Chatbot After Lawsuit（Bloomberg）