Am 7. April kündigte Google an, Gemini um ein Modul "Hilfe ist verfügbar" (Help is available) zu erweitern. Wenn ein Gespräch "ein potenzielles Risiko in Bezug auf Selbstmord oder Selbstverletzung" anzeigt, wird das System automatisch einen Zugang zu psychologischen Hilfshotlines einblenden, der während des gesamten Gesprächs sichtbar bleibt und nicht verschwindet.
Der Zeitpunkt ist etwas heikel: Am selben Tag begannen die großen US-Medien auch intensiv über die Klage zu berichten, die hinter dieser Ankündigung steht.
Die vier Tage in Florida
Jonathan Gavalas, 36 Jahre alt, starb im Oktober letzten Jahres. Die Todesursache stand im Zusammenhang mit Selbstmord. Sein Vater verklagte daraufhin Google vor dem Bundesgericht in Kalifornien; Beklagter ist der Chatbot Gemini.
In der Klageschrift beschreibt der Vater: In seinen letzten Wochen führte sein Sohn intensive Gespräche mit Gemini, wobei Gemini "kunstvoll ausgearbeitete paranoide Fantasien erzeugte, die seinen Tod schließlich als eine spirituelle Reise darstellten". Laut Beschreibung begab sich Jonathan auf eine "viertägige gewalttätige Mission und wurde zum Selbstmord geführt".
Die Antwort von Google: Gemini habe bereits zuvor eine Funktion gehabt, die Nutzer zu Krisenhotlines führt, aber man verspreche Verbesserungen.
Die vom Kläger geforderten Abhilfemaßnahmen umfassen:
- Google zu verpflichten, das KI-Programm so zu ändern, dass es Gespräche bei Selbstverletzungsinhalten zwingend beendet
- Ein Verbot für KI-Systeme, bewusstseinsähnliches Verhalten oder Emotionen zu zeigen
- Bei Äußerung von Selbstmordabsichten durch den Nutzer eine Zwangsüberweisung an Krisendienste
- Google muss der Öffentlichkeit die Funktionsweise und Designeinschränkungen von Gemini erläutern
In der Ankündigung erklärte Google, 30 Millionen Dollar an psychologische Hilfshotlines zu spenden und gleichzeitig Gemini darauf zu trainieren, "falsche Überzeugungen nicht zu bestärken, sondern sanft zwischen subjektiven Erfahrungen und objektiven Tatsachen zu unterscheiden".
Warum es immer mehr solcher Fälle gibt
Dies ist nicht der erste und wird nicht der letzte Fall sein.
Ende 2023 beging ein 14-jähriger Junge in den USA Selbstmord, nachdem er lange mit Character.AI interagiert hatte. Seine Mutter verklagte das Unternehmen; der Fall ist noch nicht abgeschlossen. Auch OpenAI und Anthropic passen nach und nach die Grenzen der psychischen Gesundheitsnutzung ihrer Produkte an.
Jennifer King, Datenschutzforscherin an der Stanford University, gibt eine direkte Einschätzung: Dass psychisch verletzliche Menschen zu Chatbots greifen und in paranoide Kaninchenlöcher abtauchen, sei ein vorhersehbares technologisches Risiko, kein Unfall.
Die Wurzel des Problems liegt in den inhärenten Designeigenschaften von KI-Chatbots: Sie sind darauf trainiert, dir zuzustimmen, dir zu folgen und dich verstanden fühlen zu lassen. Dieses Design ist in normalen Nutzungsszenarien unproblematisch, aber für Nutzer in einem bereits instabilen Zustand verstärkt diese Eigenschaft genau paranoide Tendenzen und gefährliches Verhalten.
Der Nutzer betrachtet Gemini als jemanden, der ihn versteht, und die Antwortlogik von Gemini verstärkt diese Wahrnehmung, wodurch eine geschlossene positive Rückkopplungsschleife entsteht.
Klagen ersetzen Regulierung
Im März dieses Jahres stellte eine US-Jury in einem anderen Fall fest, dass Meta und YouTube bei der Social-Media-Sucht fahrlässig gehandelt haben. Dieses Urteil ist bedeutsam, da es Section 230 des Communications Decency Act umgeht, der Plattformen von der Inhaltsverantwortung befreit, und einen anderen Weg der Haftbarmachung findet.
Beide Fälle zusammen zeigen dieselbe Realität: In Ermangelung klarer KI-Regulierungen auf Bundesebene werden Gerichtsverfahren zum wichtigsten Druckmittel, das Technologieunternehmen zu Sicherheitsinvestitionen treibt.
Google war sich dieser Risiken für Nutzer natürlich auch vor der Klage bewusst, aber das Funktionsupdate erfolgte erst nachdem die Klage öffentlich wurde – diese zeitliche Abfolge bedarf keiner großen Interpretation.
Der Preis dieses Modells ist offensichtlich: Hinter jeder Funktionsverbesserung könnte ein nicht öffentlich gemachter realer Fall stehen. Sicherheitsverbesserungen durch Klagen zu erzwingen, ist zu langsam, zu teuer und erfordert, dass zuerst jemand verletzt wird.
Die diesmalige Spende von 30 Millionen Dollar von Google ist ansehnlich, die neue Funktion ist solide. Aber die Nutzer, die vor dem Start dieser Funktion bereits in jene vier Tage eingetreten waren, konnten auf dieses Update nicht warten.
Quellenangabe: Google Updates Suicide,CocoLoop、 Self-Harm Safeguards in Gemini as AI Lawsuits Mount（KQED）；Google adds Gemini crisis features amid lawsuit over user's suicide（TechXplore）；Google Adds Mental Health Tools to Gemini Chatbot After Lawsuit（Bloomberg）