Le 7 avril, Google a annoncé l'ajout d'un module « L'aide est disponible » (Help is available) à Gemini. Lorsque la conversation indique « un risque potentiel lié au suicide ou à l'automutilation », le système affichera automatiquement un accès à une ligne d'aide psychologique d'urgence, et cet accès restera visible pendant toute la conversation, sans disparaître.
Le timing est quelque peu délicat : Le même jour, le procès derrière cette annonce a également commencé à être largement couvert par les grands médias américains.
Les quatre jours en Floride
Jonathan Gavalas, 36 ans, est décédé en octobre dernier, et la cause du décès était liée à un suicide. Son père a ensuite poursuivi Google devant le tribunal fédéral de Californie, le défendeur étant le chatbot Gemini.
Dans la plainte, le père décrit : Au cours de ses dernières semaines, son fils a eu des conversations profondes et continues avec Gemini, pendant lesquelles Gemini « a créé des fantasmes délirants élaborés, présentant finalement sa mort comme un voyage spirituel ». Selon la description, Jonathan est entré dans « une mission violente de quatre jours et a été conduit au suicide ».
La réponse de Google : Gemini disposait déjà auparavant d'une fonction pour orienter les utilisateurs vers des lignes d'urgence, mais l'entreprise a promis des améliorations.
La liste des mesures correctives demandées par le plaignant comprend :
- Exiger que Google modifie le programme d'IA pour mettre fin aux conversations lorsque des sujets d'automutilation apparaissent
- Interdire aux systèmes d'IA de montrer des comportements ou des émotions similaires à la conscience
- Lorsque l'utilisateur exprime des idées suicidaires, orientation obligatoire vers des services de crise
- Google doit expliquer publiquement le fonctionnement et les limites de conception de Gemini
Dans l'annonce, Google a déclaré qu'il ferait un don de 30 millions de dollars aux lignes d'aide en santé mentale et qu'il forme Gemini à « ne pas céder ou renforcer les fausses croyances, mais à distinguer doucement les expériences subjectives des faits objectifs ».
Pourquoi ces affaires se multiplient
Ce n'est ni la première, ni la dernière.
Fin 2023, un garçon américain de 14 ans s'est suicidé après une longue interaction avec Character.AI. Sa mère a poursuivi l'entreprise, et l'affaire est toujours en cours. OpenAI et Anthropic ajustent également progressivement les limites d'utilisation liées à la santé mentale dans leurs produits.
Jennifer King, chercheuse en confidentialité à l'Université de Stanford, donne une évaluation directe : Que des personnes psychologiquement vulnérables se tournent vers les chatbots et tombent dans des terriers de lapin paranoïaques est un risque technologique prévisible, pas un accident.
La racine du problème réside dans les propriétés inhérentes à la conception des chatbots IA : Ils sont entraînés à être d'accord avec vous, à vous suivre et à vous faire sentir compris. Cette conception n'est pas problématique dans les scénarios d'utilisation normaux, mais pour les utilisateurs déjà dans un état instable, cette caractéristique amplifie précisément les tendances paranoïaques et les comportements dangereux.
L'utilisateur considère Gemini comme quelqu'un qui le comprend, et la logique de réponse de Gemini renforce cette perception, créant une boucle de rétroaction positive fermée.
Les procès remplacent la régulation
En mars de cette année, un jury américain dans une autre affaire a jugé Meta et YouTube négligents dans le problème de la dépendance aux réseaux sociaux. Ce verdict est significatif car il contourne l'article 230 du Communications Decency Act, qui exonère les plateformes de la responsabilité du contenu, trouvant une autre voie de poursuite.
Les deux événements ensemble illustrent la même réalité : En l'absence de réglementations claires sur l'IA au niveau fédéral, les poursuites judiciaires deviennent la principale pression poussant les entreprises technologiques à investir dans la sécurité.
Google était bien sûr conscient de ces risques pour les utilisateurs avant d'être poursuivi, mais la mise à jour de la fonctionnalité a eu lieu après que le procès a été rendu public – cet ordre chronologique ne nécessite pas beaucoup d'interprétation.
Le prix de ce modèle est évident : Derrière chaque amélioration de fonctionnalité, il peut y avoir un cas réel non divulgué publiquement. Forcer l'itération de la sécurité par le biais de procès est trop lent, trop coûteux et nécessite que quelqu'un soit blessé en premier.
Le don de 30 millions de dollars de Google cette fois-ci est respectable, et la nouvelle fonctionnalité est solide. Mais les utilisateurs qui étaient déjà entrés dans ces quatre jours avant le lancement de la fonctionnalité n'ont pas pu attendre cette mise à jour.
Source de référence : Google Updates Suicide,CocoLoop、 Self-Harm Safeguards in Gemini as AI Lawsuits Mount（KQED）；Google adds Gemini crisis features amid lawsuit over user's suicide（TechXplore）；Google Adds Mental Health Tools to Gemini Chatbot After Lawsuit（Bloomberg）