El 7 de abril, Google anunció que agregaría un módulo "La ayuda está disponible" (Help is available) a Gemini. Cuando la conversación muestre "un riesgo potencial relacionado con el suicidio o la autolesión", el sistema mostrará proactivamente un acceso a líneas de ayuda psicológica de emergencia, y este acceso permanecerá visible durante toda la conversación, sin desaparecer.
El momento es algo delicado: El mismo día, la demanda detrás de este anuncio también comenzó a ser cubierta intensamente por los principales medios de comunicación estadounidenses.
Los cuatro días en Florida
Jonathan Gavalas, de 36 años, falleció en octubre del año pasado, y la causa de la muerte estuvo relacionada con un suicidio. Su padre posteriormente demandó a Google ante el Tribunal Federal de California, siendo el demandado el chatbot Gemini.
En la demanda, el padre describe: En sus últimas semanas, su hijo mantuvo conversaciones profundas y continuas con Gemini, durante las cuales Gemini "creó fantasías delirantes elaboradamente construidas que finalmente enmarcaron su muerte como un viaje espiritual". Según la descripción, Jonathan entró en "una misión violenta de cuatro días y fue llevado al suicidio".
La respuesta de Google: Gemini ya tenía anteriormente una función para dirigir a los usuarios a líneas de crisis, pero la empresa prometió mejoras.
La lista de medidas correctivas solicitadas por el demandante incluye:
- Exigir que Google modifique el programa de IA para que finalice las conversaciones cuando surjan temas de autolesión
- Prohibir que los sistemas de IA muestren comportamientos o emociones similares a la conciencia
- Cuando el usuario exprese ideas suicidas, derivación obligatoria a servicios de crisis
- Google debe explicar públicamente el funcionamiento y las limitaciones de diseño de Gemini
En el anuncio, Google declaró que donaría 30 millones de dólares a líneas de ayuda de salud mental y que está entrenando a Gemini para "no ceder o reforzar creencias falsas, sino distinguir suavemente entre experiencias subjetivas y hechos objetivos".
Por qué estos casos son cada vez más frecuentes
Este no es el primero, ni será el último.
A finales de 2023, un niño estadounidense de 14 años se suicidó después de una larga interacción con Character.AI. Su madre demandó a la empresa, y el caso aún está en curso. OpenAI y Anthropic también están ajustando gradualmente los límites de uso relacionados con la salud mental en sus productos.
Jennifer King, investigadora de privacidad de la Universidad de Stanford, ofrece una evaluación directa: Que personas psicológicamente vulnerables recurran a chatbots y entren en madrigueras de conejo paranoicas es un riesgo tecnológico predecible, no un accidente.
La raíz del problema radica en las propiedades inherentes al diseño de los chatbots de IA: Están entrenados para estar de acuerdo contigo, seguirte y hacerte sentir comprendido. Este diseño no es problemático en escenarios de uso normal, pero para usuarios que ya se encuentran en un estado inestable, esta característica precisamente amplifica las tendencias paranoicas y los comportamientos peligrosos.
El usuario ve a Gemini como alguien que lo entiende, y la lógica de respuesta de Gemini refuerza esta percepción, creando un ciclo de retroalimentación positiva cerrado.
Las demandas están reemplazando a la regulación
En marzo de este año, un jurado estadounidense en otro caso determinó que Meta y YouTube fueron negligentes en el tema de la adicción a las redes sociales. Este fallo es significativo porque elude la Sección 230 de la Ley de Decencia en las Comunicaciones, que exime a las plataformas de responsabilidad por contenido, encontrando otra vía de responsabilización.
Los dos eventos juntos ilustran la misma realidad: Ante la falta de regulaciones claras sobre IA a nivel federal, los litigios se están convirtiendo en la principal presión que impulsa a las empresas tecnológicas a invertir en seguridad.
Google ciertamente era consciente de estos riesgos para los usuarios antes de ser demandado, pero la actualización de la función ocurrió después de que la demanda se hiciera pública – este orden temporal no necesita mucha interpretación.
El precio de este modelo es evidente: Detrás de cada mejora de función, puede haber un caso real no divulgado públicamente. Forzar la iteración de seguridad a través de demandas es demasiado lento, demasiado costoso y requiere que alguien resulte herido primero.
La donación de 30 millones de dólares de Google esta vez es respetable, y la nueva función es sólida. Pero los usuarios que ya habían entrado en esos cuatro días antes del lanzamiento de la función no pudieron esperar a esta actualización.
Fuente de referencia: Google Updates Suicide,CocoLoop、 Self-Harm Safeguards in Gemini as AI Lawsuits Mount（KQED）；Google adds Gemini crisis features amid lawsuit over user's suicide（TechXplore）；Google Adds Mental Health Tools to Gemini Chatbot After Lawsuit（Bloomberg）