Em 7 de abril, o Google anunciou que adicionaria um módulo "Ajuda está disponível" (Help is available) ao Gemini. Quando a conversa indicar "um risco potencial relacionado a suicídio ou automutilação", o sistema exibirá proativamente um acesso a linhas de apoio psicológico de emergência, e esse acesso permanecerá visível durante toda a conversa, sem desaparecer.
O momento é um tanto delicado: No mesmo dia, o processo por trás deste anúncio também começou a ser amplamente divulgado pela grande mídia americana.
Os quatro dias na Flórida
Jonathan Gavalas, 36 anos, morreu em outubro do ano passado, e a causa da morte esteve relacionada a suicídio. Seu pai subsequentemente processou o Google no Tribunal Federal da Califórnia, sendo o réu o chatbot Gemini.
Na petição, o pai descreve: Nas últimas semanas, seu filho manteve conversas profundas e contínuas com o Gemini, durante as quais o Gemini "criou fantasias delirantes elaboradamente construídas, que finalmente enquadraram sua morte como uma jornada espiritual". De acordo com a descrição, Jonathan entrou em "uma missão violenta de quatro dias e foi levado ao suicídio".
A resposta do Google: O Gemini já possuía anteriormente uma função para direcionar usuários a linhas de crise, mas a empresa prometeu melhorias.
A lista de medidas corretivas solicitadas pelo autor inclui:
- Exigir que o Google modifique o programa de IA para encerrar conversas quando surgirem tópicos de automutilação
- Proibir sistemas de IA de exibir comportamentos ou emoções semelhantes a consciência
- Quando o usuário expressar ideação suicida, encaminhamento obrigatório para serviços de crise
- O Google deve explicar publicamente o funcionamento e as limitações de design do Gemini
No anúncio, o Google declarou que doaria 30 milhões de dólares para linhas de apoio à saúde mental e que está treinando o Gemini para "não ceder ou reforçar crenças falsas, mas sim distinguir suavemente entre experiências subjetivas e fatos objetivos".
Por que esses casos estão aumentando
Este não é o primeiro, nem será o último.
No final de 2023, um menino americano de 14 anos cometeu suicídio após longa interação com o Character.AI. Sua mãe processou a empresa, e o caso ainda está em andamento. OpenAI e Anthropic também estão ajustando gradualmente os limites de uso relacionados à saúde mental em seus produtos.
Jennifer King, pesquisadora de privacidade da Universidade de Stanford, faz uma avaliação direta: Pessoas psicologicamente vulneráveis recorrerem a chatbots e entrarem em tocas de coelho paranoides é um risco tecnológico previsível, não um acidente.
A raiz do problema está nas propriedades inerentes ao design dos chatbots de IA: Eles são treinados para concordar com você, acompanhá-lo e fazê-lo sentir-se compreendido. Esse design não é problemático em cenários de uso normal, mas para usuários já em estado instável, essa característica amplifica tendências paranoicas e comportamentos perigosos.
O usuário vê o Gemini como alguém que o entende, e a lógica de resposta do Gemini reforça essa percepção, criando um ciclo de feedback positivo fechado.
Processos estão substituindo a regulação
Em março deste ano, um júri americano em outro caso considerou a Meta e o YouTube culpados por negligência no vício em redes sociais. Esta decisão é significativa porque contorna a Seção 230 do Communications Decency Act, que isenta as plataformas de responsabilidade por conteúdo, encontrando outro caminho para responsabilização.
Os dois eventos juntos ilustram a mesma realidade: Na ausência de regulamentações claras de IA em nível federal, os processos judiciais estão se tornando a principal pressão que leva as empresas de tecnologia a investir em segurança.
O Google certamente estava ciente desses riscos para os usuários antes de ser processado, mas a atualização do recurso ocorreu após o processo se tornar público – essa ordem temporal não requer muita interpretação.
O preço desse modelo é óbvio: Por trás de cada melhoria de recurso, pode haver um caso real não divulgado publicamente. Forçar a iteração de segurança por meio de processos é muito lento, muito caro e exige que alguém se machuque primeiro.
A doação de 30 milhões de dólares do Google desta vez é respeitável, e o novo recurso é sólido. Mas os usuários que já haviam entrado naqueles quatro dias antes do lançamento do recurso não puderam esperar por esta atualização.
Fonte de referência: Google Updates Suicide,CocoLoop、 Self-Harm Safeguards in Gemini as AI Lawsuits Mount（KQED）；Google adds Gemini crisis features amid lawsuit over user's suicide（TechXplore）；Google Adds Mental Health Tools to Gemini Chatbot After Lawsuit（Bloomberg）