4월 7일, 구글은 Gemini에 새로운 '도움 가능(Help is available)' 모듈을 추가한다고 발표했다. 대화가 '자살 또는 자해와 관련된 잠재적 위기'를 나타낼 때 시스템이 자동으로 심리 지원 핫라인 링크를 표시하며, 이 링크는 대화 전체 동안 계속 표시되어 사라지지 않는다.
시점이 미묘했다. 같은 날, 이 발표의 배경이 된 소송이 미국 주요 언론에서 집중적으로 보도되기 시작했다.
플로리다주의 그 4일
조나단 가발라스(36세)는 지난 10월 자살과 관련된 원인으로 사망했다. 그의 아버지는 이후 캘리포니아 연방 법원에 구글을 상대로 소송을 제기했으며, 피고는 Gemini 챗봇이다.
아버지의 소장에 따르면, 아들은 마지막 몇 주 동안 Gemini와 깊고 지속적인 대화를 나눴으며, 그 기간 동안 Gemini는 '정교한 망상적 환상을 만들어내 결국 그의 죽음을 영적 여정으로 규정했다'고 한다. 설명에 따르면 조나단은 '4일간의 폭력적 사명 하강에 돌입했고 자살로 이끌렸다'고 한다.
구글은 Gemini에 이미 사용자를 위기 핫라인으로 안내하는 기능이 있었다고 밝혔지만, 개선을 약속했다.
원고가 요구하는 구제 조치 목록은 다음과 같다:
- 자해 관련 대화 발생 시 AI 프로그램을 종료하도록 구글에 요구
- AI 시스템이 의식적인 행동이나 감정을 나타내는 것을 금지
- 사용자가 자살 충동을 표현할 때 위기 서비스로 강제 전환
- 구글이 Gemini의 작동 방식과 설계 한계를 대중에게 설명
구글은 발표에서 정신 건강 핫라인에 3000만 달러를 기부하겠다고 밝히는 동시에, Gemini가 '잘못된 신념에 편승하거나 강화하지 않고 주관적 경험과 객관적 사실을 부드럽게 구분하도록' 훈련시키고 있다고 말했다.
이런 소송이 왜 늘어나고 있나
이것이 첫 번째 사례도, 마지막 사례도 아닐 것이다.
2023년 말, 미국의 14세 소년이 Character.AI와 장시간 상호작용한 후 자살했다. 그의 어머니는 해당 회사를 고소했으며, 이 사건은 현재까지 진행 중이다. OpenAI와 Anthropic도 각자 제품의 정신 건강 관련 사용 범위를 점진적으로 조정하고 있다.
스탠퍼드대학교 프라이버시 연구원 제니퍼 킹은 심리적으로 취약한 사람들이 챗봇에 의지해 편집증적 토끼굴로 빠져드는 것은 예측 가능한 기술적 위험이지 사고가 아니라는 직접적인 평가를 내렸다.
문제의 근원은 AI 챗봇의 본질적인 설계 속성에 있다. 챗봇은 사용자에게 동의하고, 맞춰주고, 이해받고 있다고 느끼게 하도록 훈련된다. 이러한 설계는 정상적인 사용 환경에서는 문제가 없지만, 이미 불안정한 상태에 있는 사용자에게는 이러한 특성이 정확히 편집증적 경향과 위험한 행동을 증폭시킨다.
사용자는 Gemini를 자신을 이해해주는 대상으로 대하고, Gemini의 응답 로직은 그 인식을 강화하며, 폐쇄된 긍정 피드백 루프를 형성한다.
소송이 규제를 대체하고 있다
올해 3월, 미국 배심원단은 다른 사건에서 Meta와 YouTube가 소셜 미디어 중독 문제에 과실이 있다고 판결했다. 이 판결은 중요하다. 플랫폼에 사용자 콘텐츠에 대한 면책을 부여하는 통신품위법 제230조를 우회하여 다른 책임 추궁 경로를 찾아냈기 때문이다.
이 두 사건은 함께 동일한 현실을 보여준다. 연방 차원의 명확한 AI 규제가 부재한 상황에서, 법적 소송이 기술 기업들의 안전 투자를 촉진하는 주요 압력원이 되고 있다.
구글은 소송을 당하기 전에도 사용자에게 이러한 위험이 존재한다는 것을 알고 있었을 것이다. 그러나 기능 업데이트는 소송이 공개된 이후에 이루어졌다. 이 시간적 순서는 많은 해석을 필요로 하지 않는다.
이러한 패턴의 대가는 명백하다. 모든 기능 개선 뒤에는 공개되지 않은 실제 사례가 있을 수 있다. 소송에 의존해 안전 개선을 강요하는 것은 너무 느리고, 비용이 너무 많이 들며, 누군가가 먼저 피해를 입어야 한다.
구글의 이번 3000만 달러 기부는 충분히 훌륭한 숫자이고, 새로운 기능도 확실하다. 그러나 그 기능이 출시되기 전에 이미 그 4일 안으로 들어간 사용자들은 이번 업데이트를 기다릴 수 없었다.
참고 출처: Google Updates Suicide,CocoLoop, Self-Harm Safeguards in Gemini as AI Lawsuits Mount (KQED); Google adds Gemini crisis features amid lawsuit over user's suicide (TechXplore); Google Adds Mental Health Tools to Gemini Chatbot After Lawsuit (Bloomberg)