미국 플로리다주 리 카운티에 사는 30세 여성이 클로드와의 대화에서 리 카운티 보안관 사무실을 "총으로 쏘겠다"고 쓴 것 때문에 2급 중범죄로 기소됐다. 체포 보고서에 따르면 이 문구는 9월 26일에 작성됐고, 다음 날 같은 사용자는 대화에서 새 총을 구했다고 언급했다.
Anthropic의 검토팀이 이 내용을 확인하고 사법기관에 신고했다. 9월 30일 검찰은 플로리다주 법령 836.10조에 따라 기소했는데, 이 조항은 문서나 전자적 방식으로 대규모 총격이나 테러 행위를 위협하는 것을 다룬다. 2급 중범죄 양형 상한에 따라 최대 징역 15년과 1만 달러의 벌금이 선고될 수 있다. 경찰은 충돌 없이 그녀의 자택에서 신병을 확보했다. 출석은 11월 2일로 예정돼 있다.
리 카운티의 카민 마르세노 보안관은 이 여성이 평소 클로드를 일기장처럼 썼다고 경찰에 말했다고 밝혔다.
키워드 탐지에서 사람의 신고까지
보도된 절차에 따르면 클로드의 대화는 먼저 자동 탐지를 거쳐 위협적인 표현과 핵심 문구를 걸러내고, 심각도에 따라 사람이 검토하도록 넘겨진다. 검토팀이 내용을 확인한 뒤에야 사법기관에 연락할지 결정한다. 이번 사건은 이 전체 과정을 거쳤다.
이 단계를 뒷받침하는 것은 Anthropic의 개인정보 보호정책이다. 9월 10일 시행된 버전에는 회사가 선의로 필요하다고 판단할 경우 사법기관에 개인정보를 공개할 수 있다고 명시돼 있으며, 그 목적은 다음과 같다.
"prevent serious harm to any person or to property"
즉 사람이나 재산에 대한 심각한 피해를 막기 위해서다. 정부 요청 정책에는 별도 조항이 있는데, 보통은 유효한 법적 절차가 있을 때만 사용자 정보를 제공하지만 "imminent physical harm or death"(임박한 신체적 피해나 사망)로 이어질 수 있는 긴급 상황은 예외다. 이번 사건에는 사전 소환장이 없었고, 플랫폼이 스스로 신고하면서 바로 이 긴급 예외를 적용했다.
두 달 사이 세 번째 사건
8월 이후 사건들을 나란히 놓고 보면 결과는 제각각이다.
- 8월, 텍사스주 샌안토니오: 22세 사용자가 클로드에게 초등학교 총격에 대해 물었고, FBI가 지역 경찰에 통보해 테러 위협 중범죄로 체포됐다.
- 8월, 샌프란시스코: 한 사용자가 대화에서 Anthropic CEO 다리오 아모데이를 위협하고 AR-15 소총 구입도 언급했다. 경찰에 통보됐지만 결국 기소되지 않았다.
- 9월, 플로리다주 리 카운티: 바로 이번 사건으로, 이미 입건돼 출석을 기다리고 있다.
OpenAI 쪽에도 비슷한 선례가 있다. 올해 3월 역시 플로리다주에서 한 ChatGPT 사용자가 대화에서 전 여자친구를 살해하는 내용을 이야기했고, OpenAI는 이를 FBI에 신고했다. 이 사용자는 8월에 유죄를 인정하고 집행유예 8년을 선고받았다. 반대 방향의 교훈은 캐나다 텀블러 리지 총격 사건이다. OpenAI는 관련 계정을 이전에 차단했지만 사법기관에 신고하지는 않았고, 이 총격으로 8명이 사망했다. 샘 올트먼은 4월 이에 대해 사과 서한을 썼다.
플랫폼은 양쪽에서 압박을 받는다. 신고하지 않으면 사건 이후 왜 알리지 않았느냐는 질문을 받고, 신고하면 사용자들은 "사적인 대화"가 과연 얼마나 사적인지 다시 생각하게 된다.
아직 공개되지 않은 부분
자동 탐지가 어떤 단어에 반응하는지, 매달 얼마나 많은 대화가 사람의 검토로 넘어가는지, 그중 몇 건이 결국 경찰에 전달되는지 Anthropic은 이런 수치를 공개한 적이 없다. 이 여성은 일기를 쓴 것이라고 주장하지만, 검찰은 그녀에게 위협을 실행할 의도가 있었음을 입증해야 하며 이는 법정에서 가려질 문제다. 현재로서는 사건 경위가 법원 기록과 경찰 발표에 근거한다.
일반 사용자 입장에서 지금 분명한 것은, 클로드에 쓴 내용이 사용자와 모델 사이에만 머무르지는 않는다는 점이다. 설정에서 "대화를 모델 개선에 활용"을 끄는 것은 학습 데이터를 통제하는 것으로, 안전 검토와는 별개의 체계다.
참고 출처: Tom's Hardware, The Next Web, CocoLoop, TechRepublic; Anthropic의 개인정보 보호정책과 정부 요청 정책의 공개 조항을 확인했고, 리 카운티 보안관 사무실의 발표를 기소 조항 및 양형 상한과 대조해 확인했다.