사건의 타임라인은 다음과 같습니다.
2025년 6월: 오픈AI의 안전 팀이 챗GPT 계정 하나를 차단했습니다. 해당 계정의 주인은 18세 캐나다인 제시 반 루트셀라르로, 그는 총기로 사람을 해치는 장면을 반복적으로 묘사하고 있었습니다. 오픈AI 내부 팀은 이 계정과 관련해 경찰에 연락할지 논의하기 위해 여러 차례 회의를 열었습니다. 결국 그들은 연락하지 않았습니다.
2026년 봄: 반 루트셀라르가 캐나다 브리티시컬럼비아주 텀블러리지라는 작은 마을에서 8명을 총으로 쏴 살해했습니다.
사건 발생 후, 오픈AI는 캐나다 법 집행 기관에 먼저 연락했습니다.
4월 25일(금요일): 샘 알트먼이 공개 사과문을 발표했습니다.
알트먼의 원문
사과문에는 쉽게 넘어가기 어려운 두 문장이 있습니다:
"지난 6월에 차단된 계정에 대해 법 집행 기관에 신고하지 않은 점을 깊이 사과드립니다."
"말로는 결코 충분하지 않다는 것을 알지만, 그 피해와 돌이킬 수 없는 손실을 인정하기 위해서는 사과가 필요하다고 믿습니다."
데이비드 에비 브리티시컬럼비아주 주지사의 반응은 직설적이었습니다: "사과는 필요하지만, 그 가족들이 겪은 참담함에 비하면 턱없이 부족합니다."
내부에서 실제로 무슨 일이 있었나
현재까지 공개된 정보에 따르면: 해당 계정은 2025년 6월 오픈AI의 콘텐츠 심의 시스템에 의해 플래그가 지정되고 차단되었습니다. 직원들은 경찰에 신고할지 논의했습니다. 논의 결과는 신고하지 않는 것이었습니다.
왜 신고하지 않았을까요? 오픈AI는 현재까지 명확한 설명을 제공하지 않았습니다. 하지만 알트먼이 이후 발표한 '개선 조치'를 통해 몇 가지 이유를 추론할 수 있습니다.
새로운 규칙에는 다음 내용이 포함되어 있습니다:
- 더 유연한 신고 기준: 이전 기준이 너무 엄격하여 매우 구체적인 조건이 충족되어야만 신고가 이루어졌음을 시사합니다. 타인을 해치는 장면을 묘사하는 사용자는 이전 기준에서 '구체적인 위협'으로 간주되지 않았을 수 있습니다.
- 캐나다 내 직접 법 집행 기관 연락 창구 설치: 연락 채널조차 구축되지 않았음을 의미합니다. 샌프란시스코에 본사를 둔 기업이 국경을 넘어 경찰에 신고하려고 해도 누구에게 연락해야 할지 몰라 몇 달간 지체될 수 있습니다.
- 인간 검토 우선순위 임계값 하향 조정: 자동 시스템에 의해 플래그가 지정된 사례가 인간 검토로 이관되기 위한 기준이 너무 높았음을 의미합니다.
쉽게 말해, 오픈AI의 콘텐츠 안전 파이프라인은 '계정 차단'을 위해 설계되었지 '경찰 신고'를 위해 설계되지 않았습니다.
계정 차단은 제품 결정입니다. 규정을 위반한 사용자를 내보내면 됩니다. 경찰 신고는 법적 결정입니다. 프라이버시, 국경 간 문제, 책임 소재가 얽혀 의사 결정 비용이 급격히 증가합니다. 제품 엔지니어링 팀이 이 책임을 스스로 떠맡고 싶어하지 않을 것입니다.
하지만 문제는 사용자가 구체적인 폭력 의도를 반복적으로 표현할 때, 그것은 더 이상 제품 결정이 되어서는 안 된다는 점입니다.
오픈AI가 이번이 처음이 아니다
지난해 8월, 캘리포니아주에 사는 16세 소년 아담 레인의 가족이 오픈AI를 고소했습니다. 그들의 아이는 몇 달간 챗GPT와 대화한 후 자살했으며, 대화 기록에는 GPT-4가 구체적인 자살 방법 논의에 여러 차례 응답한 내용이 포함되어 있었습니다. 오픈AI는 당시 모델에 '보호 장치'가 마련되어 있었다고 주장했습니다.
캘리포니아에서는 60대 남성이 챗GPT와 여러 차례 '강도 높은 대화'를 나눈 후 자살한 사건도 있었습니다. 구글의 제미니에서도 비슷한 사례가 있었는데, 작년에 제미니와 4일간 대화한 남성과 관련된 사건이 있었습니다.
패턴이 나타나고 있습니다: AI 기업의 '콘텐츠 심의'는 일반적으로 콘텐츠 필터링, 사용자 차단, 플랫폼 차원의 조치를 의미합니다. 하지만 시스템이 이미 타인이나 자신을 해칠 구체적인 의도를 표현하는 사용자를 식별했을 때, 플랫폼의 대응 사슬은 '내쫓는 것'에서 멈추고 '신고해야 할 사람에게 신고하는 것'으로 이어지지 않습니다.
이는 근본적으로 책임 소재에 대한 문제입니다. AI 제품은 기본적으로 도구로 간주됩니다. 도구 제조사는 도구의 오용에 대해 책임을 지지 않습니다. 하지만 도구 제조사의 시스템이 이미 오용의 명확한 신호를 '보고' 있으면서도 그 신호를 법 집행 기관에 전달하지 않기로 적극적으로 선택했다면, '도구론'은 더 이상 성립할 수 없습니다.
오픈AI가 앞으로 할 일
사과문에서 알트먼은 몇 가지를 약속했습니다:
- 주요 시장에 법 집행 기관과의 직접 연락 채널 구축 (변호사나 제3자를 거치지 않음)
- 인간 이관 임계값 하향 조정 (반복적이고 구체적인 폭력 묘사는 모두 인간 검토 대기열에 포함)
- 국경 간 신고 절차 표준화 (캐나다, 유럽, 아시아 대상)
- 법 집행 기관과의 접촉 건수와 유형을 정기적으로 공개하는 투명성 보고서 발행
모두 올바른 방향으로 들립니다. 하지만 한 가지 문제가 있습니다: 이러한 조치들은 2025년 6월에 이미 마련되어 있었어야 합니다. 기업 가치 8520억 달러, 연간 매출이 1000억 달러에 육박하는 회사가 국경을 넘는 법 집행 기관 연락을 위한 인력과 프로세스를 확보하지 않았다는 사실은 AI 기업의 '안전 부서'가 내부적으로 그다지 큰 영향력을 발휘하지 못했을 가능성을 시사합니다.
다시 말해, 소위 '우리는 AI 안전을 중시한다'는 말은 구체적인 결정을 내려야 할 때 여전히 '우리가 계속 고속 성장할 수 있을까'라는 질문에 밀리고 있습니다.
내리기 어려운 판단
AI 기업은 사용자를 법 집행 기관에 적극적으로 신고해야 할까요?
이 질문에는 명확한 답이 없습니다. 답이 '그렇다'면 모든 챗GPT 사용자는 자신의 말이 경찰에 신고될 수 있다는 점을 인지해야 합니다. 답이 '아니다'라면 오늘의 8명 사망자는 다시 발생할 것입니다.
오픈AI가 지난 몇 년간 해온 모든 안전 관련 홍보(constitutional classifiers, 레드 팀 테스트, 모델 정렬)는 '모델이 적극적으로 해를 끼치지 않는다'는 것을 목표로 했습니다. 하지만 사용자가 AI를 이용해 해를 끼치는 부분은 진지하게 다루어진 적이 없습니다.
알트먼은 이번에 사과해야만 하는 위치에 몰렸기 때문에 사과했습니다. 다음번에는 어떻게 될까요?
출처: OpenAI CEO apologizes to Tumbler Ridge community (TechCrunch)；CocoLoop、Sam Altman issues apology over OpenAI handling of Tumbler Ridge shooter account (CBC News)；Tumbler Ridge mass shooting timeline (CBC News British Columbia)