익명 처리된 원고 제인 도(Jane Doe)가 8월 27일 xAI를 상대로 예비 집단소송을 제기했다. 소장은 xAI가 그록(Grok) 시리즈 모델을 학습시키는 과정에서 실제 아동 성적 학대물과 이와 유사한 AI 생성 콘텐츠를 포함한 불법 이미지를 걸러내지 못했다고 주장한다. 관련 주장은 아직 법원의 판단을 받지 않았다. Ars Technica에 따르면 X 측은 논평 요청에 응하지 않았다.
원고 측이 제시한 사실관계는 대략 이렇다. 그는 2000년대 초 미취학 아동 시절 학대를 당했고, 관련 이미지는 이후 20년 넘게 유포되며 미국 실종·착취 아동 센터(NCMEC)의 해시 데이터베이스에 등록됐다. 이후 캐나다 아동보호센터가 xAI 플랫폼에서 그를 묘사한 AI 생성 자료를 확인했다. 소장은 이를 근거로, 해시 데이터베이스에 이미 등록돼 있던 이미지가 xAI의 학습 데이터셋에 포함됐다고 주장한다.
쟁점은 특정 데이터가 아니라 약관 자체
이 소장에서 가장 파괴력 있는 대목은 특정 데이터셋의 출처를 추적하는 것이 아니라, 이용약관 그 자체를 정면으로 겨냥한다는 점이다. 소장이 인용한 한 대목은 다음과 같다.
"Because Grok's terms treat public X posts and Grok's own outputs as training data by default, publicly posting an image does not just expose it to viewers..."
(그록의 약관은 X의 공개 게시물과 그록 자체의 출력물을 기본값으로 학습 데이터로 취급하기 때문에, 이미지를 공개적으로 게시하는 행위는 단순히 그것이 열람자에게 노출되는 데서 그치지 않는다……)
이 논리를 밀고 나가, 소장은 그록이 자신이 생성한 위반 출력물을 저장하고 이를 이후 학습에 사용한다고 추가로 주장한다. 원고 측이 그리는 그림은 하나의 폐쇄 루프다. 위반 콘텐츠가 생성되고, 저장되고, 다시 모델에 투입되는 구조다. 동시에 소장은 기본 설정 자체의 문제도 지적한다. xAI가 아동 성적 학대물, 비동의 사적 이미지, NSFW 콘텐츠를 기본값으로 배제하지 않았다는 주장이다.
청구 사항은 세 가지다. 피해자 전체에 대한 손해배상, 그록이 생성한 관련 자료의 폐기, 그록의 성적 콘텐츠 생성을 금지하는 명령. 두 번째와 세 번째 청구는 금지명령 성격을 띤다. 만약 인용된다면 그 영향은 장부가 아니라 제품 자체에 미치게 된다.
해시 데이터베이스라는 방어선이 뚫린 이유
NCMEC 해시 데이터베이스는 이 업계에서 가장 기본적인 차단 장치 중 하나다. 원리는 단순하다. 이미 알려진 불법 이미지를 해시값으로 변환해 데이터베이스에 저장하고, 플랫폼이 업로드된 콘텐츠를 이와 대조해 일치하면 차단한다. 이미지 호스팅과 소셜 플랫폼에서 10년 넘게 운용돼 온, 검증되고 비용도 낮은 방식이다.
이 장치가 학습 데이터 단계에서 뚫린 이유도 어렵지 않게 이해할 수 있다. 해시 대조가 걸러내는 것은 '이 이미지가 데이터베이스 속 이미지와 완전히 동일하다'는 경우다. 이미지가 잘리거나 압축되거나 변환되거나, 혹은 모델이 구도가 비슷한 새 이미지로 재생성하는 순간 해시값은 더 이상 일치하지 않는다. 소장이 주장하는 AI 생성 자료는 바로 이 사각지대에 놓여 있다. 데이터베이스 속 이미지의 복제본이 아니기 때문에, 대조 로직상으로는 완전히 새로운 이미지로 취급된다.
이는 책임을 데이터 정제와 출력 단계 필터링, 두 지점으로 되돌린다. 크롤링으로 수집한 학습 데이터의 규모 자체가 워낙 커서 사람이 일일이 검수하는 것은 불가능하고, 결국 분류기에 의존할 수밖에 없다. 게다가 출력 단계에서 생성 결과를 기본값으로 다시 학습에 회수한다면, 분류기가 놓치는 비율은 시간이 지날수록 누적된다.
업계 전체를 향한 현실적 압박
올해의 규제 흐름 속에 놓고 보면, 학습 데이터의 적법성 문제는 저작권 이슈에서 콘텐츠 컴플라이언스 이슈로 확장되고 있다. 그동안 학습 데이터를 둘러싼 소송은 주로 작가와 언론사가 제기한 저작권 침해가 주된 전장이었고, 손해배상이 핵심 청구였다. 이번 유형의 소송은 청구 구조 자체가 다르다. 요구하는 것은 폐기와 금지명령이다.
동종 업계에 대한 현실적 압박도 여기서 비롯된다. '이용자가 공개적으로 게시한 콘텐츠는 기본값으로 학습에 사용할 수 있다'는 조항은 업계에서 거의 표준적인 문구이며, 각 플랫폼의 이용약관에서도 비슷한 표현을 찾을 수 있다. 만약 법원이 이런 유형의 소송에서 기본값 조항만으로는 컴플라이언스 항변이 되지 않는다고 판단한다면, 조항을 다시 써야 하는 곳은 xAI 하나로 끝나지 않는다. '공개되면 학습에 쓸 수 있다'는 업계 전반의 기본 설정 자체가 다시 도마 위에 오르게 된다.
소송은 이제 막 제기됐고, 본격적인 심리까지는 아직 갈 길이 멀다. 예비 집단소송이 실제로 집단 인증을 받을 수 있을지 자체도 하나의 관문이다. 분명한 것은 학습 데이터의 입구와 출구, 즉 무엇을 넣고 무엇을 다시 회수하는지가 공학적 문제에서 법률적 문제로 옮겨가고 있다는 점이다.
참고 출처: Ars Technica, CocoLoop, 캐나다 아동보호센터 및 NCMEC 공개 자료를 토대로 소송의 성격, 세 가지 청구 내용, 피고 측 대응 상태를 확인함.