중국 국가인터넷정보판공실(CAC)이 'AI 애플리케이션 남용 정비' 특별 캠페인 2단계 추진 상황을 발표했다. 이번 단계에서는 위법·위반 정보 561만여 건을 삭제하고, 계정 4만9000여 개를 처리했으며, 위반 웹사이트·애플리케이션 등 2400여 건에 조치를 취했다. 각 플랫폼이 발표한 관리 공고는 총 46회에 달했다. 베이징, 상하이, 저장, 광둥 등 각지의 인터넷 관리 부서가 실제 단속을 담당했다.
2단계가 겨냥한 문제는 1단계와 완전히 달랐다. AI를 이용한 허위 정보 제작·유포, 폭력적이거나 저속한 콘텐츠 확산, 타인에 대한 사칭·모방, 미성년자 권익 침해, 이른바 댓글부대(온라인 여론 조작) 활동, 그리고 AI 제품 자체가 내놓는 위반 콘텐츠였다.
제품 단속에서 계정 정리로
이번 특별 캠페인은 올해 4월 말 시작되어 4개월 동안 두 단계에 걸쳐 진행되었으며, 14개 유형의 두드러진 문제에 초점을 맞췄다. 두 단계의 성과를 나란히 놓고 보면 무게중심의 이동이 한눈에 드러난다.
1단계 발표에 따르면 위반 AI 제품 1만4000여 개에 조치를 취했고, 위반 AI 제품 1300여 개를 퇴출했으며, 위반 오픈소스 데이터셋 9개를 삭제했다. 겨냥한 것은 기술적 근원이었다. 대형 모델이 규정대로 등록되었는지, 플랫폼의 보안 심사·필터링 능력이 충분한지, 학습 데이터가 오염되지 않았는지, 생성·합성 콘텐츠 표시 요건이 이행되고 있는지가 대상이었다. 단속 대상은 제품 그 자체였다.
2단계에서는 제품 조치 건수가 2400개로 줄어든 반면, 계정 조치 건수는 2만6000개에서 4만9000개로 거의 두 배가 되었다. 삭제된 정보 건수는 두 단계에서 비슷한 수준(600만여 건 대 561만여 건)을 유지했지만, 같은 양의 콘텐츠 뒤에 걸린 계정 수는 거의 두 배로 늘어난 셈이다. 대략 계산하면 1단계에서는 조치된 계정 1개당 평균 약 230건의 위반 정보가 연결되어 있었던 데 비해, 2단계에서는 약 115건으로 낮아졌다. 계정 하나당 생산량은 줄고, 관여한 계정 수는 늘어난 것이다. 이는 도구가 대중화된 이후 전형적으로 나타나는 양상이다. AI 생성의 진입 장벽이 낮아지면 계정을 대량으로 만들어 콘텐츠를 채우는 비용도 함께 낮아지고, 단속의 촘촘함도 그만큼 세밀해질 수밖에 없다.
플랫폼이 내놓은 답안지
콘텐츠 플랫폼 쪽에서는 더우인(Douyin), 콰이쇼우(Kuaishou), 웨이보(Weibo), 텐센트, 바이두, 빌리빌리, 샤오훙수(RED), 즈후(Zhihu), 더우반(Douban), 타오바오가 인식 능력 강화에 집중했다. 멀티모달 인식 모델을 고도화하고, 얼굴·음성 지문·위반 샘플 데이터베이스를 동적으로 확충했으며, 얼굴 인식 기반 실시간 관리 시스템을 도입했다. 얼굴과 음성 지문이 유독 따로 언급된 것은 이번 단계에서 가장 다루기 까다로운 문제, 즉 타인에 대한 사칭·모방, 흔히 말하는 딥페이크 얼굴 합성과 음성 모방을 겨냥한 것이다.
AI 제품 쪽에서는 더우바오(Doubao), 위안바오(Yuanbao), Qwen, Ernie Bot이 지목되어 원시 학습 데이터에 대한 콘텐츠 심의를 엄격히 하고, 위반 콘텐츠 출력을 엄격히 제한하며, AI 생성·합성 콘텐츠 표시 요건 이행을 강화하라는 요구를 받았다. 규제 당국은 생성 단계와 배포 단계를 함께 평가 대상에 포함시켰다. 모델이 위반 콘텐츠를 만들지 않는 것이 첫 번째 관문이고, 플랫폼이 이를 걸러낼 수 있는 것이 두 번째 관문이며, 두 관문 모두 추적 가능한 기록을 남겨야 한다.
배포 사슬의 최상단도 예외는 아니었다. 주요 스마트폰 제조사들의 앱스토어는 엄격한 개발자 진입 기준과 등록 요건을 마련하고, 이미 등록된 앱을 표본 조사·재검증하며, 위반 앱을 등록 단계에서 걸러내라는 요구를 받았다. 개발자 등록, 앱 등록, 콘텐츠 생성, 콘텐츠 배포, 계정 운영까지 다섯 단계 모두에 이번 라운드는 대응하는 조치 기준을 마련했다.
규제 대응의 무게중심은 어디로
중국 내에서 AI 애플리케이션을 만드는 팀에게 두 단계의 차이가 실무에 반영되면, 결국 컴플라이언스 비용을 쓰는 항목 자체가 바뀐다는 뜻이다.
1단계에서 통과해야 했던 것은 진입 관문이었다. 모델 등록, 학습 데이터 출처, 콘텐츠 표시는 한 번 투자하면 한동안 유지되는 성격의 것이었다. 2단계가 시험하는 것은 운영 관문이다. 제품이 출시된 이후 누가 쓰는지, 무엇을 생성하는지, 대량 계정 조작에 악용되지는 않는지가 모두 플랫폼의 책임으로 돌아간다. 46회의 관리 공고와 4만9000여 개에 달하는 처리 계정 수는 이 관문이 서류 한 장으로 통과되는 것이 아니라, 계속 돌아가는 심사 시스템과 조치 파이프라인으로 뒷받침돼야 함을 보여준다.
특히 눈여겨봐야 할 것은 콘텐츠 표시 항목이다. 1단계에서는 '했는지 안 했는지'를 따지는 컴플라이언스 항목이었지만, 2단계에서는 책임 추적의 출발점으로 바뀌었다. 신고된 허위 정보가 있을 때 표시가 완비돼 있으면 생성 단계까지 거슬러 추적할 수 있지만, 표시가 빠져 있으면 사슬 전체의 책임을 플랫폼이 스스로 해명해야 한다. 실질적인 투자는 심사 시스템과 추적 능력 쪽으로 쏠리게 되며, 더 이상 등록 서류 자체에 머무르지 않는다.
참고 출처: 중앙인터넷정보판공실 발표, 신화통신, CocoLoop, 중국신문사(중신왕). 두 단계의 삭제 정보 건수, 처리 계정 수, 위반 제품 조치 건수는 모두 공식 발표 표현에 따라 항목별로 대조했으며, 계정당 평균치는 공개된 수치로 개략 계산한 것이다.