중국 국가인터넷정보판공실(망신반)이 사용자와 대화하고, 함께하며, '공감'까지 보여주는 AI 서비스를 전문적으로 규제하는 초안을 발표했습니다. 정식 명칭은 '인형 상호작용 인공지능 서비스 잠정 관리 조치(의견 수렴 초안)'이며, 2026년 4월 3일 공개돼 공개 의견 수렴 중입니다.
'인형 상호작용 AI'란 무엇인가
규제 적용 범위는 예상보다 넓습니다. '인간의 성격 특성, 사고 방식, 의사소통 스타일을 모방'하고 문자, 이미지, 음성, 영상 등을 통해 사용자와 감정적 상호작용을 하는 모든 서비스가 해당됩니다.
다시 말해, AI 채팅 컴패니언, 가상 연인, 감정 상담 봇, AI 고객센터 등 사용자가 '이게 정말 나를 이해하는 것 같다'고 느끼는 서비스는 대부분 규제 대상이 될 가능성이 높습니다.
구체적인 규제 내용
2시간마다 강제 휴식
사용자가 연속 2시간 서비스를 이용하면 시스템이 휴식을 알리는 알림을 표시해야 합니다. 이는 게임 중독 방지 시스템과 동일한 논리입니다. 실제로 AI 컴패니언을 매일 감정 쓰레기통처럼 사용하는 사람들이 있다는 점을 고려하면 놀라운 규정은 아닙니다.
친족 사칭 금지
초안은 AI 서비스가 '사용자의 근친을 모방'하는 것을 명시적으로 금지합니다. 이는 매우 정확한 조치입니다. 이미 시장에는 오디오를 업로드해 AI가 고인 가족의 목소리를 흉내내거나 파트너 역할을 하게 하는 제품이 존재합니다. 이러한 행위는 중국 시장에서 직접 차단됩니다.
'감정 함정' 금지
초안은 '감정 함정'이라는 용어를 사용합니다. 감정을 조작해 사용자 행동에 영향을 미치거나 소비를 유도하는 서비스를 금지합니다. 이는 '의도적으로 사용자를 의존하게 만든 후 유료 콘텐츠를 판매하는' 비즈니스 모델을 겨냥한 것입니다.
AI와 대화 중임을 명확히 고지
사용자가 실제 사람과 대화하고 있다고 오해해서는 안 됩니다. 이는 현재 대부분 AI 기업의 관행과 일치하지만, 이제는 법적 요구사항이 되었습니다.
감정 이상 시 개입 의무
초안은 서비스 제공자에게 사용자 심리 상태 식별 시스템 구축을 의무화합니다. 사용자가 극단적인 감정이나 의존 징후를 보이면 서비스가 적극적으로 개입해야 합니다. 자해나 자살 위험이 있는 경우 실제 상담원으로 전환해야 합니다.
미성년자와 노인을 위한 추가 보호
미성년자 모드는 필수입니다. 보호자 동의, 전용 콘텐츠 필터링, 비상 연락처 체계가 필요합니다. 노인 보호와 관련해서는 실제 인간 서비스 담당자에게 연락하는 것을 방해하는 장벽을 설치해서는 안 됩니다.
규제 심사 대상 기준
등록 사용자 100만 명 초과 또는 월간 활성 사용자 10만 명 초과 서비스는 성급 망신 부서에 안전 평가 보고서를 제출해야 합니다. 즉, 제품이 일정 규모에 도달하면 규제 대상이 됩니다.
초안 평가
초안은 아직 의견 수렴 단계이며 최종 버전은 조정될 수 있습니다. 그러나 방향성은 분명합니다.
중국 규제 당국은 AI 컴패니언 제품의 감정 조작 위험을 명확히 인지하고 있으며, 문제가 폭발한 후에 행동에 나설 의사가 없습니다.
2시간 강제 휴식 규칙은 게임 중독 방지와 직접적으로 유사합니다. 당국이 AI 컴패니언의 중독 가능성을 온라인 게임과 동일한 위험 수준으로 간주하고 있음을 보여줍니다.
근친 모방 금지는 더 깊은 논리를 드러냅니다. AI는 실제 인간 관계의 자리를 차지해서는 안 된다는 것입니다. 이는 기술적 문제가 아니라 가치 판단입니다.
논란은 분명히 있을 것입니다. ChinaLawTranslate의 분석에 따르면, "위기 대화를 갑자기 인간 상담원에게 전환하라"는 규정 자체가 역효과를 낼 수 있다고 지적합니다. 무너져 내리는 사용자가 갑자기 낯선 상담원에게 연결되는 것이 반드시 좋은 경험은 아닐 수 있습니다. 사용자 프로파일링 및 심리적 위험 식별 알고리즘의 세부 사항도 전혀 명시되지 않아 실제 집행이 상당히 어려울 것입니다.
그럼에도 불구하고, 이는 전 세계적으로 AI 컴패니언 및 감정 AI에 대한 전문 입법의 가장 이른 사례 중 하나입니다. 다른 국가들은 이 문제에 대해 아직 논의 단계에 있지만, 중국은 이미 초안을 작성하고 있습니다.
출처: CocoLoop, China Issues Draft Rules on Interactive AI Services(Mayer Brown); The Friends We've Made: An Initial Breakdown of Draft Rules for Human-like AI(ChinaLawTranslate); China drafts new rules for AI 'humans' and children's addictive tech(CGTN)