생성형 AI의 능력이 점점 강력해짐에 따라 한 가지 질문이 더욱 절실해지고 있다. 내가 보고 있는 이 얼굴, 이 글, 이 동영상이 진짜인가, 아니면 AI가 만든 것인가?
기술적 측면과 규제 측면 모두에서 답을 내놓으려는 움직임이 있지만, 진전은 고르지 않다.
연구 측면: 보이지 않는 워터마크
애리조나 주립대학교(ASU) 컴퓨터과학 교수 Yingzhen Yang(양잉전)은 올해 분산형 귀속 기술을 발표했다. 본질적으로 AI 생성 콘텐츠에 정보를 숨기는 방법이다.
이미지에 AI 생성 레이블을 붙이는 대신 AI 모델의 내부 가중치를 직접 수정하는 방식으로 작동한다.
처리 후 모델이 생성하는 모든 이미지는 픽셀 클러스터 내에 고유한 숨겨진 서명을 갖게 된다. 육안으로는 전혀 보이지 않지만 탐지기로는 읽을 수 있다. Yang의 비유는 "눈송이처럼 각 모델이 생성하는 패턴이 고유하다"는 것이다.
이 시스템은 세 가지를 알려준다:
- 이미지가 AI 생성인지 여부
- 어떤 모델이 생성했는지
- (특정 시나리오에서) 어떤 사용자가 요청했는지
이는 딥페이크 추적에 큰 의미를 가진다. 단순한 라벨링이 아닌 추적이 가능해진다.
입법 측면: 애리조나주가 선두
Yang의 연구와 애리조나주의 입법은 거의 동시에 진행되고 있다. 지역 의원들은 AI 도구 제조업체가 제품에 보이지 않는 워터마킹 기술을 내장하도록 요구하는 SB 1786 법안을 추진 중이다.
이 법안은 주 상원을 통과했으며 하원 표결을 기다리고 있다.
EU 법적 마감일: 2026년 8월
더 큰 압력은 EU에서 온다.
EU AI법 제50조에 따라 2026년 8월 공식 발효된다. 이에 따라:
- AI 시스템은 사용자에게 AI와 상호작용하고 있음을 알려야 한다
- 합성 오디오, 비디오, 이미지는 AI 생성으로 표시되어야 한다
- 딥페이크 콘텐츠는 명확하게 표시되어야 한다
위반 시 벌금: 최대 1500만 유로 또는 연간 매출액의 3% 중 더 높은 금액.
EU는 현재 구체적인 시행 규범을 마련 중이며 최종 버전은 2026년 5~6월에 완료될 예정이다. 이 규범은 워터마크, 메타데이터 임베딩, 보이지 않는 마커 등 다층적 조합 방식을 규정할 것이다. EU는 어떤 단일 기술로도 이 문제를 확실히 해결할 수 없다고 보기 때문이다.
인도도 움직인다
인도는 올해 IT 규정을 업데이트하여 합성 미디어에 기본적으로 워터마크, C2PA 매니페스트 또는 이와 동등한 프로토콜을 포함하도록 의무화했다. 주요 플랫폼은 콘텐츠가 AI 생성인지 또는 합법적인 출처가 있는지에 대한 업로더의 신고를 수집해야 한다.
어려운 점
워터마킹 기술 자체에는 근본적인 취약점이 있다. 모델 제공자의 적극적인 협력이 필요하다는 점이다.
오픈소스 모델의 경우 누구나 워터마크 메커니즘이 없는 버전을 배포할 수 있다. 이 허점에 대한 규제상의 좋은 해결책은 현재 존재하지 않는다.
즉, 워터마크는 협력하려는 기업은 통제할 수 있지만 악의적인 행위자는 통제할 수 없다. 이는 워터마크가 쓸모없다는 의미가 아니라 필요조건이지만 충분조건은 아니라는 뜻이다.
콘텐츠 진위성의 최종 해결책은 아마도 단일 기술이 아니라 워터마크 + 출처 메타데이터 + 플랫폼 검증 + 법적 책임의 조합이 될 것이다. C2PA(Content Authenticity Initiative)가 추진하는 방향이 기본적으로 이 개념이다.
출처: CocoLoop, ASU researcher develops invisible watermark system to detect AI deepfakes (KOLD News); EU AI Act: First Draft Code of Practice on Transparency and Watermarking (Cooley LLP); What the EU's New AI Code of Practice Means for Labeling Deepfakes (TechPolicy.Press)