퓨리서치센터 데이터랩이 웹페이지 표본 조사 보고서를 공개했다. 2021년 1월부터 2026년 7월까지 커먼크롤 스냅샷 49개에서 각각 영어 페이지 1만 건씩, 총 49만 페이지를 추출해 페이지마다 AI 작성 탐지를 돌렸다. 전체 표본에서는 10%의 페이지가 뚜렷한 AI 관여 흔적을 보인 것으로 판정됐다. 챗GPT 출시 이전의 오래된 페이지를 제외하면 이 비율은 35%까지 뛰어오른다.
10%와 35%, 서로 다른 이야기
이 두 수치는 흔히 섞어서 인용되지만 답하는 질문 자체가 다르다. 10%는 전체 표본 풀을 대상으로 한 수치로, 여기에는 모델이 아직 대규모로 글을 쓸 수 없던 2021~2022년의 기존 페이지가 대거 포함돼 분모가 희석된다. 35%는 2022년 11월 이후 새로 등장한 페이지만을 대상으로 하며, “신규 콘텐츠 중 얼마나 AI의 손을 탔는가”라는 질문에 실제로 답하는 수치는 이쪽이다. 퓨리서치 스스로도 AI가 널리 쓰이기 전 시기에는 탐지 모델의 오탐률이 높다고 밝히고 있어, 2021~2022년 구간의 곡선은 그대로 믿기 어렵다고 덧붙였다.
판정 기준은 0.2
탐지에는 팬그램이 오픈소스로 공개한 editlens_Llama-3.2-3B가 쓰였다. 0에서 1 사이 점수를 출력하며 0은 완전한 사람 작성, 1은 완전한 기계 생성을 뜻한다. 퓨리서치는 0.2를 경계선으로 삼아 이를 넘으면 “의미 있는 AI 관여”로 판정했다. 이 기준은 상당히 느슨한 편이라, 사람이 쓴 글을 모델이 문법만 다듬어 줘도 이 선을 넘길 가능성이 크다. 결국 이 보고서가 측정하는 것은 “AI가 얼마나 썼는가”라기보다 “AI가 얼마나 손댔는가”에 가깝다.
오픈소스 모델의 신뢰도를 검증하기 위해 퓨리서치는 62,370개 페이지를 팬그램의 상용 버전 3.3에도 동시에 돌렸다. 두 결과의 일치율은 96%였지만, 테스트 표본에서 코헨의 카파 계수는 0.61에 그쳐 “중간 수준의 일치”에 해당한다. 개별 페이지의 판정은 증거로 쓸 수 없고, 신뢰할 수 있는 것은 전체적인 추세뿐이라는 설명이다.
대시, 옥스퍼드 콤마, 그리고 ‘delve’
보고서는 문체 관련 지표도 함께 집계했다. 2023년 1월부터 2026년 1월 사이 1만 단어당 대시(em dash) 사용 횟수는 5.79회에서 11.19회로 거의 두 배가 됐다. 옥스퍼드 콤마는 34.04회에서 55.51회로 63% 늘었다. ‘delve’, ‘interplay’, ‘testament’ 같은 단어의 출현 빈도도 두 배 이상으로 뛰었다. 하나의 표현을 먼저 부정한 뒤 다른 표현을 제시하는 이른바 ‘부정형 대구법’ 사용은 0.87회에서 2.36회로 거의 세 배가 됐다.
이 목록은 글 쓰는 사람들에게 반가운 소식이 아니다. 대시와 옥스퍼드 콤마는 원래 영어에서 정당한 구두법 습관일 뿐인데, 모델이 이를 지나치게 자주 쓰면서 이제는 오히려 의심스러운 증거가 됐다. 탐지 도구가 확산될수록 사람 작가는 자신의 글쓰기 습관이 결백하다는 것을 스스로 증명해야 하는 처지에 놓인다.
.com과 .gov, 10배 차이
도메인별로 나눠 보면 2026년 표본에서 .com 페이지 중 약 10%가 AI 흔적을 지녔고, .org는 4.6%, .edu와 .gov는 각각 1% 안팎에 그쳤다. 이런 격차는 각 도메인이 처한 콘텐츠 생산 압박과 대체로 맞물린다. 상업 사이트는 갱신 빈도로 트래픽을 벌어야 하지만, 학술·정부 사이트에는 그런 평가 지표가 없다.
이번 표본은 영어 페이지에 한정됐고, 로그인 벽이나 유료 구독 뒤에 있는 콘텐츠는 포함되지 않았다. 따라서 이는 공개된 영어권 인터넷의 한 단면에 가깝다. 중국어권에서는 아직 같은 방식의 정량 조사가 이뤄진 적이 없지만, 콘텐츠 팜의 산업화 수준을 감안하면 비율은 오히려 더 높을 것으로 추정된다. 더 까다로운 문제는 이런 페이지들이 차세대 모델의 학습 데이터가 되고 있다는 점으로, 판정 기준인 0.2 라인 역시 앞으로 더 올라갈 가능성이 크다.
참고 출처: 퓨리서치센터 데이터랩 보고서 및 방법론 페이지, CocoLoop, 더 인디펜던트, 테크크런치. 49만 건의 표본 규모, 0.2 판정 기준, 도메인별 비율, 1만 단어당 구두점 빈도는 모두 퓨리서치 방법론 페이지 기준을 따랐다.