스탠퍼드 RegLab은 11월 19일 미국 4개 카운티 법원에 제출된 소장에서 AI 보조 작성의 흔적을 집계한 연구를 공개했다. 2026년 채권 추심이 아닌 소장 가운데 AI 신호가 잡힌 비율은 캘리포니아주 산타클라라 카운티가 38%, 샌프란시스코 카운티가 36%였다. 오클라호마주에서는 털사 카운티와 오클라호마 카운티가 각각 17%, 16%였다.
산타클라라 카운티에서 이 지표는 2022년만 해도 0에 가까웠다. 가장 빠르게 늘어난 쪽은 변호사 없이 직접 소송을 낸 당사자로, 2024년 19%에서 2026년 72%로 올랐다. 변호사가 제출한 문서도 5%에서 34%로 늘었다. 사건 유형별로는 캘리포니아의 고용 분쟁과 상사 분쟁에서 비율이 가장 높았다. 일부 법원에서 전체 소장의 절반 가까이를 차지하는 채권 추심 소장에서는 AI 흔적이 거의 보이지 않았다. AI 신호는 사실관계 서술과 청구 원인 부분에 주로 나타났다.
환각 사례를 정답지로 삼다
어려운 점은 이를 어떻게 입증하느냐다. 연구팀은 Damien Charlotin이 관리하는 데이터베이스를 토대로 삼았다. 이 데이터베이스는 2025년 4월부터 판사가 당사자의 허위 인용을 지적하거나 징계한 사례를 수록해 왔으며, 미국에서만 1,500건 넘게 기록돼 있다. 이 문서들은 오류가 뚜렷해 AI 사용을 확정할 수 있으므로 기준값으로 쓰기에 적합하다.
연구진은 이를 신중하게 고른 대조 표본과 합쳐 새 벤치마크 PhantomDocket을 만들고, ScoreMix라는 보정 방법을 제안했다. ChatGPT 등장 이전의 문서보다 이런 환각 문서에 가까운 소장이 얼마나 되는지 추정하기 위한 방법이다. 기존 탐지기인 Pangram과 EditLens는 그대로 쓰면 성능이 충분하지 않았다. 아예 탐지하지 못하거나 상당한 조정이 필요했다. Pangram Labs는 연구에 접근 권한을 제공했으며, 연구팀은 이 회사가 연구 설계와 분석에는 관여하지 않았다고 밝혔다.
"AI detection is most reliable for estimating population prevalence, not pinpointing which specific filings used AI."
(AI 탐지는 전체 비율을 추정하는 데 가장 믿을 만하며, 특정 문서가 AI를 썼다고 특정하는 용도로는 그렇지 않다.)
법률 문서는 쓰는 어휘가 좁고 상투적 표현이 많아 탐지기가 잡을 신호가 원래 적다. 상용 탐지기의 학습 데이터에 법률 텍스트가 들어 있다는 보장도 없다. 최고 수준의 탐지기조차 오탐률과 미탐률이 낮지 않다. 연구 발표문에는 PhantomDocket의 표본 규모와 탐지기 정확도 표가 공개되지 않았으며, 이는 논문 전문을 봐야 한다. 연구팀의 정책 제언은 법원이 AI 사용 공개 제도를 도입해 향후 통계와 책임 추궁의 근거를 마련해야 한다는 것이다.
중국 법원에 대입해 보면
중국에서 대응하는 문서는 최고인민법원이 2022년 12월 발표한 「인공지능 사법 응용의 규범화 및 강화에 관한 의견」이다. 주로 법원 스스로 AI로 사건 처리를 보조할 때의 규칙을 다루며, AI가 판사를 대신해 재판해서는 안 된다고 명시한다. 당사자와 변호사가 제출하는 소장과 대리 의견서에 생성형 AI를 썼을 때 이를 밝혀야 하는지는 공개된 조문에 별도 규정이 없다.
미국에는 변호사에게 생성형 AI 사용 여부를 서면으로 밝히고 인용을 직접 확인하라고 요구하는 연방 판사가 이미 있다. 스탠퍼드 연구가 주는 경고는, 공개 의무가 없는 곳에서는 외부에서 탐지기로 전체 비율을 추정할 수밖에 없고 그 오차도 작지 않다는 점이다. 대규모 언어 모델로 소장을 작성하는 당사자와 법무법인이 늘고 있는 중국에서도 허위 인용의 위험은 같다. 판사에게 적발된 뒤의 결과는 당분간 각 지역 법원의 개별 사건 처리에 달려 있다.
참고 출처: 스탠퍼드 HAI, 스탠퍼드 RegLab 논문, CocoLoop, 중국 최고인민법원. 확인 항목: 4개 카운티 법원의 AI 신호 비율, 본인 소송과 변호사 제출 문서의 변화, 환각 사례 데이터베이스 규모, 탐지 결과의 범위.