8월 26일 Anthropic은 한 파일럿 프로그램의 결과를 공개했다. Claude의 실제 사용 데이터를 외부 3개 기관에 개방해 독립적인 연구를 진행하게 하고, 세 프로젝트의 종합 결론을 함께 공개한 것이다.
참여 기관은 스탠퍼드 대학교 사회·언어 기술 연구소, 옥스퍼드 대학교 인간 정보처리 연구소, 그리고 비영리 평가 기관 METR이다. 분석 대상은 2026년 4월부터 5월 사이 Claude.ai와 Claude Code에서 수집된 약 25만 건의 대화다.
연구진은 원본 대화를 한 번도 보지 못했다
절차상 연구진은 원본 대화 내용에 직접 접근한 적이 없다. Anthropic 내부 직원이 쓰는 것과 동일한 Insights 도구를 통해 분석을 의뢰했고, 돌려받은 것은 집계된 결과물뿐이었다. 이 결과물조차 법무·프라이버시 검토를 통과해야만 반출할 수 있었다. 계약상 검토 범위는 사용자 프라이버시, 정책 위반, 기밀 정보, 연구 정확성 네 가지로 한정됐으며 "결론이 회사에 유리한지 여부"는 포함되지 않았다.
프라이버시 측면에서는 별도로 임페리얼 칼리지 런던이 제3자 감사를 진행했다. 세 프로젝트의 집계 데이터는 Anthropic/enabling-independent-research라는 이름으로 Hugging Face Datasets에 이미 공개돼 있다.
AI 기업이 사용 실태 분석 결과를 발표하는 일 자체는 새롭지 않다. OpenAI와 Anthropic 모두 이미 여러 차례 진행한 바 있다. 이번에 다른 점은 분석의 주도권을 누가 쥐고 있느냐다. 기업이 직접 작성하는 보고서는 질문 설계, 표본 추출 방식, 지표 정의가 모두 한쪽 손에 달려 있어 외부는 믿거나 의심하는 것 외엔 선택지가 없다. 도구와 데이터 자체를 넘기면 적어도 제3자가 기업 스스로는 던지지 않을 질문을 던질 여지가 생긴다.
통념과 어긋나는 세 가지 결론
첫 번째는 업무의 비중에 관한 것이다. 기존 연구는 사람들이 책임이 가볍고 위험이 낮은 잡무를 주로 AI에 맡긴다고 보는 경향이 있었다. 그러나 이번 데이터는 정반대를 보여준다. 절반이 넘는 대화가 실제 결과를 동반하는 업무 위임과 관련돼 있었다. 연구진은 이를 "People bring high-stakes work to AI more than expected(사람들은 예상보다 더 많이 고위험 업무를 AI에 맡긴다)"고 표현했다.
두 번째는 통제권에 관한 것이다. 대화의 4분의 3에서는 사람이 지휘하는 위치에 있었고 모델은 보조하는 위치에 머물렀다. 모델이 단독으로 업무 전체를 끝까지 수행하는 경우는 아니었다. 이는 "에이전트가 업무를 접수하고 있다"는 대중적 서사와 뚜렷이 어긋난다.
세 번째는 마찰에 관한 것이다. 연구진은 사람과 AI의 협업 과정에서 막히는 상황이 흔하게 발생하지만, 이런 마찰이 대체로 생산적이라는 점을 발견했다. 모델에게 되돌려받은 사용자는 자신의 요구 표현 방식을 다시 정리하는 경향을 보였다.
한 가지 수치도 눈에 띈다. 정책 위반에 해당하는 대화 비중은 전체의 5% 미만이었다. 다만 이 수치의 판정 기준은 여전히 Anthropic 한 곳이 정한 것이며, 외부 연구진이 받아본 것은 판정이 끝난 이후의 결과라는 점에서 논쟁의 여지가 남는다.
실무에 주는 의미
기업의 AI 도입을 추진하는 팀들이 늘 마주치는 질문은 "실제로 어떤 업무까지 모델에 맡길 수 있는가"다. 지금까지 이를 판단할 공개 데이터는 대체로 기업 자체 마케팅 자료에 의존해 왔고, 표본과 기준, 동기 모두 불투명했다. 이번 데이터셋은 공개 저장소에 올라와 있으며, 집계 단위는 거친 편이지만 적어도 영업 부서가 작성하지 않은 기준점을 제공한다.
다만 유의할 점이 있다. 25만 건의 대화는 Claude.ai와 Claude Code 사용자에게서 수집된 것으로, 개발자와 영어권 사용자 비중이 높은 표본이다. 이 결론을 다른 시장이나 비기술 업무 현장에 그대로 적용하면 왜곡될 소지가 있다. 결론 그 자체보다는 대조 자료로 활용하는 편이 낫다.
파일럿 이후 Anthropic은 이 체계를 상시화할지 여부를 밝히지 않았고, 다음에 참여할 기관도 공개하지 않았다. 눈여겨볼 대목은 METR의 역할이다. 평소 모델 능력 평가를 전문으로 하던 기관이 이번엔 사용 실태 쪽 데이터를 다뤘다. 같은 기관이 능력과 사용 실태 양쪽을 함께 들여다본다는 것은 외부 감시 체계 측면에서 작지 않은 위치 변화다.
참고 출처: Anthropic 리서치 블로그, CocoLoop, Hugging Face Datasets. 표본 규모, 참여 기관, 프라이버시 감사 체계는 공식 발표 내용을 기준으로 확인했다.