Anthropic 경제 연구팀은 9월 24일 'Project Swap'이라는 사내 실험 결과를 공개했다. 직원 201명이 각자 실물 책 한 권을 가져와 먼저 Claude와 약 5분간 대화하며 자신이 좋아하는 책 취향을 설명했다. 이후 Claude가 구동하는 에이전트들이 디지털 시장에서 서로 협상해 책을 교환했고, 교환으로 얻은 책은 실제 소유자에게 전달됐다.
참가자는 샌프란시스코, 뉴욕, 런던, 시애틀, 워싱턴 D.C., 더블린 등 6개 사무소에 분포했으며, 샌프란시스코가 115명, 뉴욕이 57명이었다. 시장은 첫 회차와 반복 실험을 합쳐 총 205라운드 진행됐다.
시장은 어떻게 설계됐나
거래 방식은 탈중앙화된 '자유 거래' 모델로, 에이전트는 1대1 교환은 물론 여러 참가자를 묶은 순환 거래도 구성할 수 있었다. 성사된 모든 거래 내역은 참가자와 다른 에이전트에게 공개됐다. 연구팀은 에이전트에 무작위로 두 가지 지침 중 하나를 부여했다. 하나는 오직 자신의 주인의 이익만 추구하는 것이고, 다른 하나는 협상 중 다른 참가자의 이익도 함께 고려하는 것이다.
비교 기준으로는 두 가지를 사용했다. 하나는 효용 극대화에 기반한 최적 배분이고, 다른 하나는 시장 설계에서 흔히 쓰이는 '최상위 거래 순환'(Top Trading Cycles) 규칙이다.
막힌 지점은 '상대를 이해하는 것'
5분간의 대화 후 Claude는 각 참가자를 위해 모든 책의 순위를 매겼다. 이 순위를 본인이 직접 매긴 순위와 1대1로 비교한 결과 일치율은 61%였다. 참고로 무작위 추측은 50%, 인기도 순위는 약 53%, 협업 필터링은 약 55%, 참가자의 친구가 추측한 경우는 약 57%였다.
문제는 그 다음 단계에서 드러났다. 참가자가 실제로 받은 책을 본인 기준으로 채점하면 평균 0.55점으로, 책 10권 중 대략 5위에 해당하는 수준에 그쳤다. 이론상 최적 배분이라면 0.89점을 달성할 수 있다. 연구팀이 이 격차를 분해한 결과, 약 85%는 Claude가 선호를 정확히 파악하지 못한 데서, 나머지 약 15%만이 에이전트의 협상 효율에서 비롯된 것으로 나타났다.
the market fell short mostly because of the information agents lacked about their participants, rather than because of how they traded
(시장이 최적에 미치지 못한 주된 이유는 에이전트의 협상 방식이 아니라 참가자에 대한 정보 부족 때문이라는 의미다.)
또 다른 수치도 이를 뒷받침한다. 참가자가 입력한 텍스트 양이 두 배로 늘어나면 순위 정확도는 약 4%포인트 높아졌다. 대화를 많이 할수록 에이전트가 상대를 더 잘 이해하게 되는 셈이다.
지침보다 중요한 건 모델 크기
Claude 자신이 매긴 순위를 기준으로 거래 효율을 보면 Haiku 4.5는 0.75, Sonnet 4.5는 0.80, Opus 4.8은 0.88, Fable 5는 0.86이었고, 이 기준에서 이론상 최적치는 0.95였다. Haiku에서 Opus로 바꾸면 효율이 0.12 올라간 반면, '자기 이익만 추구'와 '타인도 배려'라는 두 지침 사이의 차이는 0.02에 불과했다.
연구팀은 능력이 다른 에이전트들이 같은 시장에 섞여 있을 때 더 약한 모델이 구동하는 에이전트의 성과가 뚜렷이 떨어진다는 점도 언급했다. 에이전트는 협상 중 정보 공개에도 신중한 편이었다. 주인이 가장 원하는 책을 언급한 에이전트는 78%에서 96%(가장 낮은 쪽은 Fable, 가장 높은 쪽은 Sonnet)였고, 1순위에 대해 거짓말을 한 비율은 약 1%, 3권 이상의 순위를 기꺼이 공개한 에이전트는 10%에 그쳤다.
매점 운영에서 책 교환 대행으로
Anthropic이 그동안 Claude를 상거래 현장에 투입해온 일련의 실험을 이어서 보면 초점이 달라지고 있음을 알 수 있다. 2025년 'Project Vend'에서는 Claude가 사무실 매점을 단독으로 운영했는데, 가격을 일관성 없이 책정하거나 직원이 조르면 할인을 해주는 등 주로 경영 판단상의 문제가 드러났다. 이번 책 교환 실험은 에이전트를 다자간 시장에 투입했고, 검증의 초점은 '누구를 위해 일하고 그 사람을 얼마나 이해하는가'로 옮겨갔다.
이번 결과는 이런 유형의 제품에 경종을 울리기도 한다. 에이전트 간 협상은 더 이상 약점이 아니며, 가장 어려운 부분은 여전히 앞단의 선호 수집이다. 5분간의 대화는 협업 필터링을 능가할 수 있지만, '일을 최선으로 처리하는' 수준과는 여전히 거리가 있다.
예산의 30%까지는 맡길 수 있다는 응답
3주 후 진행된 후속 조사에서 참가자들은 교환으로 받은 책에 평균 7.2점(10점 만점)을 매겼고, 연간 도서 구입 예산의 약 30%를 에이전트에게 맡길 의향이 있다고 답했다. 신뢰하는 친구에게 맡긴다면 그 비율은 40%였다. Claude가 자신에 대한 중요한 정보를 놓치지 않았다고 느낀 참가자는 예산의 34%를 맡기겠다고 답한 반면, 놓친 부분이 있다고 느낀 참가자는 23%에 그쳤다.
이 수치들에는 뚜렷한 표본상의 한계가 있다. 참가자 전원이 Anthropic 직원이라 Claude에 대한 신뢰도가 원래 높았다. 실험 참가에 금전적 인센티브가 없어 순위를 매길 때 진지하지 않았을 수 있다. 테스트된 것은 예의 바르고 협조적인 방향으로 조정된 특정 버전의 Claude뿐이었다. 시장 운영 시간, 참가자 수, 등록 방식 같은 변수들도 바뀌지 않았다. 최종 설문 응답률은 59%에 그쳤고, 만족도와 예산 위임 비율 모두 이 응답자들에게서 나온 것이라 일반 소비자에게 적용했을 때 어떤 결과가 나올지는 아직 데이터가 없다.
참고 출처: Anthropic 리서치 블로그 'Project Swap' 보고서, CocoLoop(참가자 수, 순위 일치율, 배분 점수, 모델별 거래 효율, 예산 위임 비율을 검증).