Anthropic 엔지니어 Vivek Nair는 11월 17일 Claude 개발자 블로그에 회고 글을 올렸다. Claude Docs 출시 전 2주 동안 Claude Code 세션 하나가 쉬지 않고 부하 테스트를 돌리고, 문제를 찾고, 코드를 고치게 해 출시 뒤 트래픽을 버텨낸 과정을 다룬 글이다.
Claude Docs는 Anthropic이 9월 16일 내놓은 문서 편집기다. 사용자, 동료, Claude가 같은 문서에서 함께 작업할 수 있고, 채팅 화면부터 Claude Code까지 어떤 Claude 세션이든 같은 문서를 열어 실시간으로 읽고 쓰고 댓글을 달 수 있다. 출시 3주 전까지만 해도 단일 노드에서 돌아가는 개념 증명(PoC) 수준이었고, 사내 직원 수천 명이 쓰고 있었다.
출시 뒤 결과를 글쓴이는 이렇게 적었다.
“Across 2 billion requests we saw only 60 server errors, and we never had to roll back.”
20억 건의 요청에서 서버 오류는 60건뿐이었고, 한 번도 롤백하지 않았다.
세션 하나, 2주간 반복
부하 테스트는 출시 약 2주 전인 9월 4일에 시작됐다. 환경은 프로덕션을 그대로 본뜬 스테이징 클러스터였고, 하루 100만 개가 넘는 합성 문서를 만들었다.
조율자는 계속 돌아가는 Claude Code 세션이었고, 루프는 단순했다. 시나리오를 고르고, 부하 도구를 돌리고, 모니터링 데이터를 읽고, 수정안을 내고, 스테이징에 배포한 다음 처음으로 돌아간다. 실제 작업은 대부분 서브에이전트에 맡겼다. 가장 바빴던 주에는 보통 11개가 동시에 돌았고 최대 30개까지 올라갔다. 모니터링 데이터는 Datadog의 MCP로 읽었으며, 변경안은 별도 세션에서 검토했다. 글쓴이는 내부 연구용 모델을 썼고 성능은 대략 Claude Fable 5.2와 비슷하다고 밝혔다.
팀이 미리 적어 둔 장애 시나리오에는 하루 만에 문서 1,000만 개 신규 생성, 2만 2,000개 접속이 동시에 재연결, 수백 명이 보고 있는 인기 문서를 불러오는 도중 서버를 강제 종료하면서 데이터베이스까지 멈추게 하는 상황이 들어 있었다.
권한에는 선을 그었다. 되돌리기 쉬운 변경은 Claude가 직접 작성하고, 배포하고, 다시 테스트한다. 데이터베이스 스키마, 키 배치, 문서를 저장하고 생성하는 방식에 관한 변경은 사람이 승인해야 한다. 팀은 Claude가 깰 수 없는 제약도 두 가지 걸었다. 이력이 아무리 긴 문서도 거의 즉시 열려야 하고, 서버가 확인한 편집은 테스트에서 그것이 남아 있음을 증명해야 한다.
메모리 문제를 고친 과정
글에서 가장 자세히 다룬 사례는 메모리다. 큰 문서 하나가 pod 하나에서 약 3GB를 차지했다.
Claude는 처음에 어떤 캐시가 너무 크다고 판단해 그 캐시를 줄이고, 서버가 문서를 메모리에서 더 빨리 내보내게 했다. 다음 테스트에서 메모리는 사실 의존 라이브러리 내부의 다른 캐시에 묶여 있다는 점이 드러나 이 변경은 철회됐다. 약 사흘간 시행착오를 거친 뒤, 더 세밀한 메모리 분석이 근본 원인을 찾아냈다. 키를 한 번 칠 때마다 문서가 여러 데이터 구조로 복사되면서 매번 수 MB씩 늘고 있었던 것이다. Claude가 이 구조들을 쓰기 시점 복사(copy-on-write) 방식으로 바꿔 같은 참조를 공유하게 하자, 이 문서의 최대 메모리는 약 180MB로 떨어졌다.
글쓴이의 추산으로는 출시에 필요한 메모리 최적화형 pod가 500개 넘게에서 약 50개로 줄었다. 출시 뒤 Docs 서비스 전체가 약 50개 pod로 돌아가고 있다. 첫 100만 개 문서는 약 30시간 만에 생겼고, 9월 22일까지 사용자가 만든 문서는 460만 개를 넘었다.
추론 비용은 얼마였나
글쓴이가 Claude Fable 5.2의 API 정가로 환산한 결과, 8월 말부터 출시일까지 이 루프에 든 추론 비용은 약 12만 5,000달러다. 작업 방식을 찾는 동안 토큰을 꽤 태웠다는 점도 인정하며, “we could have spent about half as much”, 즉 절반만 써도 됐을 것이라고 한다.
대략 따져 보면, 아낀 약 450개의 메모리 최적화형 pod는 흔한 클라우드 업체의 대용량 메모리 인스턴스 가격으로 한 달 임대료만 해도 12만 5,000달러를 넘을 가능성이 크다. 다만 인스턴스 사양에 따라 달라지고, 글에는 pod 구성이 나와 있지 않아 여기서는 자릿수 정도만 가늠할 수 있다.
훨씬 작은 팀에 대해서는 2주 규모의 비슷한 작업이 정가로 대략 3,000~10,000달러일 것이라고 글쓴이는 추정하면서 “I haven't actually run this”라는 단서를 달았다. 이 수치는 본인이 직접 돌려 본 것이 아니다.
글쓴이는 이 방식이 통한 이유를 최근 모델의 장시간 작업 능력으로 꼽는다. 몇 달 전 모델은 긴 루프에서 10~20라운드만 돌아도 무엇을 최적화하는지 잊어서 목표를 계속 다시 일러줘야 했다. 이번에는 Claude가 여러 차례 컨텍스트 압축을 거치고도 모든 제약을 지켰다. 서비스를 Rust로 작성하고 의존성을 최소화한 것은 모니터링 신호를 더 깨끗하게 하려는 것이지만, 팀이 Rust와 Go를 정식으로 비교해 본 적은 없다고 글쓴이는 덧붙였다.
참고 출처: Claude 개발자 블로그, CocoLoop, Anthropic 제품 설명. 요청 수, 오류 건수, pod 수, 추론 비용은 모두 Anthropic 엔지니어링 팀의 자체 설명이며 제3자의 검증을 거치지 않았다.