앤트로픽이 Claude의 기반인 Messages API를 Python에서 Rust로 통째로 옮겼다. 엔지니어링을 총괄하는 Katelyn Lesse와 제품을 총괄하는 Angela Jiang이 팟캐스트 Latent Space에서 이전 과정을 설명했다. 전환 후 CPU 사용량은 약 40~50% 줄었고, 첫 토큰 응답 시간은 약 10~20% 짧아졌으며, 오래 실행되는 작업에서는 개선 폭이 더 크다고 한다. 출연자들의 설명에 따르면 Rust 버전 API는 녹음 일주일 전에 전면 적용됐다.
Messages API는 개발자가 Claude를 호출하는 주된 관문이다. Angela Jiang은 약 1년 전 합류했을 때 이 시스템이 GCP 리전 한 곳에서만 돌아가는 Python 모놀리스였다고 회상했다.
발목을 잡은 것은 CPU
대형 모델 기업의 병목이라고 하면 보통 GPU가 거론되지만, 이번 인터뷰에서 거듭 등장한 것은 CPU였다. 사용량이 빠르게 늘면서 API 서비스, 제품 백엔드, 코드 샌드박스, 지속적 통합이 모두 CPU를 놓고 경쟁했고, 코드를 많이 쓸수록 CI도 더 자주 돌았다. 출연자들의 설명으로는 연구팀과 제품 샌드박스가 같은 CPU 할당량을 나눠 쓰기 때문에, 한쪽이 더 쓰면 다른 쪽은 덜 쓸 수밖에 없다. 이런 환경에서 Python 버전 서비스는 특히 자원을 많이 먹는 편이었다.
Rust를 택하는 것을 두고 내부에서는 논란이 있었다. 이유는 단순했다.
“we don't have a single Rust developer in the room.”
(회의실에 Rust 개발자가 한 명도 없었다.)
Rust 경험이 있는 엔지니어는 그 뒤에야 차례로 합류했다.
사람이 설계하고 Claude가 구현한다
역할 분담은 이렇다. 엔지니어는 분산 시스템의 설계와 검증을 맡고, 구현 코드의 대부분은 Claude에게 맡겼다. Claude는 엔지니어가 필요한 Rust 지식을 보충하는 데도 쓰였다. 출연자들은 코드를 쓰는 일 자체보다 계획과 검증이 더 중요하다고 강조했다.
검증 방식은 다소 전통적이다. 팀은 먼저 Rust 버전 API의 전체 브랜치를 만들고, 실서비스 트래픽을 그쪽으로 섀도 복제해 신구 두 시스템의 출력이 일치하는지 건건이 대조했다. 이어 기능 플래그와 로드 밸런서로 실제 트래픽을 조금씩 넘겼다. 이전은 전담 팀이 맡았고 다른 엔지니어들은 평소대로 신기능을 개발했다. 두 코드베이스가 갈수록 벌어지지 않도록, 팀은 Python에서 새로 추가됐지만 Rust 버전에는 아직 대응 구현이 없는 기능을 정적 분석으로 짚어냈고, 이전 팀은 이전 기간에 새 요구사항을 추가하는 것을 가능한 한 거절했다.
출연자들의 추정으로는 통상적인 방식으로 한 덩어리씩 점진적으로 이전하면 몇 년이 걸렸을 수 있으며, 이번에는 일괄 전면 이전이었다. 실제로 얼마나 걸렸는지, Claude가 생성한 코드 비중이 얼마인지는 인터뷰에서 수치가 나오지 않았고, 외부에서는 현재 확인할 수 없다.
비슷한 재작성 사례와 나란히 보면
모델이 주로 쓰고 사람이 뒷받침하는 이런 대규모 재작성은 최근 몇 차례 나왔다. GitHub는 앞서 Copilot으로 자사 런타임을 약 83만 줄의 Rust로 다시 썼다고 공개했고, Opus 5.5 출시 전후에는 한 팀이 이를 이용해 2주 만에 TypeScript 컴파일러를 Rust로 옮겼다. 이들 사례의 공통점은 목표 언어로 모두 Rust를 골랐고, 검증을 신구 출력 대조나 완전한 테스트 세트로 뒷받침했다는 점이다.
차이는 잘못됐을 때의 대가에 있다. 컴파일러나 개발 도구에 문제가 생기면 영향은 대개 개발자의 로컬 환경에 그친다. 반면 Messages API는 모든 외부 호출을 받아내므로, 동작이 어긋나면 고객의 운영 시스템에 곧바로 영향을 준다. 앤트로픽이 이 경로에서 전면 이전을 할 수 있었던 것은 섀도 트래픽과 건건이 대조라는 오래된 방식 덕분이며, 모델이 빠르게 쓴다는 것만으로는 버티기 어려웠다.
다른 기업이 가져다 쓸 만한 부분은 언어 선택보다 검증 절차일 가능성이 크다. 섀도 트래픽과 출력 대조를 할 여건이 없다면, 모델이 한 번에 쏟아낸 대량의 코드가 기존 시스템과 같은 동작을 하는지 판단하기 어렵다.
다음 단계는 세션 상태
팀은 앞으로 아키텍처 차원의 조정을 하겠다고 밝혔고, 그 방향 중 하나는 대화 상태를 서버에 저장해 클라이언트가 매 턴마다 전체 기록을 다시 보내지 않아도 되게 하는 것이다. 긴 대화에서는 반복 전송과 반복 처리를 크게 줄일 수 있다. 이 변경이 언제 적용될지, 기존 인터페이스와 과금 방식에 영향을 줄지는 앤트로픽이 아직 공개하지 않았다.
참고 출처: Latent Space 팟캐스트 인터뷰, CocoLoop, Anthropic 개발자 문서. 인터뷰를 통해 CPU 절감 폭, 첫 토큰 지연 개선 범위, 전면 적용 상태를 확인했다.