NVIDIA는 8월 24일 Vera Rubin NVL72의 초기 테스트 데이터를 공개했다. 에이전트형 워크로드에서 메가와트당 처리량이 전작인 GB300 NVL72의 30배에 달하고, 토큰당 비용은 약 35분의 1 수준으로 떨어졌다는 내용이다. 수치 아래에는 'SemiAnalysis의 검증을 기다리고 있다'는 단서가 붙어 있다.
테스트에는 SemiAnalysis의 AgentX 워크로드가 사용됐다. 이는 실험실에서 만든 합성 요청이 아니라 실제 에이전트형 코딩 작업 기록을 바탕으로 구성된 것이다. 채점에 쓰인 모델은 Kimi K3, MiniMax M3, GLM5.3, Qwen3.5, DeepSeek V4 Pro 등 5개로, 모두 오픈 웨이트 모델이며 이 중 4개가 중국 팀이 개발한 것이다. 이 구성 자체가 시사하는 바가 있다. 새로운 세대의 추론 랙이 얼마나 쓸만한지 가늠할 때, NVIDIA는 개발자들이 실제로 쓰고 있는 오픈소스 모델을 기준으로 삼았다는 점이다.
왜 기준이 '메가와트당'인가
기존의 세대 간 비교는 대개 최고 연산 성능이나 카드 한 장당 성능을 기준으로 삼았다. 이번에 NVIDIA는 분모를 전력으로 바꿨다.
이유는 워크로드 구조에 있다. OpenRouter의 사용량 통계에 따르면 에이전트형 요청 한 건이 소비하는 토큰량은 일반 대화형 요청의 15배에 달한다. 에이전트는 데이터베이스를 조회하고 자료를 검색하며 하위 에이전트를 호출해야 하고, 여러 차례의 추론 과정에서 점점 길어지는 컨텍스트까지 끌고 가야 한다. 작업 하나당 토큰 소비량이 한 자릿수 이상 뛰어오르면, 확장을 가로막는 것은 대개 GPU 수량이 아니라 변전소가 공급할 수 있는 메가와트 용량이다.
NVIDIA가 제시한 세로축 비교는 이렇다. GB300 NVL72가 DeepSeek V4 Pro에서 기록한 메가와트당 처리량은 이미 Hopper 아키텍처의 15배였다. Vera Rubin은 여기에 다시 한 번 곱셈을 더한 셈이다.
세부적으로 뜯어보면 30배라는 수치는 한 가지 요인에서 나온 것이 아니다. 전력 공급 및 냉각 기술인 DSX MaxLPS는 같은 메가와트 예산 안에서 GPU를 40% 더 배치할 수 있게 해준다. 이는 먼저 분모를 희석시키는 효과다. NVLink 6는 패킷 처리 속도를 기존 이더넷 방식의 10배로 끌어올리고 지연 시간은 3분의 1로 줄인다. 그 위에는 분리형 서빙, 분산 KV 캐시, 전문가 병렬 처리 등 하드웨어와 소프트웨어가 함께 맞물린 체계가 얹혀 있다. 각 요소가 저마다의 배수를 보태고, 이것이 쌓여 최종 수치가 만들어진다.
대략적인 계산으로 따져보면
공식 수치를 기준으로 이 배수가 실제로 어느 정도 규모인지 대략 계산해보자.
100메가와트 규모의 추론 클러스터가 있고 전기 요금이 킬로와트시당 0.5위안이라고 가정하면, 풀가동으로 1년을 운영할 경우 전기료는 약 4억 4천만 위안에 이른다. 메가와트당 처리량이 정말로 30배 오른다면 같은 전기료로 얻는 토큰 산출량도 30배로 늘어난다. 반대로 보면 같은 양의 토큰을 만들어내는 데 드는 전기료는 기존의 30분의 1 수준으로 줄어드는 셈이다. 토큰당 비용이 35배 낮아진다는 수치는 30배라는 처리량 상승폭보다 조금 더 큰데, 그 차이는 랙 자체의 에너지 효율 개선에서 비롯된 것으로 총산출량 증가와는 별개의 문제다.
이런 식의 대략적인 계산에는 명백한 오차 요인이 있다. 실제 데이터센터는 1년 내내 풀가동되지 않으며, PUE, 유휴율, 여러 모델의 혼합 운영 같은 요소가 배수를 끌어내릴 것이다. 그럼에도 이 계산은 NVIDIA가 왜 이 지표를 맨 앞에 내세우는지를 어느 정도 설명해준다. 이미 전력 할당량은 확보했지만 신규 변전 용량을 기다리며 줄 서 있는 데이터센터 운영사 입장에서, 메가와트당 산출량은 총연산 능력보다 '생산 능력'이라는 개념에 훨씬 가깝다.
검증 전에 짚어둘 점들
이 수치는 현재로선 제조사 자체 측정 결과일 뿐이다. SemiAnalysis의 검토는 아직 끝나지 않았고, NVIDIA 스스로도 이를 초기 단계 측정치로 표기하고 있다.
전제 조건도 짚어봐야 한다. 30배라는 수치는 에이전트형 코딩 작업 기록에 해당하는 것으로, 긴 컨텍스트와 높은 토큰 밀도가 특징인 시나리오이며 마침 Vera Rubin의 아키텍처가 강점을 보이는 영역에 정확히 들어맞는다. 짧은 대화, 이미지 생성, 배치 임베딩으로 바꾸면 이 배수는 나오지 않을 것이다. 세대 교체 시점의 발표와 실제 출시 후 성능 사이에 격차가 생기는 것은 이 업계의 오래된 패턴으로, Hopper에서 Blackwell로 넘어갈 때도 똑같은 일이 벌어진 바 있다.
"Agentic AI workloads consume 15x more tokens than a simple chat request."
에이전트형 AI 작업은 단순한 대화형 요청보다 15배 많은 토큰을 소비한다는 취지의 발언이다.
시간축을 조금 넓혀 보면 상황이 더 분명해진다. Dell은 이미 Vera Rubin 서버를 이용한 추론 가격을 제시하기 시작했고, SpaceX는 내년 NVL72 랙을 궤도에 올려 궤도상 AI 연산을 시험할 계획이다. 하드웨어는 아직 대규모로 보급되지 않았지만, 이를 둘러싼 셈법은 이미 여러 차례 오갔다. 30배라는 수치를 실제로 검증해줄 것은 제3자 검증이 끝난 뒤 각 사가 자사 데이터센터에서 직접 뽑아내는 숫자다.
참고 출처: NVIDIA 공식 기술 블로그, SemiAnalysis의 AgentX 벤치마크 설명 자료, CocoLoop, OpenRouter 사용량 통계. 메가와트당 처리량 배수, 토큰당 비용 하락폭, GPU 배치 밀도 40% 증가는 모두 공식 발표를 기준으로 확인했으며, 전기료 추산은 편집팀이 자체적으로 계산한 값이다.