VentureBeat 산하 리서치 부문이 7월부터 9월까지 진행한 VB Pulse 조사 3회분을 종합한 결과, 기업의 AI 컴퓨팅 자원이 광범위하게 놀고 있는데도 구매 계획은 둔화되지 않은 것으로 나타났다. 조사 대상은 직원 100명 이상 조직의 유효 응답자 385명이며, 주요 고객을 대신해 답한 컨설턴트도 포함된다. 이 중 218명이 GPU 활용률을 보고했다.
79%(218명 중 172명)가 자사 GPU가 바쁘게 돌아가는 시간이 절반을 넘지 않는다고 답했고, 월별 수치는 77%에서 81% 사이에서 오르내렸다. GPU가 놀고 있는 바로 그 기업들 가운데 70%(172곳 중 120곳)는 향후 12개월 안에 추가 또는 교체용 AI 컴퓨팅 플랫폼을 도입할 계획이다.
놀든 바쁘든 사려는 마음은 비슷하다
GPU가 더 바쁜 46개 기업에서는 74%가 새 플랫폼 도입을 계획하고 있다. 기사는 70%와 74%의 차이가 통계적으로 유의하지 않다고 판단하며, 활용률의 높낮이가 구매 의향에 거의 영향을 주지 않는다고 본다.
새 플랫폼을 어디서 살지도 매우 한쪽으로 쏠려 있다. GPU가 놀고 있으면서 새 플랫폼을 계획한 120개 기업 가운데 90%가 클라우드 플랫폼이나 모델 제공업체를 꼽았고, 온프레미스 또는 호스팅 클러스터, 오픈소스 자체 운영 스택을 택하겠다는 곳은 8%에 그쳤다.
대비는 직접 구축하는 쪽에서 나타난다. 온프레미스 또는 호스팅 클러스터나 오픈소스 자체 운영 스택을 운영하는 32개 기업에서 GPU가 최소 절반의 시간 동안 유휴 상태인 비율은 56%였고, 나머지 186개 기업은 83%였다. 조사는 이유를 묻지 않았으며, 필자가 내놓은 해석도 추측이라고 분명히 밝혔다.
'투자의 90%가 재무 감사를 통과하지 못했다'는 표현은 9월 한 달 데이터에서 나왔다. 새 플랫폼을 계획한 64개 기업 중 58곳(91%)이 재무 부서의 검증을 거친 투자수익률 수치를 내놓지 못했다. 다만 표본은 한 달, 수십 개 기업에 불과하고 다른 달에는 같은 질문을 하지 않았다.
유휴 비용을 대략 계산해 보면
활용률은 단가에 반비례하는 방식으로 영향을 미친다. 고성능 GPU를 카드 시간당 2달러에 빌린다고 가정하면 8카드 서버 한 대의 연간 임대료는 약 14만 달러다(대략 계산: 8카드 × 8,760시간 × 2달러). 활용률이 80%이면 실제로 일한 카드 시간당 비용은 약 2.5달러이고, 40%로 떨어지면 5달러가 된다. 같은 양의 유효 컴퓨팅을 얻으려면 1년에 약 14만 달러를 더 내야 하는데, 한 대를 더 빌리는 것과 같은 금액이다.
청구서의 다른 쪽도 오르고 있다. 기사는 Gartner의 전망을 인용해 2028년에는 에이전트 워크플로 하나당 추론 비용이 다섯 배 넘게 오른다고 전한다. Vals AI의 측정에서는 멀티 에이전트 코딩 팀의 비용이 단일 에이전트의 1.8배에서 5.1배였고, 네 가지 팀 구성 중 벤치마크에서 통계적으로 유의한 향상을 낸 것은 하나뿐이었다.
비용을 줄이는 방법 중 하나는 캐시다. NVIDIA의 가이드에 따르면 Claude Code 세션의 후속 호출에 담긴 컨텍스트의 85%에서 97%는 캐시에서 재사용할 수 있다. Anthropic은 캐시된 토큰을 모델에 따라 일반 입력 가격의 10분의 1에서 40분의 1만 받는다. Uber의 최고기술책임자(CTO) Praveen Neppalli Naga는 8월 Fortune과의 인터뷰에서 이렇게 말했다.
"we're coming to the end of the so-called tokenmaxxing era"(이른바 비용을 가리지 않고 토큰을 쌓아 올리던 시대가 끝나가고 있다)
표본의 한계
이 수치는 할인해서 봐야 한다. 응답자는 VentureBeat 독자와 조사 패널에서 자발적으로 응답한 사람들이라 전체 기업을 대표하지 않는다. 조사는 GPU가 자사 보유인지 임차인지, 기업이 직접 스케줄링할 수 있는지, 트래픽 피크에 대비해 일부러 남겨 둔 여유분인지를 구분하지 않았다. 계획 중인 새 플랫폼이 단순히 기존 플랫폼을 교체하는 것일 수도 있다. 7월에 활용률 선택지를 여러 개 고른 응답자와 GPU 사용량을 측정하지 않는 기업은 집계에서 빠졌다.
또한 이 보고서는 VentureBeat 자체의 에이전트 인프라 서밋을 홍보하는 역할도 겸하고 있으며, 후원사로는 WEKA, 시스코 산하 Outshift, OneTrust가 이름을 올렸다.
참고 출처: VentureBeat Intelligence 조사 보고서, Gartner, CocoLoop, Vals AI. GPU 활용률 표본 수, 그룹별 비율, 통계적 유의성 기준을 확인했다.