DeepInfra가 5월 4일 시리즈 B에서 1억700만 달러를 조달했다고 발표했다. 금액 자체가 AI 인프라 업계에서 가장 큰 수준은 아니지만, 투자자 명단은 꽤 많은 것을 말해준다.
이번 라운드는 500 Global이 주도했고 Nvidia Corp., Samsung Next, Supermicro, A.Capital, Felicis, Peak6, Upper90, 그리고 구글 초기 엔지니어 Georges Harik이 참여했다.
엔비디아가 독립적인 "추론 클라우드" 스타트업에 직접 투자하는 장면은 몇 년 전만 해도 보기 드물었다. 당시 추론 수요 대부분은 대형 클라우드 사업자의 내부 서비스로 흡수됐기 때문이다. 2026년에 들어 엔비디아가 독립 추론 인프라 계층에 자금을 넣기 시작했다는 것은, 이 계층이 별도의 시장으로 분리됐다는 신호다.
DeepInfra는 어디까지 왔나
DeepInfra CEO Nikola Borisov는 발표문에서 이렇게 말했다.
"Inference is no longer a thin layer - it's the system constraint that will define the majority of workloads."
풀어 말하면, 추론은 더 이상 얇은 API 프록시가 아니다. 앞으로 대부분의 워크로드를 좌우할 시스템 병목 그 자체가 되고 있다.
- 190개 이상의 오픈 AI 모델을 지원한다. Llama, Qwen, DeepSeek, Mistral 계열이 포함된다.
- 토큰 처리량의 30% 이상이 에이전트형 워크로드에서 나온다. 일반 채팅이 아니라 autonomous agents 쪽이다.
- 미국 내 8개 데이터센터에서 자체 보유 GPU 인프라를 운영하며 Nvidia Dynamo 분산 추론 플랫폼을 사용한다.
- GPU 구성에는 Blackwell과 Vera Rubin이 포함된다. Vera Rubin은 올해 양산이 시작된 제품군인 만큼 엔비디아와의 관계를 짐작하게 한다.
- 회사는 주간 5조 토큰을 처리하고, 시리즈 A 이후 토큰 처리량이 25배 증가했으며, 2026년 초 이후 매출이 3배 늘었다고 밝혔다.
가장 눈여겨볼 숫자는 30%다. 에이전트 워크플로는 챗봇과 다르다. 하나의 작업이 수백 개 도구 호출과 수십 번의 API 요청으로 이어질 수 있다. 사용자가 문장을 입력한 뒤에야 움직이는 서비스가 아니라, 거의 상시 실행되는 부하에 가깝다. 기존 클라우드는 이런 패턴에 맞춰 설계되지 않았다. 과금 모델, 콜드 스타트 전제, 스케줄링 알고리즘 모두 사람과의 대화형 상호작용을 기준으로 만들어졌다.
왜 자체 GPU가 경쟁력이 됐나
이번 투자 라운드의 핵심은 사실 이 지점이다. DeepInfra는 AWS의 GPU를 빌리지 않고, 직접 사서 운영한다.
지난 몇 년간 AI 추론의 기본 방식은 AWS, GCP, Azure의 GPU 서비스를 임대하는 것이었다. 문제는 이 세 회사가 자신들의 모델 API도 함께 판다는 점이다. 가격은 낮지 않고, 콜드 스타트 지연도 남아 있다. Together, Fireworks, Groq, DeepInfra 같은 독립 추론 클라우드가 지난 2년간 함께 부상한 이유는 바로 이 불일치를 파고들었기 때문이다.
DeepInfra는 비용 효율이 20배 개선됐다고 주장한다. 비교 기준에 따라 크게 달라질 수 있는 숫자라 그대로 받아들이기는 어렵다. 다만 오픈 모델을 대규모로 돌리는 팀, 예를 들어 월간 활성 이용자가 100만 명 단위인 제품이라면, 이런 전용 추론 클라우드로 옮겼을 때 비용이 절반 이하로 떨어지는 경험은 흔하다.
추론 클라우드 경쟁 구도
| 회사 | 특징 |
|---|---|
| Together AI | 풀스택 플랫폼, 자체 CUDA 대체 기술 보유 |
| Fireworks AI | Hugging Face 생태계와 강하게 연결 |
| Groq | LPU 전용 칩 중심, 엔비디아와 AMD도 주목했던 회사 |
| Cerebras | 대형 웨이퍼 스케일 칩, 상장 절차로 향하는 중 |
| DeepInfra | 8개 자체 운영 데이터센터, 190개 이상 오픈 모델, 에이전트 시나리오 집중 |
DeepInfra가 밸류에이션 면에서 가장 화려한 회사는 아니다. 그러나 포지션은 가장 명확한 편이다. 오픈 모델을 위한 추론 인프라에 집중하고, 폐쇄형 모델의 대리 판매나 모델 레이어 경쟁에는 들어가지 않는다. Together와 가장 비슷하지만, 차이는 DeepInfra가 GPU부터 스케줄링, API까지 인프라 소유권과 제어권을 더 강하게 쥐고 있다는 점이다.
진짜 승부처는 에이전트화
Borisov가 말한 "추론이 시스템 병목"이라는 표현은 홍보 문구에 그치지 않는다.
에이전트 워크플로가 주류가 되면, 한 사용자의 작업 뒤에서 매분 수십 번의 추론이 실행될 수 있다. Cursor가 코드를 쓰고, Claude Code가 파일을 고치고, Salesforce의 Agentforce가 고객 문의를 처리하는 장면은 사용자가 한 문장을 치고 모델이 한 번 답하는 ChatGPT식 부하와 전혀 다르다.
이 환경에서 p99 지연 시간을 낮게 유지하고, 비용을 누르며, 제로 데이터 보존까지 보장할 수 있는 사업자가 기업 고객 계약을 따낼 가능성이 크다.
DeepInfra의 이번 투자 발표에서는 "agentic workloads"라는 표현이 이전 라운드보다 훨씬 자주 등장한다. 앞으로 1년 이 시장의 경쟁은 모델 카탈로그의 폭보다, "수천 개 에이전트가 동시에 추론을 호출하는" 상황을 견딜 수 있는 인프라가 있느냐에 달릴 것이다.
엔비디아가 직접 투자한 것은 그 장면이 실제로 올 가능성을 높게 봤기 때문일 수 있다.
참고 자료: DeepInfra Closes $107M Series B to Power Production-Scale AI Inference(GlobeNewswire); Deepinfra lands $107M in funding to build out its dedicated inference cloud for open-source models(SiliconANGLE); CocoLoop; DeepInfra Raises $107M Series B to Scale Inference Infrastructure(DeepInfra Blog)