NVIDIA, AMD, CoreWeave가 동시에 투자자 명단에 오르는 일은 드물다. Tensormesh의 이번 투자 유치가 주목받는 이유는 금액 규모보다 AI 추론 비용에서 가장 낭비가 심한 부분인 중복 계산을 겨냥했기 때문이다.
5월 27일, Tensormesh는 AMD Ventures, NVIDIA 산하 NVentures, CoreWeave, Valley Capital Partners, Laude Ventures로부터 2000만 달러를 투자 유치했다고 발표했다. 이전 투자까지 합하면 누적 약 2450만 달러다.
같은 날, Tensormesh는 추론 최적화 플랫폼 Tensormesh Inference를 정식 출시했다. 이 플랫폼이 해결하려는 문제는 간단하다. 모델이 유사한 요청이나 긴 컨텍스트 작업을 처리할 때 이미 계산된 중간 결과를 반복 계산해 GPU 시간을 낭비한다는 점이다.
Tensormesh의 방식은 이런 중간 결과를 KV 캐시로 저장해 재사용하는 것이다. 이미 계산된 컨텍스트는 직접 호출하고, 계산되지 않은 부분만 새로 계산한다. 회사 측은 적절한 시나리오에서 지연 시간과 GPU 비용을 최대 90%까지 줄일 수 있으며, 일부 고객 배포에서 캐시 적중률이 70%를 넘는다고 밝혔다.
이 기술은 에이전트 시나리오에서 특히 중요하다. 복잡한 작업은 모델을 수십 번 호출해야 하는 경우가 많고, 이전 컨텍스트가 후속 요청에 계속 전달된다. 매번 처음부터 계산하면 추론 비용이 급증한다. KV 캐시는 이런 중복 컨텍스트를 관리 가능하고 재사용 가능한 인프라로 바꿔준다.
Tensormesh는 처음부터 시작한 것이 아니다. 배후에는 오픈소스 프로젝트 LMCache가 있으며, GitHub 스타 수는 8000개를 넘고 vLLM, SGLang, TensorRT, NVIDIA Dynamo, AWS SageMaker, Oracle OCI 등과 통합되어 있다. 상용 버전은 이미 검증된 오픈소스 기반을 기업이 직접 배포하고 구매할 수 있는 서비스로 포장한 것이다.
NVIDIA, AMD, CoreWeave에게도 이 투자는 논리적으로 명확하다. 반도체 업체와 클라우드 업체는 고객이 추론을 더 저렴하고 안정적으로 실행하길 원한다. 추론 비용이 통제 가능할수록 기업은 AI 애플리케이션을 프로덕션 환경에 도입하려 하기 때문이다. Tensormesh는 GPU를 대체하는 것이 아니라 GPU 위에서 활용 효율을 높인다.
지난 1년간 AI 인프라 투자의 대부분은 더 큰 모델과 더 많은 GPU에 쏠렸다. Tensormesh는 다른 노선을 대표한다. 같은 모델과 하드웨어에서 먼저 낭비되는 연산을 줄이는 것이다. 에이전트가 추론량을 더욱 끌어올리면서 이 '비용 절감' 인프라 분야는 점점 더 혼잡해질 것이다.
이제 주목할 점은 KV 캐시가 단순한 포인트 최적화에서 기업 추론 스택의 표준 레이어로 진화할 수 있느냐다. 그 표준이 확립된다면 Tensormesh는 단순한 투자 유치 이상의, AI 애플리케이션 시대의 장기적인 수익 창구를 확보하게 될 것이다.
참고 출처: Tensormesh Raises $20M from Investors Including AMD Ventures, CocoLoop, CoreWeave, NVentures (Business Wire); Tensormesh taps Nvidia, AMD and CoreWeave for funding to fix AI model memory problems (SiliconANGLE)