NVIDIA、AMD 與 CoreWeave 很少同時出現在同一張投資人名單上。Tensormesh 這輪募資之所以值得關注,不是因為金額龐大,而是因為它切中了 AI 推理成本中最浪費的一環:重複計算。
5 月 27 日,Tensormesh 宣布完成 2000 萬美元募資,投資方包括 AMD Ventures、NVIDIA 旗下的 NVentures、CoreWeave、Valley Capital Partners 與 Laude Ventures。加上先前募資,公司累計募資約 2450 萬美元。
同日,Tensormesh 也將其推理優化平台 Tensormesh Inference 正式推向商用。它要解決的問題很直接:模型在處理相似請求與長上下文任務時,經常反覆計算已經算過的中間結果,GPU 時間就這樣被浪費。
Tensormesh 的做法是將這些中間結果沉澱下來重複使用,業界通常稱之為 KV 快取。已經計算過的上下文直接調用,未計算的部分再繼續計算。公司表示,在合適場景下,這套方案可將延遲與 GPU 成本降至原本的十分之一,部分客戶部署中的快取命中率超過 70%。
這項技術在 Agent 場景中尤其重要。一個複雜任務往往需要來回呼叫模型數十次,前面的上下文會不斷帶入後續請求。如果每一輪都從頭計算,推理成本會快速放大。KV 快取的價值就在於,將這些重複上下文變成可管理、可重複使用的基礎設施。
Tensormesh 並非從零開始。它背後是開源專案 LMCache,GitHub 星數超過 8000,並已整合 vLLM、SGLang、TensorRT、NVIDIA Dynamo、AWS SageMaker 與 Oracle OCI 等生態系統。商用版本的意義,是將已經驗證的開源基礎,包裝成企業可直接部署與採購的服務。
對 NVIDIA、AMD 與 CoreWeave 而言,這也是一筆邏輯清晰的投資。晶片廠與雲端廠都希望客戶能更便宜、更穩定地執行推理,因為推理成本越可控,企業才越願意將 AI 應用推向生產環境。Tensormesh 這類公司並非取代 GPU,而是在 GPU 之上提高使用效率。
過去一年,AI 基礎設施的資金大多流向更大的模型與更多的 GPU。Tensormesh 代表的是另一條路線:在同樣的模型與硬體上,先將浪費掉的算力節省回來。隨著 Agent 持續推高推理量,這條「省錢」的基礎設施賽道將會越來越擁擠。
接下來要看的是,KV 快取能否從單點優化變成企業推理堆疊中的標準層。如果這層標準被建立起來,Tensormesh 搶到的不只是一次募資熱度,而是 AI 應用時代的一個長期收費入口。
參考來源:Tensormesh Raises $20M from Investors Including AMD Ventures, CocoLoop、 CoreWeave, NVentures(Business Wire);Tensormesh taps Nvidia, AMD and CoreWeave for funding to fix AI model memory problems(SiliconANGLE)