Nvidia, AMD và CoreWeave hiếm khi cùng xuất hiện trong danh sách nhà đầu tư. Vòng gọi vốn lần này của Tensormesh đáng chú ý không phải vì quy mô mà vì nó nhắm vào một trong những điểm kém hiệu quả nhất trong chi phí suy luận AI: tính toán trùng lặp.
Ngày 27 tháng 5, Tensormesh thông báo hoàn tất vòng gọi vốn 20 triệu USD từ các nhà đầu tư bao gồm AMD Ventures, NVentures của Nvidia, CoreWeave, Valley Capital Partners và Laude Ventures. Tính cả các vòng trước, tổng số vốn huy động được khoảng 24,5 triệu USD.
Cùng ngày, Tensormesh cũng chính thức ra mắt nền tảng tối ưu hóa suy luận Tensormesh Inference. Vấn đề nó giải quyết rất trực tiếp: khi mô hình xử lý các yêu cầu tương tự hoặc tác vụ ngữ cảnh dài, chúng thường tính toán lại các kết quả trung gian đã được tính, lãng phí thời gian GPU.
Cách tiếp cận của Tensormesh là lưu trữ các kết quả trung gian này để tái sử dụng, thường được gọi là KV cache. Ngữ cảnh đã tính được gọi trực tiếp, phần chưa tính mới tiếp tục tính. Công ty cho biết trong các kịch bản phù hợp, giải pháp này có thể giảm độ trễ và chi phí GPU tới 90%, với tỷ lệ cache hit tại một số khách hàng vượt quá 70%.
Điều này đặc biệt quan trọng trong các kịch bản Agent. Một tác vụ phức tạp thường yêu cầu gọi mô hình hàng chục lần, ngữ cảnh trước đó được mang vào các yêu cầu tiếp theo. Nếu mỗi lần đều tính toán lại từ đầu, chi phí suy luận sẽ tăng nhanh. Giá trị của KV cache là biến những ngữ cảnh trùng lặp đó thành cơ sở hạ tầng có thể quản lý và tái sử dụng.
Tensormesh không bắt đầu từ con số không. Đằng sau nó là dự án mã nguồn mở LMCache, với hơn 8.000 sao GitHub và đã tích hợp với vLLM, SGLang, TensorRT, NVIDIA Dynamo, AWS SageMaker và Oracle OCI. Ý nghĩa của phiên bản thương mại là đóng gói nền tảng mã nguồn mở đã được kiểm chứng thành dịch vụ mà doanh nghiệp có thể triển khai và mua sắm trực tiếp.
Đối với Nvidia, AMD và CoreWeave, đây cũng là một khoản đầu tư hợp lý. Các nhà sản xuất chip và nhà cung cấp đám mây đều muốn khách hàng chạy suy luận rẻ hơn và ổn định hơn, bởi chi phí suy luận càng kiểm soát được, doanh nghiệp càng sẵn sàng đưa ứng dụng AI vào sản xuất. Tensormesh không thay thế GPU, mà nâng cao hiệu suất sử dụng trên GPU.
Năm qua, phần lớn tiền đầu tư vào hạ tầng AI đổ vào các mô hình lớn hơn và nhiều GPU hơn. Tensormesh đại diện cho một hướng đi khác: trên cùng mô hình và phần cứng, trước hết hãy thu hồi lại sức mạnh tính toán bị lãng phí. Khi các Agent tiếp tục đẩy khối lượng suy luận lên cao, mảng hạ tầng "tiết kiệm chi phí" này sẽ ngày càng cạnh tranh.
Tiếp theo cần xem liệu KV cache có thể từ tối ưu hóa đơn điểm trở thành lớp tiêu chuẩn trong stack suy luận doanh nghiệp hay không. Nếu lớp tiêu chuẩn đó được thiết lập, Tensormesh sẽ giành được không chỉ một vòng gọi vốn nóng, mà còn là một cửa thu phí dài hạn trong kỷ nguyên ứng dụng AI.
Nguồn tham khảo: Tensormesh Raises $20M from Investors Including AMD Ventures, CocoLoop, CoreWeave, NVentures (Business Wire); Tensormesh taps Nvidia, AMD and CoreWeave for funding to fix AI model memory problems (SiliconANGLE)