Nvidia, AMD, dan CoreWeave jarang muncul bersamaan dalam daftar investor. Putaran pendanaan Tensormesh kali ini patut diperhatikan bukan karena besarnya, tetapi karena menyasar salah satu inefisiensi terbesar dalam inferensi AI: komputasi berulang.
Pada 27 Mei, Tensormesh mengumumkan pendanaan sebesar $20 juta dari investor termasuk AMD Ventures, NVentures milik Nvidia, CoreWeave, Valley Capital Partners, dan Laude Ventures. Termasuk pendanaan sebelumnya, perusahaan telah mengumpulkan sekitar $24,5 juta hingga saat ini.
Di hari yang sama, Tensormesh meluncurkan platform optimasi inferensi, Tensormesh Inference, ke ketersediaan umum. Platform ini mengatasi masalah sederhana: ketika model menangani permintaan serupa atau tugas konteks panjang, mereka berulang kali menghitung hasil antara yang sudah dihitung, membuang siklus GPU.
Pendekatan Tensormesh adalah menyimpan hasil antara ini—biasa disebut KV cache—sehingga konteks yang sudah dihitung dapat digunakan kembali, dan hanya bagian baru yang dihitung. Perusahaan mengklaim bahwa dalam skenario yang sesuai, hal ini dapat mengurangi latensi dan biaya GPU hingga 90%, dengan tingkat cache hit melebihi 70% di beberapa penerapan pelanggan.
Ini sangat penting dalam skenario agen, di mana tugas kompleks mungkin memerlukan puluhan panggilan model, dan konteks sebelumnya dibawa berulang kali ke permintaan berikutnya. Tanpa caching, biaya inferensi berlipat ganda dengan cepat. KV cache mengubah konteks berulang itu menjadi infrastruktur yang dapat dikelola dan digunakan kembali.
Tensormesh tidak memulai dari nol. Platform ini dibangun di atas proyek open-source LMCache, yang memiliki lebih dari 8.000 bintang GitHub dan terintegrasi dengan vLLM, SGLang, TensorRT, NVIDIA Dynamo, AWS SageMaker, dan Oracle OCI. Versi komersial mengemas fondasi open-source yang telah terbukti ini menjadi layanan yang dapat diterapkan dan dibeli langsung oleh perusahaan.
Bagi Nvidia, AMD, dan CoreWeave, investasi ini juga masuk akal secara strategis. Pembuat chip dan penyedia cloud ingin pelanggan menjalankan inferensi lebih murah dan andal, karena semakin terkendali biaya inferensi, semakin bersedia perusahaan mendorong aplikasi AI ke produksi. Tensormesh tidak menggantikan GPU; ia meningkatkan utilisasi di atas GPU.
Selama setahun terakhir, sebagian besar belanja infrastruktur AI dialokasikan ke model yang lebih besar dan lebih banyak GPU. Tensormesh mewakili pendekatan berbeda: pada model dan perangkat keras yang sama, pertama-tama pulihkan komputasi yang terbuang. Seiring agen terus meningkatkan volume inferensi, segmen infrastruktur penghemat biaya ini akan semakin padat.
Pertanyaan selanjutnya adalah apakah KV cache dapat berevolusi dari optimasi titik menjadi lapisan standar dalam tumpukan inferensi perusahaan. Jika standar itu terbentuk, Tensormesh tidak hanya akan mengamankan sorotan pendanaan, tetapi juga gerbang pendapatan jangka panjang di era aplikasi AI.
Sumber: Tensormesh Raises $20M from Investors Including AMD Ventures, CocoLoop, CoreWeave, NVentures (Business Wire); Tensormesh taps Nvidia, AMD and CoreWeave for funding to fix AI model memory problems (SiliconANGLE)