Nvidia, AMD et CoreWeave apparaissent rarement ensemble sur une liste d'investisseurs. Le tour de financement de Tensormesh est remarquable non par son montant, mais parce qu'il cible l'une des plus grandes inefficacités des coûts d'inférence IA : les calculs redondants.
Le 27 mai, Tensormesh a annoncé un financement de 20 millions de dollars auprès d'investisseurs incluant AMD Ventures, NVentures de Nvidia, CoreWeave, Valley Capital Partners et Laude Ventures. En incluant les financements précédents, la société a levé environ 24,5 millions de dollars à ce jour.
Le même jour, Tensormesh a lancé sa plateforme d'optimisation d'inférence, Tensormesh Inference, en disponibilité générale. La plateforme résout un problème simple : lorsque les modèles traitent des requêtes similaires ou des tâches à contexte long, ils recalculent à plusieurs reprises des résultats intermédiaires déjà calculés, gaspillant des cycles GPU.
L'approche de Tensormesh consiste à mettre en cache ces résultats intermédiaires—communément appelés cache KV—afin que le contexte déjà calculé soit réutilisé, et seules les nouvelles parties sont calculées. La société affirme que dans des scénarios appropriés, cela peut réduire la latence et les coûts GPU jusqu'à 90 %, avec des taux de succès du cache dépassant 70 % chez certains clients.
C'est particulièrement crucial dans les scénarios d'agents, où une tâche complexe peut nécessiter des dizaines d'appels de modèle, et le contexte précédent est répété dans les requêtes suivantes. Sans mise en cache, les coûts d'inférence se multiplient rapidement. Le cache KV transforme ce contexte répétitif en infrastructure gérable et réutilisable.
Tensormesh ne part pas de zéro. Il est construit sur le projet open source LMCache, qui compte plus de 8 000 étoiles GitHub et s'intègre avec vLLM, SGLang, TensorRT, NVIDIA Dynamo, AWS SageMaker et Oracle OCI. La version commerciale transforme cette base open source éprouvée en un service que les entreprises peuvent déployer et acheter directement.
Pour Nvidia, AMD et CoreWeave, cet investissement est également logique sur le plan stratégique. Les fabricants de puces et les fournisseurs de cloud souhaitent que les clients exécutent l'inférence à moindre coût et de manière plus fiable, car plus les coûts d'inférence sont maîtrisables, plus les entreprises sont prêtes à mettre en production des applications d'IA. Tensormesh ne remplace pas les GPU ; il améliore leur utilisation.
L'année dernière, la majeure partie des dépenses d'infrastructure IA a été consacrée à des modèles plus grands et à davantage de GPU. Tensormesh représente une autre approche : sur les mêmes modèles et matériels, récupérer d'abord la puissance de calcul gaspillée. Alors que les agents continuent d'augmenter le volume d'inférence, ce segment d'infrastructure « d'économie de coûts » deviendra de plus en plus encombré.
La prochaine question est de savoir si le cache KV peut passer d'une optimisation ponctuelle à une couche standard dans la pile d'inférence des entreprises. Si cette norme est établie, Tensormesh n'aura pas seulement obtenu un tour de financement, mais une porte de revenus à long terme dans l'ère des applications d'IA.
Sources : Tensormesh Raises $20M from Investors Including AMD Ventures, CocoLoop, CoreWeave, NVentures (Business Wire) ; Tensormesh taps Nvidia, AMD and CoreWeave for funding to fix AI model memory problems (SiliconANGLE)