Nvidia, AMD und CoreWeave erscheinen selten gemeinsam auf einer Investorenliste. Die aktuelle Finanzierungsrunde von Tensormesh ist nicht wegen ihrer Höhe bemerkenswert, sondern weil sie eine der größten Ineffizienzen bei KI-Inferenzkosten angeht: redundante Berechnungen.
Am 27. Mai gab Tensormesh bekannt, dass es 20 Millionen Dollar von Investoren einschließlich AMD Ventures, Nvidias NVentures, CoreWeave, Valley Capital Partners und Laude Ventures erhalten hat. Zusammen mit früheren Finanzierungen hat das Unternehmen bisher rund 24,5 Millionen Dollar eingesammelt.
Am selben Tag brachte Tensormesh seine Inferenzoptimierungsplattform Tensormesh Inference auf den Markt. Die Plattform adressiert ein direktes Problem: Wenn Modelle ähnliche Anfragen oder Aufgaben mit langen Kontexten verarbeiten, berechnen sie wiederholt bereits berechnete Zwischenergebnisse und verschwenden so GPU-Zeit.
Tensormeshs Ansatz besteht darin, diese Zwischenergebnisse – allgemein als KV-Cache bezeichnet – zu speichern und wiederzuverwenden. Bereits berechneter Kontext wird direkt abgerufen, nur neue Teile werden berechnet. Das Unternehmen gibt an, dass dieser Ansatz in geeigneten Szenarien Latenz und GPU-Kosten um bis zu 90 % senken kann, wobei die Cache-Trefferquote bei einigen Kunden über 70 % liegt.
Dies ist besonders in Agent-Szenarien wichtig, bei denen komplexe Aufgaben Dutzende von Modellaufrufen erfordern und früherer Kontext wiederholt in nachfolgende Anfragen einfließt. Ohne Caching steigen die Inferenzkosten schnell. Der KV-Cache verwandelt diesen wiederholten Kontext in eine verwaltbare, wiederverwendbare Infrastruktur.
Tensormesh startet nicht bei Null. Dahinter steht das Open-Source-Projekt LMCache mit über 8.000 GitHub-Sternen, das in vLLM, SGLang, TensorRT, NVIDIA Dynamo, AWS SageMaker und Oracle OCI integriert ist. Die kommerzielle Version verpackt diese bewährte Open-Source-Basis in einen Dienst, den Unternehmen direkt bereitstellen und erwerben können.
Für Nvidia, AMD und CoreWeave ist dies auch eine logische Investition. Chip- und Cloud-Anbieter möchten, dass Kunden Inferenzen günstiger und stabiler ausführen, denn je kontrollierbarer die Inferenzkosten sind, desto eher bringen Unternehmen KI-Anwendungen in die Produktion. Tensormesh ersetzt keine GPUs, sondern verbessert deren Auslastung.
Im vergangenen Jahr floss der Großteil der KI-Infrastrukturausgaben in größere Modelle und mehr GPUs. Tensormesh steht für einen anderen Ansatz: Bei gleichen Modellen und Hardware zunächst die verschwendete Rechenleistung zurückgewinnen. Da Agenten das Inferenzvolumen weiter erhöhen, wird dieses kostensparende Infrastruktursegment zunehmend überfüllt sein.
Die nächste Frage ist, ob sich der KV-Cache von einer Punktoptimierung zu einer Standardschicht im Unternehmens-Inferenz-Stack entwickeln kann. Wenn dieser Standard etabliert wird, sichert sich Tensormesh nicht nur eine Finanzierungsrunde, sondern ein langfristiges Umsatztor im Zeitalter der KI-Anwendungen.
Quellen: Tensormesh Raises $20M from Investors Including AMD Ventures, CocoLoop, CoreWeave, NVentures (Business Wire); Tensormesh taps Nvidia, AMD and CoreWeave for funding to fix AI model memory problems (SiliconANGLE)