Die Forschungssparte von VentureBeat hat drei zwischen Juli und September durchgeführte VB-Pulse-Umfragen zusammengeführt. Das Ergebnis: Die KI-Rechenkapazität in Unternehmen liegt in großem Umfang brach, während sich die Beschaffungspläne nicht verlangsamen. Befragt wurden 385 qualifizierte Teilnehmer aus Organisationen mit mindestens 100 Beschäftigten, darunter auch Berater, die stellvertretend für ihren wichtigsten Kunden antworteten; 218 von ihnen machten Angaben zur GPU-Auslastung.
79 % (172 von 218) gaben an, dass ihre GPUs höchstens die Hälfte der Zeit ausgelastet sind; über die drei Monate schwankte der Wert zwischen 77 und 81 %. Ausgerechnet in dieser Gruppe mit brachliegenden GPUs wollen 70 % (120 von 172) in den kommenden 12 Monaten zusätzliche oder Ersatz-Plattformen für KI-Berechnungen einführen.
Ob ausgelastet oder nicht: Die Kauflust bleibt ähnlich
Von den 46 Unternehmen mit stärker ausgelasteten GPUs planen 74 % eine neue Plattform. Der Artikel kommt zu dem Schluss, dass der Unterschied zwischen 70 und 74 % statistisch nicht signifikant ist – die Höhe der Auslastung wirkt sich also kaum auf die Kaufbereitschaft aus.
Auch beim Ziel der Neuanschaffungen ist das Bild eindeutig. Von den 120 Unternehmen mit Leerlauf, die eine neue Plattform planen, nannten 90 % Cloud-Plattformen oder Modellanbieter; nur 8 % wollen lokale oder gehostete Cluster beziehungsweise einen selbst verwalteten Open-Source-Stack aufbauen.
Der Kontrast zeigt sich auf der Eigenbau-Seite. Unter den 32 Firmen, die lokale oder gehostete Cluster oder einen selbst verwalteten Open-Source-Stack betreiben, liegt der Anteil mit mindestens halber Leerlaufzeit bei 56 %; bei den übrigen 186 Firmen sind es 83 %. Die Umfrage fragte nicht nach den Gründen, und auch die Erklärung des Autors ist ausdrücklich nur als Vermutung gekennzeichnet.
Die Aussage, „neun von zehn Investitionen bestünden keine Finanzprüfung“, stützt sich allein auf die Septemberdaten: Von 64 Unternehmen, die eine neue Plattform planen, konnten 58 (91 %) keine von der Finanzabteilung geprüfte Kennzahl zur Kapitalrendite vorlegen. Diese Stichprobe umfasst nur einen Monat und einige Dutzend Firmen; in den anderen Monaten wurde dieselbe Frage nicht gestellt.
Grobe Rechnung: Was der Leerlauf kostet
Die Auslastung wirkt sich umgekehrt proportional auf die Stückkosten aus. Angenommen, eine High-End-GPU kostet in der Miete 2 US-Dollar pro Karten-Stunde, dann liegt die Jahresmiete eines Servers mit 8 Karten bei rund 140.000 US-Dollar (grobe Rechnung: 8 Karten × 8.760 Stunden × 2 US-Dollar). Bei 80 % Auslastung kostet jede tatsächlich arbeitende Karten-Stunde etwa 2,50 US-Dollar; fällt die Auslastung auf 40 %, sind es 5 US-Dollar. Wer dieselbe nutzbare Rechenleistung erhalten will, zahlt pro Jahr rund 140.000 US-Dollar mehr – das entspricht der Miete für einen weiteren Server.
Auf der Kostenseite steigen die Rechnungen zusätzlich. Der Artikel zitiert eine Gartner-Prognose, wonach die Inferenzkosten pro Agenten-Workflow bis 2028 auf mehr als das Fünffache steigen. Vals AI ermittelte, dass Multi-Agenten-Programmierteams das 1,8- bis 5,1-Fache eines einzelnen Agenten kosten; von vier getesteten Teamkonfigurationen erzielte nur eine im Benchmark eine statistisch signifikante Verbesserung.
Ein Weg zum Sparen ist Caching. Laut einem Leitfaden von Nvidia lassen sich bei Folgeaufrufen einer Claude-Code-Sitzung 85 bis 97 % des Kontexts aus dem Cache wiederverwenden; Anthropic berechnet für gecachte Tokens je nach Modell nur ein Vierzigstel bis ein Zehntel des normalen Eingabepreises. Uber-Technikchef Praveen Neppalli Naga sagte im August gegenüber Fortune folgenden Satz:
„we're coming to the end of the so-called tokenmaxxing era“ (Die sogenannte Ära, in der Tokens ohne Rücksicht auf Kosten verfeuert werden, geht zu Ende.)
Grenzen der Stichprobe
Die Zahlen sind mit Vorsicht zu lesen. Die Teilnehmer sind VentureBeat-Leser und freiwillig antwortende Mitglieder des Umfragepanels und repräsentieren nicht alle Unternehmen. Die Umfrage fragte nicht, ob die GPUs eigene oder gemietete sind und ob das Unternehmen sie direkt steuern kann, und sie unterschied nicht zwischen bewusst für Lastspitzen vorgehaltener Reserve und echtem Leerlauf. Zudem kann es sich bei der geplanten neuen Plattform auch bloß um den Ersatz einer alten handeln. Teilnehmer, die im Juli mehrere Auslastungsoptionen angekreuzt hatten, sowie Unternehmen, die ihre GPU-Nutzung gar nicht messen, wurden nicht mitgezählt.
Darüber hinaus bewirbt der Bericht zugleich VentureBeats eigenen Gipfel zur Agenten-Infrastruktur; zu den Sponsoren zählen WEKA, Outshift von Cisco und OneTrust.
Quellen: VentureBeat-Intelligence-Umfragebericht, Gartner, CocoLoop, Vals AI; geprüft wurden Stichprobengrößen zur GPU-Auslastung, die Prozentwerte der einzelnen Gruppen und die Angaben zur statistischen Signifikanz.