La branche de recherche de VentureBeat a regroupé trois vagues de l’enquête VB Pulse menées de juillet à septembre. Résultat : la puissance de calcul IA des entreprises est massivement sous-utilisée, sans que les projets d’achat ne ralentissent. L’échantillon compte 385 répondants qualifiés issus d’organisations de 100 salariés ou plus, dont des consultants ayant répondu pour leur principal client ; 218 d’entre eux ont renseigné le taux d’utilisation de leurs GPU.
79 % (172 sur 218) déclarent que leurs GPU sont occupés au plus la moitié du temps, avec des variations de 77 % à 81 % selon les trois mois. Or, c’est précisément dans ce groupe d’entreprises aux GPU oisifs que 70 % (120 sur 172) prévoient d’introduire, au cours des 12 prochains mois, des plateformes de calcul IA supplémentaires ou de remplacement.
GPU occupés ou non, l’envie d’acheter reste similaire
Parmi les 46 entreprises aux GPU plus sollicités, 74 % envisagent une nouvelle plateforme. L’article estime que l’écart entre 70 % et 74 % n’est pas statistiquement significatif : le niveau d’utilisation n’a pratiquement aucun effet sur la propension à acheter.
La destination des nouveaux achats est elle aussi très concentrée. Sur les 120 entreprises inactives qui prévoient une nouvelle plateforme, 90 % citent des plateformes cloud ou des fournisseurs de modèles, et seulement 8 % comptent miser sur des clusters locaux ou hébergés, ou sur une pile open source autogérée.
Le contraste apparaît du côté de l’infrastructure maison. Parmi les 32 sociétés qui exploitent des clusters locaux ou hébergés, ou une pile open source autogérée, la proportion de GPU inactifs au moins la moitié du temps est de 56 % ; pour les 186 autres, elle est de 83 %. L’enquête n’a pas demandé les raisons, et l’explication de l’auteur est elle aussi présentée comme une simple conjecture.
L’affirmation selon laquelle « neuf investissements sur dix ne passent pas l’audit financier » provient uniquement des données de septembre : sur les 64 entreprises qui prévoient une nouvelle plateforme, 58 (91 %) sont incapables de fournir un chiffre de retour sur investissement validé par la direction financière. Cet échantillon ne couvre qu’un mois et quelques dizaines d’entreprises ; les autres mois, la même question n’a pas été posée.
Un calcul approximatif du coût de l’inactivité
L’utilisation joue sur le coût unitaire de façon inversement proportionnelle. Supposons qu’un GPU haut de gamme se loue 2 dollars par heure et par carte : un serveur de 8 cartes coûte alors environ 140 000 dollars de location par an (calcul approximatif : 8 cartes × 8 760 heures × 2 dollars). À 80 % d’utilisation, chaque heure de carte réellement productive revient à environ 2,5 dollars ; à 40 %, elle passe à 5 dollars. Pour obtenir la même puissance de calcul effective, il faut payer environ 140 000 dollars de plus par an, soit l’équivalent de la location d’un serveur supplémentaire.
De l’autre côté de la facture, les coûts augmentent aussi. L’article cite une prévision de Gartner selon laquelle, d’ici 2028, le coût d’inférence par flux de travail d’agents sera multiplié par plus de cinq ; Vals AI a mesuré que les équipes de programmation multi-agents coûtent de 1,8 à 5,1 fois plus qu’un agent seul, et que sur quatre configurations d’équipe, une seule a obtenu une amélioration statistiquement significative aux tests de référence.
Le cache est l’une des pistes d’économie. D’après un guide de Nvidia, 85 % à 97 % du contexte des appels suivants d’une session Claude Code peuvent être réutilisés depuis le cache ; Anthropic facture les jetons en cache de un quarantième à un dixième du prix d’entrée normal, selon le modèle. Le directeur technique d’Uber, Praveen Neppalli Naga, a dit en août à Fortune une phrase :
« we're coming to the end of the so-called tokenmaxxing era » (la prétendue ère où l’on empile les jetons sans compter touche à sa fin)
Les limites de l’échantillon
Ces chiffres sont à relativiser. Les répondants sont des lecteurs de VentureBeat et des volontaires du panel d’enquête, ce qui ne représente pas l’ensemble des entreprises ; l’enquête n’a pas demandé si les GPU étaient détenus ou loués, ni si l’entreprise pouvait les planifier directement, et n’a pas distingué la marge volontairement réservée aux pics de trafic ; la nouvelle plateforme prévue peut aussi n’être qu’un remplacement de l’ancienne. Les répondants de juillet ayant coché plusieurs options d’utilisation, ainsi que les entreprises qui ne mesurent pas l’usage de leurs GPU, n’ont pas été comptabilisés.
Par ailleurs, ce rapport fait aussi la promotion du sommet sur l’infrastructure d’agents organisé par VentureBeat lui-même, dont les sponsors incluent WEKA, Outshift de Cisco et OneTrust.
Sources : rapport d’enquête VentureBeat Intelligence, Gartner, CocoLoop, Vals AI ; vérification des tailles d’échantillon sur l’utilisation des GPU, des pourcentages par groupe et du critère de significativité statistique.