VentureBeatの調査部門が、7月から9月に実施した3回分のVB Pulse調査を集計した。企業のAI計算資源が広く遊休状態にある一方で、調達計画は鈍っていないことが分かった。対象は従業員100人以上の組織に所属する有効回答者385人で、主要顧客に代わって回答したコンサルタントも含まれる。このうち218人がGPU稼働率を回答した。
79%(218人中172人)が、自社のGPUが稼働している時間は半分以下だと答えた。月ごとの数値は77%から81%の間で推移している。そのGPUが遊んでいる企業の中でも、70%(172社中120社)が今後12カ月以内に、新規または置き換え用のAI計算基盤を導入する計画だ。
遊休でも稼働中でも、買いたい気持ちは変わらない
GPUの稼働が高い46社では、74%が新基盤の導入を計画している。記事は、70%と74%の差は統計的に有意ではなく、稼働率の高低は調達意欲にほとんど影響していないと判断している。
新基盤の調達先も大きく偏っている。遊休企業のうち新基盤を計画する120社では、90%がクラウドプラットフォームまたはモデル提供企業を挙げ、オンプレミスやホスティング型クラスター、オープンソースの自社運用スタックを選ぶのは8%にとどまった。
対照的なのが自前運用の側だ。オンプレミスまたはホスティング型クラスターやオープンソースの自社運用スタックを動かす32社では、GPUが少なくとも半分の時間遊休している割合は56%。それ以外の186社では83%だった。調査は理由を尋ねておらず、筆者が示した解釈も推測だと明記されている。
「投資の9割が財務監査を通っていない」という言い方は、9月単月のデータに基づく。新基盤を計画する64社のうち58社(91%)が、財務部門の確認を受けた投資対効果の数字を示せなかった。ただしサンプルは1カ月分・数十社にすぎず、ほかの月には同じ質問をしていない。
遊休のコストをざっと試算する
稼働率は単価に反比例して効いてくる。ハイエンドGPUを1カード時間あたり2ドルで借りると仮定すると、8カードのサーバー1台の年間賃料は約14万ドルになる(概算:8カード×8,760時間×2ドル)。稼働率80%なら、実際に働いた1カード時間あたりのコストは約2.5ドル。40%まで下がると5ドルになる。同じだけの有効な計算量を得るには年間で約14万ドル多く払う必要があり、もう1台借りるのと同じ額だ。
請求書の反対側も膨らんでいる。記事はGartnerの予測を引き、2028年にはエージェントのワークフロー1件あたりの推論コストが5倍以上になるとしている。Vals AIの測定では、マルチエージェントのコーディングチームの費用は単一エージェントの1.8〜5.1倍で、4種類のチーム構成のうちベンチマークで統計的に有意な改善が出たのは1種類だけだった。
節約策のひとつがキャッシュだ。NVIDIAのガイドによれば、Claude Codeのセッションで後続の呼び出しに含まれるコンテキストの85%〜97%はキャッシュから再利用できる。Anthropicはキャッシュされたトークンを、モデルによって通常の入力価格の10分の1から40分の1で課金している。UberのCTO、Praveen Neppalli Naga氏は8月、Fortuneにこう語っている。
「いわゆるtokenmaxxing(トークンを惜しまず積み上げる)時代は終わりに近づいている」
サンプルの限界
この数字は割り引いて見る必要がある。回答者はVentureBeatの読者や調査パネルの自発的な参加者で、企業全体を代表するものではない。調査ではGPUが自社保有か賃借か、企業が直接スケジューリングできるか、トラフィックのピークに備えて意図的に確保した余剰分かどうかを区別していない。計画中の新基盤が、単に旧基盤の置き換えである可能性もある。7月に稼働率の選択肢を複数選んだ回答者や、GPU使用量を計測していない企業は集計から除外されている。
また、このレポートはVentureBeat自身のエージェント基盤サミットの宣伝も兼ねており、スポンサーにはWEKA、シスコ傘下のOutshift、OneTrustが名を連ねる。
参考資料:VentureBeat Intelligence調査レポート、Gartner、CocoLoop、Vals AI。GPU稼働率のサンプル数、各グループの割合、統計的有意性の扱いを確認した。