VentureBeat調查:79%企業GPU半數時間閒置

AI infrastructure illustration: server racks leading to a power tower

VentureBeat 旗下研究部門彙整了 7 月至 9 月的三期 VB Pulse 調查,結果顯示企業的 AI 算力大面積閒置,採購計畫卻沒有放緩。受訪對象為員工 100 人以上機構的 385 名合格受訪者,其中包括替主要客戶作答的顧問;有 218 人回報了 GPU 使用率。

79%(218 人中的 172 人)表示自家 GPU 忙碌的時間不超過一半,三個月份的數字落在 77% 到 81% 之間。就在這批 GPU 閒置的企業中,有 70%(172 家中的 120 家)計畫在未來 12 個月內引進新增或替換的 AI 運算平台。

閒不閒,購買的衝動都差不多

GPU 較忙碌的 46 家企業中,有 74% 計畫新增平台。文章判斷 70% 與 74% 的差距在統計上並不顯著,使用率高低對採購意願幾乎沒有影響。

新平台要向誰採購也相當集中。閒置企業中計畫新增平台的 120 家,有 90% 點名雲端平台或模型供應商,只有 8% 打算採用地端或託管叢集、自行管理的開源架構。

反差出現在自建這一側。營運地端或託管叢集、自行管理開源架構的 32 家公司中,GPU 至少一半時間閒置的比例為 56%;其他 186 家公司則是 83%。調查並未詢問原因,作者提出的解釋也標明僅是猜測。

「九成投資沒通過財務審核」的說法,來自 9 月單月的數據:計畫新增平台的 64 家企業中,有 58 家(91%)拿不出經財務部門審核的投資報酬數字。這個樣本只有一個月、幾十家公司,其他月份並未詢問同一題。

粗估閒置的代價

使用率對單位成本的影響呈反比關係。假設租用一張高階 GPU 每卡時 2 美元,一台 8 卡伺服器全年租金約 14 萬美元(粗估:8 卡 × 8,760 小時 × 2 美元)。使用率 80% 時,每個真正在工作的卡時成本約 2.5 美元;掉到 40%,就變成 5 美元。想拿到同樣多的有效算力,一年要多付約 14 萬美元,相當於再租一台。

帳單的另一側也在上漲。文章引用 Gartner 的預測,到 2028 年每個代理(agent)工作流程的推論成本將上漲五倍以上;Vals AI 測得多代理程式開發團隊的花費是單一代理的 1.8 到 5.1 倍,四種團隊配置中只有一種在基準測試上取得統計上顯著的進步。

省錢的做法之一是快取。輝達的一份指南顯示,Claude Code 工作階段中後續呼叫的內容脈絡,有 85% 到 97% 可從快取重複使用;Anthropic 對快取 token 的收費是一般輸入價格的四十分之一到十分之一,視模型而定。Uber 技術長 Praveen Neppalli Naga 8 月曾對《財星》(Fortune)說過一句話:

“we're coming to the end of the so-called tokenmaxxing era”(所謂不計成本堆 token 的時代快結束了)

樣本的侷限

這組數字要打點折扣來看。受訪者是 VentureBeat 讀者與調查面板中自願作答的人,並不代表全體企業;調查沒有詢問 GPU 是自有還是租用、企業能否直接調度,也沒有區分為因應流量尖峰而刻意預留的備援;計畫中的新平台也可能只是汰換舊平台。7 月勾選了多個使用率選項的受訪者,以及不量測 GPU 使用情況的企業,都沒有納入計算。

此外,這份報告同時也在推廣 VentureBeat 自家的代理基礎設施高峰會,贊助商包括 WEKA、思科旗下的 Outshift 與 OneTrust。

參考來源:VentureBeat Intelligence 調查報告、Gartner、CocoLoop、Vals AI;核實 GPU 使用率樣本數、各分組百分比與統計顯著性的口徑。