OpenAI在Hot Chips大會上公布了自研推論晶片Jalapeño的第一批測試數據。這顆晶片由OpenAI與博通（Broadcom）共同開發，額定功耗700瓦，實測持續功耗壓在550瓦以內，對比的是輝達GB200 NVL72與GB300 NVL72——兩者單顆加速器的額定功耗分別為1200瓦與1400瓦。
跑分採用SemiAnalysis公開的InferenceX測試套件，共測了三個模型：GPT-OSS 120B、DeepSeek R1 670B、Moonshot AI的Kimi K2.5（1兆參數）。OpenAI公布的結果顯示，在尖峰吞吐量下，每千瓦產出的AI運算量是對比系統的1.5至1.9倍，端到端延遲低1.7至3.6倍，高互動場景的性能高出2.1至4.1倍。在GB300過去測得的最快出詞間隔那個檔位，OpenAI公布的每千瓦吞吐量差距則拉大到8.6至104.3倍。
單顆晶片規格為13.4 PFLOPS（MXFP4精度）、216GB HBM4、記憶體頻寬15.4TB/s。128顆組成一個機櫃，總計達1.7 EFLOPS、27.5TB HBM4、頻寬接近2PB/s。
OpenAI硬體部門負責人Richard Ho在會上給出的評語相當直白：
「The bottom line is that the results show a very, very significant performance advance over state of the art.（重點是，這些結果顯示出相對於目前最高水準、非常、非常顯著的性能進步。）」
700瓦這條線是怎麼劃出來的
Jalapeño不負責訓練模型，只做推論。光是這一點，晶片的資源分配邏輯就完全不同。訓練吃的是梯度同步與跨節點全互聯頻寬，推論吃的則是記憶體容量、KV快取命中率，以及單一請求的回應時間。216GB HBM4搭配13.4 PFLOPS的組合也就說得通——運算密度沒有衝得很激進，記憶體與頻寬反而給得很足。
OpenAI官方對設計理念的說法是「We designed Jalapeño to minimize data movement and communication delays」（我們設計Jalapeño是為了將資料搬移與通訊延遲降到最低），具體做法包括明確安排並在地化KV快取的存放位置，專門消除預填充階段與通訊階段的瓶頸。
粗略算一筆帳：同樣一個1400瓦的機櫃功耗預算，可以塞下兩顆Jalapeño，或是一顆GB300。如果每千瓦1.5至1.9倍的吞吐量差距成立，同功耗下的產出差距會再被放大一輪。對一家把大部分運算力都花在推論端的公司來說，省下來的不只是電費，還有原本可能因缺卡而拿不到的那部分產能。
晶片本身的開發過程也值得一記：從概念到流片只花了九個月，設計過程裡用上了AI輔助。
三個跑分基準模型，兩個來自中國
用來跑分的模型組合頗有意思。GPT-OSS 120B是OpenAI自家的開放權重模型，DeepSeek R1 670B與Kimi K2.5則分別出自DeepSeek與Moonshot AI。一顆美國公司自研的加速器，拿兩個中國團隊的開放權重模型當量尺。
原因其實很單純：封閉模型的推論結果第三方沒辦法重現，硬體廠商如果想讓跑分令人信服，只能選任何人都能下載、都能自己跑一遍的開放權重。開放模型於是從「追趕者」的位置，滑進了硬體評測公共量尺的角色。中國團隊這兩年把權重開放出來換取生態圈規模，回報如今開始在意想不到的地方兌現。
幾個該打折扣看待的地方
The Register提醒這批數據得打點折扣看：比較中排除了推測解碼（speculative decoding）之類的最佳化手法，測試條件也稱不上完整。橫向比較的話，AMD的Helios系統記憶體頻寬比Jalapeño少15%，運算力卻高出1.46至2倍；輝達與AMD的GPU在可程式化彈性上仍佔優勢，專用推論晶片換來的是能效，代價是犧牲了彈性。
更關鍵的一點是：這次比較沒有把剛開始出貨的Vera Rubin算進來。Jalapeño對打的是上一代Blackwell，而Vera Rubin本身要到2026年底才會在OpenAI自有機房裡「極小批量」上線，規模化部署則落在2027年。等它真正上線的時候，對手已經不是GB300了。
節奏上OpenAI也沒打算放慢：第二代已經在深度開發中，第三代則正在設計階段。
參考來源：OpenAI官方公告、TechCrunch、CocoLoop、The Register、Tom's Hardware；SemiAnalysis InferenceX的測試基準、單顆晶片規格與功耗數字皆以公開報導逐項核對。