OpenAIはHot Chipsで、自社開発の推論専用チップ「Jalapeño」の初のベンチマークデータを公開した。Broadcomと共同開発したこのチップは定格消費電力700W、実測の持続消費電力は550W以下に抑えられている。比較対象はNVIDIAのGB200 NVL72とGB300 NVL72で、両者のアクセラレーター単体の定格はそれぞれ1200Wと1400Wだ。
ベンチマークにはSemiAnalysisが公開しているInferenceXスイートを使用し、GPT-OSS 120B、DeepSeek R1 670B、Moonshot AIのKimi K2.5(1兆パラメータ)の3モデルで検証した。OpenAIが示した結果によると、ピークスループット時の1kWあたりAI処理量は比較システムの1.5〜1.9倍、エンドツーエンドのレイテンシは1.7〜3.6倍低く、高インタラクティブ性が求められる場面での性能は2.1〜4.1倍に達したという。GB300がこれまでに達成した最速のトークン間隔の水準では、1kWあたりスループットの差は8.6〜104.3倍まで広がるとしている。
チップ単体の仕様は13.4PFLOPS(MXFP4精度)、216GBのHBM4、メモリ帯域幅15.4TB/s。128個を1ラックにまとめると、合計1.7EFLOPS、HBM4は27.5TB、帯域幅は2PB/s近くに達する。
ハードウェア責任者のRichard Ho氏は、会場で率直にこう述べた。
「The bottom line is that the results show a very, very significant performance advance over state of the art.(結論を言えば、この結果は現行最高水準に対する非常に大きな性能向上を示している)」
なぜ700Wというラインになったのか
Jalapeñoはモデルの学習を行わず、推論専用だ。この一点でチップの設計方針は根本的に変わる。学習で律速となるのは勾配同期とノード間の全結合帯域幅だが、推論で律速となるのはメモリ容量、KVキャッシュのヒット率、そして1リクエストあたりの応答時間だ。216GBのHBM4と13.4PFLOPSという組み合わせも、この観点で見れば納得がいく。演算密度を攻めるのではなく、メモリと帯域幅を潤沢に確保する設計になっている。
OpenAIは設計思想として「We designed Jalapeño to minimize data movement and communication delays(データ移動と通信遅延を最小化するようJalapeñoを設計した)」と説明しており、具体的にはKVキャッシュの配置場所を明示的に制御・ローカライズすることで、プリフィル段階と通信段階のボトルネックを解消したという。
ざっと試算してみる。同じ1400Wのラック電力予算があれば、Jalapeñoなら2個、GB300なら1個が収まる計算になる。1kWあたり1.5〜1.9倍というスループット差が成立するなら、同じ電力で得られる成果の差はさらに広がる。推論に演算資源の大半を割いている企業にとって、浮くのは電気代だけでなく、チップ不足で得られなかった処理能力も含まれる。
チップそのものの開発過程も注目に値する。コンセプトからテープアウトまで9カ月、設計プロセスにはAIによる支援が使われたという。
3つのベンチマークモデル、うち2つは中国発
比較に選ばれたモデルの顔ぶれが興味深い。GPT-OSS 120BはOpenAI自身のオープンウェイトモデルだが、DeepSeek R1 670BとKimi K2.5はそれぞれDeepSeekとMoonshot AIのモデルだ。米企業が自社開発したアクセラレーターの物差しに、中国の2チームが公開したオープンウェイトが使われている。
理由は単純だ。クローズドモデルの推論結果は第三者が再現できない。ハードウェアベンダーがベンチマークを信頼してもらうには、誰でもダウンロードして自分で動かせるウェイトを選ぶしかない。オープンモデルは「追いかける側」から、ハードウェア評価の公共の物差しという立ち位置に移った。この2年、中国のチームがエコシステム拡大のためにウェイトを公開してきた戦略が、思わぬところで回収され始めている。
割り引いて見るべき点
The Registerが指摘するように、今回の数値は割り引いて見る必要がある。比較には投機的デコードなどの最適化手法が含まれておらず、テスト条件も網羅的とは言えない。横並びで見ると、AMDのHeliosシステムはメモリ帯域幅がJalapeñoより15%少ない一方、演算性能は1.46〜2倍高い。NVIDIAとAMDのGPUはプログラマビリティで依然優位に立っており、専用推論チップは効率と引き換えに柔軟性を手放している。
さらに重要な点として、今回の比較には出荷が始まったばかりのVera Rubinが含まれていない。Jalapeñoが対抗しているのは旧世代のBlackwellであり、Vera Rubin自体がOpenAI自社設備で「極小規模」導入されるのは2026年末、本格展開は2027年になる見込みだ。実際に稼働する頃には、対戦相手はもはやGB300ではなくなっている。
ペース面でもOpenAIは足を止めていない。第2世代はすでに開発が進んでおり、第3世代も設計段階にあるという。
参考資料:OpenAI公式発表、TechCrunch、CocoLoop、The Register、Tom's Hardware。InferenceXのベンチマーク条件、単体チップの仕様、消費電力の数値は公開報道と照合済み。