OpenAIは11月18日にチップ設計に関するレポートを公開し、自社モデルが2種類のハードウェア開発に関わったと説明した。1つは自社開発の推論チップ「Jalapeño」、もう1つはAMDと協力して進めた旗艦GPUの設計モジュールの最適化である。同社によると、AMDの旗艦GPU IPでは、モデルが提案した変更により、消費電力・性能・面積(業界ではまとめてPPAと呼ぶ)の総合指標が「高度に最適化されたベースライン」に対して最大14%向上した。作業期間は5カ月足らずで、一部の変更はすでに製造向けに出荷される設計に組み込まれているという。
OpenAIはこの成果を「5カ月足らずで約1年分の進捗」と要約している。これは同社自身の言い方であり、公開されている報道では、AMDが単独で定量的なコメントを出した形跡はない。
モデルが書き換えたのはRTLコード
レポートを伝えたメディアによると、モデルが行ったのはSystemVerilogで書かれたRTL、つまり回路を記述するコードの書き換えだ。書き換えのたびにSynopsysのツールでモジュールの動作が変わっていないことを検証し、そのうえでPPAのトレードオフを評価した。製造向けのGPU設計に加え、AMDは別の一部の変更を後続バージョンの量産設計ファイルにも取り込み、次世代の旗艦CPUのいくつかの主要モジュールでも、PPAが1桁台のパーセントで改善することを確認した。
Jalapeño側の数字はさらに細かい。モデルが提案した変更により、warp engine(ベクトルユニット)のスタンダードセル面積は約13%、マトリクスユニットは約10%減った。このうちマトリクスユニットの乗算器は再設計によって、合成段階でのセル面積が約15%減り、遅延は2サイクルから1サイクルに短縮された。加算器も面積は約15%減り、遅延は2サイクルのままだった。OpenAIは、これらの最適化はチップの初回起動の段階で検証されたとしている。
レポートにはRISC-Vの実験も付されている。5世代のモデルに、オープンソースの32ビットプロセッサコアであるPicoRV32とIbexの最適化、または文書化された要件からコア全体を書き起こす作業をさせたもので、採点付きの実行は合計9,881回。シミュレーションに通らなかったもの、面積が元のコアの16倍を超えたものは0点とした。GPT-6.2 Astraは、2つのコアのRTL最適化タスクで平均スコアが最も高かった。「要件からコアを書く」タスクでは、PicoRV32で平均0.7超、Ibexで約0.75だった。
OpenAIはこの実験の欠点も記している。要件から出発したモデルは、元のコアにあった性能カウンターや拡張命令といった機能を落とすことがあり、これらはテスト負荷のスループットにあまり寄与しない。そのため「要件からコアを書く」のスコアが高めに出たのは、一部は機能の欠落によるものかもしれない。同社が示す改善策は、こうした機能を必須項目にすること、面積の上限を引き締めること、物理合成の後でタイミングを再確認することだ。
点をつないで見る
この1年のOpenAIのハードウェア関連の動きは、ペースが非常に速い。6月にBroadcomとJalapeñoを発表し、初期設計からテープアウトまで約9カ月と説明した。8月にはシリコンの結果を公開。9月30日にはSynopsysと複数年にわたる契約を結び、共同開発、市場展開、収益分配を対象とした。今回のレポートでは、両社がさらにGPT-Synopsysの訓練を発表した。モデルがベテランのエンジニアのようにEDAツールを操作し、PPA最適化からタイミング・検証の収束まで進め、最終段階でエンジニアがレビューするという構想である。
Synopsysは、顧客の設計データがGPT-Synopsysの訓練に使われることはなく、データは保存時も転送時も暗号化され、保持期間、監査、権限は設定可能だとしている。設計データは半導体企業にとって最も機微な資産であり、この約束が懸念を払拭できるかどうかは、今後どれだけの顧客がRTLをこのツールに預けるかにかかっている。
現時点では、すべての数字がOpenAI側のものだ。14%がどのモジュールに当たるのか、AMDのどの世代の製品に対応するのかは公開資料に記載がなく、第三者による再現もまだない。
参考資料:OpenAIのチップ設計レポート、The Decoder、CocoLoop、Unite.AI。AMD旗艦GPU IPのPPA改善幅、Jalapeñoの各ユニットの面積削減率、RISC-V実験の実行回数を確認した。