Baiduの文心(ERNIE)チームは11月9日、技術ブログで自動研究システム「ERNIE Evolve」を発表した。ブログの説明によると、複数のエージェントが研究を分担して進める仕組みで、方向性の選定、仮説の立案、コードの修正、評価の実行、結果の検証までを担う。チームは4つの公開最適化タスクでこれを走らせ、3つで既存の最高成績を上回った。さらに、自社のERNIE-5.5-Flashの推論デプロイでも3件の最適化を実施している。
5つの役割と2層のループ
システムは外側と内側の2層に分かれる。ブログは次のようにまとめている。
「外側のループが何を研究するかを決め、内側のループが1つの方向をきちんとやり遂げる。」
外側のDirectorは、経験ライブラリとナレッジベースから次に検証する方向を選び、どのコードから着手するかも決める。元のコード、過去の最良版、中間版、上流の最新コミットのいずれも選択肢になる。内側のSelectorは毎ラウンド、起点となる候補バージョンを1つ選び、そのラウンドの仮説を書き出す。参照するのはスコアだけでなく、コードの変更内容、失敗の原因、過去の結果も含まれる。Executorは隔離された環境でコードを書き換える。
残る2つの役割が関門を担う。Evaluatorは最適化対象のリポジトリの外に置かれ、すべてのエージェントから見えない。改善幅がノイズの閾値を超えたものだけが採用される。Reviewerは、変更がそのラウンドの方向から外れていないか、評価の抜け穴を突いて成績を出していないかを点検する。方向を外れたバージョンは最良版になれず、抜け穴を突いたものは即座に無効となる。自動最適化システムで最も多い不具合は、スコアに迎合することを覚えてしまい、コード自体は良くならないというもので、この2つの関門はまさにそこを狙ったものだ。
公開タスクの成績
| タスク | 従来の最高 | ERNIE Evolve |
|---|---|---|
| NanoChat AutoResearch(検証セットBPB、低いほど良い) | 0.8878 | 0.8763 |
| NanoGPT Speedrun Track 1(到達までの学習時間) | 39.9秒 | 38.9秒 |
| NanoGPT Speedrun Track 3(到達までの学習ステップ数) | 2690ステップ | 2590ステップ |
| SOL-ExecBench(平均SOLスコア、高いほど良い) | 0.827 | 0.819 |
SOL-ExecBenchでは首位に立てなかったが、Recursiveの0.676やHyra-1.0の0.736は上回っている。公開タスクの最適化結果は、GitHubのernie-research/ERNIE-Evolve-Resultsリポジトリで公開されている。ERNIE Evolve本体をオープンソース化するかどうかについて、ブログは触れていない。
推論最適化の収支
産業向けタスクの数字はさらに大きい。Kunlunxin P800の低レイテンシ場面では、システムが4ラウンド、4つの研究方向を回し、生成速度をベースラインの623.6%に引き上げ、すべての正確性チェックも通過した。ブログは重要な発見の1つとして、既存の通信経路ではDeepEPの低レイテンシ通信が実際には有効になっていなかったことを挙げている。6倍を超える高速化のうち、この未適用の設定を見つけた分がどれだけで、新しい最適化手法による分がどれだけかは、ブログでは切り分けられていない。
決定的推論(deterministic inference)の項目では、スループットが33.7%向上し、トークン1つあたりの生成時間は26%、最初のトークンまでの遅延は12%短縮された。決定性は維持され、所要期間はおよそ3日。GPUでの極限デコードの項目では、システムが7つの方向を提案し、そのうち3つが改善をもたらして、デコード速度は14.9%向上、精度はベースラインと一致した。
ざっくり計算してみる。スループットが33.7%増えれば、同じリクエスト量に必要なカード数は元の約75%(1÷1.337)になる。この最適化がオンラインのクラスタ全体に展開できるなら、削減できるのは推論計算資源のおよそ4分の1だ。3つのタスクそれぞれにGPU時間をどれだけ費やしたかをブログは明かしておらず、この収支は現状、効果の側しか計算できない。コストの側は空白のままだ。
ブログは難しさについても率直に書いている。
「ベースラインには、エンジニアによる決定的推論向けの専用最適化がすでに含まれており、残る改善は1項目あたり1%〜2%程度にとどまることが多く、測定のばらつきと同程度である。」
多くの仮説は実験によって否定された。たとえば、カード間の単発通信はすでにレイテンシの下限に近く、この方向はそこで打ち切られた。
チームは文末で、再帰的自己改善(RSI)の拡張は制御可能で一時停止できるものでなければならず、安全性評価と人間による監督を受ける必要があると述べている。開示されたタスクを見る限り、ERNIE Evolveが現時点で手を入れているのは学習スクリプトと推論コードであり、モデル自体の学習プロセスにはまだ触れていない。
参考資料: Baidu 文心 ERNIE 技術ブログ、ERNIE-Evolve-Resultsオープンソースリポジトリ、CocoLoop。4つの公開タスクの成績とERNIE-5.5-Flashの3件の推論最適化の改善幅を照合した。