Dwarkesh Patel氏とJerry Han氏は9月8日、事前学習に関する対照実験の結果を公開した。2019年から2025年の間、1e19 FLOPsの計算予算下で、データ改善による計算効率の向上は12.0倍、モデル改善によるものは3.7倍で、前者は後者の3.24倍に達するという。
実験の方法
両氏はモデルのレシピと学習コーパスをそれぞれ年代別の2つの軸に分け、それらを掛け合わせて学習を行った。モデル軸は2019年のGPT-2から2025年のOLMo-2まで並び、途中にGPT-3およびNeoX方式のレシピが入る。データ軸は2019年のOpenWebTextから2025年のUltraFineWebまで並び、途中にThe Pileが入る。OpenWebTextは約90億トークンで、現代のコーパスはこれより数桁大きい。
計算予算は1e17、3.16e17、1e18、3.16e18、1e19 FLOPsの5段階で、名目上はC = 6NDの式で算出した。評価にはOLMESを用いた。これは比較的単純な10種類のベンチマーク(大半が多肢選択式の質問応答)を集約したものだ。損失関数(クロスエントロピー)を使わなかった理由は明快で、各実験で用いるデータセットが異なるため、損失値同士を直接比較できないからだという。
結果を線形回帰にかけたところ、データ項とモデル項を単純に足し合わせたモデルで分散の88%を説明できた。
年率換算するとさらに小さくなる
年率換算すると、モデル側の計算効率向上は年1.24倍、データ側は年1.51倍、両者を合わせると年1.57倍になる。
1.57倍という数字は、これまでの業界推計を下回る。Anson Ho氏らが示した平均値は3倍で、ほぼ倍の開きがある。著者らはこの差を避けずに、2つの理由を挙げている。実験の規模が小さすぎて、このスケールでは現れない増益が多いこと、そして小規模な学習では推論側の最適化がカバーされていないことだ。
この2つの数字はそのまま比較できるものではない。一方は変数がクリーンな、小規模の対照実験であり、外挿できる余地は限られる。もう一方は業界全体を対象にした大まかな推計で、範囲は広いが増益の内訳は分解できない。この研究の意義は「データ」と「モデル」を切り分けて重みを測ったことにあり、3.24倍という具体的な数字自体はむしろ二次的なものだ。
著者自身が残した含み
原文には、結論よりも記憶しておくべき一文がある。
"if the gains are limited, then the main driver of pretraining progress will stall, because we're not generating more internet, and you can only curate a fixed set of data by so much."
(意訳:もし増益が限られているなら、事前学習の進歩を牽引してきた主な要因は頭打ちになる。なぜなら、インターネット上のデータをこれ以上生み出すことはできず、固定されたデータをどれだけ整理し尽くしても、絞り出せる量には限りがあるからだ。)
著者らは自ら4つの限界を挙げている。第一に、実験規模が小さく、多くの増益を捉えきれていない。第二に、計算乗数はどのモデルレシピとどのコーパスを選ぶかに敏感で、組み合わせを変えれば結果も変わる。第三に、Common Crawlのクリーニングという手法しか検証しておらず、新たなソースからの高品質データ収集、人間の専門家によるデータ生成、合成データ生成という3つの経路はカバーしていない。第四に、ベンチマークを変えれば結論は「大きく変わる」という。
特に第三の点が重要だ。ここ数年、公開の議論で繰り返し取り上げられてきた増分データの供給源は、まさに彼らが検証していないこの3つのカテゴリーに当てはまる。この実験が答えているのは、過去6年間のインターネットデータのクリーニングがどこまで進んだかであり、この先どれだけの伸びしろが残っているかには答えていない。
参考資料:Dwarkesh Podcast原文、OLMESベンチマーク解説、CocoLoop。計算効率の倍率と年率換算値は原文の1e19 FLOPs基準に基づき、業界の3倍という推計値はAnson Ho氏らの研究を引用したもの。