Google Researchは、大規模言語モデルに「睡眠」を組み込む継続学習フレームワークを発表した。論文の著者はAli Behrouz氏、Farnoosh Hashemi氏、Adel Javanmard氏、Vahab Mirrokni氏で、Behrouz氏はGoogleとコーネル大学の両方に所属している。発想は人間の脳から借りたもので、日中に情報を受け取り、夜間に短期記憶を長期記憶へ整理し直すというものだ。
モデルは配備後、通常はパラメータが変わらないため、知識は学習データの締め切り日で止まる。さらに学習させようとして単純にファインチューニングすると、新しい知識が古い能力を押し流す破滅的忘却が起きやすい。文脈内学習に頼る方法は、セッションが終わるまでしか持たず、ウィンドウをクリアすれば何も残らない。睡眠フレームワークは、この二つの落とし穴を同時に避けようとするものだ。
起きている間はメモ、眠っている間にパラメータを書き換える
このフレームワークでは、モデルが二つのフェーズを切り替える。覚醒フェーズでは通常どおり入力を処理し、新しい情報はまず、コンテキストなど高頻度で更新される短期記憶に置かれる。睡眠フェーズに入ると、モデルは新しい入力の受け付けを止め、二つの作業を行う。
一つ目は記憶の固定化だ。モデルはあらかじめ混合専門家（MoE）構造の中に低ランクの専門家を複数確保しておく。平時はロックされており、睡眠時に解除されて、更新頻度の低い長期記憶層に接続される。既存のパラメータには手を加えない。短期記憶の内容は、蒸留によってこれらの新しい専門家へ「引き上げ」られる。一方の経路はオンポリシー蒸留で、生徒モデルが自分でサンプリングした系列上で、教師のトークン分布に合わせる。もう一方は「模倣学習」と呼ばれ、教師が生成した文章の冒頭部分に続けて生徒に書かせ、意味的類似度と編集距離で採点して強化学習を行う。移し終えると、高頻度の一時パラメータはゼロに戻され、次のラウンドの余地が作られる。著者はこの工程をシナプスの刈り込みになぞらえている。
二つ目は、著者が夢を見ると呼ぶ工程だ。合成データを生成する際、ルーターは普段あまり組み合わされない専門家をあえて活性化させ、異なる領域を混ぜ合わせて「夢のサンプル」を作る。続いて勾配ベースのデータ選別で、最も効果が見込めるものを選び、教師あり微調整に使う。最後に、下流タスクでの成績が改善したかを確認する。この過程を通じて、モデルの基本アーキテクチャと学習ルールは変わらない。
成績表と空白部分
継続翻訳のテストでは、研究者がモデルに満洲語やカラマン語など、学習コーパスにほとんど現れない言語を段階的に学ばせた。ブログによれば、睡眠方式では性能がほとんど低下せず、文脈内学習、Cartridges、SFTはいずれも深刻な忘却が生じた。BABILongの長文脈テストは最長1000万トークンで、結果は満点に近く、GPT-4とTitansを上回った。数学的推論ではAIME 24が79.2%、AIME 25が69.0%、HMMT 25が46.1%。事実知識ではSQuADの単一タスクが48.9%、継続事前学習の設定では46.2%だった。
これらの数字には比較対象が欠けている。ブログは数学と事実QAについて各ベースラインの具体的なスコアを載せておらず、継続翻訳とクラス増分学習も図があるだけで数値はない。モデルのパラメータ規模や、一回の睡眠にどれだけの計算資源がかかるかについても、文中に記載はない。独立した限界の章もなく、外部による再現結果もまだ出ていない。
同じチームによる三歩目
この論文をBehrouz氏とMirrokni氏の研究の流れに置いて見ると、筋道は比較的はっきりしている。2024年末に二人はTitansを提案し、推論時にも更新できるニューラル長期記憶モジュールをTransformerに加えた。その後のHopeアーキテクチャは、モデルを更新頻度の異なる複数の記憶層に分けた。今回の睡眠フレームワークは、HopeとMoEの上に直接構築されている。三歩を経て、問題は「文脈をどうやって長く保つか」から、「文脈の中身をどうやってパラメータに沈殿させるか」へと移った。
方向の近い研究もある。たとえばMITのSEALは、モデル自身に微調整用データを生成させて重みを更新するもので、ブログでも比較対象のベースラインに挙げられている。睡眠フレームワークが加えたのは、専門家の事前確保と定期的なゼロ化という仕組みで、構造によって新旧の知識を隔てている点だ。
製品化にはまだ距離がある。稼働中のモデルが毎晩「眠って」パラメータを書き換えるなら、安全性評価もバージョン管理も設計し直す必要があり、ユーザーは今日と明日で、わずかに異なる二つのモデルに向き合うことになりかねない。Googleは現時点で配備計画を一切明らかにしておらず、論文はすでにarXivに公開されている。
参考資料：Google Researchブログ、CocoLoop、arXiv論文。AIME、HMMT、SQuADのスコアの算出基準とBABILongテストのコンテキスト長を確認した。