Google Research 發表了一個為大模型安排「睡眠」的持續學習框架。論文作者是 Ali Behrouz、Farnoosh Hashemi、Adel Javanmard 和 Vahab Mirrokni，其中 Behrouz 同時掛名 Google 與康乃爾大學。構想借自人腦：白天接收資訊，夜裡把短期記憶整理成長期記憶。
模型部署之後，參數通常不再變動，知識停在訓練截止那一天。想讓它繼續學習，直接微調容易出現災難性遺忘，新知識會把舊能力沖掉；靠上下文學習又只能撐到對話結束，視窗一清就什麼都沒留下。睡眠框架想同時避開這兩個坑。
醒著記筆記，睡著改參數
框架讓模型在兩個階段之間切換。清醒階段正常處理輸入，新資訊先放在高頻更新的短期記憶裡，例如上下文。進入睡眠階段後，模型停止接收新輸入，開始做兩件事。
第一件是記憶鞏固。模型預先在混合專家（MoE）架構裡留好一批低秩專家，平時鎖著，睡眠時解鎖，掛到更新頻率較低的長期記憶層上，舊參數不動。短期記憶裡的內容透過蒸餾「往上搬」進這些新專家：一路是在線策略蒸餾，學生模型在自己取樣的序列上對齊教師的 token 分布；另一路叫「學習模仿」，讓學生續寫教師生成文字的前綴，用語意相似度和編輯距離打分，進行強化學習。搬完之後，高頻暫存參數歸零，替下一輪騰出空間，作者把這一步比作突觸修剪。
第二件被作者稱為做夢。生成合成資料時，路由器刻意啟用平時不常搭配的專家，把不同領域混在一起，產生一批「夢境樣本」；再用基於梯度的資料篩選，挑出最可能帶來提升的那部分做監督式微調，最後檢查下游表現有沒有變好。整個過程中，模型的主體架構與訓練規則維持不變。
成績單與空白處
在持續翻譯測試中，研究者讓模型分階段學習滿語和卡拉曼語這類訓練語料裡幾乎看不到的語言。部落格稱睡眠方法的效能幾乎沒有下降，上下文學習、Cartridges 和 SFT 都出現了嚴重遺忘。BABILong 長上下文測試最長到 1000 萬 token，結果接近滿分，超越 GPT-4 和 Titans。數學推理方面，AIME 24 為 79.2%，AIME 25 為 69.0%，HMMT 25 為 46.1%；事實知識上，SQuAD 單任務為 48.9%，持續預訓練設定下為 46.2%。
這些數字缺少對照。部落格沒有列出數學和事實問答上各基線的具體得分，持續翻譯和類別增量學習只給了圖，沒有數值。模型參數規模多大、睡一次要花多少算力，文中都沒有交代，也沒有獨立的局限性章節，外部重現結果目前還沒有出現。
同一組人的第三步
把這篇放回 Behrouz 和 Mirrokni 這條研究線上來看，脈絡相當清楚。2024 年底他們提出 Titans，替 Transformer 加了一個推論時也能更新的神經長期記憶模組；之後的 Hope 架構把模型拆成更新頻率不同的多層記憶；這次的睡眠框架直接建在 Hope 和 MoE 之上。三步走下來，問題從「上下文怎麼撐得更長」，轉到了「上下文裡的東西怎麼沉澱進參數」。
方向相近的研究也有，例如 MIT 的 SEAL 讓模型自己生成微調資料、更新權重，部落格把它列進了比較基線。睡眠框架多出來的，是那套預留專家加定時歸零的機制，用結構把新舊知識隔開。
它離產品還有一段路。線上模型如果每晚「睡」一次、改一次參數，安全評估和版本管理都得重新設計，使用者今天和明天面對的可能是兩個略有不同的模型。Google 目前沒有揭露任何部署計畫，論文已經掛在 arXiv 上。
參考來源：Google Research 部落格、CocoLoop、arXiv 論文；已核對 AIME、HMMT、SQuAD 的得分口徑與 BABILong 測試的上下文長度。