Google Research 发布了一个给大模型安排”睡眠”的持续学习框架。论文作者是 Ali Behrouz、Farnoosh Hashemi、Adel Javanmard 和 Vahab Mirrokni，其中 Behrouz 同时挂着 Google 和康奈尔大学。思路借自人脑：白天接收信息，夜里把短期记忆整理成长期记忆。
模型部署以后参数通常不再变，知识停在训练截止那天。想让它继续学，直接微调容易出现灾难性遗忘，新知识把旧能力冲掉；靠上下文学习又只能撑到会话结束，窗口一清就什么都没留下。睡眠框架想同时绕开这两个坑。
醒着记笔记，睡着改参数
框架让模型在两个阶段之间切换。清醒阶段正常处理输入，新信息先放在高频更新的短期记忆里，比如上下文。进入睡眠阶段后，模型停止接收新输入，开始做两件事。
第一件是记忆巩固。模型预先在混合专家（MoE）结构里留好一批低秩专家，平时锁着，睡眠时解锁，挂到更新频率较低的长期记忆层上，旧参数不动。短期记忆里的内容通过蒸馏”往上搬”进这些新专家：一路是在线策略蒸馏，学生模型在自己采样的序列上对齐教师的 token 分布；另一路叫”学习模仿”，让学生续写教师生成文本的前缀，用语义相似度和编辑距离打分，做强化学习。搬完以后，高频临时参数清零，给下一轮腾地方，作者把这一步比作突触修剪。
第二件被作者叫作做梦。生成合成数据时，路由器故意激活平时不常搭配的专家，把不同领域混在一起，生成一批”梦境样本”；再用基于梯度的数据筛选，挑出最可能带来提升的那部分做监督微调，最后检查下游表现有没有变好。整个过程里，模型的主体架构和训练规则保持不变。
成绩单和空白处
持续翻译测试里，研究者让模型分阶段学满文和卡拉曼语这类训练语料里几乎见不到的语言。博客称睡眠方法的性能几乎没有下降，上下文学习、Cartridges 和 SFT 都出现了严重遗忘。BABILong 长上下文测试最长到 1000 万 token，结果接近满分，超过 GPT-4 和 Titans。数学推理方面，AIME 24 为 79.2%，AIME 25 为 69.0%，HMMT 25 为 46.1%；事实知识上，SQuAD 单任务为 48.9%，持续预训练设定下为 46.2%。
这些数字缺少对照。博客没有列出数学和事实问答上各基线的具体得分，持续翻译和类增量学习只给了图，没有数值。模型参数规模多大、睡一次要花多少算力，文中都没有交代，也没有单独的局限性章节，外部复现结果目前还没有出现。
同一组人的第三步
把这篇放回 Behrouz 和 Mirrokni 这条研究线上看，脉络比较清楚。2024 年底他们提出 Titans，给 Transformer 加了一个推理时也能更新的神经长期记忆模块；之后的 Hope 架构把模型拆成更新频率不同的多层记忆；这次的睡眠框架直接建在 Hope 和 MoE 之上。三步走下来，问题从”上下文怎么撑得更长”，转到了”上下文里的东西怎么沉淀进参数”。
方向相近的工作也有，比如 MIT 的 SEAL 让模型自己生成微调数据、更新权重，博客把它列进了对比基线。睡眠框架多出来的，是那套预留专家加定时清零的机制，用结构把新旧知识隔开。
它离产品还有一段路。线上模型如果每晚”睡”一次、改一次参数，安全评估和版本管理都得重新设计，用户今天和明天面对的可能是两个略有不同的模型。Google 目前没有披露任何部署计划，论文已经挂在 arXiv 上。
参考来源：Google Research 博客、CocoLoop、arXiv 论文；核验 AIME、HMMT、SQuAD 得分口径与 BABILong 测试的上下文长度。