百度自动研究系统刷新三项公开纪录

AI 研究题图:显微镜对准红色样本,旁边摊着节点图纸

百度文心团队 11 月 9 日在技术博客发布自动研究系统 ERNIE Evolve。按博客描述,它让多个智能体分工推进一项研究:选方向、提假设、改代码、跑评测、复核结果。团队拿它跑了四个公开优化任务,三个超过已有最好成绩;另在自家 ERNIE-5.5-Flash 的推理部署上做了三项优化。

五个角色,两层循环

系统分外层和内层。博客的概括是:

“外层决定研究什么,内层负责把一个方向做好。”

外层的 Director 从经验库和知识库里挑下一个要验证的方向,并决定从哪份代码起步,可以是原始代码、历史最优版本、中间版本,也可以是上游最新提交。内层的 Selector 每轮选一个候选版本当起点,写下本轮假设,参考的除了分数,还有代码改动、失败原因和历史结果。Executor 在隔离环境里改代码。

后两个角色负责把关。Evaluator 放在被优化仓库之外,所有智能体都看不到它,提升幅度超过噪声阈值才会被接受;Reviewer 检查改动有没有偏离本轮方向、成绩是不是钻了评测漏洞,偏离方向的版本当不了最优版本,钻漏洞的直接作废。自动优化系统最常见的毛病是学会讨好分数、代码本身没变好,这两道关卡就是冲着它去的。

公开任务的成绩

任务原最佳ERNIE Evolve
NanoChat AutoResearch(验证集 BPB,越低越好)0.88780.8763
NanoGPT Speedrun Track 1(达标训练时间)39.9 秒38.9 秒
NanoGPT Speedrun Track 3(达标训练步数)2690 步2590 步
SOL-ExecBench(平均 SOL 分数,越高越好)0.8270.819

SOL-ExecBench 没有拿到第一,但高于 Recursive 的 0.676 和 Hyra-1.0 的 0.736。公开任务的优化结果放在 GitHub 的 ernie-research/ERNIE-Evolve-Results 仓库,ERNIE Evolve 系统本身开不开源,博客没有提。

推理优化的一笔账

工业任务的数字更大。昆仑芯 P800 的低时延场景,系统跑了四轮、四个研究方向,生成速度到了基线的 623.6%,并通过全部正确性检查。博客提到其中一项关键发现:原有通信路径并没有实际启用 DeepEP 低延迟通信。六倍多的提速里,有多少来自找出这处没生效的配置、多少来自新的优化方法,博客没有拆开讲。

确定性推理那一项,吞吐提升 33.7%,单 token 生成时间缩短 26%,首 token 延迟缩短 12%,确定性保持不变,前后约 3 天。GPU 极致解码一项,系统提了 7 个方向,3 个带来提升,解码速度提高 14.9%,精度与基线一致。

粗算一下:吞吐多 33.7%,同样的请求量需要的卡数约为原来的 75%(1 ÷ 1.337)。如果这项优化能整体搬到线上集群,省下的大约是四分之一的推理算力。三项任务各花了多少 GPU 小时,博客没有披露,这笔账目前只能算收益一侧,成本一侧是空的。

博客对难度写得很直白:

“基线也已包含工程师针对确定性推理做的专项优化,剩下的改进单项往往只有 1% – 2%,与测量波动相当。”

不少假设被实验证伪,比如单次跨卡通信已接近延迟下限,这条方向就停在那里。

团队在文末提到,递归自我改进(RSI)的扩展必须可控、可暂停,并接受安全评估和人工监督。从披露的任务看,ERNIE Evolve 目前改的是训练脚本和推理代码,还没有碰模型自身的训练过程。

参考来源:百度文心 ERNIE 技术博客、ERNIE-Evolve-Results 开源仓库、CocoLoop;核验四项公开任务成绩与 ERNIE-5.5-Flash 三项推理优化幅度。