MIT用121个游戏重看AI推理

一套模型在棋盘上跑得慢,未必更像人。MIT、剑桥和普林斯顿等团队新发在 Nature 的研究,把问题换成 121 个陌生棋类规则后,结论反倒指向一条很轻的路线:人第一次看见新游戏时,靠的多半是少量、浅层、带目标感的心理模拟。

这件事放到 AI 里看,钩子很直接。过去几年,推理模型常把“多想一会儿”当成能力标志,测试里也不断奖励更长链路、更大搜索树。可真实用户遇到新任务时,经常先做另一件事:这个局面要不要继续想,该投多少算力,先试哪一步。

这篇论文给出的答案很克制:先别把人脑想成小号 AlphaZero。

121个游戏,测的是“第一眼”

研究团队构造了 121 个双人策略棋类变体,大多从井字棋、五子棋这类连线规则改造而来。棋盘大小、连线长度、胜负条件、回合动作都会变,但基本动作仍是往格子里落子。

这样设计有一个好处:参与者能读懂规则,却没有长期训练形成的套路。研究覆盖 1000 多名参与者,任务分成几类:只看规则判断游戏是否公平、估计好不好玩、第一次实际落子、观看别人对局后预测下一步,以及收到和棋请求时要不要继续。

Intuitive Gamer 模型做的事也很简单:用少量自我对局模拟局面,再用目标导向的启发式评估行动。它不会像 MCTS 那样展开大搜索树,也不会像 Expert Gamer 那样跑到近似五层搜索。

论文里有一句短话点出它对 AI 的启发:

“whether a task is worth thinking about at all”

也就是先判断一个任务有没有投入算力的必要。

快很多,但没有乱猜

最容易被误读的地方在这里。浅层模拟并不等于随便猜。实验显示,在“只看规则、还没玩过”的公平性判断里,Intuitive Gamer 与人类估计的拟合达到 R²=0.81,接近人类数据自身可解释上限 R²=0.82

对照组差距很明显:

  • 随机玩家模型为 R²=0.47
  • Expert Gamer 为 R²=0.65
  • MCTS 基线为 R²=0.60

效率差距更大。按论文的自我对局模拟口径,Intuitive Gamer 的 wall-clock 耗时约为 Expert Gamer 的 1/700,评估棋盘状态约少 500 倍;相对 MCTS,耗时接近 1/40000,节点评估少近 10000 倍

这组数字对大模型公司很刺眼。很多智能体系统在新任务上会把更多上下文、更长规划、更贵模型层层堆上去,但用户常见的失败并非少算了一层树,常常发生在第一步:任务类型、风险和投入额度看错了。

人类玩家也更像浅搜模型

论文没有停在“判断游戏”这一层。研究团队又让 302 名参与者实际打一局新游戏,共得到 1808 场对局、9892 步落子。在行动预测里,Intuitive Gamer 对玩家选择的解释力优于 Expert Gamer 和随机模型。

更具体地看,在 41 个测试游戏中,它能覆盖超过一半动作概率分布的游戏有 32 个;从个体看,302 名玩家里有 243 人的动作分布超过一半能由该模型解释。

还有一个很有现场感的实验:让新一组参与者观看冻结的对局局面,预测人类玩家下一步会怎么走。样本覆盖 249 个棋盘状态。Intuitive Gamer 相对 Expert Gamer 的 TVD 差值为 -0.15,相对随机模型为 -0.09,数值越低说明分布越接近人类预测。

这不像“人类总是聪明地少算”。更准确的说法是,人会在陌生规则里用少量模拟抓住几个可能动作,再保留一定不确定性。Expert Gamer 有时给出更高收益的少数位置,反而显得不像第一次接触规则的人。

对AI的提示:先学会分配思考

这项研究不能直接推出一个通用 AI 架构。论文边界写得很清楚:当前任务集中在完全信息、双人、竞争性棋类游戏,且多数规则仍来自连线棋这一熟悉家族。围棋、国际象棋、多智能体协作、开放式科学探索,都还需要单独验证。

可它给 AI 推理评测提了一个很实用的指标:不要只看模型能不能在给定题目上想得更深,也要看它能不能在新任务到来时判断“浅试够不够、深搜何时启动、继续计算是否划算”。

如果把这个思路放进智能体产品,评测可以拆成三层:第一层是任务识别,模型要判断规则、目标和风险;第二层是计算预算,模型要决定用小模型、工具调用、并行搜索还是人工确认;第三层才是传统意义上的解题质量。

国内围绕“推理增强”的报道,常把长思考、树搜索和模型升级绑在一起。Intuitive Gamer 给出另一面:在陌生局面里,少量模拟加目标启发式,可能已经足够接近人的第一反应。AI 若想显得可靠,未必每步都要烧到最深,先把“该想多久”学会,成本和体验都会变。

后续看两条线

第一条线是泛化。研究团队提到,后续要看这些启发式能否扩展到围棋、国际象棋、合作游戏和多智能体场景。若模型只在连线棋家族里有效,它更像认知科学里的精细解释器;若能跨到复杂任务,它才会进入 AI 系统设计的工具箱。

第二条线是和语言模型结合。自然语言可以把新规则翻成短程序或奖励函数,浅层模拟再用来做早期判断。对今天的 AI Agent 来说,这条路线比“无限拉长思考链”更贴近产品现实:先便宜地看懂局,再决定要不要花大钱。

参考来源:Nature 论文 People use fast and flat simulation to reason about new games、arXiv:2510.11503、36氪英文站、CocoLoop;Nature 正文核验 121 个游戏、1000+ 参与者、R²/TVD、MCTS 与 Expert Gamer 效率口径。