阿里反向训练模型猜环境反应,干活反更强

训 AI Agent 最头疼的一件事,是它得在真环境里练。

你想让一个 agent 学会用终端、点网页、调工具,就得让它真去点、真去调。点错了?轻则白跑一轮,重则把测试环境搞崩。一次强化学习训练动辄上百万次交互,这账谁算谁肉疼——又慢、又贵、又危险。

阿里 Qwen 团队最近放出来的 Qwen-AgentWorld,把这道题反过来解了。

不练「怎么做」,练「会发生什么」

传统 agent 学的是这么个问题:环境给我看了这些,我下一步该干啥?

Qwen-AgentWorld 学的是反过来的那一半:我刚干了这个动作,环境接下来会给我返回什么?

听着像绕口令,但这个反转是整件事的核心。说人话就是——它不是个会干活的 agent,它是个模拟器,一个能预测「你这么操作,系统会怎么反应」的沙盘。

有了这么个沙盘,好处是显而易见的:你想训一个 agent,不用再让它去碰真系统了,让它在这个模拟出来的环境里反复试。试错一万遍,一次真实代价都不用付。Qwen 团队管这套东西叫语言世界模型(Language World Model)。

它一口气覆盖了七个领域,文字类的有 MCP、搜索、终端、软件工程,带界面的有网页、操作系统、安卓。基本把 agent 平时要打交道的场子都圈进去了。

模拟得有多准?比 GPT-5.4 还准一点

模拟器这东西,最怕的就是「模拟得不像」。练得再欢,一上真环境就露馅,那等于白练。

所以 Qwen 专门做了个叫 AgentWorldBench 的基准,测的就是「模拟保真度」——你预测的环境反应,跟真环境到底差多少。结果:

模型AgentWorldBench 得分
Qwen-AgentWorld-397B-A17B58.71
GPT-5.458.25
Qwen-AgentWorld-35B-A3B56.39
Claude Sonnet 4.656.04

旗舰版 397B-A17B(3970 亿参数、激活 170 亿)压过了 GPT-5.4 拿了第一。小号的 35B-A3B 经过三段式训练,分数涨了 8.66 分,也站到了 Sonnet 4.6 前头。两个模型都是 Apache 2.0 开源,能下载、能商用、不收推理费。

真正反直觉的,是下面这组数字

模拟得准,只是基本功。Qwen 抛出来一个更冲的结论:在模拟环境里练出来的 agent,干活比在真环境里练的还强。

这反常识。直觉上,真环境才是「真考题」,模拟的总归隔一层。但 Qwen 给了数据:

  • WideSearch 任务上,用可控模拟环境做强化学习,F1 拿到 50.3%,而真环境训练只有 45.6%
  • MCPMark 上,模拟训练比真训练高 12.3
  • Tool Decathlon 上,高 3.7

为什么模拟的反而更好?关键词是「可控」。真环境是你碰上什么算什么,很多刁钻的边角情况它根本不给你。模拟环境可以故意制造这些刁难——把那些真环境里难得一见、但最能暴露 agent 弱点的情况,反复喂给它练。专挑难的练,自然练得更扎实。

还有个更意外的发现。哪怕你完全不拿它做 agent 训练,只让它「预热」一下、先学会预测环境,这点本事也能迁移到真正的 agent 任务上去——而且是零微调直接迁移:

  • Claw-Eval:跨域 +11.3
  • QwenClawBench:跨域 +9.7
  • BFCL v4:跨域 +9.0

Qwen 团队给这套方法下的判断是:它「同时超过了无控制的模拟和真实环境训练」,靠的是用可控扰动,逼出真环境很少制造的那些 agent 弱点。

这条线为什么值得盯

这两年大家都在卷 agent,卷的多半是「让 agent 更聪明」。Qwen-AgentWorld 卷的是另一头——让训练 agent 这件事本身变得又快又便宜又安全

如果世界模型这条路走通了,意味着以后训 agent 不必再租一大堆真环境、不必再担心训练时把谁的系统点崩。一个能跑在工作站上的预测模型,就能当成无限量、可定制的训练场。对那些手里没有海量真实交互数据的团队,这道门槛一下就降下来了。

当然要泼一句冷水:模拟得再像,也不是真的。一个在 AgentWorld 里表现完美的 agent,扔进真实世界那些乱七八糟、还带对抗性的场景里,照样可能栽跟头。模拟是把训练的成本和风险摁下去了,但它替代不了真环境最后那一道验收。

不过方向是清楚的:大语言模型之后,「世界模型」正在变成下一个被认真卷起来的东西。

参考来源:Alibaba's model never trained as an agent — and improved agent performance across seven benchmarks(VentureBeat);CocoLoop、Qwen-AgentWorld: Language World Models for General Agents(Alibaba Cloud Community);Alibaba's Qwen-AgentWorld improves agent performance across seven benchmarks(CryptoBriefing)