苹果机器学习研究团队 11 月 4 日在 arXiv 发布论文《Perceptive Humanoid Motion from Simulation》，披露一套人形机器人自主控制系统 HALO，并在宇树 G1 上做了实机验证。论文八位作者都署名苹果，第一作者 Siyuan Hu，最后作者是 Vladlen Koltun。
HALO 的名字取自 Humanoid Autonomy, Learned in simulation, running Onboard。动作数据主要在仿真里生成，机器人被放进从没见过的真实房间，按语言指令走过去、坐椅子、钻桌子、推箱子。
三层结构，两层用千问
系统分三层，频率从慢到快：
- 编排层：视觉语言模型 Qwen3.6-35B-A3B（4 bit 量化），约每 2 秒跑一次，把指令拆成子任务，决定什么时候推进、什么时候重试；
- 动作生成层：冻结的 Qwen3.5-2B 视觉编码器，加一个 4900 万参数的扩散 Transformer，约每秒 3 次，规划接下来 5 秒的全身动作；
- 跟踪层：在 Isaac Lab 里用强化学习训练的策略，50 Hz 运行，读深度图、本体感知和 IMU，输出 G1 的 29 个关节目标。
全部模型都在机器人身上跑。G1 背着一台 64GB 内存的 M4 Pro Mac mini，负责前两层；跟踪层跑在 G1 自带的英伟达 Jetson Orin NX 上，全程不接线。
训练数据方面，团队用动作扩散模型 Kimodo 生成动作，用 Infinigen 程序化生成 1000 个房间，在 Isaac Sim 里渲染出 162698 个片段，约 296 小时，没有用遥操作数据。
成绩和短板
实机测试覆盖 6 个真实环境、6 项任务，每项每个环境 10 次，共 360 次。单任务平均成功率 91%，和仿真里的 91% 持平：钻桌子 100%，穿过半开的门 93%，走向物体 92%，推箱子 88%，坐椅子 85%。
连续任务明显吃力。三组两步序列平均约 70%，“穿门后走向物体”10 次全成，“蹲下后坐下”只有 60%。
论文自己列了几条限制：每项新技能仍需人工写提示词和关键帧，作者原话是技能库 “grows only as fast as a person can specify additional tasks”；机器人没有触觉；六项技能都不涉及用手抓取或操作物体；论文也没有拿其他已发表系统在同样任务上做对比，91% 和别家的数字没法直接比。
和行业里的另一条路放在一起看
人形机器人拿训练数据，主流做法是遥操作和穿戴式动捕，作者引用的说法是这两种方式”至少要一小时人工才能产出一小时数据”。HALO 走的是全仿真路线，近 300 小时动作数据没有一小时来自真人操作。
两条路的取舍很直白。遥操作数据贴近真实物理，抓取、开抽屉这类手上的活靠它最稳；仿真数据量大、成本低，但目前只证明了走、坐、钻、推这类全身移动。HALO 选的六项任务恰好避开了仿真最难的接触和抓取。
代码已在苹果机器学习研究的 GitHub 上公开，包括数据生成、生成器与跟踪器训练和部署代码，但 README 里没有放训练好的权重，也没有提供那 300 小时数据的下载。苹果并没有宣布任何机器人产品计划，这仍是一篇研究论文。对国内开发者，有一点很实在：两层大脑都是千问的开放权重模型，硬件是宇树 G1，复现门槛主要卡在那台 Mac mini 和自己生成数据的算力上。
参考来源：苹果 arXiv 论文、Humanoids Daily、CocoLoop、新浪科技；论文核验三层模型配置、仿真数据规模与 360 次实机试验成功率，开源范围以项目 README 为准。