蘋果機器學習研究團隊 11 月 4 日在 arXiv 發表論文《Perceptive Humanoid Motion from Simulation》，揭露一套人形機器人自主控制系統 HALO，並在宇樹（Unitree）G1 上完成實機驗證。論文八位作者全數掛名蘋果，第一作者為 Siyuan Hu，最後作者是 Vladlen Koltun。
HALO 的名稱取自 Humanoid Autonomy, Learned in simulation, running Onboard。動作資料主要在模擬環境中生成，機器人被放進從未見過的真實房間，依語言指令走過去、坐椅子、鑽桌子、推箱子。
三層架構，兩層用 Qwen
系統分為三層，運作頻率由慢到快：
- 編排層：視覺語言模型 Qwen3.6-35B-A3B（4 bit 量化），約每 2 秒執行一次，將指令拆解成子任務，決定何時推進、何時重試；
- 動作生成層：凍結的 Qwen3.5-2B 視覺編碼器，搭配一個 4,900 萬參數的擴散 Transformer，約每秒 3 次，規劃接下來 5 秒的全身動作；
- 追蹤層：在 Isaac Lab 中以強化學習訓練的策略，以 50 Hz 運行，讀取深度圖、本體感知與 IMU，輸出 G1 的 29 個關節目標。
所有模型都在機器人身上執行。G1 背著一台 64GB 記憶體的 M4 Pro Mac mini，負責前兩層；追蹤層則跑在 G1 內建的 NVIDIA Jetson Orin NX 上，全程不接線。
訓練資料方面，團隊以動作擴散模型 Kimodo 生成動作，並用 Infinigen 程序化生成 1,000 個房間，在 Isaac Sim 中渲染出 162,698 段片段，約 296 小時，沒有使用遙操作資料。
成績與短板
實機測試涵蓋 6 個真實環境、6 項任務，每項任務在每個環境各做 10 次，共 360 次。單項任務平均成功率為 91%，與模擬中的 91% 持平：鑽桌子 100%，穿過半開的門 93%，走向物體 92%，推箱子 88%，坐椅子 85%。
連續任務則明顯吃力。三組兩步序列平均約 70%，「穿門後走向物體」10 次全數成功，「蹲下後坐下」只有 60%。
論文自己列出幾項限制：每項新技能仍需人工撰寫提示詞與關鍵影格，作者原話是技能庫 "grows only as fast as a person can specify additional tasks"；機器人沒有觸覺；六項技能都不涉及用手抓取或操作物體；論文也沒有拿其他已發表的系統在相同任務上做比較，91% 與他牌數字無法直接對照。
與業界另一條路並列來看
人形機器人取得訓練資料，主流做法是遙操作與穿戴式動作捕捉，作者引用的說法是這兩種方式「至少要一小時人工才能產出一小時資料」。HALO 走的是全模擬路線，近 300 小時的動作資料沒有一小時來自真人操作。
兩條路的取捨相當直白。遙操作資料貼近真實物理，抓取、開抽屜這類手上的工作靠它最穩；模擬資料量大、成本低，但目前只證明了走、坐、鑽、推這類全身移動。HALO 挑的六項任務，恰好避開了模擬中最困難的接觸與抓取。
程式碼已公開在蘋果機器學習研究的 GitHub 上，包含資料生成、生成器與追蹤器的訓練及部署程式碼，但 README 中沒有放出訓練好的權重，也沒有提供那 300 小時資料的下載。蘋果並未宣布任何機器人產品計畫，這仍是一篇研究論文。對中國開發者而言，有一點很實際：兩層大腦都是 Qwen 的開放權重模型，硬體是宇樹 G1，複現門檻主要卡在那台 Mac mini 與自行生成資料所需的算力。
參考來源：蘋果 arXiv 論文、Humanoids Daily、CocoLoop、新浪科技；論文核驗三層模型配置、模擬資料規模與 360 次實機試驗成功率，開源範圍以專案 README 為準。