L'équipe de recherche en apprentissage automatique d'Apple a publié le 4 novembre sur arXiv l'article « Perceptive Humanoid Motion from Simulation », qui présente HALO, un système de contrôle autonome pour robots humanoïdes, validé sur un Unitree G1 réel. Les huit auteurs sont tous affiliés à Apple ; le premier auteur est Siyuan Hu et le dernier, Vladlen Koltun.
Le nom HALO vient de Humanoid Autonomy, Learned in simulation, running Onboard. Les données de mouvement sont surtout générées en simulation ; le robot est placé dans des pièces réelles qu'il n'a jamais vues et, sur instruction en langage naturel, il marche jusqu'à un point, s'assoit sur une chaise, se glisse sous une table et pousse une caisse.
Trois couches, dont deux reposent sur Qwen
Le système comporte trois couches, de la plus lente à la plus rapide :
- Couche d'orchestration : le modèle vision-langage Qwen3.6-35B-A3B (quantifié sur 4 bits), exécuté environ toutes les 2 secondes, découpe l'instruction en sous-tâches et décide quand avancer et quand réessayer ;
- Couche de génération de mouvement : un encodeur de vision Qwen3.5-2B gelé, associé à un Diffusion Transformer de 49 millions de paramètres, exécuté environ 3 fois par seconde et chargé de planifier les mouvements du corps entier pour les 5 secondes suivantes ;
- Couche de suivi : une politique entraînée par apprentissage par renforcement dans Isaac Lab, tournant à 50 Hz, qui lit les cartes de profondeur, la proprioception et l'IMU, et produit les cibles des 29 articulations du G1.
Tous les modèles tournent sur le robot lui-même. Le G1 porte dans le dos un Mac mini M4 Pro avec 64 Go de mémoire, qui s'occupe des deux premières couches ; la couche de suivi s'exécute sur le Nvidia Jetson Orin NX livré avec le G1, sans aucun câble pendant toute l'opération.
Côté données d'entraînement, l'équipe a généré les mouvements avec le modèle de diffusion de mouvement Kimodo, créé de façon procédurale 1 000 pièces avec Infinigen, puis rendu dans Isaac Sim 162 698 séquences, soit environ 296 heures, sans aucune donnée de téléopération.
Résultats et points faibles
Les essais réels couvraient 6 environnements et 6 tâches, avec 10 répétitions par tâche et par environnement, soit 360 essais au total. Le taux de réussite moyen sur les tâches isolées atteint 91 %, comme dans la simulation : passer sous la table 100 %, franchir une porte entrouverte 93 %, aller vers un objet 92 %, pousser une caisse 88 %, s'asseoir sur une chaise 85 %.
Les tâches enchaînées sont nettement plus pénibles. Trois séquences de deux étapes tournent en moyenne autour de 70 % ; « passer la porte puis aller vers l'objet » a réussi 10 fois sur 10, alors que « s'accroupir puis s'asseoir » n'atteint que 60 %.
L'article énumère lui-même plusieurs limites : chaque nouvelle compétence exige toujours qu'une personne écrive des prompts et des images clés, et, selon les termes des auteurs, la bibliothèque de compétences "grows only as fast as a person can specify additional tasks" ; le robot n'a pas de toucher ; aucune des six compétences ne suppose de saisir ou de manipuler des objets avec les mains ; enfin, l'article ne compare pas son système à d'autres systèmes publiés sur les mêmes tâches, de sorte que les 91 % ne se placent pas directement à côté des chiffres des autres.
À mettre en regard de l'autre voie du secteur
Pour obtenir des données d'entraînement pour humanoïdes, la méthode dominante est la téléopération et la capture de mouvement portable ; les auteurs citent l'idée que ces deux approches exigent « au moins une heure de travail humain pour produire une heure de données ». HALO emprunte la voie entièrement simulée : sur près de 300 heures de données de mouvement, pas une heure ne provient d'un opérateur humain.
L'arbitrage entre les deux voies est limpide. Les données de téléopération sont plus proches de la physique réelle et restent les plus sûres pour les travaux manuels comme saisir ou ouvrir un tiroir ; les données simulées sont abondantes et peu coûteuses, mais n'ont pour l'instant démontré que des mouvements du corps entier comme marcher, s'asseoir, se glisser sous un meuble et pousser. Les six tâches retenues par HALO évitent précisément ce qui est le plus difficile en simulation : le contact et la préhension.
Le code est déjà public sur le GitHub de la recherche en apprentissage automatique d'Apple, avec la génération de données, l'entraînement du générateur et du suiveur ainsi que le code de déploiement, mais le README ne fournit pas les poids entraînés et ne propose pas de téléchargement des 300 heures de données. Apple n'a annoncé aucun projet de produit robotique ; cela reste un article de recherche. Pour les développeurs chinois, un point très concret : les deux « cerveaux » sont des modèles Qwen (Tongyi Qianwen d'Alibaba) à poids ouverts, le matériel est l'Unitree G1, et l'obstacle à la reproduction tient surtout à ce Mac mini et à la puissance de calcul nécessaire pour générer ses propres données.
Sources : article d'Apple sur arXiv, Humanoids Daily, CocoLoop, Sina Tech ; l'article a été vérifié sur la configuration des trois modèles, l'ampleur des données de simulation et les taux de réussite des 360 essais réels, et l'étendue de l'ouverture du code suit le README du projet.