Apples Forschungsteam für maschinelles Lernen hat am 4. November auf arXiv das Paper „Perceptive Humanoid Motion from Simulation“ veröffentlicht und darin HALO vorgestellt, ein System zur autonomen Steuerung humanoider Roboter, das auf dem Unitree G1 in der Praxis erprobt wurde. Alle acht Autoren sind bei Apple angestellt; Erstautor ist Siyuan Hu, letzter Autor Vladlen Koltun.
Der Name HALO steht für Humanoid Autonomy, Learned in simulation, running Onboard. Die Bewegungsdaten entstehen überwiegend in der Simulation; der Roboter wird in reale Räume gestellt, die er nie gesehen hat, und folgt dort Sprachbefehlen: hingehen, sich auf einen Stuhl setzen, unter einen Tisch kriechen, eine Kiste schieben.
Drei Ebenen, zwei davon mit Qwen
Das System besteht aus drei Ebenen, die von langsam nach schnell getaktet sind:
- Orchestrierungsebene: das Bild-Sprache-Modell Qwen3.6-35B-A3B (4-Bit-quantisiert), etwa alle 2 Sekunden aktiv; es zerlegt Anweisungen in Teilaufgaben und entscheidet, wann es weitergeht und wann ein neuer Versuch nötig ist;
- Bewegungsgenerierung: ein eingefrorener Qwen3.5-2B-Bildencoder plus ein Diffusion Transformer mit 49 Millionen Parametern, etwa dreimal pro Sekunde aktiv und für die Ganzkörperbewegung der kommenden 5 Sekunden zuständig;
- Tracking-Ebene: eine in Isaac Lab per Reinforcement Learning trainierte Policy mit 50 Hz, die Tiefenbilder, Propriozeption und IMU-Daten liest und Zielwerte für die 29 Gelenke des G1 ausgibt.
Sämtliche Modelle laufen auf dem Roboter selbst. Der G1 trägt einen Mac mini M4 Pro mit 64 GB Arbeitsspeicher auf dem Rücken, der die ersten beiden Ebenen übernimmt; die Tracking-Ebene läuft auf dem bordeigenen Nvidia Jetson Orin NX des G1, und zwar durchgehend ohne Kabelverbindung.
Als Trainingsdaten erzeugte das Team Bewegungen mit dem Bewegungs-Diffusionsmodell Kimodo, ließ mit Infinigen prozedural 1.000 Räume generieren und renderte in Isaac Sim daraus 162.698 Clips mit rund 296 Stunden Material, ganz ohne Teleoperationsdaten.
Ergebnisse und Schwächen
Die Tests am echten Roboter umfassten 6 reale Umgebungen und 6 Aufgaben, pro Aufgabe und Umgebung 10 Durchläufe, insgesamt 360 Versuche. Die durchschnittliche Erfolgsquote bei Einzelaufgaben liegt bei 91 Prozent und damit gleichauf mit den 91 Prozent aus der Simulation: unter dem Tisch hindurch 100 Prozent, durch eine halb offene Tür 93 Prozent, auf ein Objekt zugehen 92 Prozent, Kiste schieben 88 Prozent, auf einen Stuhl setzen 85 Prozent.
Bei verketteten Aufgaben tut sich das System sichtbar schwerer. Drei Zweierfolgen kommen im Schnitt auf rund 70 Prozent; „durch die Tür gehen und dann auf ein Objekt zugehen“ gelang in allen 10 Versuchen, „hinhocken und dann hinsetzen“ nur in 60 Prozent.
Das Paper nennt selbst mehrere Einschränkungen: Für jede neue Fähigkeit müssen weiterhin Prompts und Keyframes von Hand geschrieben werden, die Fähigkeitsbibliothek "grows only as fast as a person can specify additional tasks", wie die Autoren schreiben; der Roboter hat keinen Tastsinn; keine der sechs Fähigkeiten verlangt, Objekte mit den Händen zu greifen oder zu manipulieren; und das Paper vergleicht sich bei denselben Aufgaben nicht mit anderen veröffentlichten Systemen, sodass sich die 91 Prozent nicht direkt mit Zahlen anderer Anbieter vergleichen lassen.
Im Vergleich zum anderen Weg der Branche
An Trainingsdaten für humanoide Roboter kommt man gängigerweise per Teleoperation und tragbarem Motion Capture; die Autoren zitieren die Einschätzung, beide Verfahren benötigten „mindestens eine Stunde menschlicher Arbeit, um eine Stunde Daten zu erzeugen“. HALO geht den rein simulierten Weg: Von den knapp 300 Stunden Bewegungsdaten stammt keine einzige Stunde aus menschlicher Bedienung.
Die Abwägung zwischen beiden Wegen ist klar. Teleoperationsdaten liegen näher an der echten Physik und sind für Handarbeit wie Greifen oder Schubladenöffnen am verlässlichsten; Simulationsdaten sind reichlich und günstig, belegt sind bislang aber nur Ganzkörperbewegungen wie Gehen, Sitzen, Kriechen und Schieben. Die sechs von HALO gewählten Aufgaben umgehen gerade das, was in der Simulation am schwierigsten ist: Kontakt und Greifen.
Der Code ist auf dem GitHub-Konto von Apples Machine-Learning-Forschung öffentlich, darunter Datengenerierung, Training von Generator und Tracker sowie Deployment-Code; im README liegen jedoch keine trainierten Gewichte, und die 300 Stunden Daten stehen nicht zum Download bereit. Apple hat keinerlei Roboterprodukt angekündigt, es bleibt ein Forschungspaper. Für Entwickler in China ist ein Punkt ganz praktisch: Beide „Gehirne“ sind offene Qwen-Modelle (Tongyi Qianwen von Alibaba), die Hardware ist der Unitree G1, und die Hürde zum Nachbauen liegen vor allem beim Mac mini und der Rechenleistung für die eigene Datengenerierung.
Quellen: Apples arXiv-Paper, Humanoids Daily, CocoLoop, Sina Tech; das Paper wurde zu den drei Modellebenen, dem Umfang der Simulationsdaten und den Erfolgsquoten der 360 Realversuche geprüft, der Umfang der Open-Source-Freigabe richtet sich nach dem Projekt-README.