Für das Training von Robotern gibt es einen günstigeren Weg. Galbot, die Peking University, CASIA und Tsinghua legen ein gewöhnliches First-Person-Video in einen temporären Speicher. Der Roboter liest daraus Szene und Aufgabe und nutzt anschließend seine vorhandene Aktionsfähigkeit.
Das Framework heißt WAM-TTT, World-Action Model Test-Time Training. Es fragt, ob ein Roboter, der im Labor Becher bewegt, in einer Wohnung mit anderem Licht und anderem Tisch mit wenig neuen Daten arbeiten kann.
Video ansehen heißt nicht Hände kopieren
“At test time, only unlabeled human videos are required to adapt the memory, while the pretrained WAM remains frozen.”
Zur Einsatzzeit werden nur unlabeled Human Videos gebraucht, um den Speicher anzupassen; das vortrainierte World-Action Model bleibt eingefroren. Das unterscheidet sich von Pipelines mit Handposenschätzung, Motion Retargeting oder neuer Teleoperation.
Neun Aufgaben, drei Robotertypen
Eingesetzt wurden ein Unitree-G1-Humanoid, ein Galbot-Zweifinger-Greifer und eine dextere Galbot-Hand. Die 9 Aufgaben umfassen Wasser einschenken, Getränke liefern, einen Tisch abräumen, Steak wenden und eine Pyramide stapeln. Jede Aufgaben-Umgebungs-Kombination hatte 25 Versuche.
- In neuen häuslichen Umgebungen erreichte WAM-TTT 46,2% Fortschritt.
- Ein eingefrorener WAM-Backbone mit LDA kam auf 32,5%.
- WAM-ICL mit Human Video als Kontext erreichte 7,1%.
- Die reproduzierte EgoScale-Version lag bei 15,0%.
Table Bussing kam auf 100,0%, Swap Place auf 66,7%, Stamp Paper aber nur auf 8,3% und damit unter LDA mit 33,3%.
Die Ersparnis liegt bei Robotertrajektorien
Embodied AI ist teuer, weil Daten teuer sind. Mit 100 Human Videos und 100 Robotertrajektorien lag die Erfolgsrate bei 74,1%; eine Pipeline mit Handposenschätzung und Retargeting erreichte über 4 Aufgaben nur 28,9% Completion.
Die wichtigste nächste Kennzahl ist der Leistungsverlust über Szenen hinweg. Bei Deliver Drink erreichte WAM-TTT 66,0% unter Lichtänderung und 56,0% unter Positionsänderung; WAM-ICL kam auf 12,0% und 20,0%.
Quellen: QbitAI; arXiv:2607.06988 zur Prüfung von Modellstruktur, Aufgaben, Metriken und Grenzen; CocoLoop, Hugging Face Papers zur Prüfung des Paper-Eintrags und der öffentlichen Indexierung.