L’entraînement des robots dispose d’une voie moins coûteuse. Galbot, l’Université de Pékin, CASIA et Tsinghua placent une vidéo humaine en première personne dans une mémoire temporaire, afin que le robot comprenne la tâche locale puis utilise ses capacités d’action existantes.
Le cadre s’appelle WAM-TTT, pour World-Action Model Test-Time Training. Il pose une question de déploiement : un robot qui déplace des gobelets en laboratoire peut-il travailler chez un utilisateur, avec une autre lumière et une autre table, sans beaucoup de nouvelles données ?
Regarder une vidéo ne signifie pas copier la main
“At test time, only unlabeled human videos are required to adapt the memory, while the pretrained WAM remains frozen.”
Au moment du test, seules des vidéos humaines non annotées servent à adapter la mémoire; le modèle world-action préentraîné reste gelé. C’est différent de l’estimation de pose de main, du retargeting de mouvement ou d’une nouvelle téléopération.
Neuf tâches et trois robots
L’équipe utilise un humanoïde Unitree G1, une pince Galbot à deux doigts et une main dextre Galbot. Les 9 tâches incluent verser de l’eau, livrer une boisson, débarrasser une table, retourner un steak et empiler une pyramide. Chaque couple tâche-environnement est testé 25 fois.
- Dans de nouveaux environnements domestiques, WAM-TTT atteint 46,2% de progression moyenne.
- Le backbone WAM gelé avec LDA atteint 32,5%.
- WAM-ICL, avec la vidéo humaine comme contexte, n’atteint que 7,1%.
- La reproduction d’EgoScale atteint 15,0%.
Table Bussing atteint 100,0% et Swap Place 66,7%, mais Stamp Paper reste à 8,3%, sous les 33,3% de LDA.
L’économie vient des trajectoires robot évitées
L’IA incarnée coûte cher parce que les données coûtent cher. Avec 100 vidéos humaines et 100 trajectoires robot, le taux moyen de réussite atteint 74,1%; un pipeline de pose de main et retargeting ne fait que 28,9% sur 4 tâches.
La prochaine métrique importante sera la perte de performance entre scènes. Dans Deliver Drink, WAM-TTT obtient 66,0% avec changement d’éclairage et 56,0% avec changement spatial; WAM-ICL n’obtient que 12,0% et 20,0%.
Sources : QbitAI ; arXiv:2607.06988 pour vérifier structure du modèle, tâches, métriques et limites ; CocoLoop, Hugging Face Papers pour vérifier l’entrée publique du papier.