El entrenamiento de robots suma una vía más barata. Galbot, la Universidad de Pekín, CASIA y Tsinghua introducen un video humano en primera persona en una memoria temporal, para que el robot entienda la tarea del lugar y use sus capacidades de acción ya aprendidas.
El marco se llama WAM-TTT, World-Action Model Test-Time Training. Pregunta si un robot que mueve vasos en el laboratorio puede trabajar en una casa con otra luz y otra mesa usando pocos datos nuevos.
Ver video no es copiar la mano humana
“At test time, only unlabeled human videos are required to adapt the memory, while the pretrained WAM remains frozen.”
En despliegue solo hacen falta videos humanos sin etiquetar para adaptar la memoria; el modelo world-action preentrenado queda congelado. Es distinto de estimar la pose de la mano, retargetear movimiento o recoger otra sesión de teleoperación.
Nueve tareas y tres robots
Se usaron un humanoide Unitree G1, una pinza Galbot de dos dedos y una mano diestra Galbot. Las 9 tareas incluyen servir agua, entregar una bebida, ordenar una mesa, dar vuelta un filete y apilar una pirámide. Cada combinación tuvo 25 ensayos.
- En nuevos entornos domésticos, WAM-TTT promedió 46,2% de progreso.
- El backbone WAM congelado con LDA llegó a 32,5%.
- WAM-ICL, usando el video humano como contexto, quedó en 7,1%.
- La reproducción de EgoScale alcanzó 15,0%.
Table Bussing llegó a 100,0% y Swap Place a 66,7%, pero Stamp Paper solo alcanzó 8,3%, por debajo del 33,3% de LDA.
El ahorro está en grabar menos trayectorias de robot
La IA encarnada es cara porque los datos son caros. En una ablación, 100 videos humanos más 100 trayectorias de robot dieron una tasa media de éxito de 74,1%; otra tubería con pose de mano y retargeting logró solo 28,9% de completion en 4 tareas.
La métrica clave será la caída entre escenarios. En Deliver Drink, WAM-TTT marcó 66,0% con cambio de luz y 56,0% con cambio espacial; WAM-ICL solo 12,0% y 20,0%.
Fuentes: QbitAI; arXiv:2607.06988 se usó para verificar estructura del modelo, tareas, métricas y límites; CocoLoop, Hugging Face Papers se usaron para verificar la entrada pública del paper.