O treinamento de robôs ganhou uma rota mais barata. Galbot, Universidade de Pequim, CASIA e Tsinghua colocam um vídeo comum em primeira pessoa em uma memória temporária, para que o robô entenda a tarefa no local e use sua capacidade de ação existente.
O framework se chama WAM-TTT, World-Action Model Test-Time Training. A pergunta é prática: se o robô sabe mover copos no laboratório, consegue trabalhar na casa do usuário, com outra luz e outra mesa, usando poucos dados novos?
Ver vídeo não é copiar a mão humana
“At test time, only unlabeled human videos are required to adapt the memory, while the pretrained WAM remains frozen.”
Na hora do deployment, só vídeos humanos sem rótulo ajustam a memória; o modelo world-action pré-treinado fica congelado. Isso difere de estimar pose da mão, fazer retargeting de movimento ou coletar nova teleoperação.
Nove tarefas e três formas de robô
Foram usados um humanoide Unitree G1, uma garra Galbot de dois dedos e uma mão dexterous Galbot. As 9 tarefas incluem servir água, entregar bebida, arrumar mesa, virar steak e empilhar uma pirâmide. Cada combinação teve 25 tentativas.
- Em novos ambientes domésticos, o WAM-TTT chegou a 46,2% de progresso médio.
- O backbone WAM congelado com LDA marcou 32,5%.
- O WAM-ICL, usando vídeo humano como contexto, ficou em 7,1%.
- A reprodução do EgoScale chegou a 15,0%.
Table Bussing chegou a 100,0% e Swap Place a 66,7%, mas Stamp Paper ficou em 8,3%, abaixo dos 33,3% do LDA.
A economia está em filmar menos trajetória de robô
IA incorporada é cara porque dados são caros. Na ablação, 100 vídeos humanos mais 100 trajetórias de robô produziram taxa média de sucesso de 74,1%; uma pipeline de pose da mão e retargeting teve apenas 28,9% de completion em 4 tarefas.
O indicador a observar é a queda entre cenários. No teste Deliver Drink, o WAM-TTT marcou 66,0% com mudança de luz e 56,0% com mudança espacial; o WAM-ICL ficou em 12,0% e 20,0%.
Fontes: QbitAI; arXiv:2607.06988 foi usado para verificar estrutura do modelo, tarefas, métricas e limitações; CocoLoop, Hugging Face Papers foram usados para verificar o registro público do paper.