로봇 학습에 더 저렴한 경로가 추가됐다. Galbot, 베이징대, 중국과학원 자동화연구소, 칭화대 팀은 평범한 사람의 1인칭 영상을 임시 메모리에 넣어 로봇이 현장의 작업을 먼저 이해한 뒤 기존 행동 능력으로 수행하게 했다.
프레임워크 이름은 WAM-TTT, World-Action Model Test-Time Training이다. 훈련실에서 컵을 옮기던 로봇이 조명과 탁자가 다른 가정에서도 적은 새 데이터로 일할 수 있는지를 묻는다.
영상을 본다고 손동작을 베끼는 것은 아니다
“At test time, only unlabeled human videos are required to adapt the memory, while the pretrained WAM remains frozen.”
배포 시점에는 라벨 없는 사람 영상만으로 메모리를 조정하고, 사전학습된 세계-행동 모델은 고정한다. 손 자세 추정, 동작 리타기팅, 추가 원격조작 데이터 수집과 다르다.
9개 작업, 3종 로봇
실험에는 Unitree G1 휴머노이드, Galbot 두 손가락 그리퍼, Galbot 덱스터러스 핸드가 쓰였다. 물 따르기, 음료 배달, 테이블 정리, 스테이크 뒤집기, 피라미드 쌓기 등 9개 작업을 각 설정 25회 시험했다.
- 새 가정 환경에서 WAM-TTT의 평균 진행률은 46.2%였다.
- 동결 WAM 백본 LDA는 32.5%였다.
- WAM-ICL은 7.1%에 그쳤다.
- EgoScale 재현 버전은 15.0%였다.
Table Bussing은 100.0%, Swap Place는 66.7%였지만 Stamp Paper는 8.3%로 LDA의 33.3%보다 낮았다. 논문은 더 엄격한 기하 자세와 가정 환경 교란을 원인으로 설명한다.
비용 절감은 로봇 궤적을 덜 찍는 데서 나온다
체화 AI에서 비싼 것은 데이터다. 사람 영상 100개와 로봇 궤적 100개를 함께 쓰면 평균 성공률이 74.1%에 도달했고, 손 자세 추정과 동작 리타기팅 파이프라인은 4개 작업 평균 28.9%에 머물렀다.
다음에 봐야 할 지표는 장면이 바뀔 때의 성능 하락이다. Deliver Drink 교란 실험에서 WAM-TTT는 조명 변화 66.0%, 공간 위치 변화 56.0%였고 WAM-ICL은 12.0%, 20.0%였다.
출처: QbitAI; arXiv:2607.06988로 모델 구조, 작업 설정, 평가 지표와 한계를 확인; CocoLoop, Hugging Face Papers로 논문 항목과 공개 수록 상태를 확인.