Huấn luyện robot có thêm một con đường rẻ hơn. Nhóm Galbot, Đại học Bắc Kinh, Viện Tự động hóa CAS và Đại học Thanh Hoa đưa video góc nhìn thứ nhất của người bình thường vào bộ nhớ tạm, để robot hiểu việc tại hiện trường rồi dùng năng lực hành động sẵn có.
Khung này tên là WAM-TTT, World-Action Model Test-Time Training. Nó hỏi liệu robot biết chuyển cốc trong phòng huấn luyện có thể sang nhà người dùng, khi ánh sáng và mặt bàn thay đổi, mà vẫn làm việc với ít dữ liệu mới hay không.
Xem video không phải là bắt chước bàn tay
“At test time, only unlabeled human videos are required to adapt the memory, while the pretrained WAM remains frozen.”
Khi triển khai, chỉ cần video người không gắn nhãn để điều chỉnh bộ nhớ; mô hình world-action đã huấn luyện thì giữ nguyên. Cách này khác với ước lượng tư thế tay, retarget chuyển động hoặc yêu cầu con người điều khiển robot thêm một đợt.
9 nhiệm vụ, 3 dạng robot
Nhóm dùng humanoid Unitree G1, kẹp hai ngón Galbot và bàn tay khéo Galbot. Có 9 nhiệm vụ, gồm rót nước, đưa đồ uống, dọn bàn, lật bít tết và xếp kim tự tháp. Mỗi cặp nhiệm vụ - môi trường được thử 25 lần.
- Trong môi trường gia đình mới, WAM-TTT đạt trung bình 46,2% tiến độ.
- Backbone WAM đóng băng với LDA đạt 32,5%.
- WAM-ICL dùng video người làm ngữ cảnh chỉ đạt 7,1%.
- Bản tái hiện EgoScale đạt 15,0%.
Table Bussing đạt 100,0%, Swap Place đạt 66,7%, nhưng Stamp Paper chỉ 8,3%, thấp hơn LDA 33,3%.
Phần tiết kiệm nằm ở việc bớt quay quỹ đạo robot
AI hiện thân đắt vì dữ liệu đắt. Với 100 video người và 100 quỹ đạo robot, tỷ lệ thành công trung bình đạt 74,1%; pipeline ước lượng tư thế tay và retarget chuyển động chỉ đạt 28,9% mức hoàn thành trên 4 nhiệm vụ.
Chỉ số nên theo dõi tiếp theo là mức rơi hiệu năng khi đổi cảnh. Trong thử nghiệm Deliver Drink, WAM-TTT đạt 66,0% khi ánh sáng thay đổi và 56,0% khi vị trí thay đổi; WAM-ICL lần lượt chỉ 12,0% và 20,0%.
Nguồn tham khảo: QbitAI; arXiv:2607.06988 dùng để kiểm chứng cấu trúc mô hình, nhiệm vụ, chỉ số và giới hạn; CocoLoop, Hugging Face Papers dùng để kiểm chứng mục paper và trạng thái công khai.