애플 머신러닝 연구팀은 11월 4일 arXiv에 논문 「Perceptive Humanoid Motion from Simulation」을 공개했다. 휴머노이드 로봇 자율 제어 시스템 HALO를 소개하고, 유니트리(Unitree) G1에서 실기 검증까지 마쳤다. 저자 여덟 명은 모두 애플 소속이며, 제1저자는 Siyuan Hu, 마지막 저자는 Vladlen Koltun이다.
HALO라는 이름은 Humanoid Autonomy, Learned in simulation, running Onboard에서 따왔다. 동작 데이터는 대부분 시뮬레이션에서 생성하고, 로봇은 한 번도 본 적 없는 실제 방에 놓여 언어 지시에 따라 걸어가고, 의자에 앉고, 책상 밑을 지나고, 상자를 밀어낸다.
3계층 구조, 그중 두 계층이 Qwen
시스템은 3계층이며, 동작 주기가 느린 순서대로 다음과 같다.
- 오케스트레이션 계층: 비전-언어 모델 Qwen3.6-35B-A3B(4비트 양자화). 약 2초에 한 번 실행되며, 지시를 하위 작업으로 나누고 언제 다음 단계로 넘어갈지, 언제 재시도할지 결정한다.
- 동작 생성 계층: 동결된 Qwen3.5-2B 비전 인코더에 4,900만 파라미터 확산 트랜스포머를 결합했다. 초당 약 3회 실행되며 앞으로 5초 동안의 전신 동작을 계획한다.
- 트래킹 계층: Isaac Lab에서 강화학습으로 훈련한 정책이다. 50Hz로 동작하며 깊이 영상, 고유수용 감각, IMU를 읽고 G1의 29개 관절 목표값을 출력한다.
모든 모델이 로봇 본체에서 돌아간다. G1은 메모리 64GB의 M4 Pro 맥 미니를 등에 지고 앞의 두 계층을 맡으며, 트래킹 계층은 G1에 내장된 엔비디아 Jetson Orin NX에서 실행된다. 전 과정에서 케이블 연결이 없다.
학습 데이터의 경우, 연구팀은 동작 확산 모델 Kimodo로 동작을 생성하고 Infinigen으로 방 1,000개를 절차적으로 만들었다. Isaac Sim에서 렌더링한 결과 162,698개 클립, 약 296시간 분량이 나왔다. 원격 조작 데이터는 쓰지 않았다.
성과와 한계
실기 테스트는 실제 환경 6곳, 작업 6가지를 대상으로 작업당 환경마다 10회씩, 모두 360회 진행했다. 단일 작업 평균 성공률은 91%로 시뮬레이션의 91%와 같았다. 책상 밑 통과 100%, 반쯤 열린 문 통과 93%, 물체 쪽으로 걷기 92%, 상자 밀기 88%, 의자에 앉기 85%다.
연속 작업은 눈에 띄게 어려워했다. 두 단계 시퀀스 세 종류의 평균은 약 70%였다. '문을 지나 물체로 걸어가기'는 10회 모두 성공했지만, '웅크린 뒤 앉기'는 60%에 그쳤다.
논문 스스로도 몇 가지 한계를 적었다. 새 기술마다 사람이 프롬프트와 키프레임을 직접 작성해야 하며, 저자의 표현으로는 기술 라이브러리가 "grows only as fast as a person can specify additional tasks"라고 한다. 로봇에는 촉각이 없다. 여섯 가지 기술 모두 손으로 물체를 잡거나 조작하는 동작은 포함하지 않는다. 또한 같은 작업에서 이미 발표된 다른 시스템과 비교하지 않았기 때문에 91%라는 수치를 다른 곳의 수치와 직접 비교할 수는 없다.
업계의 다른 길과 나란히 놓고 보면
휴머노이드 학습 데이터는 원격 조작과 웨어러블 모션 캡처로 모으는 것이 주류다. 저자는 인용문에서 이 두 방식이 "한 시간 분량의 데이터를 만들려면 최소 한 시간의 사람 작업이 필요하다"고 밝혔다. HALO는 전면 시뮬레이션 노선을 택했고, 약 300시간의 동작 데이터 가운데 사람이 조작해 얻은 것은 한 시간도 없다.
두 길의 득실은 분명하다. 원격 조작 데이터는 실제 물리에 가까워서 물건 잡기, 서랍 열기처럼 손으로 하는 작업에 가장 믿을 만하다. 시뮬레이션 데이터는 양이 많고 비용이 낮지만, 지금까지 입증된 것은 걷기, 앉기, 통과하기, 밀기 같은 전신 이동 동작뿐이다. HALO가 고른 여섯 가지 작업은 시뮬레이션에서 가장 어려운 접촉과 파지를 공교롭게도 비껴 간다.
코드는 애플 머신러닝 리서치의 GitHub에 공개돼 있으며 데이터 생성, 생성기와 트래커 학습, 배포 코드를 포함한다. 다만 README에는 학습된 가중치가 없고, 약 300시간 분량의 데이터 내려받기도 제공되지 않는다. 애플은 어떤 로봇 제품 계획도 발표하지 않았으며 이는 여전히 연구 논문이다. 중국 개발자에게 현실적인 점이 하나 있다. 두 "두뇌"가 모두 Qwen의 오픈 웨이트 모델이고 하드웨어는 유니트리 G1이므로, 재현의 문턱은 주로 그 맥 미니와 직접 데이터를 생성할 연산 자원에 있다.
참고 출처: 애플 arXiv 논문, Humanoids Daily, CocoLoop, 시나 테크놀로지. 3계층 모델 구성, 시뮬레이션 데이터 규모, 360회 실기 시험 성공률은 논문으로 확인했으며 오픈소스 공개 범위는 프로젝트 README를 따른다.