칭화대학 지능산업연구원(AIR)과 도메인 트랜스폼(Domain Transform)이 공동으로 Zeva라는 구현체(embodied) 조작 연구를 공개했다. 이 방법은 이 분야에서 흔치 않은 방식을 취한다. 모델 가중치는 처음부터 끝까지 동결한 채 그레이디언트 업데이트를 전혀 하지 않고, 로봇은 배포 과정에서 컨텍스트만으로 스스로 성적을 끌어올린다. 여러 구현체 벤치마크에서 누적 성공률은 26%에서 73%까지 올라갔다.
주류 방식은 데이터를 모으고 라벨을 붙여 VLA 모델을 미세조정한 뒤, 새로운 장면을 만날 때마다 이 과정을 반복하는 것이다. Zeva는 이 전체 과정을 추론 단계로 옮겼다. 행동과 상태 변화 사이의 인과관계를 기록해두고, 이 관계를 프롬프트 형태로 동결된 베이스 모델에 되돌려주는 방식이다. 논문에서 사용한 베이스 모델은 Cosmos3다.
세 가지 구성 요소
인과 전이 인코더는 각 행동에서 상태 변화를 추출해 "내가 무엇을 했는지"와 "환경이 어떻게 바뀌었는지"를 짝짓는다. 이 단계는 전체 방법에서 데이터를 확보하는 과정에 해당하며, 여기서의 추출 정확도가 이후 단계의 활용 가능성을 그대로 좌우한다.
인과 기억은 두 개의 시간 척도로 나뉜다. 짧은 쪽은 '간략 상호작용 궤적'이라 부르며 이번 시도만을 다룬다. 긴 쪽은 '지속 상호작용 기억'으로, 여러 시도에 걸쳐 누적된다. 전자는 "이번 시도에서 방금 무엇을 시도했는가"를, 후자는 "지난번에는 어디서 실패했는가"를 해결한다. 이 둘을 나눠 둔 데는 이유가 있다. 이번 시도의 실패 신호는 곧바로 다음 행동에 반영돼야 하지만, 시도 간 경험은 걸러진 뒤에야 장기 기억에 들어가야 한다. 섞어두면 한 번의 잡음에 전체가 휘둘리기 쉽다.
세 번째는 컨텍스트 내 정책 주입으로, 인과 프롬프트를 동결된 모델의 입력에 끼워 넣는다. 배포 과정 전체에서 그레이디언트 업데이트는 전혀 일어나지 않는다.
수치는 어디에 찍혔나
RoboCasa365-Atomic5 벤치마크에서는 평균 성공률 76.8%를 기록했다. 더 눈여겨볼 만한 수치는 실제 화학 실험실(팀은 이 환경을 'ChemLab-Evo'라 부른다)로 옮긴 뒤의 결과다. 시험관 집기는 65%에서 100%로, 비커 놓기는 25%에서 70%로, 물 붓기는 30%에서 80%로 올랐다.
세 과제의 출발점은 크게 달랐다. 시험관 집기는 원래 65%라는 바탕이 있었기에, 만점까지 끌어올리는 작업은 세부적인 부분을 다듬는 데 가까웠다. 반면 비커 놓기는 25%에서 시작해 거의 세 배로 뛰었다. 이는 성공률이 낮은 구간일수록 기억 메커니즘의 효과가 더 크다는 것을 시사한다. 실패가 많은 로봇일수록 귀인할 수 있는 인과 쌍도 더 많이 얻기 때문이다.
인간의 시연을 한 번 더하면 한 단계 더 끌어올릴 수 있다. 비커 놓기는 약 20%포인트, 물 붓기는 약 15%포인트가 추가로 올랐다. 한 번의 시연이 담고 있는 정보량은 원래 제한적인데도 이 정도의 상승폭이 나온다는 것은, 이 정보가 파라미터가 아니라 기억으로 들어간다는 뜻이며 곧 플러그 앤 플레이 방식으로 작동한다는 의미다.
왜 화학 실험실인가
이 장면을 고른 데는 실질적인 이유가 있다. 화학 조작은 상태 변화의 경계가 뚜렷하다. 액면 높이, 시험관 위치, 흘림 여부처럼 인과 신호가 깔끔해 인코더가 뽑아내는 쌍의 잡음이 적다. 반면 옷 개기처럼 상태를 수치화하기 어려운 과제로 바꾸면 같은 메커니즘이 똑같이 통하리라는 보장은 없다는 점을, 논문도 피하지 않고 짚는다.
엔지니어링 측면에서 의미 있는 부분은 배포 형태 자체가 달라진다는 점이다. 미세조정 노선에서는 새로운 현장에 들어갈 때마다 데이터를 모으고, 다시 학습시키고, 회귀 검증을 거쳐야 하며 이 파이프라인 전체가 주 단위로 걸린다. Zeva는 배포가 끝나는 순간부터 작동하기 시작해 쓸수록 정확해지지만, 그 대가로 추론 시 컨텍스트가 길어지고 단계별 비용도 커진다. 어느 쪽이 더 나은지는 현장이 바뀌는 빈도에 달려 있다. 로봇 한 대가 오랫동안 같은 일을 한다면 미세조정이 여전히 더 저렴한 선택이다.
논문 제목은 「Zeva: In-Context Causal Learning for Generalizable Embodied Manipulation」이며, 칭화대 AIR의 류윈신(Liu Yunxin), 차오팅(Cao Ting) 등이 참여했다.
참고 출처: Zeva 논문 원문, 량쯔웨이(QbitAI), CocoLoop. 각 성공률과 벤치마크 명칭은 논문에 공개된 수치를 기준으로 확인했으며, 상승폭은 논문 수치를 그대로 뺀 값이다.