3~12초 분량의 시연 영상과 이와 동기화해 기록한 동작 데이터를 모델의 컨텍스트 윈도에 집어넣으면, 로봇은 한 번도 연습한 적 없는 작업을 곧바로 수행한다. 그레이디언트 업데이트도, 파인튜닝도 없이 가중치는 단 하나도 바뀌지 않는다. Generalist AI는 이 방식을 '피지컬 프롬프팅(physical prompting)'이라 부르며 신형 모델 GEN-1.5와 함께 공개했다.
GEN-1.5는 영상, 센서 값, 언어 지시, 고유수용감각 등 네 가지 입력을 받는 대형 멀티모달 모델로, 30초 분량의 기억 윈도를 유지하고 100Hz의 동작 궤적을 출력한다. 팀에 따르면 데이터 엔진 위에서 8개월 넘게 지속적으로 학습을 이어왔다고 한다.
세 개의 숫자가 그리는 범위
공식은 유리병 뚜껑 열기, 필통 지퍼 열기, 지갑에서 현금 꺼내기 같은 10가지 조작 작업으로 테스트를 진행했다. 시연 1회를 컨텍스트에 넣은 프롬프팅의 평균 성공률은 59%(표준편차 ±10%)였다. 작업당 5분간 데이터를 수집해(약 50회 시연) 10스텝의 그레이디언트 업데이트를 거치면 성적은 83%(±9%)까지 오른다. 미학습 작업에 한 스텝만 적응시켰을 때는 66.5%였다.
24퍼센트포인트의 격차를 메우는 대가는 5분의 수집 시간과 한 차례의 학습 대기 시간이다. 수십 종의 부품을 바꿔가며 작업하는 생산 라인이라면 이 계산은 어렵지 않다. 파인튜닝 방식은 SKU가 바뀔 때마다 수집과 학습을 처음부터 다시 거쳐야 하지만, 컨텍스트 프롬프팅은 몇 초면 끝난다. 다만 59%라는 수준은 무인 가동과는 거리가 멀고, 지금으로서는 사람과 로봇의 협업에서 재프로그래밍 단계를 덜어주는 정도의 의미에 가깝다.
이를 중국 동종 업계의 방식과 나란히 놓고 보자. 알리바바, AgiBot(즈위안), 유니트리 같은 기업들은 지난 1년간 여전히 데이터 규모 확장과 하드웨어 본체 다듬기를 축으로 삼아, 대량의 원격 조작 샘플로 단일 작업의 성공률을 끌어올려 왔지만 작업이 바뀌면 수집과 학습을 처음부터 다시 해야 한다. GEN-1.5가 택한 길은 다르다. 단일 작업에서의 최고 성적을 내주는 대신, 작업을 바꿀 때 가중치를 건드리지 않아도 되는 자유도를 얻었다. 대략 계산하면 매주 3~5개의 신규 공정을 도입하는 공장이라면, 두 방식의 배치 인건비 차이가 자릿수 하나 정도 벌어질 수 있다.
팀 스스로도 예상 밖이었다
"Inserting a single demonstration in the context buffer... yields any measurable competence at all was unexpected."(컨텍스트 버퍼에 시연 하나를 넣는 것만으로 측정 가능한 능력이 나온다는 사실 자체가 예상 밖이었다.)
이 한 문장이 이번 일의 무게를 보여준다. 언어모델의 인컨텍스트 러닝도 GPT-3 시절 별도로 학습시키지 않았는데 '출현'한 능력이었다. Generalist가 지금 보고하는 것은 같은 종류의 창발이 센서와 관절 각도 쪽에서도 나타났다는 것이다. 이 회사는 2024년 전직 DeepMind와 보스턴 다이내믹스 연구자들이 설립했으며, 이전에 4억 달러의 투자를 유치한 바 있다.
공식이 스스로 그은 한계선
발표는 몇 가지 약점을 피하지 않았다. 테스트한 작업은 모두 짧고 단순한 조작에 그쳐 성공률이 눈에 띄게 높지는 않다. 컨텍스트에서 학습한 기술은 파인튜닝을 거친 모델보다 훨씬 취약하다. 또 피지컬 프롬프팅은 학습 과정에서 한 번도 보지 못한 시간축상의 도약을 만들어내며, 시연 영상과 실제 실행 사이에는 단절이 존재한다.
이런 한계들을 모아보면 결론은 하나다. 시연 한 번으로 새 기술을 익히는 이 길은 이제 막 고개를 내민 단계라는 것이다. 장시간 작업까지 버틸 수 있을지, 어수선한 환경에서도 안정적일지는 앞으로 나올 버전들이 59%를 얼마나 끌어올리느냐에 달려 있다.
참고 출처: Generalist AI 공식 블로그 GEN-1.5 발표, IoT Tech News, CocoLoop. 단일 시연 59%, 파인튜닝 후 83%, 미학습 작업 66.5%, 30초 기억 윈도, 100Hz 동작 빈도는 모두 공식 발표 수치를 기준으로 했다.