엔비디아가 이번에는 새 칩 대신 모델을 발표했다. 그것도 오픈소스다.
젠슨 황 CEO가 'Physical AI를 위한 오픈 프론티어 기초 모델'이라고 부르는 코스모스 3는 기존 대규모 언어 모델이 텍스트 읽기, 이미지 인식, 비디오 생성에 특화된 것과 달리, 로봇과 자율주행차가 물리 세계에서 다음에 일어날 일을 '상상'하고 그에 따라 움직임을 결정하도록 돕는다.
하나의 모델로 보고, 생각하고, 움직인다
코스모스 3의 핵심은 하이브리드 트랜스포머 아키텍처다. 추론용 트랜스포머와 생성용 트랜스포머를 결합해, 전자가 물체 간 상호작용, 움직임, 시공간 관계를 이해하고 후자가 이를 바탕으로 비디오와 동작 궤적을 생성한다.
가장 큰 차별점은 로봇 관절 각도, 그리퍼 개폐 정도, 궤적 등의 '동작 데이터'를 직접 출력할 수 있다는 점이다. 기존에는 실제 환경에서 수동으로 수집해야 했지만, 이제 모델이 합성할 수 있다.
엔비디아에 따르면, Physical AI의 훈련 및 평가 주기가 몇 달에서 며칠로 단축된다.
세 가지 크기, 최소형은 워크스테이션에서 구동
이번에 세 가지 버전이 동시에 공개됐다.
- 코스모스 3 나노(160억 파라미터) — RTX PRO 6000 하나로 워크스테이션에서 구동
- 코스모스 3 슈퍼(640억 파라미터) — Hopper/Blackwell 기반 데이터센터용
- 코스모스 3 엣지(미출시) — 엣지 실시간 추론용
160억 파라미터 버전은 주목할 만하다. 소규모 로보틱스 팀도 클라우드를 빌리지 않고 자체 워크스테이션에서 실행할 수 있다.
벤치마크에서 엔비디아는 여러 리더보드 1위를 주장한다. 세계 생성 분야의 Physics-IQ, PAI-Bench, R-Bench, 동작 정책 분야의 RoboArena, 그리고 여러 시각 이해 벤치마크에서 코스모스 3가 최상위를 기록했다. 물론 엔비디아가 선정한 벤치마크이며, 실제 성능은 커뮤니티 검증이 필요하다.
코스모스 얼라이언스도 출범
오픈소스화와 함께 엔비디아는 '코스모스 얼라이언스'를 출범시켰다. 창립 멤버로 Agile Robots, Black Forest Labs, Generalist, LTX, Runway, Skild AI가 참여했으며, 로보틱스 기업과 비디오 생성 기업이 혼합되어 있다.
젠슨 황 CEO는 다음과 같이 말했다. "코스모스 3 제품군의 오픈 프론티어 옴니모델은 개발자에게 로봇, 자율주행차, 비전 AI를 구축하는 능력에서 세대적 도약을 제공한다."
전략적 선택이 흥미롭다. Physical AI 분야는 혼잡하지만 대부분의 기업이 모델을 폐쇄적으로 유지한다. 엔비디아는 반대로 기본 모델을 오픈소스화하고 얼라이언스를 구축한다. 특정 로봇의 판매가 아니라, 모두가 자사의 모델과 칩으로 로봇을 훈련하도록 하는 것이다. '삽 파는' 전략의 재현이다.
출처: NVIDIA Newsroom, Tech Startups, Axios, CocoLoop