쿤룬테크(Kunlun Tech) 산하 Skywork AI는 10월 15일 Matrix-Game 4.0을 오픈소스로 공개했다. 이번 버전은 접근 방식이 달라졌다. 세계 상태, 물리 규칙, 플레이어 입력은 게임 엔진이 맡고, 영상 모델은 엔진이 내놓는 로우폴리 화면을 정교한 화면으로 "다시 그리는" 일만 담당한다.
공식이 제시한 지표는 RTX 5090 한 장에서 480p, 60fps로 구동하며, 플레이어 조작에서 화면 반응까지의 지연이 150밀리초 미만이라는 것이다. 프로젝트는 이를 플레이 가능한 게임을 위한 스트리밍 신경 렌더링이라고 부른다.
논리는 엔진이, 화면은 모델이
GitHub 설명에 따르면 4.0의 영상 모델은 인과적(causal)이고 적은 스텝으로 동작하는 생성 모델이다. 입력은 엔진이 렌더링한 로우폴리 RGB 프레임과 텍스트 프롬프트이고, 출력은 프레임마다 이어지는 고해상도 디테일의 화면이다. 게임 규칙, 충돌, 점수 같은 로직은 모두 엔진에 남는다.
프로그래밍 에이전트도 있다. 플레이어가 자연어로 플레이 규칙을 바꿔 달라는 식으로 요청하면, 에이전트가 이를 새로운 게임 규칙과 렌더링 프롬프트로 바꿔 주어 화면 스타일과 게임 방식을 함께 바꿀 수 있다.
이번에 공개된 내용은 다음과 같다.
- 모델 가중치, 추론 설정, 추론 코드(단일 GPU 추론)
- 브라우저 데모와 게임 소스 코드
- 세 가지 장면의 소재: 중세 성과 고대 이집트를 배경으로 한 3인칭 슈팅 게임 두 종, 그리고 도시 레이싱 게임 한 종
README에 명시된 라이선스는 Apache-2.0이며, 서드파티 구성 요소와 소재는 각각의 라이선스를 따른다. 모델 파라미터 수는 공식적으로 밝혀지지 않았다.
네 버전이 걸어온 길
Matrix-Game의 여러 버전을 이어서 보면 노선 변화가 뚜렷하다.
2025년 5월의 1.0은 170억 개 이상의 파라미터를 갖췄고 마인크래프트류 장면이 중심이었다. 모델이 조작을 바탕으로 다음 영상을 직접 생성했으며, 세계 자체도 모델이 "상상"했다. 2025년 8월의 2.0은 저지연과 긴 시퀀스 상호작용에 무게를 두었고, 초당 25프레임 안팎으로 연속 생성할 수 있었다. 올해 3월 27일의 3.0은 장기 기억을 추가하고 고해상도와 실시간 상호작용을 내세웠으며, 비교 대상은 구글의 Genie 3였다.
앞선 세 버전은 모두 모델이 세계와 화면을 동시에 책임졌고, 일관성이 계속 난제였다. 멀리 갔다가 돌아오면 장면이 맞지 않을 수 있었다. 4.0은 세계를 다시 엔진에 돌려주고 모델은 렌더링만 맡는다. 일관성은 엔진이 보장하고, 프레임 속도도 2.0의 25프레임 안팎에서 60프레임으로 올랐다. 대가로 플레이할 수 있는 콘텐츠의 경계가 엔진이 표현할 수 있는 범위로 되돌아왔다. 플레이어는 엔진에 없는 물체나 규칙을 무에서 "생성"할 수 없고, 프로그래밍 에이전트를 통해서만 바꿀 수 있다.
이 노선은 엔비디아 DLSS 같은 신경 렌더링과 발상이 가깝다. 기존 파이프라인이 낮은 정밀도의 결과를 내놓으면 신경망이 디테일을 채운다. 차이는 Matrix-Game 4.0의 보완 폭이 훨씬 크다는 점으로, 로우폴리 입력은 사실상 구도와 움직임만 제공한다.
중국 내 개발자가 재현하려면 하드웨어 문턱도 있다. 수출 규제의 영향으로 중국 내 정식 유통 채널에서 판매되는 것은 사양을 낮춘 RTX 5090D인데, 프로젝트가 공개한 테스트 기준은 RTX 5090이다. D 버전이나 이전 세대인 4090에서 몇 프레임까지 나오는지, 지연이 150밀리초를 넘지 않는지에 대해서는 README에 데이터가 없다. 이를 가지고 프로토타입을 만들려는 소규모 팀이라면 홍보용 지표를 믿기보다 자신이 가진 카드에서 공식 데모를 먼저 돌려 보는 편이 더 믿을 만하다.
공식이 꼽은 향후 방향은 세 가지다. 해상도 향상, 더 많은 게임 장르 지원, 멀티플레이 환경에서 각 플레이어가 보는 화면의 일관성 유지 방안 모색이다. 480p는 주류 게임의 화질과 아직 거리가 있으며, 다른 그래픽카드에서 제3자가 측정한 데이터도 아직 없다.
참고 출처: SkyworkAI GitHub 프로젝트 페이지, TechNode, CocoLoop, Pandaily. 해상도, 프레임 속도, 지연은 쿤룬테크가 공개한 RTX 5090 한 장 테스트 기준을 따르며, 라이선스는 프로젝트 README를 따른다.