구글 딥마인드(Google DeepMind)가 실시간 상호작용 월드 모델 Genie 4를 공개했다. 시뮬레이션이 진행되는 도중에 자연어로 날씨를 바꾸고, 카메라를 옮기고, 장면에 사람과 사물을 추가할 수 있으며, 화면은 다시 생성할 필요 없이 그대로 이어진다. 딥마인드는 이를 오디오를 기본 내장 방식으로 생성하는 최초의 실시간 월드 모델이라고 설명한다. 환경음, 배경 음악, 캐릭터 대사가 화면과 동기화되어 나오고, 캐릭터는 사용자의 입력이나 장면 안에서 벌어지는 일에 실시간으로 응답할 수 있다.
"Genie 4 is our first real-time world model to generate audio natively." (Genie 4는 오디오를 기본 내장 방식으로 생성하는 우리의 첫 실시간 월드 모델이다.)
무엇을 할 수 있고, 누가 쓸 수 있나
공식 소개에 따르면 Genie 4의 개선은 세 갈래로 모인다. 첫째는 물리로, 공기역학이나 충돌 같은 장면을 지원한다. 둘째는 인물로, 동작이 더 자연스럽고 주변 환경에 반응하며 사용자가 실시간으로 조작할 수도 있다. 셋째는 여러 단계로 이뤄진 이벤트다. Gemini 3.8 Flash가 안내 에이전트 역할을 맡아 사용자의 목표를 단계로 쪼개고, 프레임마다 각 단계가 완료됐는지 확인하며, 사용자가 중간에 개입하거나 장면이 바뀌면 계획을 조정한다. 딥마인드는 Gemini 4 Argon과 Genie 4를 연결해 로봇 관련 시뮬레이션에 쓰는 실험도 하고 있다고 덧붙였다.
공개는 세 단계로 진행된다. 지금은 신뢰할 수 있는 테스터를 대상으로 한 연구 프리뷰다. 다음 단계에서는 Google AI Ultra 구독자(진입 경로 이름은 Project Genie)와 Gemini API, Google AI Studio의 초기 파트너가 대상이며, 페이지에는 대기자 명단 신청 양식이 걸려 있다. 생성된 영상과 오디오에는 모두 SynthID 워터마크가 붙는다.
공식이 직접 꼽은 약점
이번 발표에는 정량 지표가 전혀 없다. 해상도, 프레임률, 1회 플레이 가능 시간, 조작 지연이 모두 빠져 있고, 이전 세대와의 수치 비교도 없이 '사실감 향상' 같은 정성적 표현만 썼다.
대신 한계는 딥마인드가 분명하게 적었다. 세션이 길어지거나, 복잡한 프롬프트를 여러 번 고치거나, 장면 안에서 멀리 이동하면 시각적 디테일과 물체 항상성이 "still shift or drift over time"(시간이 지나면서 여전히 어긋나거나 흘러간다)고 한다. 복잡한 물리 상호작용, 실시간 오디오의 정확도, 읽을 수 있는 텍스트 렌더링, 공간 정밀도, 장기 일관성은 모두 아직 연구 중인 과제로 꼽혔다.
중국 독자는 어떻게 볼까
Genie 4의 첫 공개 경로는 AI Ultra 구독과 Gemini API 초기 협력인데, 둘 다 중국 본토에서는 이용할 수 없다. 중국 개발자들은 당분간 데모 영상을 보는 데 그칠 수밖에 없다.
그렇다고 중국 쪽이 비어 있지는 않다. 쿤룬완웨이(Kunlun Tech)가 10월 중순 오픈소스로 공개한 Matrix-Game 4.0은 RTX 5090 한 장에서 초당 60프레임을 내는 것을 내세우며, 가중치를 로컬로 내려받을 수 있다. 중국산 NPU로 월드 모델을 50프레임 안팎으로 돌린 팀도 있다. 이들은 프레임률 같은 비교 가능한 지표를 공개했는데, 이번에는 오히려 Genie 4가 공개하지 않았다.
격차는 두 곳에서 날 가능성이 크다. 하나는 기본 내장 오디오와 캐릭터 대화로, 중국의 오픈소스 방안은 현재 대부분 화면만 출력한다. 다른 하나는 Gemini를 계획 에이전트로 쓰고 다단계 작업을 프레임마다 검수하는 구조다. 이를 위해서는 충분히 강력한 멀티모달 모델이 곁에서 지켜봐야 해서, 영상 생성만 하는 팀이 따라잡기 쉽지 않다. Genie 4가 API 단계에 들어가 지연 시간과 지속 시간 수치를 내놓아야 비로소 양쪽을 나란히 놓고 볼 수 있는 표가 만들어진다.
참고 출처: Google DeepMind 공식 블로그, CocoLoop. 공개 범위, 안내 에이전트가 사용하는 모델, 알려진 한계는 딥마인드 공식 설명을 따르며, 중국 월드 모델의 프레임률은 각 프로젝트의 공개 데이터를 참고했다.