메타는 커넥트 2026에서 실사에 가까운 가상 아바타 'Hologram'을 공개하고 출시 로드맵을 밝혔다. 올가을 우선 얼리 액세스 형태로 레이밴 디스플레이 스마트안경에 탑재돼 미국 지역 왓츠앱 영상통화에 쓰이며, 전신 버전은 2027년 봄 1299.99달러짜리 'Meta VR 글래스'와 함께 출시된 뒤 퀘스트3로 확장될 예정이다.
이 기능을 뒷받침하는 연구는 메타가 7년 넘게 진행해 온 'Codec Avatars'다. 2019년만 해도 전용 촬영 장비가 필요한 실험실 시제품 수준이었지만, 이번에 처음으로 소비자용 기능으로 제품 로드맵에 들어갔다.
통화 상대가 보는 것은 생성된 영상이다
Hologram의 작동 방식은 일반 영상통화와 크게 다르다. UploadVR의 실사용 보도에 따르면 레이밴 디스플레이 버전의 입력은 안경 마이크가 수집한 음성뿐이며, 메타 서버에서 실시간으로 구동되는 생성형 디퓨전 모델이 이 음성을 바탕으로 2D 영상 스트림을 만들어 상대방에게 전송한다. 발화자의 입 모양, 표정, 머리 움직임은 모두 이 음성만으로 모델이 추론한 것이며 카메라는 전혀 관여하지 않는다.
I let out a slight gasp at what I was seeing. It was entirely plausible.
UploadVR 편집자 데이비드 히니(David Heaney)는 Hologram을 처음 봤을 때 '나도 모르게 숨을 삼켰다'며, 그 영상이 '충분히 그럴듯했다'고 전했다.
VR 글래스 버전은 더 많은 입력을 활용한다. 음성 외에 헤드셋의 관성 센서와 다리 부분의 아래를 향한 얼굴 추적 카메라를 사용해 마스킹 처리된 배경 없는 입체 영상을 출력한다. 보도는 이것이 어디까지나 입체 영상이며 볼류메트릭 3D 모델은 아니라는 점을 특히 짚었다.
모델링은 몇 분, 옷과 배경은 그대로 고정된다
아바타 생성은 스마트폰의 메타 AI 앱에서 이뤄진다. 안내에 따라 고개를 좌우로 돌리고 웃는 표정을 짓고, 개방형 질문 몇 개에 비교적 길게 답하면 서버 처리는 몇 분이면 끝난다.
일상 사용에 영향을 주는 부분도 있다. 옷차림과 배경은 생성 시점에 모델에 고정돼, 레이밴 버전은 배경도 정지 상태로 남는다. 즉 매 통화마다 같은 옷을 입고 같은 배경 앞에 서게 된다. 메타는 향후 머리 움직임 데이터로 구동되는 배경, 카메라로 촬영한 동적 배경, 텍스트 프롬프트로 옷을 바꾸는 기능 등을 추가할 계획이라고 밝혔지만 시점은 공개하지 않았다.
실사용 테스트에서 드러난 한계도 뚜렷하다. 히니는 눈 등 세부 부위가 '저대역폭 영상통화처럼 블록 노이즈가 낀다'고 지적했다. VR에서는 상대 쪽으로 몸을 너무 많이 돌리거나 가까이 다가가면 아바타 전체가 옛날 게임의 빌보드 스프라이트처럼 통째로 회전해, 몰입감이 곧바로 깨진다고 한다.
애플과 구글은 다른 길을 간다
여러 업체의 방식을 나란히 놓고 보면 차이는 결국 '무엇으로 얼굴을 움직이느냐'로 모인다.
애플 비전 프로의 페르소나는 헤드셋 안팎의 카메라로 얼굴 움직임을 실시간 추적해, 아바타의 동작이 실제 사용자의 동작과 1대1로 대응한다. 구글 빔(전신 Project Starline)은 다중 카메라 배열로 실제 인물의 3D 영상을 재구성하는 방식으로, 전용 디스플레이 단말이 필요하다. 두 방식 모두 카메라가 포착한 실제 모습을 최대한 충실히 재현하려 한다는 공통점이 있다.
반면 안경에서 구동되는 Hologram은 생성형 경로를 택했다. 필요한 것은 목소리뿐이고 나머지는 모두 모델이 채워 넣는다. 장점은 낮은 하드웨어 문턱으로, 자신을 향한 카메라가 없는 안경으로도 '영상통화'가 가능하다는 점이다. 대가는 상대방이 보는 표정이 모델의 추론 결과일 뿐, 본인의 그 순간 실제 반응이 아닐 수 있다는 점이다. 히니 역시 친구나 가족이 스마트폰 화면에서 합성된 버전의 나를 보고 싶어 할지에 대한 의문을 제기했다.
프라이버시 측면에서 보도는 모델링 소재와 통화 음성의 저장·활용 규정을 밝히지 않았고, 메타가 공개한 자료에도 현재로서는 관련 내용이 없다. 레이밴 디스플레이와 왓츠앱 모두 중국 본토에는 정식 출시되지 않아, Hologram은 당분간 해외 AI 영상통화 형태를 관찰하는 하나의 사례로만 의미를 가진다.
참고 출처: UploadVR 실사용 리뷰, CocoLoop, Engadget, IT之家(ITHome); Hologram의 입력 방식과 서버 측 생성 메커니즘, 레이밴 디스플레이와 Meta VR 글래스의 출시 일정 및 1299.99달러 가격, 모델링 과정을 확인함.