샌프란시스코의 음성 모델 기업 Zyphra가 11월 9일 ZONOS3-Mini를 오픈소스로 공개했다. 희소 전문가 혼합(MoE) 구조의 텍스트 음성 변환 모델로, 총 파라미터는 8억 개이고 추론할 때마다 그중 1억 개만 활성화한다. 라이선스는 Apache 2.0이라 상업적 이용이 가능하다. 가중치는 Hugging Face와 GitHub에 올라와 있고, Zyphra의 자체 클라우드 서비스도 동시에 열렸다. 공식 홈페이지에는 로컬 브라우저에서 바로 들어볼 수 있는 페이지도 따로 있다.
이전 세대인 ZONOS2는 파라미터가 80억 개였고 코덱 프레임레이트는 86Hz였다. 이번에는 파라미터 수를 한 자릿수 크기만큼 줄였고, 팀은 배포 가능한 범위에 무게를 뒀다.
"we release runtimes for browsers via WebGPU, servers via SGLang and vLLM, as well as many others through GGML"
(WebGPU 기반 브라우저용 런타임, SGLang과 vLLM 기반 서버 지원, 그리고 GGML을 통한 여러 런타임을 공개한다.)
지연 시간과 학습 규모
공식 자료에는 지연 시간이 두 가지 나온다. Pixel 9 스마트폰 브라우저에서는 글자를 입력한 뒤 첫 오디오가 들리기까지 570밀리초 미만, M3 칩이 들어간 MacBook Air에서는 150밀리초 미만이다. Zyphra는 몇 년 전 출시된 스마트폰에서도 실시간으로 돌아간다고 밝혔지만, 실시간 배율(RTF)의 구체적인 수치는 공개하지 않았다.
학습에는 엔비디아 H100 112장을 사용해 2.5일이 걸렸다. 서버 쪽 SGLang과 vLLM은 공개 당일부터 지원되고, 다른 기기는 GGML의 네이티브 C++ 런타임을 쓰면 된다.
무엇을 제어할 수 있나
음성 복제는 제로샷을 지원하며 방식이 두 가지다. 하나는 사전 학습 단계부터 독립된 오디오 클립을 컨텍스트에 넣는 방식으로, 소리는 더 자연스럽지만 원래 목소리의 운율을 정확히 복제하지는 않는다. 다른 하나는 대상 오디오의 음성 표현을 그대로 쓰고 짧게 미세 조정을 한 번 거치는 방식이다. 화자 인코더는 Qwen3-TTS 방식에서 MECT-B2로 바뀌었다.
조절할 수 있는 항목은 세 층으로 나뉜다. 정체성 층에는 나이, 성별, 억양, 음질이 있고, 표현 층에는 말 속도, 감정, 투사감, 활기가 있다. 더 세밀하게는 정렬 어텐션 헤드를 활용해 단어 단위로 제어할 수 있다. 팀은 VoiceCraft 기반의 음성 편집 모델도 함께 내놓았는데, 녹음의 일부 내용만 고치는 용도다.
순위는 자체 평가에서 나왔다
Zyphra는 자체 구축한 ZTTS2-Eval로 평가했다. 클린 세트는 35개 언어, 야외(in-the-wild) 세트는 20개 언어를 다루며, 종합 능력 지수인 Zyphra TTS Capability Index v1은 420개 항목으로 구성된다. 이 지수로 보면 ZONOS3-Mini는 오픈소스 모델 가운데 1위이고, 그 뒤를 Fish S2 Pro와 MOSS TTS v1.5가 이었다.
발표 페이지에는 지연 시간과 처리량의 파레토 곡선만 실렸을 뿐, 모델별 구체적인 점수는 나와 있지 않다. ZONOS3-Mini 자체가 어떤 언어를 지원하는지도 따로 적혀 있지 않다. 2위와 3위에 오른 두 곳도 현재까지 이 순위에 대해 입장을 내지 않았다.
중국어 개발자에게 의미하는 것
Fish와 MOSS 두 시리즈는 중국 오픈소스 음성 합성 커뮤니티에서 사용자가 적지 않은데, 이번에 둘 다 ZONOS3-Mini의 비교 목록에 올랐다. 다만 평가가 35개 언어를 포괄하더라도 중국어 단독 점수는 공개되지 않았다. 표준 중국어의 다음자와 얼화음, 광둥어 품질은 내려받아서 직접 써 보는 수밖에 없다.
브라우저 쪽이 WebGPU로 돌아가므로 웹페이지 낭독이나 온라인 강의 자료 더빙 같은 용도에서는 사용자 텍스트를 서버로 보내지 않아도 된다. 데이터 컴플라이언스 요구가 있는 프로젝트에는 한결 편하다. 중국 본토에서는 Hugging Face 접속이 불안정해 가중치를 내려받으려면 미러 사이트가 필요할 수 있다. Apache 2.0 덕분에 상업 라이선스 번거로움은 덜지만, 음성 복제와 음성 편집은 중국에서 딥 합성 서비스에 해당한다. 출시 전에 복제 대상자의 허락을 받고 눈에 띄는 표시를 붙여야 하며, 이는 관련 규정에 따른 요건이다.
참고 출처: Zyphra 공식 모델 발표 페이지, CocoLoop. 파라미터 규모, 라이선스, 브라우저와 노트북의 첫 오디오 지연 시간, 학습 연산량, 평가 순위를 확인했다.