Zyphra、スマホのブラウザで動く音声合成モデルを公開

サンフランシスコの音声モデル企業Zyphraは11月9日、ZONOS3-Miniをオープンソースとして公開した。スパース混合エキスパート(MoE)構造のテキスト音声合成モデルで、総パラメータは8億、1回の推論で稼働するのはそのうち1億だけだ。ライセンスはApache 2.0で、商用利用もできる。重みはHugging FaceとGitHubに置かれ、Zyphra自身のクラウドサービスも同時に開始した。公式サイトには、ローカルのブラウザでそのまま試聴できるページもある。

前世代のZONOS2は80億パラメータで、コーデックのフレームレートは86 Hzだった。今回はパラメータ数を1桁減らし、チームは配備できる範囲の拡大に重点を置いた。

"we release runtimes for browsers via WebGPU, servers via SGLang and vLLM, as well as many others through GGML"
(WebGPUによるブラウザ向けランタイム、SGLangとvLLMによるサーバー向け対応、そしてGGMLを通じたその他多数のランタイムを公開する。)

Illustration: sound waves emerge from a clay phone browser, with a dial for on-device AI voice control

レイテンシと学習規模

公式は2種類のレイテンシを示している。Pixel 9スマートフォンのブラウザでは、文字を入力してから最初の音声が聞こえるまで570ミリ秒未満。M3チップ搭載のMacBook Airでは150ミリ秒未満だ。Zyphraは数年前のスマートフォンでもリアルタイムで動作するとしているが、リアルタイム係数(RTF)の具体的な数値は公表していない。

学習にはNVIDIA H100を112基使い、2.5日かけた。サーバー側ではSGLangとvLLMが公開当日から対応しており、その他のデバイスではGGMLのネイティブC++ランタイムを使える。

制御できること

音声クローンはゼロショットで、方式は2つある。1つは、事前学習の段階から独立した音声クリップをコンテキストに入れる方法で、声はより自然になるが、元の声の韻律までは正確に再現しない。もう1つは、対象音声の声の表現をそのまま使い、短時間の微調整を加える方法だ。話者エンコーダーはQwen3-TTSの方式からMECT-B2に替わった。

調整できる項目は3層に分かれる。アイデンティティ層には年齢、性別、アクセント、音質があり、表現層には話速、感情、声の張り、活発さがある。さらに細かく、アラインメントのアテンションヘッドを使って単語単位の制御もできる。チームはVoiceCraftベースの音声編集モデルも併せて公開しており、録音の一部だけを書き換えられる。

順位は自社評価によるもの

Zyphraは自社構築のZTTS2-Evalで評価した。クリーンセットは35言語、実環境(ワイルド)セットは20言語を対象とし、総合能力指数Zyphra TTS Capability Index v1は420項目で構成される。この指数によると、ZONOS3-Miniはオープンソースモデルの中で1位で、2位はFish S2 Pro、3位はMOSS TTS v1.5だった。

公開ページに載っているのはレイテンシとスループットのパレート曲線だけで、各モデルの具体的なスコアは示されていない。ZONOS3-Mini自体がどの言語に対応しているかも、個別には明記されていない。2位と3位に挙がった2社も、現時点でこの順位に対するコメントを出していない。

中国語圏の開発者にとって

FishとMOSSの2シリーズは、中国のオープンソース音声合成コミュニティで利用者が少なくなく、今回どちらもZONOS3-Miniの比較対象に入っている。ただし評価は35言語に及ぶものの、中国語単独のスコアは公開されておらず、標準中国語の多音字や儿化音、広東語の品質は、ダウンロードして自分で試すしかない。

ブラウザ側はWebGPUで動くため、ウェブページの読み上げやオンライン教材のナレーションといった用途では、ユーザーのテキストをサーバーへ送らずに済む。データコンプライアンスが求められるプロジェクトには扱いやすい。中国国内からHugging Faceへのアクセスは不安定で、重みのダウンロードにはミラーサイトが必要になる場合がある。Apache 2.0により商用ライセンスの手間は省けるが、音声クローンと音声編集は中国ではディープ合成サービスに当たる。公開前に、声を複製される本人の許諾を得て、目立つ形で表示を付けることが、関連規定により引き続き必要だ。

参考資料:Zyphra公式モデル公開ページ、CocoLoop。パラメータ規模、ライセンス、ブラウザおよびノートPCでの初回音声レイテンシ、学習計算量、評価順位を確認。