Zyphra 開源語音模型,手機瀏覽器可即時執行

舊金山語音模型公司 Zyphra 於 11 月 9 日開源 ZONOS3-Mini。這是一個採稀疏混合專家(MoE)架構的文字轉語音模型,總參數 8 億,每次推論只啟用其中 1 億,授權為 Apache 2.0,可商用。權重放在 Hugging Face 與 GitHub,Zyphra 自家的雲端服務同步上線,官網另有一個可直接在本機瀏覽器試聽的頁面。

上一代 ZONOS2 有 80 億參數,編解碼器影格率為 86 Hz。這一代參數量降了一個數量級,團隊把重點放在部署範圍上:

"we release runtimes for browsers via WebGPU, servers via SGLang and vLLM, as well as many others through GGML"
(我們釋出了瀏覽器端的 WebGPU 執行環境、伺服器端的 SGLang 與 vLLM 支援,以及透過 GGML 提供的其他執行環境。)

示意图:黏土手机浏览器飘出声波,旋钮象征端侧AI语音调节

延遲與訓練規模

官方給出兩組延遲數據。在 Pixel 9 手機的瀏覽器裡,從輸入文字到聽見第一段音訊不到 570 毫秒;在搭載 M3 晶片的 MacBook Air 上不到 150 毫秒。Zyphra 表示模型能在幾年前的手機上即時執行,但並未公布即時率(RTF)的具體數值。

訓練使用 112 張輝達 H100,跑了 2.5 天。伺服器端的 SGLang 與 vLLM 在發布當天就提供支援,其他裝置則可透過 GGML 的原生 C++ 執行環境。

能控制什麼

聲音複製支援零樣本,有兩種做法:一種是在預訓練時就把獨立的音訊片段放進上下文,聲音較自然,但不會精確複製原聲的韻律;另一種是直接使用目標音訊的聲音表徵,再做一次短暫微調。說話者編碼器從 Qwen3-TTS 的方案換成了 MECT-B2。

可調的維度分成三層。身分層有年齡、性別、口音、音質;表達層有語速、情緒、投射感與活潑度;再往細處,可以借助對齊注意力頭做到詞級控制。團隊另外釋出一個以 VoiceCraft 為基礎的語音編輯模型,用來修改錄音中的局部內容。

排名出自自家評測

Zyphra 以自建的 ZTTS2-Eval 進行評測,乾淨集涵蓋 35 種語言,實際場景集涵蓋 20 種語言;綜合能力指數 Zyphra TTS Capability Index v1 由 420 個項目組成。依這套指數,ZONOS3-Mini 在開源模型中排名第一,其後是 Fish S2 Pro 與 MOSS TTS v1.5。

發布頁只放了延遲與吞吐量的柏拉圖曲線,沒有列出各模型的具體分數,ZONOS3-Mini 本身支援哪些語言也沒有單獨寫明。名單中排第二、第三的兩家,目前也沒有對這份排名作出回應。

對中文開發者而言

Fish 與 MOSS 兩個系列在中國開源語音合成圈子裡使用者不少,這次都出現在 ZONOS3-Mini 的比較名單上。不過評測雖涵蓋 35 種語言,中文單項分數並未公布,華語的破音字、兒化音與粵語表現,只能下載下來自己試。

瀏覽器端採用 WebGPU,網頁朗讀、線上課件配音這類情境可以不必把使用者文字傳到伺服器,對有資料合規需求的專案比較省事。在中國大陸存取 Hugging Face 並不穩定,下載權重可能得借助鏡像站。Apache 2.0 免去了商用授權的麻煩,但聲音複製與語音編輯在中國大陸屬於深度合成服務,上線前仍須依相關規定取得被複製者的授權,並做出顯著標示。

參考來源:Zyphra 官方模型發布頁、CocoLoop;核實參數規模、授權、瀏覽器與筆電首段音訊延遲、訓練算力及評測排名。