Das Sprachmodell-Unternehmen Zyphra aus San Francisco hat am 9. November ZONOS3-Mini als Open Source veröffentlicht. Es handelt sich um ein Text-to-Speech-Modell (TTS) mit einer spärlich besetzten Mixture-of-Experts-Architektur (MoE): 800 Millionen Parameter insgesamt, von denen pro Inferenz nur 100 Millionen aktiviert werden. Die Lizenz ist Apache 2.0, eine kommerzielle Nutzung ist also erlaubt. Die Gewichte liegen auf Hugging Face und GitHub, Zyphras eigener Cloud-Dienst ging zeitgleich online, und auf der Website gibt es zusätzlich eine Seite, auf der man das Modell direkt im lokalen Browser anhören kann.
Der Vorgänger ZONOS2 hatte 8 Milliarden Parameter und eine Codec-Bildrate von 86 Hz. Die Parameterzahl ist nun um eine Größenordnung gesunken, und das Team hat den Schwerpunkt auf die Bandbreite der Einsatzumgebungen gelegt:
"we release runtimes for browsers via WebGPU, servers via SGLang and vLLM, as well as many others through GGML"
(Wir veröffentlichen Runtimes für Browser über WebGPU, für Server über SGLang und vLLM sowie viele weitere über GGML.)
Latenz und Trainingsumfang
Offiziell werden zwei Latenzwerte genannt. Im Browser eines Pixel 9 vergehen von der Texteingabe bis zum ersten hörbaren Audioabschnitt weniger als 570 Millisekunden, auf einem MacBook Air mit M3-Chip weniger als 150 Millisekunden. Zyphra gibt an, das Modell laufe in Echtzeit auch auf Smartphones von vor einigen Jahren, nennt aber keinen konkreten Wert für den Echtzeitfaktor (RTF).
Für das Training wurden 112 NVIDIA H100 über 2,5 Tage eingesetzt. Auf der Serverseite werden SGLang und vLLM bereits am Veröffentlichungstag unterstützt, andere Geräte können die native C++-Runtime von GGML nutzen.
Was sich steuern lässt
Das Klonen von Stimmen funktioniert Zero-Shot und auf zwei Wegen: Entweder werden schon beim Vortraining separate Audioausschnitte in den Kontext gelegt, was natürlicher klingt, aber die Prosodie der Originalstimme nicht exakt reproduziert. Oder es wird direkt die Stimmrepräsentation des Zielaudios verwendet und anschließend kurz feinjustiert. Der Sprecher-Encoder wurde vom Ansatz von Qwen3-TTS auf MECT-B2 umgestellt.
Die einstellbaren Dimensionen gliedern sich in drei Ebenen. Die Identitätsebene umfasst Alter, Geschlecht, Akzent und Stimmqualität, die Ausdrucksebene Sprechtempo, Emotion, Projektion und Lebhaftigkeit. Noch feiner lässt sich über Alignment-Attention-Heads eine Steuerung auf Wortebene erreichen. Außerdem hat das Team ein auf VoiceCraft basierendes Sprachbearbeitungsmodell veröffentlicht, mit dem sich einzelne Passagen einer Aufnahme verändern lassen.
Das Ranking stammt aus der hauseigenen Evaluierung
Zyphra bewertet mit dem selbst entwickelten ZTTS2-Eval: Der saubere Satz deckt 35 Sprachen ab, der Satz mit Aufnahmen aus freier Wildbahn 20 Sprachen; der Gesamtindex Zyphra TTS Capability Index v1 besteht aus 420 Einträgen. Nach diesem Index liegt ZONOS3-Mini unter den Open-Source-Modellen auf Platz eins, gefolgt von Fish S2 Pro und MOSS TTS v1.5.
Auf der Veröffentlichungsseite findet sich nur die Pareto-Kurve aus Latenz und Durchsatz, konkrete Punktzahlen der einzelnen Modelle werden nicht aufgeführt, und welche Sprachen ZONOS3-Mini selbst unterstützt, wird nicht gesondert genannt. Die beiden Anbieter auf Platz zwei und drei haben sich zu diesem Ranking bislang nicht geäußert.
Für Entwickler in China
Die Serien Fish und MOSS haben in der chinesischen Open-Source-Szene für Sprachsynthese etliche Nutzer, und beide tauchen in der Vergleichsliste von ZONOS3-Mini auf. Obwohl die Evaluierung 35 Sprachen abdeckt, wurde jedoch kein Einzelwert für Chinesisch veröffentlicht; wie das Modell mit Mehrfachlesungen von Schriftzeichen, dem Er-Laut des Mandarin (Erhua) und mit Kantonesisch zurechtkommt, lässt sich nur durch eigenes Herunterladen und Ausprobieren klären.
Da der Browserbetrieb über WebGPU läuft, kann bei Anwendungen wie dem Vorlesen von Webseiten oder der Vertonung von Online-Kursmaterial auf die Übertragung von Nutzertexten an einen Server verzichtet werden, was Projekten mit Datenschutz- und Compliance-Auflagen die Arbeit erleichtert. Der Zugang zu Hugging Face ist aus China instabil, sodass der Download der Gewichte womöglich über Spiegelserver laufen muss. Apache 2.0 erspart den Aufwand einer kommerziellen Lizenz, doch Stimmklonen und Sprachbearbeitung gelten in China als Deep-Synthesis-Dienste; vor dem Start ist weiterhin nach den einschlägigen Vorschriften die Einwilligung der geklonten Person einzuholen und eine deutliche Kennzeichnung anzubringen.
Quellen: offizielle Modellveröffentlichungsseite von Zyphra, CocoLoop; geprüft wurden Parametergröße, Lizenz, Latenz bis zum ersten Audio im Browser und auf dem Laptop, Trainingsrechenleistung sowie Evaluierungsranking.