Zyphra, société de modèles vocaux basée à San Francisco, a publié en open source ZONOS3-Mini le 9 novembre. Il s'agit d'un modèle de synthèse vocale à partir de texte (TTS) à architecture de mélange d'experts (MoE) parcimonieuse : 800 millions de paramètres au total, dont seulement 100 millions sont activés à chaque inférence. La licence est Apache 2.0, ce qui autorise l'usage commercial. Les poids sont disponibles sur Hugging Face et GitHub, le service cloud de Zyphra a été lancé en même temps, et le site officiel propose en plus une page permettant d'écouter le modèle directement dans le navigateur local.
La génération précédente, ZONOS2, comptait 8 milliards de paramètres et un taux de trames du codec de 86 Hz. Cette fois, le nombre de paramètres a baissé d'un ordre de grandeur, et l'équipe a mis l'accent sur l'étendue du déploiement :
"we release runtimes for browsers via WebGPU, servers via SGLang and vLLM, as well as many others through GGML"
(Nous publions des runtimes pour les navigateurs via WebGPU, la prise en charge des serveurs via SGLang et vLLM, ainsi que de nombreux autres via GGML.)
Latence et ampleur de l'entraînement
L'éditeur avance deux chiffres de latence. Dans le navigateur d'un Pixel 9, il s'écoule moins de 570 millisecondes entre la saisie du texte et l'audition du premier segment audio ; sur un MacBook Air à puce M3, moins de 150 millisecondes. Zyphra affirme que le modèle tourne en temps réel même sur des téléphones vieux de plusieurs années, mais n'a pas publié de valeur précise du facteur temps réel (RTF).
L'entraînement a mobilisé 112 GPU NVIDIA H100 pendant 2,5 jours. Côté serveur, SGLang et vLLM sont pris en charge dès le jour de la publication, et les autres appareils peuvent passer par le runtime C++ natif de GGML.
Ce qui peut être contrôlé
Le clonage de voix fonctionne en zero-shot, avec deux approches : l'une place des extraits audio indépendants dans le contexte dès le pré-entraînement, ce qui donne une voix plus naturelle mais ne reproduit pas exactement la prosodie de la voix d'origine ; l'autre utilise directement la représentation vocale de l'audio cible, puis effectue un bref affinage. L'encodeur de locuteur est passé de la solution de Qwen3-TTS à MECT-B2.
Les dimensions réglables se répartissent en trois couches. La couche d'identité comprend l'âge, le genre, l'accent et la qualité de voix ; la couche d'expression comprend le débit, l'émotion, la projection et le dynamisme ; en allant plus loin, on peut atteindre un contrôle au niveau du mot grâce aux têtes d'attention d'alignement. L'équipe a également publié un modèle d'édition vocale basé sur VoiceCraft, destiné à modifier des passages d'un enregistrement.
Un classement issu de sa propre évaluation
Zyphra évalue avec ZTTS2-Eval, qu'elle a construit elle-même : le jeu propre couvre 35 langues, le jeu en conditions réelles couvre 20 langues ; l'indice global Zyphra TTS Capability Index v1 comprend 420 éléments. Selon cet indice, ZONOS3-Mini arrive premier parmi les modèles open source, devant Fish S2 Pro et MOSS TTS v1.5.
La page de publication ne présente que la courbe de Pareto latence/débit, sans indiquer les scores précis de chaque modèle, et les langues prises en charge par ZONOS3-Mini lui-même ne sont pas précisées non plus. Les deux acteurs classés deuxième et troisième n'ont, à ce jour, pas réagi à ce classement.
Pour les développeurs chinois
Les séries Fish et MOSS comptent pas mal d'utilisateurs dans le milieu chinois de la synthèse vocale open source, et toutes deux figurent dans la liste de comparaison de ZONOS3-Mini. Cependant, bien que l'évaluation couvre 35 langues, le score propre au chinois n'a pas été publié ; le comportement face aux caractères à lectures multiples, à la rhotacisation « er » du mandarin (erhua) et au cantonais ne peut être vérifié qu'en téléchargeant le modèle pour l'essayer soi-même.
Comme le côté navigateur passe par WebGPU, des usages comme la lecture de pages web ou la voix off de supports de cours en ligne peuvent se passer d'envoyer le texte de l'utilisateur à un serveur, ce qui simplifie la tâche des projets soumis à des exigences de conformité des données. L'accès à Hugging Face depuis la Chine est instable, et le téléchargement des poids peut nécessiter des sites miroirs. Apache 2.0 évite les démarches de licence commerciale, mais le clonage de voix et l'édition vocale relèvent en Chine des services de synthèse profonde ; avant la mise en ligne, il faut toujours, conformément à la réglementation, obtenir l'autorisation de la personne clonée et apposer un marquage visible.
Sources : page officielle de publication du modèle de Zyphra, CocoLoop ; ont été vérifiés la taille des paramètres, la licence, la latence du premier audio dans le navigateur et sur ordinateur portable, la puissance de calcul d'entraînement ainsi que le classement d'évaluation.