A Zyphra, empresa de modelos de voz de São Francisco, abriu em 9 de novembro o código do ZONOS3-Mini. É um modelo de conversão de texto em fala (TTS) com arquitetura de mistura esparsa de especialistas (MoE): 800 milhões de parâmetros no total, dos quais apenas 100 milhões são ativados a cada inferência. A licença é Apache 2.0, o que permite uso comercial. Os pesos estão no Hugging Face e no GitHub, o serviço de nuvem da própria Zyphra entrou no ar ao mesmo tempo, e o site oficial tem ainda uma página para ouvir o modelo diretamente no navegador local.
A geração anterior, o ZONOS2, tinha 8 bilhões de parâmetros e taxa de quadros do codec de 86 Hz. Nesta versão o número de parâmetros caiu uma ordem de grandeza, e a equipe concentrou o foco na abrangência de implantação:
"we release runtimes for browsers via WebGPU, servers via SGLang and vLLM, as well as many others through GGML"
(Lançamos runtimes para navegadores via WebGPU, suporte para servidores com SGLang e vLLM, além de vários outros por meio do GGML.)
Latência e escala de treinamento
A empresa apresenta dois números de latência. No navegador de um Pixel 9, do momento em que o texto é digitado até o primeiro trecho de áudio passam menos de 570 milissegundos; num MacBook Air com chip M3, menos de 150 milissegundos. A Zyphra afirma que o modelo roda em tempo real até em celulares de alguns anos atrás, mas não divulgou o valor concreto do fator de tempo real (RTF).
O treinamento usou 112 GPUs NVIDIA H100 durante 2,5 dias. No lado do servidor, SGLang e vLLM têm suporte desde o dia do lançamento, e outros dispositivos podem recorrer ao runtime nativo em C++ do GGML.
O que dá para controlar
A clonagem de voz funciona em zero-shot e tem duas abordagens: uma coloca trechos de áudio independentes no contexto já durante o pré-treinamento, o que deixa a voz mais natural, mas não reproduz com precisão a prosódia da voz original; a outra usa diretamente a representação vocal do áudio-alvo e faz em seguida um breve ajuste fino. O codificador de locutor foi trocado da solução do Qwen3-TTS para o MECT-B2.
As dimensões ajustáveis se dividem em três camadas. A camada de identidade tem idade, gênero, sotaque e qualidade vocal; a camada de expressão tem velocidade da fala, emoção, projeção e vivacidade; indo mais a fundo, é possível chegar ao controle em nível de palavra por meio de cabeças de atenção de alinhamento. A equipe também lançou um modelo de edição de voz baseado no VoiceCraft, usado para alterar trechos de uma gravação.
O ranking vem da avaliação própria
A Zyphra avalia com o ZTTS2-Eval, construído por ela mesma: o conjunto limpo cobre 35 idiomas e o conjunto em condições reais cobre 20 idiomas; o índice composto Zyphra TTS Capability Index v1 é formado por 420 itens. Segundo esse índice, o ZONOS3-Mini fica em primeiro entre os modelos de código aberto, seguido por Fish S2 Pro e MOSS TTS v1.5.
A página de lançamento mostra apenas a curva de Pareto entre latência e vazão, sem listar as pontuações de cada modelo, e também não informa separadamente quais idiomas o próprio ZONOS3-Mini suporta. As duas empresas que aparecem em segundo e terceiro lugar também não se manifestaram até agora sobre esse ranking.
Para desenvolvedores chineses
As séries Fish e MOSS têm bastante público no círculo chinês de síntese de voz de código aberto, e ambas aparecem na lista de comparação do ZONOS3-Mini. Mesmo assim, embora a avaliação cubra 35 idiomas, a pontuação específica para chinês não foi divulgada; o desempenho com caracteres de várias leituras, com o sufixo retroflexo “er” do mandarim (erhua) e com o cantonês só pode ser conferido baixando o modelo e testando.
Como o lado do navegador usa WebGPU, cenários como leitura de páginas web e locução de materiais de cursos online podem dispensar o envio do texto do usuário a um servidor, o que facilita a vida de projetos com exigências de conformidade de dados. O acesso ao Hugging Face a partir da China é instável, então o download dos pesos talvez exija sites espelho. A Apache 2.0 elimina o trabalho de licenciamento comercial, mas clonagem de voz e edição de voz são consideradas serviços de síntese profunda na China; antes do lançamento, ainda é preciso obter a autorização da pessoa clonada e aplicar identificação visível, conforme as normas correspondentes.
Fontes: página oficial de lançamento do modelo da Zyphra, CocoLoop; foram verificados o tamanho dos parâmetros, a licença, a latência do primeiro áudio no navegador e no notebook, o poder computacional de treinamento e a posição no ranking de avaliação.