Le 9 septembre, Tencent Hunyuan a mis en open source AuK, un modèle de génération et d'édition vocale. Le code se trouve dans l'organisation Tencent-Hunyuan sur GitHub, les poids ont été publiés simultanément sur Hugging Face et ModelScope, et le rapport technique porte le numéro arXiv 2609.08936.
Ce modèle ne se positionne pas comme un TTS de plus. Il regroupe dans un point d'entrée unique des tâches auparavant dispersées entre une dizaine de modèles spécialisés le long de la chaîne vocale : une instruction en langage naturel accompagnée d'un audio de référence précise ce qu'il faut faire, et le modèle restitue l'audio édité.
Une dizaine de tâches, un seul point d'entrée
La documentation officielle répartit les tâches en six catégories. Côté génération : conversion texte-parole zero-shot et TTS piloté par instructions ; l'édition se décompose en trois niveaux — le niveau contenu modifie les mots prononcés et les paroles de chansons, le niveau acoustique ajuste la hauteur, le débit et le volume, le niveau paralinguistique modifie l'émotion, le timbre, l'accent et les sons non verbaux, y compris la transformation d'une voix normale en chuchotement ; côté traitement : réduction de bruit, dé-réverbération, séparation musicale et extraction d'un locuteur cible.
Auparavant, chacune de ces tâches correspondait pour l'essentiel à un modèle distinct. Une équipe de doublage devait installer un système de TTS, un autre convertisseur de timbre pour changer l'émotion, encore un autre modèle de séparation pour retirer le bruit de fond — format audio, fréquence d'échantillonnage et versions des dépendances différaient entre ces trois briques, et l'essentiel du travail d'ingénierie consistait à les assembler. AuK fait de l'instruction elle-même une interface unifiée, laissant le modèle décider seul du chemin à suivre.
L'encodeur s'appuie sur Qwen2.5-Omni-3B comme socle multimodal. Outre une API Python, le dépôt embarque aussi une interface Gradio et des nœuds ComfyUI, deux points d'entrée courants dans la communauté open source audio-vidéo actuelle. Les exemples de la vidéo de démonstration sont en chinois et en anglais.
Où AuK-Flash gagne en vitesse
AuK-Flash est une version rapide distillée du modèle de base, avec un NFE fixé à 4 et un CFG à 0. Selon l'éditeur, la distillation se déroule en deux phases : une initialisation de cohérence au niveau de la trajectoire met d'abord en route le modèle élève à peu d'étapes, puis l'entraînement bascule vers un objectif DMD découplé et routé par tâche, la tâche de séparation étant supervisée à part par une régression sur des prédictions propres.
Pour l'utilisateur, ces détails signifient ceci : les modèles vocaux à diffusion classiques nécessitent des dizaines d'étapes d'échantillonnage à chaque génération, plus une branche non conditionnelle supplémentaire pour préserver la qualité ; AuK-Flash supprime ces deux coûts, au prix d'une qualité qui ne fait que « s'approcher » de celle du modèle enseignant, sans l'égaler. Le chiffre communiqué par l'éditeur est une accélération de 4,5 fois en temps réel, sans perte correspondante publiée sur des métriques objectives.
Face aux autres modèles ouverts du secteur
La densité de modèles vocaux open source est élevée cette année. Mistral avait publié un modèle vocal de 4 milliards de paramètres, comparé dans des benchmarks à ElevenLabs ; le Qwen3.5-Omni d'Alibaba réunit texte, audio et vidéo dans un seul modèle et prend en charge le clonage vocal ; Hunyuan avait elle-même déjà ouvert le code du modèle de base Hy4 et d'un framework d'accélération d'inférence.
La différence d'AuK ne se joue pas sur les scores de benchmark, mais sur le mot « édition ». Les modèles cités ci-dessus visent avant tout la génération — produire de la voix à partir d'un texte ; la moitié des fonctions d'AuK consiste à reprendre un audio existant pour le modifier, tout en préservant le timbre et le rythme du locuteur d'origine. Ce sont deux problèmes d'ingénierie distincts, le second exigeant une cohérence plus stricte et se rapprochant davantage du flux réel de post-production.
La licence MIT mérite d'être soulignée à part. Elle autorise l'usage commercial, la modification et la redistribution, à condition de conserver l'attribution — plus permissive que les licences personnalisées qui accompagnent bien des modèles open source chinois. Pour les petites équipes qui veulent intégrer des capacités vocales dans un produit, les termes de la licence pèsent parfois plus dans le choix que le nombre de paramètres.
L'éditeur n'a pas encore publié de chiffres de WER, de similarité de locuteur ou de MOS face à d'autres modèles ; le dépôt propose un tableau comparatif des performances sur les quatre catégories génération, édition, amélioration et séparation, mais les scores précis doivent être reproduits par soi-même. L'affirmation selon laquelle le modèle serait déjà en tête dès son lancement provient pour l'instant de retours de la communauté, sans évaluation indépendante d'un tiers pour l'instant.
Sources : dépôt et rapport technique de Tencent-Hunyuan/AuK, CocoLoop, page de l'article sur Hugging Face ; le nombre de paramètres, la licence et le facteur d'accélération ont été vérifiés d'après la description officielle du dépôt, les scores d'évaluation n'ont pas été vérifiés de façon indépendante.