Le 11 septembre, Xiaomi a mis en open source un modèle de reconnaissance vocale baptisé Xiaomi-CocktailASR-1, conçu spécifiquement pour résoudre le « problème du cocktail » : quand toute une pièce parle en même temps, le modèle ne transcrit que la personne que l'on veut vraiment entendre. Le code est publié sur GitHub sous l'organisation xiaomi-research, les poids sont disponibles sur Hugging Face, et le rapport technique a été déposé sur arXiv le 10 septembre.
L'entrée de ce modèle contient un élément de plus qu'un modèle de reconnaissance vocale classique : un audio de référence du locuteur cible. Le modèle utilise cet extrait comme indice d'empreinte vocale pour isoler la voix de cette personne dans la piste superposée et la transcrire — ce que disent les autres n'apparaît tout simplement pas dans le texte.
Les chiffres
Pour le taux d'erreur de caractères sur les jeux de test à plusieurs locuteurs, le rapport donne les chiffres suivants : LibriMix à deux locuteurs superposés, 4,11 % ; LibriMix3mix à trois locuteurs superposés, 12,29 % ; LibriSpeechMix2mix, 2,90 %. Sur ce même jeu de test à trois locuteurs, les modèles de reconnaissance vocale courants affichent un taux d'erreur de caractères compris entre 76 % et 121 %. Dépasser 100 % signifie que le nombre de caractères erronés insérés dépasse celui de la parole d'origine — le modèle a mélangé les propos de deux ou trois personnes en une suite confuse.
Les données en situation réelle proviennent d'enregistrements de réunions AliMeeting ; en champ lointain, le TS-WER atteint 20,63 %, soit près de sept points de pourcentage sous le meilleur résultat publié jusqu'ici, 27,5 %. Sur un audio propre à un seul locuteur, LibriSpeech atteint 1,73 %, à peu près au niveau des modèles généralistes dominants — ce chiffre détermine si le modèle peut servir d'ASR généraliste, et pas seulement d'outil spécialisé pour les scènes à voix superposées.
Autre indicateur : le rejet. Quand le locuteur cible ne parle tout simplement pas, le modèle doit renvoyer un texte vide. Sur un jeu d'échantillons négatifs en anglais, son taux de rejet correct est de 79,59 % ; le rapport le compare à Gemini-2.5-pro, dont le taux de faux rejet est de 21,31 %, c'est-à-dire que là où il fallait transcrire, il conclut à tort que « personne ne parle ».
Une architecture simple, mais un volume de données considérable
Trois blocs composent le modèle : un encodeur audio auto-supervisé basé sur Data2Vec2, environ 60 millions de paramètres, produisant des embeddings de trame à 1280 dimensions ; un adaptateur linéaire qui projette ces embeddings dans l'espace latent du modèle de langage ; et un socle Qwen3-8B. L'ensemble forme une architecture de grand modèle de langage de bout en bout, et non l'assemblage classique modèle acoustique plus modèle de langage de l'ASR traditionnel.
L'entraînement se déroule en quatre étapes ; la seule deuxième étape consomme plus de 400 000 heures de données à plusieurs locuteurs et 600 000 heures de données à un seul locuteur. Cette échelle montre que les capacités du modèle proviennent surtout du volume de données et de la couverture du mélange audio synthétique — l'architecture elle-même ne constitue pas un obstacle élevé à la reproduction par des tiers.
Le modèle prend aussi en charge un mode de raisonnement en chaîne (chain-of-thought) : avant de transcrire, il détermine d'abord « combien de personnes parlent dans cet audio et à quel segment correspond la voix cible », puis transcrit seulement ensuite. Selon le rapport, activer le CoT fait encore baisser le taux d'erreur de mots de 0,24 point de pourcentage (valeur absolue). Sur le plan technique, ce gain de 0,24 point ne compense probablement pas le surcoût d'inférence supplémentaire ; l'intérêt de ce mode réside davantage dans l'interprétabilité — en cas d'erreur, on peut voir à quelle étape le modèle s'est trompé.
Ce que cela signifie pour un déploiement en Chine
Les solutions commerciales de reconnaissance vocale ne manquent pas en Chine ; ce qui manque, c'est un composant open source capable de se verrouiller durablement sur une personne au sein d'une conversation à plusieurs voix. Comptes rendus de réunion, habitacles de voiture à plusieurs occupants, contrôle qualité des doubles enregistrements en centre d'appels, appareils auditifs — tous ces cas d'usage butent sur le même point : le micro capte plus d'une personne.
L'orientation d'usage visée par Xiaomi elle-même n'est pas difficile à deviner : les assistants vocaux embarqués dans les voitures et les objets connectés doivent eux aussi gérer plusieurs personnes dans un même espace. Mais cette fois, ce sont les poids complets et le code qui ont été publiés en open source, permettant à des tiers de les utiliser directement sans attendre qu'un service cloud ouvre une API. Tous les jeux de test du rapport sont par ailleurs des jeux de données publics, ce qui abaisse la barrière pour que d'autres reproduisent les résultats et en trouvent les failles.
Une réserve s'impose : des jeux de données comme LibriMix résultent d'un mélange artificiel de voix propres, qui ne correspond pas totalement à la réverbération, à la direction et aux interruptions d'une pièce réelle. Le chiffre le plus proche d'un usage quotidien est celui d'AliMeeting, 20,63 %, encore assez loin d'être « vraiment utilisable ». Xiaomi n'a pas non plus publié de résultats spécifiques pour des scènes à plusieurs locuteurs en chinois.
Sources : dépôt open source de Xiaomi xiaomi-research/xiaomi-cocktailasr-1, CocoLoop, rapport technique arXiv 2609.11274, IT Home ; les chiffres de taux d'erreur de caractères et de taux de rejet de chaque jeu de données suivent le rapport technique.