Sept chercheurs de Hume AI ont publié une série d'expériences de diagnostic, menées sur 11 modèles de reconnaissance vocale (ASR) répandus. La question à laquelle ils voulaient répondre était simple : le système affichant le taux d'erreur le plus bas sur les benchmarks publics entend-il vraiment l'audio avec plus de précision ? Le résultat pointe dans une autre direction — les modèles les mieux notés sont aussi ceux qui reproduisent le plus souvent, tels quels, les textes de référence déjà erronés dans le jeu de données du benchmark lui-même.
Parmi les modèles testés figurent Whisper-large-v3 d'OpenAI, Qwen3-ASR, canary-qwen et parakeet de Nvidia, Phi-4 de Microsoft, Voxtral-Mini de Mistral, Kimi-Audio de Moonshot, granite-speech d'IBM, cohere-transcribe de CohereLabs, ainsi que higgs-audio de bosonai et la version streaming de taille moyenne de Moonshine. L'équipe appelle ce comportement 'optimisation pour le benchmark' : la hausse du score d'un modèle peut venir du fait qu'il a mémorisé la convention d'écriture d'un jeu de données donné, et non d'une réelle amélioration de sa capacité d'écoute.
Ce que testent les trois sondes
La première sonde vérifie l'incohérence du texte de référence. Les textes de référence des jeux de données vocaux publics ne sont pas propres : dans les extraits de test VoxPopuli analysés par l'équipe, environ quatre sur dix présentaient des signes d'erreur de référence, touchant environ 3 % des mots. La sonde repère les endroits où l'audio et le texte ne concordent pas, puis observe quel côté le modèle suit. Les modèles présentant une optimisation pour le benchmark ont reproduit le texte de référence erroné dans 18 % à 30 % des cas — préférant ne pas suivre l'audio plutôt que de s'écarter de la version déjà présente dans le jeu de données.
La deuxième sonde est la récupération d'entités masquées. L'équipe a rendu muets les chiffres dans l'audio, puis a demandé aux modèles de les transcrire. Plusieurs modèles, sur LibriSpeech, ont 're-complété' les chiffres disparus dans 30 % à 40 % des cas. Le son n'était plus là, mais le mot, si.
La troisième sonde teste le basculement orthographique (orthographic switching). Un même mot possède des conventions d'écriture différentes selon le jeu de données, par exemple Mr. face à Mister, ou any one face à anyone. Certains modèles ont atteint une précision proche de 90 % pour déterminer 'quelle graphie utiliser ici' en passant d'un jeu de données à l'autre — un taux trop élevé pour relever du hasard.
Comment le modèle reconnaît l'épreuve
L'expérience la plus révélatrice est celle de resynthèse. Dans VoxPopuli, une phrase dont le texte de référence omet le 'Thank you' initial a été testée. Avec l'enregistrement original, 6 des 11 modèles l'ont également omis. En resynthétisant la même phrase avec la voix clonée du locuteur d'origine, ce nombre est tombé à 5. En passant à la voix clonée d'un autre parlementaire, un seul modèle continuait de l'omettre.
Le texte n'a pas changé, le sens n'a pas changé — seule l'origine de la voix a changé. Selon l'analyse des chercheurs, les modèles sont bel et bien capables de transcrire fidèlement les mots effectivement prononcés, mais ils utilisent le contexte acoustique environnant pour juger dans quelle situation ils se trouvent, avant de décider de suivre l'audio ou la politique de transcription propre à un benchmark.
"Models are able to faithfully transcribe the literal spoken words, but are using surrounding acoustic context to decide whether to follow the audio or a benchmark-specific transcription policy."
Les modèles sont capables de transcrire fidèlement les mots littéralement prononcés, mais utilisent le contexte acoustique environnant pour décider de suivre l'audio ou une politique de transcription propre à un benchmark.
Cet enchaînement relève, au fond, du même phénomène que la contamination des benchmarks bien connue dans le monde des grands modèles de langage, en beaucoup plus discret côté audio. Pour les benchmarks textuels, une fuite des questions peut encore être détectée par comparaison de chaînes de caractères ; ce 'reconnaître l'épreuve' au niveau acoustique, lui, ne laisse aucune trace visible — un tableau de WER ne révèle rien d'anormal.
Combien de décisions une seule colonne de taux d'erreur peut-elle porter
Le nuage de points révèle un schéma encore plus préoccupant : le groupe de modèles affichant le taux d'erreur le plus bas est aussi celui qui reproduit le plus fréquemment les textes de référence erronés. Qui choisit un modèle en ne regardant qu'une colonne WER obtient un classement dont l'ordre coïncide justement avec 'qui devine le mieux l'épreuve'.
Les chercheurs ne préconisent pas d'abandonner les classements publics — selon eux, ces classements sont transparents, reproductibles, faciles à exécuter et bien compris par la communauté. Leurs recommandations sont plutôt d'ordre technique : utiliser des ensembles d'évaluation entièrement réservés (held-out) ; éviter les découpages aléatoires simples à distribution identique, et découper plutôt par période, par locuteur ou par métadonnées ; ajouter aux classements un onglet 'adéquation au benchmark' pour suivre dans la durée le taux d'erreur de référence et le phénomène de basculement orthographique ; publier en open source les scripts d'évaluation ainsi que les sorties brutes non normalisées, pour permettre à la communauté de les vérifier.
Pour les équipes qui déploient la reconnaissance vocale en production, l'intérêt pratique de cette expérience est d'ajouter une étape au processus de sélection des modèles. Grosso modo : rassembler 200 à 500 enregistrements réels propres à son activité, les transcrire selon ses propres conventions pour constituer un ensemble réservé, pour un coût de main-d'œuvre de l'ordre de quelques jours-personne ; comparer cet ensemble aux classements publics de plusieurs fournisseurs permet déjà de voir si l'ordre de classement va dans le même sens. Des scénarios comme les enregistrements de service client, les comptes rendus de réunion ou la voix embarquée dans un véhicule présentent des accents, un bruit et un vocabulaire très éloignés de LibriSpeech ; un écart de quelques dixièmes de point sur un classement, rapporté à ses propres données, a de fortes chances d'être noyé dans ces différences de méthode.
Sources : comptes rendus des expériences de sondage publiés par l'équipe de recherche de Hume AI, blog technique de la communauté Hugging Face, CocoLoop, fiches officielles des modèles ; vérification de la liste des modèles testés, des taux des trois types de sonde et du décompte de l'expérience de resynthèse.