Siete investigadores de Hume AI han publicado una serie de experimentos de diagnóstico, realizados sobre 11 modelos populares de reconocimiento de voz (ASR). La pregunta que querían responder era sencilla: ¿el sistema con la tasa de error más baja en los benchmarks públicos realmente escucha el audio con más precisión? El resultado apunta en otra dirección: los modelos con las mejores puntuaciones son también los que con más probabilidad reproducen, tal cual, los textos de referencia que ya vienen mal escritos en el propio conjunto de datos del benchmark.
Entre los modelos probados están Whisper-large-v3 de OpenAI, Qwen3-ASR, canary-qwen y parakeet de Nvidia, Phi-4 de Microsoft, Voxtral-Mini de Mistral, Kimi-Audio de Moonshot, granite-speech de IBM, cohere-transcribe de CohereLabs, además de higgs-audio de bosonai y la versión streaming de tamaño mediano de Moonshine. El equipo llama a este comportamiento 'optimización para el benchmark': la subida en la puntuación de un modelo puede deberse a que ha memorizado la convención de escritura de un conjunto de datos concreto, y no a una mejora real de su capacidad auditiva.
Qué comprueba cada una de las tres sondas
La primera sonda examina la inconsistencia del texto de referencia. Los textos de referencia de los conjuntos de datos de voz públicos no están limpios: en los fragmentos de prueba de VoxPopuli que analizó el equipo, alrededor de cuatro de cada diez mostraban indicios de error de referencia, afectando aproximadamente al 3% de las palabras. La sonda localiza los puntos donde el audio y el texto no coinciden y observa a cuál de los dos sigue el modelo. Los modelos que muestran optimización para el benchmark reprodujeron el texto de referencia erróneo entre un 18% y un 30% de las veces: prefieren no escuchar el audio antes que dejar de escribir la versión que ya está en el conjunto de datos.
La segunda sonda es la recuperación de entidades enmascaradas. El equipo silenció los números en el audio y luego pidió a los modelos que los transcribieran. Varios modelos, en LibriSpeech, 'rellenaron' de nuevo los números desaparecidos entre un 30% y un 40% de las veces. El sonido ya no estaba, pero la palabra seguía ahí.
La tercera sonda comprueba el cambio ortográfico (orthographic switching). La misma palabra tiene convenciones de escritura distintas según el conjunto de datos, por ejemplo Mr. frente a Mister, o any one frente a anyone. Algunos modelos alcanzaron una precisión cercana al 90% al determinar 'qué grafía toca usar aquí' al pasar de un conjunto de datos a otro, un porcentaje demasiado alto para ser casualidad.
Cómo reconoce el modelo el examen
El experimento más revelador es el de resíntesis. En VoxPopuli hay una frase cuyo texto de referencia omite el 'Thank you' inicial. Al probarla con la grabación original, 6 de los 11 modelos también lo omitieron. Al resintetizar la misma frase con la voz clonada del hablante original, la cifra bajó a 5. Al cambiar a la voz clonada de otro parlamentario, solo quedó 1 modelo que seguía omitiéndolo.
El texto no cambió, el significado no cambió; lo único que cambió fue el origen de la voz. Según la interpretación de los investigadores, los modelos sí son capaces de transcribir fielmente las palabras realmente pronunciadas, pero usan el contexto acústico circundante para juzgar en qué situación se encuentran, y solo entonces deciden si seguir el audio o la política de transcripción específica de un benchmark.
"Models are able to faithfully transcribe the literal spoken words, but are using surrounding acoustic context to decide whether to follow the audio or a benchmark-specific transcription policy."
Los modelos son capaces de transcribir fielmente las palabras literalmente pronunciadas, pero usan el contexto acústico circundante para decidir si seguir el audio o una política de transcripción específica del benchmark.
Esta cadena es, en el fondo, el mismo fenómeno que la contaminación de benchmarks ya conocida en el mundo de los grandes modelos de lenguaje, solo que en el audio resulta mucho más difícil de detectar. En los benchmarks de texto, una filtración de las preguntas todavía puede detectarse comparando cadenas de caracteres; ese 'reconocer el examen' a nivel acústico, en cambio, no deja rastro visible: una tabla de WER no muestra nada anómalo.
Cuántas decisiones puede sostener una sola columna de tasa de error
El diagrama de dispersión revela un patrón todavía más preocupante: el grupo de modelos con la tasa de error más baja es, a la vez, el que reproduce con mayor frecuencia los textos de referencia erróneos. Quien elige un modelo fijándose solo en la columna de WER obtiene un orden de clasificación que coincide justo con 'quién es mejor acertando el examen'.
Los investigadores no proponen abandonar los rankings públicos: según ellos, son transparentes, reproducibles, fáciles de ejecutar y bien entendidos por la comunidad. Sus recomendaciones son más bien técnicas: usar conjuntos de evaluación completamente reservados (held-out); evitar las divisiones aleatorias simples con la misma distribución y, en su lugar, dividir por tiempo, hablante o metadatos; añadir a los rankings una pestaña de 'ajuste al benchmark' que haga seguimiento a largo plazo de la tasa de error de referencia y del fenómeno del cambio ortográfico; publicar en abierto los scripts de evaluación junto con las salidas brutas sin normalizar para que la comunidad pueda revisarlas.
Para los equipos que llevan el reconocimiento de voz a producción, el valor práctico de este experimento está en añadir un paso más al proceso de selección de modelos. A grandes rasgos: reunir de 200 a 500 grabaciones reales del propio negocio, transcribirlas siguiendo el criterio interno para formar un conjunto reservado, con un coste de apenas unos días-persona; usar ese conjunto para comparar con los rankings públicos de varios proveedores ya permite ver si el orden de clasificación va en la misma dirección. Escenarios como grabaciones de atención al cliente, actas de reuniones o voz en el habitáculo de un coche tienen acentos, ruido y terminología muy distintos de LibriSpeech; una diferencia de unas pocas décimas de punto porcentual en el ranking, aplicada a los propios datos, es muy probable que quede diluida por esas diferencias de criterio.
Fuentes: registros de los experimentos de sondeo publicados por el equipo de investigación de Hume AI, blog técnico de la comunidad de Hugging Face, CocoLoop, fichas oficiales de los modelos; se verificaron la lista de modelos probados, las tasas de los tres tipos de sonda y el recuento del experimento de resíntesis.