Sete pesquisadores da Hume AI publicaram uma série de experimentos de diagnóstico, testando 11 modelos populares de reconhecimento de voz (ASR). A pergunta que queriam responder era simples: o sistema com a menor taxa de erro nos benchmarks públicos realmente ouve o áudio com mais precisão? O resultado aponta para outra direção — os modelos com as melhores pontuações também são os que mais reproduzem, tal e qual, os textos de referência que já vêm errados no próprio conjunto de dados do benchmark.
Os modelos testados incluem o Whisper-large-v3 da OpenAI, o Qwen3-ASR, o canary-qwen e o parakeet da Nvidia, o Phi-4 da Microsoft, o Voxtral-Mini da Mistral, o Kimi-Audio da Moonshot, o granite-speech da IBM, o cohere-transcribe da CohereLabs, além do higgs-audio da bosonai e da versão streaming de tamanho médio da Moonshine. A equipe chama esse comportamento de 'otimização para benchmark': o aumento na pontuação do modelo pode vir do fato de ele ter memorizado a convenção de escrita de um determinado conjunto de dados, e não de uma capacidade auditiva realmente melhor.
O que as três sondas testam
A primeira sonda verifica inconsistências no texto de referência. Os textos de referência dos conjuntos de dados de voz públicos não são limpos: nos trechos de teste do VoxPopuli analisados pela equipe, cerca de quatro em dez apresentavam indícios de erro de referência, afetando por volta de 3% das palavras. A sonda localiza pontos em que áudio e texto não batem e observa qual lado o modelo segue. Modelos com comportamento de otimização para benchmark reproduziram o texto de referência errado entre 18% e 30% das vezes — preferem não ouvir o áudio a deixar de escrever a versão que já está no conjunto de dados.
A segunda sonda é a recuperação de entidades mascaradas. A equipe silenciou os números no áudio e pediu que os modelos os transcrevessem mesmo assim. Vários modelos, no LibriSpeech, 'preencheram' de volta os números que haviam sumido em 30% a 40% dos casos. O som já não estava lá, mas a palavra continuava.
A terceira sonda testa a troca ortográfica (orthographic switching). A mesma palavra tem convenções de escrita diferentes conforme o conjunto de dados, por exemplo Mr. e Mister, ou any one e anyone. Alguns modelos alcançaram precisão próxima de 90% ao identificar 'qual grafia usar aqui' ao mudar de um conjunto de dados para outro — alto demais para ser coincidência.
Como o modelo reconhece a prova
O experimento mais revelador é o de ressíntese. No VoxPopuli, há uma frase cujo texto de referência omite o 'Thank you' inicial. Testando com a gravação original, 6 dos 11 modelos também o omitiram. Ao ressintetizar a mesma frase com a voz clonada do falante original, o número caiu para 5. Ao trocar para a voz clonada de outro parlamentar, restou apenas 1 modelo ainda omitindo.
O texto não mudou, o sentido não mudou — o que mudou foi apenas a origem da voz. A avaliação dos pesquisadores é que os modelos têm, sim, capacidade de transcrever fielmente as palavras ditas, mas usam o contexto acústico ao redor para julgar em que situação estão, e só então decidem se seguem o áudio ou a política de transcrição específica de um benchmark.
"Models are able to faithfully transcribe the literal spoken words, but are using surrounding acoustic context to decide whether to follow the audio or a benchmark-specific transcription policy."
Os modelos são capazes de transcrever fielmente as palavras literalmente ditas, mas usam o contexto acústico ao redor para decidir se seguem o áudio ou uma política de transcrição específica do benchmark.
Essa cadeia é, no fundo, o mesmo fenômeno da contaminação de benchmark já conhecida no mundo dos grandes modelos de linguagem, só que muito mais disfarçado na voz. Em benchmarks de texto, vazamento de questões ainda pode ser detectado por comparação de strings; já esse 'reconhecer a prova' em nível acústico não deixa rastro visível — uma tabela de WER não mostra nada de anormal.
Quantas decisões uma única coluna de taxa de erro consegue sustentar
O gráfico de dispersão revela um padrão ainda mais preocupante: o grupo de modelos com a menor taxa de erro é, ao mesmo tempo, o grupo com a maior taxa de reprodução de textos de referência errados. Quem escolhe um modelo olhando apenas para a coluna de WER acaba com uma ordem de classificação que coincide exatamente com 'quem é melhor em acertar a prova'.
Os pesquisadores não defendem abandonar os rankings públicos — segundo eles, esses rankings são transparentes, reprodutíveis, fáceis de rodar e bem compreendidos pela comunidade. As recomendações que propõem são mais técnicas: usar conjuntos de avaliação totalmente reservados (held-out); evitar divisões aleatórias simples com a mesma distribuição, dividindo em vez disso por tempo, falante ou metadados; adicionar aos rankings uma aba de 'ajuste ao benchmark' para acompanhar a longo prazo a taxa de erro de referência e o fenômeno de troca ortográfica; disponibilizar em código aberto os scripts de avaliação e as saídas brutas não normalizadas para verificação da comunidade.
Para equipes que colocam reconhecimento de voz em produção, o valor prático deste experimento é acrescentar uma etapa ao processo de seleção de modelos. Em números aproximados: reunir de 200 a 500 gravações reais do próprio negócio, transcrevê-las segundo o padrão interno para formar um conjunto reservado, com custo de poucos dias-pessoa; usar esse conjunto para comparar com os rankings públicos de alguns fornecedores já mostra se a ordem de classificação aponta na mesma direção. Cenários como gravações de atendimento ao cliente, atas de reunião e voz embarcada em veículos têm sotaque, ruído e vocabulário bem diferentes do LibriSpeech; uma diferença de poucas frações de ponto percentual no ranking, aplicada aos próprios dados, tende a se perder facilmente nessas diferenças de critério.
Fontes: registros dos experimentos de sondagem publicados pela equipe de pesquisa da Hume AI, blog técnico da comunidade Hugging Face, CocoLoop, fichas técnicas oficiais dos modelos; verificação da lista de modelos testados, das taxas dos três tipos de sonda e da contagem do experimento de ressíntese.