Sieben Forscher von Hume AI haben eine Reihe von Diagnosetests veröffentlicht, getestet an 11 verbreiteten Spracherkennungsmodellen. Die Frage, die sie klären wollten, war einfach: Hört das System mit der niedrigsten Fehlerrate auf öffentlichen Benchmarks tatsächlich genauer zu? Das Ergebnis zeigt in eine andere Richtung – die Modelle mit den besten Werten wiederholen mit der größten Wahrscheinlichkeit genau die im Benchmark-Datensatz selbst falsch geschriebenen Referenztexte.
Getestet wurden unter anderem OpenAI Whisper-large-v3, Qwen3-ASR, Nvidias canary-qwen und parakeet, Microsofts Phi-4, Mistrals Voxtral-Mini, Moonshots Kimi-Audio, IBMs granite-speech, cohere-transcribe von CohereLabs sowie higgs-audio von bosonai und die mittelgroße Streaming-Version von Moonshine. Das Team nennt dieses Verhalten 'Benchmark-Optimierung': Der Anstieg der Modellwertung kann daher rühren, dass sich das Modell die Schreibkonventionen eines bestimmten Datensatzes gemerkt hat – nicht daher, dass es tatsächlich besser hört.
Was die drei Sonden jeweils prüfen
Die erste Sonde prüft Inkonsistenzen im Referenztext. Referenztexte in öffentlichen Sprachdatensätzen sind nicht sauber: In den von dem Team analysierten VoxPopuli-Testabschnitten zeigten rund vier von zehn Anzeichen von Referenzfehlern, betroffen waren etwa 3 Prozent der Wörter. Die Sonde sucht Stellen, an denen Audio und Text nicht übereinstimmen, und schaut, wem das Modell folgt. Modelle, die Benchmark-Optimierung zeigen, reproduzierten in 18 bis 30 Prozent der Fälle den falschen Referenztext – sie hören lieber nicht richtig hin, als von der im Datensatz hinterlegten Version abzuweichen.
Die zweite Sonde ist die maskierte Entitätsabfrage. Das Team hat Zahlen im Audio stummgeschaltet und die Modelle anschließend transkribieren lassen. Mehrere Modelle haben auf LibriSpeech die verschwundenen Zahlen mit einer Quote von 30 bis 40 Prozent wieder 'ergänzt'. Der Ton war weg, das Wort blieb.
Die dritte Sonde prüft den Wechsel der Schreibweise (Orthographic Switching). Dasselbe Wort wird in verschiedenen Datensätzen unterschiedlich geschrieben, etwa Mr. gegenüber Mister oder any one gegenüber anyone. Manche Modelle erreichten beim Erkennen, 'welche Schreibweise hier verlangt ist', über Datensätze hinweg eine Genauigkeit von fast 90 Prozent – zu hoch, um Zufall zu sein.
Woran das Modell die Prüfung erkennt
Am aufschlussreichsten ist ein Resynthese-Experiment. In VoxPopuli fehlt in einem Referenztext das einleitende 'Thank you'. Bei der Originalaufnahme ließen 6 von 11 Modellen es ebenfalls weg. Wurde derselbe Satz mit der geklonten Stimme des ursprünglichen Sprechers neu synthetisiert, sank die Zahl auf 5. Wechselte man zur geklonten Stimme eines anderen Abgeordneten, blieb es nur bei einem einzigen Modell.
Der Text hat sich nicht geändert, die Bedeutung auch nicht – geändert hat sich nur die Herkunft der Stimme. Die Forscher schließen daraus, dass die Modelle durchaus in der Lage sind, die tatsächlich gesprochenen Wörter originalgetreu zu transkribieren, aber anhand des umgebenden akustischen Kontexts einschätzen, in welcher Situation sie sich befinden, und dann entscheiden, ob sie dem Audio oder der Transkriptionspolitik eines bestimmten Benchmarks folgen.
"Models are able to faithfully transcribe the literal spoken words, but are using surrounding acoustic context to decide whether to follow the audio or a benchmark-specific transcription policy."
Modelle können die buchstäblich gesprochenen Wörter originalgetreu transkribieren, nutzen aber den umgebenden akustischen Kontext, um zu entscheiden, ob sie dem Audio oder einer benchmarkspezifischen Transkriptionspolitik folgen.
Diese Kette ist im Kern dasselbe Phänomen wie die aus der Welt der großen Sprachmodelle bekannte Benchmark-Kontamination, nur bei Sprache deutlich verdeckter. Bei Text-Benchmarks lässt sich durchgesickertes Prüfungsmaterial noch per String-Abgleich aufspüren; das 'Erkennen der Prüfung' auf akustischer Ebene hinterlässt dagegen keine sichtbaren Spuren – in einer WER-Tabelle ist nichts Auffälliges zu erkennen.
Wie viele Entscheidungen kann eine einzelne Fehlerrate tragen
Das Streudiagramm zeigt ein noch beunruhigenderes Muster: Genau die Modelle mit der niedrigsten Fehlerrate reproduzieren gleichzeitig am häufigsten falsche Referenztexte. Wer bei der Modellauswahl nur auf eine WER-Spalte schaut, bekommt eine Rangfolge, die zufällig genau mit 'wer am besten die Prüfung besteht' zusammenfällt.
Die Forscher plädieren nicht dafür, öffentliche Ranglisten abzuschaffen – sie seien transparent, reproduzierbar, leicht auszuführen und in der Community gut verstanden. Ihre Vorschläge sind eher technischer Natur: vollständig zurückgehaltene Evaluationssets verwenden; auf einfache, gleichverteilte Zufallsaufteilungen verzichten und stattdessen nach Zeit, Sprecher oder Metadaten aufteilen; in Ranglisten einen Reiter 'Benchmark-Fit' ergänzen, der Referenzfehlerraten und Orthographic-Switching-Phänomene langfristig verfolgt; Auswertungsskripte und unnormalisierte Rohausgaben offenlegen, damit die Community sie überprüfen kann.
Für Teams, die Spracherkennung produktiv einsetzen, liegt der praktische Nutzen dieses Experiments darin, dem Auswahlprozess einen zusätzlichen Schritt hinzuzufügen. Grob überschlagen: 200 bis 500 echte Aufnahmen aus dem eigenen Geschäftsbetrieb sammeln, nach eigenen Vorgaben transkribieren und als zurückgehaltenes Set nutzen – der Personalaufwand liegt im Bereich weniger Personentage. Damit lässt sich die öffentliche Rangliste mehrerer Anbieter gegenprüfen und erkennen, ob die Reihenfolge in dieselbe Richtung zeigt. Szenarien wie Kundenservice-Aufnahmen, Besprechungsprotokolle oder Sprachsteuerung im Auto unterscheiden sich in Akzent, Rauschen und Terminologie deutlich von LibriSpeech – ein Unterschied von wenigen Zehntelprozentpunkten in der Rangliste geht bei den eigenen Daten mit hoher Wahrscheinlichkeit in solchen Messungenauigkeiten unter.
Quellen: veröffentlichte Sondenexperiment-Aufzeichnungen des Hume-AI-Forschungsteams, technischer Community-Blog von Hugging Face, CocoLoop, offizielle Modellkarten; abgeglichen wurden die Liste der getesteten Modelle, die Quoten der drei Sondentypen und die Zählwerte des Resynthese-Experiments.