Xiaomi hat am 11. September ein Spracherkennungsmodell namens Xiaomi-CocktailASR-1 als Open Source veröffentlicht, das gezielt das „Cocktailparty-Problem" lösen soll: Wenn ein ganzer Raum gleichzeitig spricht, transkribiert das Modell nur die Person, die man tatsächlich hören möchte. Der Code liegt auf GitHub unter der Organisation xiaomi-research, die Gewichte stehen auf Hugging Face, und der technische Bericht wurde am 10. September bei arXiv eingereicht.
Der Input dieses Modells enthält mehr als bei einem gewöhnlichen Spracherkennungsmodell: eine Referenzaufnahme der Zielsprecherin oder des Zielsprechers. Das Modell nutzt diese Aufnahme als Stimmabdruck-Hinweis, um die Stimme dieser Person aus der überlagerten Tonspur herauszufiltern und zu transkribieren – was andere sagen, erscheint gar nicht erst im Text.
Die Zahlen
Für die Zeichenfehlerrate auf Mehrsprecher-Testsets nennt der Bericht folgende Werte: LibriMix mit zwei überlagerten Sprechern 4,11 %, LibriMix3mix mit drei überlagerten Sprechern 12,29 %, LibriSpeechMix2mix 2,90 %. Bei denselben Dreier-Tests liegt die Zeichenfehlerrate gewöhnlicher Spracherkennungsmodelle zwischen 76 % und 121 %. Über 100 % bedeutet, dass mehr fehlerhafte Zeichen eingefügt wurden, als die ursprüngliche Aussage überhaupt enthielt – das Modell hat die Aussagen von zwei oder drei Personen zu einem einzigen Wortsalat vermischt.
Für reale Szenarien wurden Konferenzaufnahmen von AliMeeting verwendet; unter Fernfeldbedingungen liegt der TS-WER bei 20,63 %, fast sieben Prozentpunkte unter dem bisher besten veröffentlichten Wert von 27,5 %. Bei sauberem Audio mit nur einem Sprecher erreicht das Modell auf LibriSpeech 1,73 % und liegt damit etwa auf Höhe gängiger allgemeiner Modelle – dieser Wert entscheidet, ob es sich als universelles ASR-System eignet oder nur als Spezialwerkzeug für Überlagerungsszenarien.
Ein weiterer Punkt ist die Zurückweisung. Spricht die Zielperson gar nicht, sollte das Modell einen leeren Text ausgeben. Auf einem englischen Negativ-Datensatz liegt die korrekte Zurückweisungsrate bei 79,59 %; der Bericht vergleicht dies mit Gemini-2.5-pro, dessen Falsch-Zurückweisungsrate bei 21,31 % liegt – es hält also fälschlich fest, „niemand spricht", obwohl eigentlich transkribiert werden müsste.
Keine komplizierte Architektur, aber enorme Datenmengen
Das Modell besteht aus drei Teilen: einem selbstüberwachten Audio-Encoder auf Basis von Data2Vec2 mit rund 60 Millionen Parametern, der 1280-dimensionale Frame-Embeddings ausgibt; einem linearen Adapter, der diese Embeddings in den versteckten Raum des Sprachmodells projiziert; und einem Qwen3-8B-Backbone. Insgesamt handelt es sich um eine durchgängige Large-Language-Model-Architektur, nicht um die klassische ASR-Kombination aus Akustikmodell plus Sprachmodell.
Das Training läuft in vier Phasen; allein Phase zwei nutzt über 400.000 Stunden Mehrsprecher-Daten und 600.000 Stunden Einzelsprecher-Daten. Dieser Umfang zeigt, dass die Fähigkeiten des Modells vor allem aus der Datenmenge und der Abdeckung synthetisch gemischter Aufnahmen stammen – die Architektur selbst setzt der externen Nachbildung keine hohe Hürde.
Das Modell unterstützt zudem einen Chain-of-Thought-Modus: Vor der Transkription schließt es zunächst, „wie viele Personen in dieser Aufnahme sprechen und welchem Abschnitt die Zielstimme entspricht", bevor es transkribiert. Laut Bericht sinkt die Wortfehlerrate mit aktiviertem CoT um weitere 0,24 Prozentpunkte (absolut). Technisch betrachtet dürfte dieser Gewinn von 0,24 Punkten den zusätzlichen Rechenaufwand kaum aufwiegen – der Wert dieses Modus liegt eher in der Nachvollziehbarkeit: Bei Fehlern lässt sich erkennen, an welchem Schritt das Modell falsch lag.
Was das für den Einsatz in China bedeutet
An kommerziellen Lösungen für Spracherkennung mangelt es in China nicht – was fehlt, ist ein Open-Source-Baustein, der in Mehrpersonengesprächen stabil auf eine Person fokussieren kann. Besprechungsprotokolle, Fahrzeugkabinen mit mehreren Insassen, Doppel-Aufzeichnungsprüfungen im Kundenservice, Hörgeräte – all diese Szenarien scheitern am selben Punkt: Das Mikrofon nimmt mehr als eine Person auf.
Die Einsatzrichtung, die Xiaomi selbst verfolgt, ist nicht schwer zu erraten: Sprachassistenten in Autos und IoT-Geräten müssen ebenfalls mit mehreren Personen im selben Raum zurechtkommen. Diesmal wurden jedoch die vollständigen Gewichte samt Code als Open Source freigegeben, sodass Dritte sie direkt einsetzen können, ohne auf eine geöffnete API eines Cloud-Dienstes warten zu müssen. Auch alle im Bericht genannten Testsets sind öffentliche Datensätze, was die Hürde für Nachbildung und Kritik durch andere senkt.
Ein Vorbehalt sei angemerkt: Datensätze wie LibriMix bestehen aus künstlich überlagerter, sauberer Sprache und entsprechen nicht vollständig dem Hall, der Richtung und den Unterbrechungen in einem echten Raum. Näher an der alltäglichen Nutzung liegt der AliMeeting-Wert von 20,63 % – bis „wirklich gut nutzbar" ist es noch ein Stück. Xiaomi hat zudem keine gesonderten Ergebnisse für Mehrpersonen-Szenarien auf Chinesisch veröffentlicht.
Quellen: Xiaomis Open-Source-Repository xiaomi-research/xiaomi-cocktailasr-1, CocoLoop, arXiv-Technikbericht 2609.11274, IT Home; alle Zeichenfehler- und Zurückweisungsraten je Datensatz folgen den Angaben im technischen Bericht.