Alibabas Qwen-Team hat am 19. September das Simultandolmetsch-Modell Qwen3.8-LiveTranslate vorgestellt und die durchschnittliche Verzögerung pro Zeichen von 2,8 Sekunden bei der Vorgängerversion auf 2,3 Sekunden gesenkt. Das Modell versteht 60 Sprachen und gibt Sprachausgabe in 29 Sprachen aus, gleichzeitig wurden eine Demo-Seite und eine API veröffentlicht.
Die Schwierigkeit beim Simultandolmetschen liegt nicht in der Übersetzungsqualität selbst, sondern im Kompromiss zwischen Qualität und Verzögerung. Je mehr Wörter das Modell abwartet, desto vollständiger die Satzstruktur und desto präziser die Übersetzung – je länger das Warten dauert, desto schwerer fällt es dem Publikum, mitzuhalten. Diese halbe Sekunde Einsparung steht im Zentrum der Ankündigung.
Interleave verzahnt drei Prozessschritte
Das Modell nutzt eine zweiteilige Thinker-Talker-Architektur auf Basis eines Hybrid-MoE. Der Thinker verarbeitet Audio- und Videoeingaben und übernimmt die Übersetzung, der Talker erzeugt die Sprachausgabe und bewahrt dabei die Stimmfarbe der ursprünglichen sprechenden Person. Die beiden Module sind über Interleaving verbunden, das Streaming-Verständnis, Textausgabe und Sprachgenerierung ineinander verzahnt.
Die Bedeutung dieser Struktur liegt darin, dass die drei Prozessschritte nicht mehr sequenziell aufeinander warten müssen. Der klassische Ansatz besteht darin, erst einen Abschnitt zu Ende zu hören, ihn zu übersetzen und dann zu synthetisieren – jeder Schritt braucht dafür genug angesammelten Input. Interleaving lässt den nächsten Schritt bereits beginnen, bevor der vorherige abgeschlossen ist, wodurch die Verzögerung sinkt. Der Preis dafür ist eine deutlich höhere Anforderung an die Stabilität des Streamings: Verrutscht das Verständnis in der ersten Satzhälfte, ist die Sprachausgabe der zweiten Hälfte bereits abgespielt.
Neben der Verzögerung bringt diese Version drei neue Fähigkeiten mit: Echtzeit-Sprechertrennung mit jeweils erhaltener Stimmfarbe, Original und Übersetzung im gleichen Frame und auf demselben Bildschirm, sowie Disambiguierung über einen langen Kontext hinweg. Die ersten beiden sind für Meeting-Szenarien unverzichtbar, weil sich bei überlappendem Sprechen mehrerer Personen erkennen lässt, wer gerade spricht, und Original sowie Übersetzung sich direkt vergleichen lassen; die dritte Fähigkeit richtet sich an Fälle, in denen der Kontext davor und danach die Wortbedeutung bestimmt.
Zwei Benchmark-Sätze, fünffacher Unterschied in der Abdeckung
Alibaba legt zwei Datensätze vor. Der eine basiert auf dem öffentlichen Audio-Testset FLEURS mit 70 Sprachrichtungen; dort soll das Modell laut Alibaba der Vorgängerversion und den derzeit gängigen Simultandolmetsch-Systemen in vier Dimensionen überlegen sein: Übersetzungsqualität, durchschnittliche Verzögerung pro Zeichen, Genauigkeit der Spracherkennung und Qualität der Sprachsynthese. Der andere Datensatz ist Omnilingua-MSpeaker, ein von Alibaba selbst erstellter Benchmark mit langen Mehrsprecher-Aufnahmen, der 14 Sprachrichtungen abdeckt und Übersetzungstreue, Flüssigkeit, Prägnanz sowie die Fehlerrate bei der Sprechererkennung vergleicht.
Die Abdeckung der beiden Datensätze unterscheidet sich um das Fünffache – und ausgerechnet der schmalere Datensatz misst die in dieser Version besonders beworbene Sprechertrennung. Im öffentlichen Datensatz gibt es keine entsprechende Mehrsprecher-Metrik, externe Nachbildungen können also vorerst nur bei den 70 Sprachrichtungen von FLEURS ansetzen. Wie groß der Vorsprung in den vier Dimensionen im Einzelnen ausfällt, geben die offiziellen Unterlagen nicht Zahl für Zahl an.
Im Vergleich: Wo stehen die Konkurrenten dieser Klasse
Beim Simultandolmetschen gibt es derzeit mehrere technische Ansätze. Der eine reiht bewährte Spracherkennung, maschinelle Übersetzung und Sprachsynthese hintereinander – technisch ausgereift und einzeln austauschbar, aber die Verzögerung liegt meist über 3 Sekunden. Der andere ist ein End-to-End-Modell von Sprache zu Sprache, das eine niedrige Verzögerung erreicht, dessen Sprachabdeckung aber oft eingeschränkt bleibt. Die von Qwen3.8-LiveTranslate angegebenen 60 verstandenen und 29 gesprochenen Sprachen bei 2,3 Sekunden Verzögerung liegen zwischen diesen beiden Ansätzen, tendenziell näher am End-to-End-Modell.
Für einen echten Vergleich braucht es Zahlen auf demselben Testset und derselben Sprachrichtung. Bislang liegt nur Alibabas eigener Vergleich vor, eine unabhängige Nachbildung durch Dritte auf FLEURS gibt es noch nicht.
Was noch nicht gesagt wurde
Bei der Ankündigung war weder von Open Source noch von der Lizenzierung die Rede, auch die API-Preise wurden nicht veröffentlicht. Nach dem Tempo, das Alibaba dieses Jahr bei der Qwen-Reihe vorgelegt hat, kommen Modelle der Flash-Klasse meist zuerst als API und erst später mit offenen Gewichten – ob dieses Modell demselben Muster folgt, hat das Unternehmen offiziell nicht kommentiert.
Meetings, Livestreams und grenzüberschreitender Kundenservice stellen an Simultandolmetschen mehr Anforderungen als nur die Verzögerungszahl. Wie schnell sich das Modell von Fehlern bei der Satzgrenzenerkennung erholt, wie robust es gegenüber Akzenten ist und wie konsistent es Eigennamen behandelt – all das zeigt sich erst im Einsatz mit echtem Audiomaterial. Die Demo-Seite ist bereits geöffnet, die Antwort liegt bei den Nutzenden.
Quellen: offizielle Ankündigung von Alibaba Qwen, CocoLoop, Tencent News, Ifeng; Verzögerungswerte, Sprachanzahl und die Abdeckung der Sprachrichtungen in beiden Benchmark-Sätzen wurden anhand der offiziellen Angaben geprüft, den genauen Vorsprung in den vier Dimensionen hat Alibaba nicht Zahl für Zahl offengelegt.