Tencent Hunyuan hat am 13. November das Echtzeit-Sprachmodell Hy Realtime vorgestellt. Es übernimmt in Sprachanrufen das Zuhören und Sprechen. Die neue Generation beherrscht zwei zusätzliche Dinge: Sie kann mitten im Gespräch Werkzeuge aufrufen (derzeit vor allem die Entscheidung, ob eine Websuche nötig ist) und Lieder, die Nutzer mündlich wünschen, direkt singen.
Das Modell läuft bereits in den Sprachanrufen von Yuanbao und im Kundenservice von Tencent. Yuanbao-Nutzer aktualisieren auf die neueste Version und wählen im Sprachanruf die Stimme „Chuyu“, um es auszuprobieren; zusätzlich hat Tencent eine Web-Demo veröffentlicht, die einen Teil der Funktionen freischaltet. Die API für Entwickler muss auf Tencent Cloud warten – offiziell heißt es nur „in Kürze“.
Auch halbe Sätze führen zur Websuche
Das Hunyuan-Team legt den Schwerpunkt der Verbesserungen auf das Verstehen. In echten Telefonaten nuscheln Nutzer oft, brechen mitten im Satz ab oder ändern ihre Meinung, und das Modell muss die Absicht anhand des bisherigen Gesprächs ergänzen. Nach Angaben von Tencent hat sich die Genauigkeit bei solchen unvollständigen Eingaben „deutlich verbessert“, und auch in langen Mehrrunden-Dialogen bleibe der Kontext stabil – konkrete Zahlen nennt das Unternehmen dazu nicht.
Beim Tool-Aufruf formuliert der Ankündigungstext eher zurückhaltend: Das Modell entscheidet anhand des Kontexts, ob eine Websuche nötig ist, und bündelt Suchentscheidung, Werkzeugaufruf und Antwortgenerierung in einem einzigen Ablauf. In der Phase des Reinforcement Learning hat das Team das Belohnungsziel von „Ist die Endantwort richtig?“ auf den gesamten Aufrufprozess ausgeweitet und überflüssige Recherchen stufenweise abgewertet. Wer nur kurz nach dem Wetter oder einem Spielstand fragt, soll nicht jedes Mal eine Suche auslösen; genau darauf zielt dieses Design.
Die Gesangsfunktion entstand gemeinsam mit dem KI-Team Lingyin von Tencent Music (TME). Nutzer können Lieder nach Kombinationen aus Sänger, Album, Genre, Sprache, Erscheinungsjahr und Beliebtheit bestellen, etwa „ein englischer Folksong aus den Jahren 2010 bis 2020“; das Modell findet einen passenden Titel und singt ihn direkt. Zur Qualität sagt Tencent nur, in internen A/B-Tests mit Experten habe das Modell einen „deutlichen Vorteil“ gezeigt; Details der Auswertung sind nicht öffentlich.
Die überprüfbaren Zahlen aus der Ankündigung
Der technische Teil enthält nur wenige quantitative Angaben, drei davon sind recht konkret:
- Für das Pretraining wurden Sprachdaten im Umfang von zig Millionen Stunden verwendet; die Aufgaben reichen von reiner Spracherkennung über Audioverständnis und Musikverständnis bis zur Sprachübersetzung;
- Begleitend gibt es 51 reine Text-Testsets und mehr als 50 Sprach-Testsets, mit denen überwacht wird, ob die „Text-Intelligenz“ bei der Umsetzung in Sprache nachlässt;
- In der Phase des überwachten Feintunings wurde die Datenstrecke für das Umschreiben in gesprochene Sprache neu aufgesetzt; die effektive Übernahmequote hochwertiger Textdaten für Sprachaufgaben stieg von 21 % auf 69 %.
Die letzte Zahl betrifft ein altbekanntes Problem durchgängiger Sprachmodelle: Bei gleicher Basis werden Fragen, die im Textchat richtig beantwortet werden, per Sprache oberflächlicher beantwortet. Tencents Lösung: Das Hunyuan-Textmodell und das Sprach-Agent-Modell fungieren gleichzeitig als „Lehrer“ und leiten Hy Realtime in einem kontrollierten Verhältnis gemeinsam an. Auf der Ausgabeseite kommt ein Streaming-Verfahren zum Einsatz, das Sprache synthetisiert, während der Text noch entsteht, um die Latenz bis zur ersten Antwort zu senken. Wie viele Millisekunden das konkret sind, steht ebenfalls nicht in der Ankündigung.
Was das für Nutzer in China bedeutet
Die in China meistgenutzten Zugänge zu KI-Sprachanrufen stecken im Wesentlichen in den Assistenten-Apps der großen Konzerne. Hy Realtime startet zunächst in Yuanbao und im Tencent-Kundenservice, und der Weg ist klar: Erst mit dem realen Anrufaufkommen der eigenen Produkte das Modell schärfen, dann über Tencent Cloud an Unternehmen für Kundenservice, Gesprächstraining, Fahrzeuge und smarte Hardware verkaufen.
Für normale Nutzer ist die sichtbarste Änderung, dass der Sprachanruf in Yuanbao nun Liederwünsche kennt und bei Recherchen aktiver im Web sucht. Für Entwickler in Unternehmen kommt das Entscheidende erst noch: das Preismodell beim API-Start, ob eigene Stimmen unterstützt werden, ob die Gesangsfunktion in die API gelangt und wie die Urheberrechte an den Liedern geregelt sind. Dazu schweigt der Ankündigungstext; bestätigen lässt sich das erst, wenn die Produktseite bei Tencent Cloud online ist.
Als nächste Richtungen nennt das Hunyuan-Team Duplex-Interaktion, langfristiges personalisiertes Gedächtnis und die Zusammenarbeit von Vorder- und Hintergrund-Agenten. Duplex bedeutet, dass Nutzer und Modell gleichzeitig sprechen und sich jederzeit unterbrechen können; Echtzeit-Sprachprodukte am Markt feilen daran noch alle, und auch Tencent behauptet diesmal nicht, es bereits erreicht zu haben.
Quellen: offizieller Ankündigungstext von Tencent Hunyuan, Funktionsbeschreibung der Sprachanrufe in der Yuanbao-App, CocoLoop, Web-Demo von Tencent Cloud; die Übernahmequoten von 21 % und 69 % sowie die Anzahl der Testsets folgen den Angaben im Ankündigungstext von Tencent Hunyuan.