StepFun hat am 15. September die StepAudio-3-Reihe vorgestellt und dabei gleich fünf Modelle veröffentlicht: StepAudio 3 Realtime, ASR, TTS, Gen und Music – alle sind auf der offenen Plattform von StepFun verfügbar.
Laut dem Ranking des unabhängigen Testinstituts Artificial Analysis erreicht Realtime im Bereich Conversational Dynamics einen Gesamtscore von 98,9 % und liegt damit auf Platz eins; im Speech-Reasoning-Ranking desselben Instituts liegt seine Genauigkeit beim Sprach-Reasoning bei 99,7 %, ebenfalls Platz eins. ASR erreicht beim Ranking zur Genauigkeit der nicht-streamenden Spracherkennung eine Wortfehlerrate von 1,7 % und teilt sich damit Platz eins.
Fünf Modelle, fünf Aufgaben
Die Aufteilung sieht grob so aus: Realtime übernimmt vollduplexe Echtzeit-Gespräche, das Modell schließt direkt aus dem Audiosignal, ohne den Umweg über eine Texttranskription; ASR bindet das semantische Verständnis des Großmodells in die Erkennung ein und soll laut Hersteller Dialekte, Chinesisch-Englisch-Mischsprache und Fachvokabular verarbeiten können; TTS erzeugt Sprache auf Niveau echter Sprecher und bildet neben der korrekten Aussprache auch paralinguistische Elemente wie Pausen und Tonfall nach; Gen bringt Stimme, Soundeffekte, Umgebungsgeräusche und Hintergrundmusik in eine gemeinsame Erzeugungs-Schnittstelle; Music unterstützt mehrstufige interaktive Komposition und lässt sich per ABC-Notation direkt in der Melodie steuern.
Am anspruchsvollsten unter den fünf ist die „native Sprach-Reasoning“-Fähigkeit von Realtime. Der klassische Ansatz wandelt Sprache in Text um, führt das Reasoning auf dem Text aus und wandelt den Text zurück in Sprache – bei dieser dreistufigen Kette gehen Tonfall, Betonung und Emotion schon im ersten Schritt verloren. Erst wenn dieser Umwandlungsschritt entfällt, hat das Modell überhaupt die Chance zu erkennen, ob „du sagst das wirklich gut“ ein Lob oder ein Spott ist.
Ob die Modelle quelloffen sind und wie abgerechnet wird, wird in der Ankündigung mit keinem Wort erwähnt.
Wie die 1,7 % einzuordnen sind
Die Wortfehlerrate von 1,7 % gilt im nicht-streamenden Modus – diese Einschränkung darf man nicht weglassen. Nicht-streaming bedeutet, dass das gesamte Audiosegment vorliegt, bevor die Transkription erfolgt, sodass das Modell sowohl vorherigen als auch nachfolgenden Kontext sehen kann; im Streaming-Modus muss beim Zuhören laufend Text ausgegeben werden, nur der bereits vergangene Teil ist sichtbar, wodurch die Fehlerrate meist deutlich höher liegt. Die beiden Zahlen aus unterschiedlichen Disziplinen nebeneinanderzustellen, ergibt keinen Sinn.
Auch „teilt sich Platz eins“ ist eine Information für sich. Sie zeigt, dass diese Position nicht exklusiv besetzt ist – mindestens ein weiteres Modell liegt auf derselben Nachkommastelle. Bei der nicht-streamenden Erkennung ist der Abstand an der Spitze bereits in den Promillebereich gerutscht.
Die eigentlichen Unterschiede dürften eher außerhalb des Rankings liegen: wie viele Dialekte abgedeckt werden, wie sauber beim Sprachwechsel im Mischbetrieb umgeschaltet wird, ob für Fachterminologie zusätzliche Konfiguration nötig ist. StepFun erwähnt diese Punkte, liefert dazu aber keine vergleichbaren Zahlen.
Was das für chinesische Teams bedeutet
Die Dichte öffentlich vorgestellter Sprachmodelle aus China ist dieses Jahr hoch. Tencent Hunyuan hat das Modell AuK quelloffen veröffentlicht, Xiaomi ein Modell zur Erkennung mehrerer Sprecher, und Alibabas Tongyi-Sprachmodell hat Tool-Calling-Funktionen erhalten. Der Unterschied liegt in der Strategie: Die quelloffenen Anbieter stellen ihre Gewichte bereit, sodass jeder sie anpassen kann; StepFun dagegen hängt seine fünf neuen Modelle direkt an die eigene offene Plattform und bietet sie per API an – niedrigere Einstiegshürde für Teams, die keinen eigenen Inferenz-Cluster aufbauen wollen, dafür läuft das Modell auf fremder Hardware.
Für Teams, die Sprachprodukte bauen, hängt die Entscheidung zur Integration meist von drei anderen Fragen ab: Auf wie viele Millisekunden lässt sich die End-to-End-Latenz von Realtime drücken, lässt sich die TTS-Stimme individuell anpassen, und gibt es für die von Gen erzeugten Soundeffekte eine kommerzielle Lizenz? Zu allen drei Punkten schweigt die Ankündigung – man muss auf die Dokumentation der offenen Plattform warten.
Quellen: offizielle Ankündigung von StepFun, Artificial-Analysis-Ranking, CocoLoop, ITHome; Modellnamen, die Bewertungsmethodik von Conversational Dynamics und Speech Reasoning sowie die nicht-streamende Wortfehlerrate richten sich nach der offiziellen Ankündigung und den Ranking-Seiten.