StepFun(階躍星辰)は9月15日、音声AIモデル群「StepAudio 3」シリーズを発表した。StepAudio 3 Realtime、ASR、TTS、Gen、Musicの5モデルを一括投入し、すべてStepFunのオープンプラットフォーム上で稼働を始めた。
第三者評価機関Artificial Analysisのランキングによると、RealtimeはConversational Dynamics部門で総合スコア98.9%を記録し首位。同機関のSpeech Reasoning部門でも音声推論の正解率99.7%で首位に立った。ASRは非ストリーミング音声認識の正解率ランキングで誤り率1.7%、首位タイとなった。
5モデルがそれぞれ役割を分担
役割分担はおおむね次の通り。Realtimeはテキスト変換を介さず音声のまま推論する全二重のリアルタイム対話を担当。ASRは大規模モデルの意味理解を認識処理に組み込み、方言や中国語・英語の混在発話、専門分野の語彙にも対応できるとStepFunは説明する。TTSは発音だけでなく間や語気といった副言語情報も再現する人間レベルの合成を実現。Genは人の声、効果音、環境音、BGMを一つの生成インターフェースにまとめる。Musicは複数回のやり取りを重ねながら作曲でき、ABC記譜法でメロディーを直接指定することもできる。
5モデルの中で最も技術力が問われるのが、Realtimeの「ネイティブ音声推論」だ。従来の手法は音声をテキストに変換し、テキストで推論し、再び音声に戻すという3段階の接続で、語気や強勢、感情は最初の変換段階ですでに失われていた。文字起こしの工程を飛ばすことで、モデルは「よくやったね」が褒め言葉なのか皮肉なのかを聞き分けられる可能性が出てくる。
オープンソース化の有無や課金方法については、発表で一切触れられていない。
1.7%という数字の読み方
誤り率1.7%は非ストリーミング方式での成績であり、この条件は省略できない。非ストリーミングは音声全体を受け取ってから文字起こしする方式で、モデルは前後の文脈をまとめて参照できる。一方ストリーミングは聞きながら文字を出す必要があり、参照できるのはすでに過ぎた部分だけなので、誤り率は通常一段高くなる。両方式の数字を並べて比較すること自体に意味はない。
「首位タイ」という表現自体も情報を含む。この順位が独占ではないこと、つまり少なくとももう1社が同じ小数点上に並んでいることを示しており、非ストリーミング認識の分野では上位陣の差がすでに小数点以下3桁の水準まで縮まっていることがわかる。
実際の差はランキングの外にある可能性が高い。方言をどれだけカバーしているか、混在発話での切り替えがどれだけスムーズか、専門用語に追加設定が必要かどうかといった点だ。StepFunはこれらに言及してはいるものの、比較可能な数字は示していない。
国内チームにとっての意味
今年は中国国内で公開される音声モデルの密度が高い。TencentのHunyuanはAuKをオープンソース化し、XiaomiはMulti-speaker認識モデルを公開、QwenのモデルはTool Callingにも対応した。路線の違いは明確だ。オープンソース勢は重みを公開し誰でも改変できるようにする一方、StepFunは今回の5モデルを自社のオープンプラットフォームに直接載せ、API経由で呼び出す形を取った。自前の推論クラスターを構築する気がないチームにとっては参入障壁が低い半面、モデルが他社のサーバー上で動くという代償を伴う。
音声プロダクトを手がけるチームが採用を決める際は、通常別の3点が判断材料になる。Realtimeのエンドツーエンド遅延を何ミリ秒まで抑えられるか、TTSの声質はカスタマイズできるか、Genが生成する効果音に商用利用の権利があるか——今回の発表ではこの3点のいずれにも触れておらず、オープンプラットフォームのドキュメントを待つ必要がある。
参考資料:StepFun公式発表、CocoLoop、Artificial Analysisランキング、ITHome;5モデルの名称、Conversational DynamicsおよびSpeech Reasoningのスコア基準、非ストリーミング誤り率はいずれも公式発表とランキングページに基づく。