Tencent Hunyuanは11月13日、リアルタイム音声モデルHy Realtimeを発表した。音声通話での「聞く」と「話す」を担うモデルで、今世代では新たに2つの機能が加わった。会話の途中でツールを呼び出す機能(現時点では主にウェブ検索が必要かどうかの判断)と、ユーザーが口頭で頼んだ曲をそのまま歌う機能である。
モデルはすでにYuanbaoの音声通話とTencentのカスタマーサポートで稼働している。Yuanbaoのユーザーは最新版に更新し、音声通話で「Chuyu」の音色を選べば試せる。Tencentは一部機能を公開したウェブデモも用意した。開発者向けAPIはTencent Cloud経由での提供となり、公式の表現は「近く」にとどまる。
言いかけの言葉でも理解し、ウェブ検索もこなす
Hunyuanチームが今回の改良の重点に置いたのは「聞き取り」だ。実際の通話では、ユーザーは口ごもったり、話の途中で止めたり、途中で言い直したりすることが多く、モデルは前の文脈から意図を補う必要がある。公式は、こうした不完全な入力に対する理解精度が「大幅に向上した」とし、長時間のマルチターン対話でも文脈を保てるとするが、具体的な数値は示していない。
ツール呼び出しについては、発表文の書きぶりは控えめだ。モデルが文脈からウェブ検索の要否を判断し、検索の判断、ツールの呼び出し、回答の生成を1つの流れで処理する。強化学習の段階では、報酬の対象を「最終的な答えが正しいか」から呼び出しの過程全体へ広げ、不要な検索には段階的に減点をかけた。天気や試合のスコアをふと尋ねられたときに、毎回検索に走るべきではない。この設計はそうした場面を想定している。
歌唱機能は、Tencent MusicのTME Lingyin AIチームと共同で開発した。歌手、アルバム、ジャンル、言語、発売年、人気度を組み合わせて曲をリクエストでき、たとえば「2010年から2020年までの英語のフォークソング」と頼むと、モデルが曲を照合してそのまま歌う。品質面について、Tencentは社内の専門家によるA/Bテストで「優位性が顕著」だったと述べるのみで、評価の詳細は公開されていない。
発表文で確認できる数字
技術面で明かされた定量情報は多くないが、具体的なものが3つある。
- 事前学習には数千万時間規模の音声データを使い、タスクを単純な音声認識から、音声理解、音楽理解、音声翻訳へ広げた。
- テキストのみの評価セット51種と、音声の評価セット50種超を用意し、「テキストでの賢さ」が音声に変換した際に落ちていないかを監視している。
- 教師ありファインチューニングの段階で、口語化リライトのデータパイプラインを作り直し、高品質なテキストデータを音声タスクへ移したときの有効保持率が21%から69%に向上した。
最後の数字は、エンドツーエンド音声モデルに付きものの弱点に対応している。同じベースモデルでも、文字のチャットなら正解できる問題が、音声になると浅い答えになってしまう。Tencentの対策は、Hunyuanのテキストモデルと音声エージェントモデルの両方を「先生」にして、制御した比率でHy Realtimeを一緒に指導するというものだ。音声生成側は、テキストを出力しながら同時に音声を合成するストリーミング方式を採り、最初の応答までの遅延を抑える狙いである。遅延が具体的に何ミリ秒かは、公式発表にも書かれていない。
中国のユーザーにとっての意味
中国で最もよく使われているAI音声通話の入口は、ほとんどが大手企業のアシスタントアプリの中にある。Hy RealtimeがまずYuanbaoとTencentのカスタマーサポートに載ったことで、道筋は明快だ。自社製品の実際の通話量でモデルを鍛え、そのあとTencent Cloud経由で、カスタマーサポート、会話練習、車載、スマートハードウェアを手がける企業に販売する。
一般ユーザーにとって最も分かりやすい変化は、Yuanbaoの音声通話に曲のリクエストという遊び方が加わったことと、調べ物のときにより積極的にウェブ検索を行うようになったことだ。企業の開発者にとって注目すべき点はこれからで、API公開時の料金体系、カスタム音色への対応、歌唱機能がAPIに入るかどうか、楽曲の著作権をどう扱うかが挙げられる。発表文はこれらのいずれにも触れておらず、Tencent Cloudの製品ページが公開されてはじめて確認できる。
Hunyuanチームは次の方向として、全二重のやり取り、長期的なパーソナライズ記憶、フロントとバックのエージェント連携を挙げている。全二重とは、ユーザーとモデルが同時に話し、いつでも割り込めることを指す。市販のリアルタイム音声製品はこの点でどれも改良の途上にあり、Tencentも今回、実現したとは主張していない。
参考資料: Tencent Hunyuan公式発表、Yuanbaoアプリの音声通話機能の説明、CocoLoop、Tencent Cloudのウェブデモ。保持率21%と69%、評価セットの数はいずれもTencent Hunyuanの発表文の数値に基づく。