小米(Xiaomi)は9月11日、「カクテルパーティー問題」の解決を狙った音声認識モデル「Xiaomi-CocktailASR-1」をオープンソースで公開した。大勢が同時に話す部屋の中で、聞きたい一人の発話だけを書き起こすというものだ。コードはGitHubのxiaomi-research組織に、重みはHugging Faceに置かれ、技術レポートは9月10日にarXivへ投稿された。
一般的な音声認識モデルと違い、入力には目的の話者の参照音声がもう一つ加わる。モデルはこの音声を声紋の手がかりとして使い、混ざり合った音声トラックからその人の発話だけを抜き出して書き起こす。他の人の発話はテキストとして出力されない。
数字で見る
複数話者のテストセットでの誤り率は、レポートによるとLibriMixの2人混在で4.11%、3人混在のLibriMix3mixで12.29%、LibriSpeechMix2mixで2.90%。同じ3人テストで、汎用の音声認識モデルの誤り率は76%から121%だった。100%を超えるというのは、挿入された誤字が元の発話より多いということで、2〜3人分の発話が一続きの文字列に混ざってしまっている状態を意味する。
実環境のデータにはAliMeetingの会議録音を使用し、遠方場条件でのTS-WERは20.63%。これまで公開されていた最良の成績27.5%より約7ポイント低い。単一話者のクリーンな音声であるLibriSpeechでは1.73%と、主流の汎用モデルとほぼ同水準。この数値が、混在音声専用の部品にとどまらず、汎用ASRとして使えるかどうかを左右する。
もう一つ、拒否率という指標もある。目的の話者がそもそも発話していない場合、モデルは空のテキストを出力するべきだ。英語のネガティブサンプルセットでの拒否率は79.59%。レポートはGemini-2.5-proを比較対象としており、その誤拒否率は21.31%――本来書き起こすべき場面で「誰も話していない」と誤判定したことになる。
構造はシンプル、データ量は膨大
構成は3段階。Data2Vec2ベースの自己教師あり音声エンコーダ(パラメータ数約6000万)がフレーム単位で1280次元の埋め込みを出力し、線形アダプターがこの音声埋め込みを言語モデルの隠れ空間に投影、バックボーンはQwen3-8B。全体としてエンドツーエンドの大規模言語モデル構造であり、従来型ASRのように音響モデルと言語モデルを組み合わせる方式ではない。
学習は4段階に分かれ、第2段階だけで40万時間以上の複数話者データと60万時間の単一話者データを使っている。このデータ量からすると、モデルの能力は主にデータ規模と混在音声の合成範囲によるもので、アーキテクチャ自体が外部での再現を阻むハードルにはなっていない。
思考連鎖(CoT)モードにも対応しており、書き起こす前に「この音声には何人いるか、目的の声紋はどの部分と一致するか」を先に推論する。レポートによればCoTを有効にすると誤り率がさらに0.24ポイント(絶対値)下がる。実務的には、この0.24ポイントの改善は追加の推論コストに見合わない可能性が高く、このモードの価値はむしろ解釈可能性、つまり誤った際にどこで判断を間違えたかを追える点にある。
中国国内での実用化が意味すること
中国国内の音声認識は商用ソリューション自体には事欠かないが、複数人の会話の中で一人を安定してロックオンできるオープンソース部品が不足していた。会議録、車載の複数人向け音声アシスタント、コールセンターの二重録音品質チェック、補聴器――いずれも同じ壁にぶつかる。マイクが拾うのは一人の声だけではないということだ。
小米自身の活用方向も想像しにくくない。車やIoT機器の音声アシスタントは、いずれも同じ空間に複数人がいる状況に対応する必要がある。ただ今回は重みとコードをまるごとオープンソースとして公開しており、サードパーティはクラウドサービスのAPI公開を待たずに直接動かせる。レポート中のテストセットもすべて公開データセットのため、他者による再現や検証のハードルも下がっている。
一つ留意点がある。LibriMixのようなデータセットはクリーンな音声を人工的に混ぜ合わせたもので、実際の部屋の残響や方向、割り込みとは完全には一致しない。日常的な利用実態に近いのはAliMeetingの20.63%という数字であり、「実用レベル」にはまだ距離がある。小米も、中国語での複数話者シナリオにおける成績は単独では公表していない。
参考資料：小米オープンソースリポジトリ xiaomi-research/xiaomi-cocktailasr-1、CocoLoop、arXiv技術レポート 2609.11274、ITHome；各データセットの誤り率と拒否率はいずれも技術レポートの数値に基づく。