Xiaomi merilis model pengenalan suara open source bernama Xiaomi-CocktailASR-1 pada 11 September, dirancang khusus untuk mengatasi "masalah pesta koktail": ketika satu ruangan penuh orang bicara bersamaan, model ini hanya menuliskan ucapan satu orang yang ingin kamu dengar. Kodenya ada di organisasi xiaomi-research di GitHub, bobotnya di Hugging Face, dan laporan tekniknya diunggah ke arXiv pada 10 September.
Input model ini punya satu tambahan dibanding model pengenalan suara pada umumnya: audio referensi dari penutur target. Model memakai klip audio ini sebagai petunjuk voiceprint, memilih suara orang tersebut dari trek audio yang saling tumpang tindih, lalu menuliskannya — ucapan orang lain sama sekali tidak menghasilkan teks.
Angka-angkanya
Pada test set multi-pembicara, laporan ini mencatat error rate: 4,11% untuk dua pembicara di LibriMix, 12,29% untuk tiga pembicara di LibriMix3mix, dan 2,90% di LibriSpeechMix2mix. Pada uji tiga pembicara yang sama, model pengenalan suara umum mencatat error rate antara 76% sampai 121%. Angka di atas 100% berarti karakter yang salah disisipkan lebih banyak daripada ucapan aslinya — model mencampur ucapan dua atau tiga orang jadi satu untaian teks yang kacau.
Untuk data dunia nyata, tim memakai rekaman rapat AliMeeting; dalam kondisi far-field, target-speaker word error rate (TS-WER) tercatat 20,63%, hampir tujuh poin persentase lebih rendah dari hasil terbaik yang pernah dipublikasikan sebelumnya, 27,5%. Pada audio satu pembicara yang bersih, LibriSpeech, skornya 1,73%, kurang lebih setara dengan model umum lain — hasil ini penting karena menentukan apakah model ini bisa dipakai sebagai ASR serbaguna, bukan cuma komponen khusus untuk audio yang tumpang tindih.
Ada juga metrik penolakan. Ketika penutur target sama sekali tidak bicara, model seharusnya mengeluarkan teks kosong. Pada set sampel negatif berbahasa Inggris, tingkat penolakannya 79,59%; laporan ini membandingkannya dengan Gemini-2.5-pro, yang tingkat salah-tolaknya 21,31% — artinya model itu salah menilai "tidak ada yang bicara" padahal seharusnya ada transkrip.
Strukturnya Sederhana, Datanya Tidak Sedikit
Arsitekturnya terdiri dari tiga bagian: encoder audio self-supervised berbasis Data2Vec2 dengan sekitar 60 juta parameter yang menghasilkan embedding 1280 dimensi per frame; adapter linear yang memproyeksikan embedding audio itu ke ruang hidden language model; dan backbone-nya Qwen3-8B. Secara keseluruhan ini arsitektur large language model end-to-end, bukan susunan model akustik plus model bahasa ala ASR tradisional.
Pelatihannya berlangsung dalam empat tahap; tahap kedua saja memakai lebih dari 400.000 jam data multi-pembicara dan 600.000 jam data satu pembicara. Skala ini menunjukkan kemampuan model terutama datang dari volume data dan cakupan audio campuran sintetis, bukan dari arsitektur yang rumit — jadi ambang untuk direplikasi pihak luar sebenarnya tidak tinggi.
Model ini juga mendukung mode chain-of-thought, yang menalar dulu "ada berapa orang di klip audio ini, bagian mana yang cocok dengan voiceprint target" sebelum menuliskan transkrip. Laporan menyebut mengaktifkan CoT menurunkan error rate lagi 0,24 poin persentase (nilai absolut). Secara praktis, keuntungan 0,24 poin ini kemungkinan besar tidak sebanding dengan biaya inferensi tambahan — nilai mode ini lebih ke soal interpretability, supaya saat model salah, kita bisa lihat di langkah mana penilaiannya meleset.
Artinya untuk Adopsi di China
Di China, solusi komersial untuk pengenalan suara sebenarnya tidak kurang; yang kurang adalah komponen open source yang bisa konsisten mengunci satu orang dalam percakapan banyak orang. Notulen rapat, asisten suara mobil untuk kabin dengan banyak penumpang, quality check rekaman ganda di layanan pelanggan, sampai alat bantu dengar — semuanya terbentur masalah yang sama: mikrofon menangkap lebih dari satu suara.
Arah pemanfaatan Xiaomi sendiri juga tidak sulit ditebak — asisten suara di mobil dan perangkat IoT sama-sama harus menghadapi banyak orang dalam satu ruang. Tapi kali ini bobot dan kode lengkapnya dirilis secara open source, jadi pihak ketiga bisa langsung memakainya tanpa menunggu API dari layanan cloud tertentu dibuka. Semua test set di laporan ini juga dataset publik, sehingga ambang bagi orang lain untuk mereplikasi dan mencari kelemahannya jadi lebih rendah.
Satu catatan: dataset seperti LibriMix adalah audio bersih yang dicampur secara artifisial, dan tidak sepenuhnya mencerminkan gaung, arah suara, dan interupsi di ruangan nyata. Angka yang lebih mendekati penggunaan sehari-hari adalah AliMeeting di 20,63%, dan itu masih berjarak dari kata "siap pakai". Xiaomi juga belum mempublikasikan secara terpisah hasil model ini untuk skenario multi-pembicara berbahasa Mandarin.
Sumber: repositori open source Xiaomi xiaomi-research/xiaomi-cocktailasr-1, CocoLoop, laporan teknis arXiv 2609.11274, ITHome; angka error rate dan tingkat penolakan di setiap dataset mengikuti laporan teknis.