Tujuh peneliti di Hume AI mempublikasikan serangkaian eksperimen diagnostik yang mencakup 11 model pengenalan suara otomatis (ASR) terkemuka. Pertanyaan mereka sederhana: apakah sistem dengan word error rate (WER) terendah pada benchmark publik benar-benar mendengar audio lebih akurat? Hasilnya menunjuk ke arah sebaliknya — model dengan skor tertinggi justru paling mungkin mengulang teks referensi yang sebenarnya keliru.
Model yang diuji mencakup Whisper-large-v3 dari OpenAI, Qwen3-ASR, canary-qwen dan parakeet dari Nvidia, Phi-4 dari Microsoft, Voxtral-Mini dari Mistral, Kimi-Audio dari Moonshot, granite-speech dari IBM, cohere-transcribe dari CohereLabs, serta higgs-audio dari bosonai dan model streaming ukuran medium dari Moonshine. Tim peneliti menyebut pola ini sebagai "overfitting terhadap benchmark": skor sebuah model bisa naik karena ia telah menghafal konvensi penulisan suatu dataset, bukan karena kemampuan mendengarnya benar-benar membaik.
Apa yang diukur oleh tiga probe ini
Probe pertama adalah probe ketidaksesuaian referensi. Teks referensi pada dataset suara publik tidak sepenuhnya bersih — pada klip uji VoxPopuli yang dianalisis tim, sekitar 40% menunjukkan indikasi kesalahan referensi, memengaruhi sekitar 3% dari seluruh kata. Probe ini mencari titik-titik di mana audio dan teks tidak sinkron, lalu memeriksa mana yang diikuti model. Model yang menunjukkan overfitting terhadap benchmark mengulang teks referensi yang salah pada 18-30% kasus — memilih versi dataset ketimbang apa yang benar-benar diucapkan.
Probe kedua adalah pengambilan entitas bertopeng (masked-entity retrieval). Tim membisukan angka dalam audio, lalu tetap meminta model mentranskripsikannya. Beberapa model kembali menyisipkan angka yang telah dihilangkan pada LibriSpeech dengan tingkat 30-40%. Suaranya sudah tiada, tapi katanya tetap muncul.
Probe ketiga menguji peralihan ortografi — kata yang sama ditulis berbeda di tiap dataset, misalnya "Mr." versus "Mister", atau "any one" versus "anyone". Sejumlah model mencapai akurasi mendekati 90% dalam menebak konvensi ejaan mana yang dipakai suatu dataset — angka yang terlalu tinggi untuk disebut kebetulan.
Bagaimana model mengenali soal ujian yang sedang dihadapi
Bukti paling jelas datang dari eksperimen resintesis. Satu teks referensi VoxPopuli kehilangan kata pembuka "Thank you". Saat diuji dengan rekaman asli, 6 dari 11 model turut menghilangkan bagian itu. Ketika kalimat yang sama disintesis ulang dengan suara kloning pembicara aslinya, jumlah model yang menghilangkannya turun menjadi 5. Setelah diganti dengan kloning suara anggota parlemen lain sepenuhnya, hanya tersisa 1 model yang masih menghilangkannya.
Kata-katanya tidak berubah. Maknanya tidak berubah. Yang berubah hanya sumber suaranya. Menurut penilaian peneliti, model-model ini mampu mentranskripsikan kata yang benar-benar diucapkan secara akurat, tetapi mereka juga memanfaatkan konteks akustik di sekitarnya untuk menebak berada dalam situasi seperti apa, lalu memutuskan apakah akan mengikuti audio atau mengikuti kebijakan transkripsi khas suatu benchmark.
"Models are able to faithfully transcribe the literal spoken words, but are using surrounding acoustic context to decide whether to follow the audio or a benchmark-specific transcription policy."
Model mampu mentranskripsikan kata-kata yang diucapkan secara harfiah dengan akurat, namun menggunakan konteks akustik di sekitarnya untuk memutuskan apakah akan mengikuti audio atau kebijakan transkripsi khas benchmark tertentu.
Ini adalah fenomena yang sama dengan kontaminasi benchmark yang sudah dikenal luas di dunia model bahasa besar, hanya saja jauh lebih tersembunyi pada ranah suara. Kebocoran soal pada benchmark teks setidaknya masih bisa dideteksi lewat pencocokan string. Sementara "pengenalan soal ujian" pada level akustik tidak meninggalkan jejak yang kasatmata — tabel WER pun tidak menunjukkan keanehan apa pun.
Seberapa banyak keputusan yang bisa ditopang satu kolom error rate
Pola pada scatter plot lebih meresahkan lagi: kelompok model dengan error rate terendah ternyata juga kelompok yang paling sering mengulang teks referensi yang salah. Jika seseorang memilih vendor hanya berdasarkan satu kolom WER, arah peringkatnya justru kebetulan sejalan dengan "siapa yang paling pandai menebak soal ujian".
Para peneliti tidak menyerukan agar leaderboard publik dihapus — mereka mengakui leaderboard ini transparan, dapat direproduksi, mudah dijalankan, dan sudah dipahami luas oleh komunitas. Resep yang mereka tawarkan bersifat praktis: gunakan set evaluasi yang sepenuhnya disimpan terpisah (held-out); hindari pembagian acak sederhana dari distribusi yang sama, dan beralih ke pembagian berdasarkan waktu, pembicara, atau metadata; tambahkan tab "kesesuaian benchmark" pada leaderboard untuk melacak tingkat kesalahan referensi dan peralihan ortografi dari waktu ke waktu; serta open-source-kan skrip evaluasi beserta keluaran mentah model yang belum dinormalisasi agar bisa diperiksa pihak lain.
Bagi tim yang menerapkan produk suara secara lokal, nilai praktis dari eksperimen ini adalah menambah satu langkah dalam proses pemilihan vendor. Mengumpulkan 200-500 rekaman nyata dari operasional sendiri, lalu mentranskripsikannya sesuai konvensi sendiri sebagai held-out set, hanya membutuhkan biaya tenaga kerja setara beberapa hari kerja — dan menjalankannya terhadap peringkat publik beberapa vendor dapat segera menunjukkan apakah urutannya masih konsisten. Rekaman call center, notulen rapat, dan perintah suara di dalam mobil memiliki aksen, profil kebisingan, dan distribusi istilah yang jauh berbeda dari LibriSpeech; selisih sepersekian persen pada leaderboard kemungkinan besar akan tenggelam oleh kesenjangan domain semacam itu.
Sumber: catatan eksperimen probe yang dipublikasikan tim riset Hume AI, blog teknis komunitas Hugging Face, CocoLoop, kartu model resmi masing-masing; diverifikasi silang dengan daftar model yang diuji, rasio yang dilaporkan pada ketiga probe, dan jumlah pada eksperimen resintesis.