Bảy nhà nghiên cứu tại Hume AI vừa công bố một loạt thử nghiệm chẩn đoán, tiến hành trên 11 mô hình nhận dạng giọng nói (ASR) phổ biến. Câu hỏi họ muốn trả lời rất đơn giản: hệ thống có tỷ lệ lỗi thấp nhất trên các bộ benchmark công khai có thực sự nghe âm thanh chính xác hơn không? Kết quả lại chỉ theo hướng khác — những mô hình đạt điểm cao nhất cũng là những mô hình dễ lặp lại nguyên văn tham chiếu sai sẵn có trong benchmark nhất.
Các mô hình tham gia thử nghiệm gồm OpenAI Whisper-large-v3, Qwen3-ASR, canary-qwen và parakeet của Nvidia, Phi-4 của Microsoft, Voxtral-Mini của Mistral, Kimi-Audio của Moonshot, granite-speech của IBM, cohere-transcribe của CohereLabs, cùng higgs-audio của bosonai và bản streaming cỡ trung của Moonshine. Nhóm nghiên cứu gọi hiện tượng này là 'tối ưu hóa theo benchmark' (benchmark optimization): điểm số của mô hình tăng lên có thể vì nó ghi nhớ quy ước viết của một bộ dữ liệu cụ thể, chứ không phải vì khả năng nghe được cải thiện.
Ba đầu dò kiểm tra điều gì
Đầu dò đầu tiên là kiểm tra sự không nhất quán của văn bản tham chiếu. Văn bản tham chiếu trong các bộ dữ liệu giọng nói công khai không hề sạch: trong các đoạn kiểm thử VoxPopuli mà nhóm phân tích, khoảng bốn phần mười có dấu hiệu lỗi tham chiếu, ảnh hưởng tới khoảng 3% số từ. Đầu dò này tìm ra những vị trí mà âm thanh và văn bản không khớp nhau, rồi xem mô hình 'theo phe' nào. Các mô hình biểu hiện tối ưu hóa theo benchmark lặp lại văn bản tham chiếu sai với tỷ lệ 18% đến 30% — thà không nghe âm thanh còn hơn không viết ra đúng phiên bản có sẵn trong bộ dữ liệu.
Đầu dò thứ hai là truy hồi thực thể bị che (masked entity retrieval). Nhóm nghiên cứu làm câm các con số trong âm thanh rồi để mô hình phiên âm lại. Nhiều mô hình trên LibriSpeech đã 'điền' lại đúng con số đã biến mất với tỷ lệ 30% đến 40%. Âm thanh không còn, nhưng từ ngữ thì vẫn còn.
Đầu dò thứ ba kiểm tra việc chuyển đổi chính tả (orthographic switching). Cùng một từ nhưng mỗi bộ dữ liệu lại có quy ước viết khác nhau, ví dụ Mr. và Mister, any one và anyone. Một số mô hình đạt độ chính xác gần 90% khi đoán 'ở bộ dữ liệu này nên dùng cách viết nào' giữa các bộ dữ liệu khác nhau — cao đến mức khó có thể là trùng hợp.
Mô hình nhận ra 'đề thi' bằng cách nào
Thí nghiệm thuyết phục nhất là tổng hợp lại giọng nói. Trong VoxPopuli có một câu mà văn bản tham chiếu bị thiếu mất chữ 'Thank you' ở đầu câu. Khi kiểm tra bằng bản ghi âm gốc, 6 trên 11 mô hình cũng bỏ sót y hệt. Khi tổng hợp lại cùng câu đó bằng giọng nhân bản (voice clone) của chính người nói ban đầu, số mô hình bỏ sót giảm xuống còn 5. Khi đổi sang giọng nhân bản của một nghị sĩ khác, chỉ còn 1 mô hình tiếp tục bỏ sót.
Chữ không đổi, nghĩa không đổi, thứ duy nhất thay đổi là nguồn gốc của giọng nói. Theo nhận định của nhóm nghiên cứu, các mô hình hoàn toàn có khả năng phiên âm đúng từng từ được nói ra, nhưng chúng dùng đặc trưng âm học xung quanh để phán đoán mình đang ở 'bối cảnh' nào, rồi mới quyết định theo âm thanh hay theo chính sách phiên âm riêng của một benchmark cụ thể.
"Models are able to faithfully transcribe the literal spoken words, but are using surrounding acoustic context to decide whether to follow the audio or a benchmark-specific transcription policy."
Mô hình có thể phiên âm trung thực từng từ được nói ra, nhưng lại dùng bối cảnh âm học xung quanh để quyết định có theo âm thanh hay theo chính sách phiên âm riêng của một benchmark hay không.
Chuỗi logic này giống hệt hiện tượng ô nhiễm benchmark (benchmark contamination) quen thuộc trong giới mô hình ngôn ngữ lớn, chỉ có điều ở mảng giọng nói nó kín đáo hơn nhiều. Với benchmark văn bản, đề bài bị lộ còn có thể phát hiện bằng cách so khớp chuỗi ký tự; còn việc 'nhận ra đề thi' ở tầng âm học thì không để lại dấu vết rõ ràng nào, nhìn vào một bảng WER cũng không thấy gì bất thường.
Một cột tỷ lệ lỗi gánh được bao nhiêu quyết định
Biểu đồ phân tán cho thấy một hình mẫu đáng lo ngại hơn: nhóm mô hình có tỷ lệ lỗi thấp nhất cũng đồng thời là nhóm lặp lại văn bản tham chiếu sai nhiều nhất. Nếu người chọn mô hình chỉ nhìn vào một cột WER, hướng xếp hạng đó lại trùng khớp với 'ai giỏi đoán đề hơn'.
Nhóm nghiên cứu không chủ trương bỏ các bảng xếp hạng công khai — theo họ, các bảng này minh bạch, có thể lặp lại, dễ chạy và được cộng đồng hiểu rõ. Đề xuất họ đưa ra thiên về kỹ thuật: dùng tập đánh giá hoàn toàn được giữ kín (held-out); tránh chia tập dữ liệu ngẫu nhiên cùng phân phối một cách đơn giản, thay vào đó chia theo thời gian, theo người nói hoặc theo metadata; thêm một tab 'mức độ khớp benchmark' vào bảng xếp hạng để theo dõi lâu dài tỷ lệ lỗi tham chiếu và hiện tượng chuyển đổi chính tả; mở mã nguồn script đánh giá cùng kết quả đầu ra thô chưa chuẩn hóa để cộng đồng kiểm tra lại.
Với các đội đang triển khai giọng nói vào sản phẩm thực tế, giá trị thực dụng của thí nghiệm này là thêm một bước vào quy trình chọn mô hình. Ước tính sơ bộ: tìm 200 đến 500 đoạn ghi âm thật của chính nghiệp vụ mình, phiên âm theo đúng quy ước riêng để làm tập giữ kín, chi phí nhân lực chỉ ở mức vài ngày công; lấy tập đó đối chiếu với bảng xếp hạng công khai của vài nhà cung cấp, là có thể thấy ngay hướng xếp hạng có trùng nhau hay không. Các kịch bản như ghi âm dịch vụ khách hàng, biên bản cuộc họp, giọng nói trong xe hơi có giọng địa phương, tiếng ồn và thuật ngữ khác xa LibriSpeech; chênh lệch vài phần trăm trên bảng xếp hạng, đặt vào dữ liệu của chính mình, nhiều khả năng sẽ bị sai số đo lường nuốt mất.
Nguồn tham khảo: Hồ sơ thử nghiệm đầu dò công khai của nhóm nghiên cứu Hume AI, blog kỹ thuật cộng đồng Hugging Face, CocoLoop, thẻ thông tin chính thức của từng mô hình; đã đối chiếu danh sách mô hình tham gia thử nghiệm, tỷ lệ của ba loại đầu dò và số liệu đếm trong thí nghiệm tổng hợp lại giọng nói.