Hume AI 연구진 7명이 주요 음성인식(ASR) 모델 11종을 대상으로 한 진단 실험 결과를 공개했다. 질문은 단순하다. 공개 벤치마크에서 단어 오류율(WER)이 가장 낮은 시스템이 실제로 음성을 더 정확히 듣는 것인가? 결과는 반대 방향을 가리켰다. 점수가 가장 높은 모델일수록, 그 자체로 오류가 있는 참조 텍스트를 그대로 재현할 가능성도 가장 높았다.
실험 대상에는 OpenAI의 Whisper-large-v3, Qwen3-ASR, Nvidia의 canary-qwen과 parakeet, Microsoft의 Phi-4, Mistral의 Voxtral-Mini, Moonshot의 Kimi-Audio, IBM의 granite-speech, CohereLabs의 cohere-transcribe, 그리고 bosonai의 higgs-audio와 Moonshine의 스트리밍 미디엄 모델이 포함됐다. 연구진은 이 현상을 '벤치마크 오버피팅'이라 부른다. 모델의 점수가 오르는 이유가 실제 듣기 능력이 좋아져서가 아니라, 데이터셋의 표기 관행을 암기했기 때문일 수 있다는 것이다.
세 가지 탐침이 측정하는 것
첫 번째는 참조 불일치 탐침이다. 공개 음성 데이터셋의 참조 텍스트는 완벽히 깨끗하지 않다. 연구팀이 분석한 VoxPopuli 테스트 구간에서는 약 40%가 참조 오류로 보이는 흔적을 보였고, 이는 전체 단어의 약 3%에 영향을 미쳤다. 이 탐침은 음성과 텍스트가 어긋나는 지점을 찾아 모델이 어느 쪽을 따르는지 확인한다. 벤치마크 오버피팅 성향을 보인 모델은 18~30% 비율로 잘못된 참조 텍스트를 그대로 재현했다. 실제로 들린 내용보다 데이터셋의 '정답'을 택한 셈이다.
두 번째는 마스킹된 개체 복원 탐침이다. 연구팀은 음성에서 숫자 부분을 지운 뒤 모델에 그대로 받아쓰게 했다. LibriSpeech에서 여러 모델이 30~40% 비율로 사라진 숫자를 다시 채워 넣었다. 소리는 없었지만 단어는 돌아왔다.
세 번째는 표기법 전환 탐침이다. 같은 단어라도 데이터셋마다 표기 관행이 다르다. 예를 들어 'Mr.'와 'Mister', 'any one'과 'anyone' 같은 경우다. 일부 모델은 특정 데이터셋이 어느 표기를 쓰는지를 90%에 가까운 정확도로 맞혔다. 우연이라 보기엔 지나치게 높은 수치다.
모델은 어떻게 '시험지'를 알아보나
가장 명확한 증거는 재합성 실험에서 나왔다. VoxPopuli의 한 참조 텍스트는 첫머리의 'Thank you'가 빠져 있다. 원본 녹음으로 테스트했을 때 11개 모델 중 6개가 이 부분을 똑같이 누락했다. 같은 문장을 원래 화자의 복제 음성으로 재합성하자 누락된 모델은 5개로 줄었다. 다른 의원의 음성 클론으로 완전히 바꾸자 누락된 모델은 단 1개만 남았다.
단어는 바뀌지 않았다. 의미도 바뀌지 않았다. 바뀐 것은 목소리의 출처뿐이었다. 연구진의 해석은 이렇다. 모델은 실제로 발화된 단어를 충실히 받아쓸 능력이 있지만, 동시에 주변 음향적 특징을 단서로 '지금 어떤 상황인지'를 추론하고, 그에 따라 음성을 따를지 특정 데이터셋의 표기 방침을 따를지를 그때그때 결정한다는 것이다.
"Models are able to faithfully transcribe the literal spoken words, but are using surrounding acoustic context to decide whether to follow the audio or a benchmark-specific transcription policy."
모델은 실제로 발화된 단어 자체는 충실히 받아쓸 수 있다. 하지만 주변 음향 맥락을 근거로 음성을 따를지, 벤치마크 특유의 표기 방침을 따를지를 판단한다는 설명이다.
이는 대형 언어모델 진영에서 익히 알려진 '벤치마크 오염'과 같은 구조의 문제이지만, 음성 쪽에서는 훨씬 은밀하다. 텍스트 벤치마크의 문제 유출은 문자열 대조로라도 잡아낼 여지가 있다. 그러나 음향 차원의 '시험지 알아보기'는 겉으로 드러나는 흔적을 남기지 않는다. WER 표만 봐서는 아무런 이상도 보이지 않는다.
오류율 한 줄이 얼마나 많은 결정을 떠받칠 수 있나
산점도가 보여주는 형태는 더 우려스럽다. 오류율이 가장 낮은 모델군이 동시에 잘못된 참조 텍스트를 가장 많이 재현하는 모델군이었다. WER 한 줄만 보고 모델을 고른다면, 그 순위의 방향은 공교롭게도 '시험에 가장 잘 적응한 모델' 순서와 겹치게 된다.
연구진은 공개 리더보드 자체를 없애야 한다고 주장하지 않는다. 이들 리더보드가 투명하고, 재현 가능하며, 실행하기 쉽고, 커뮤니티에 널리 이해되고 있다는 점은 인정한다. 그 대신 내놓은 처방은 실무적이다. 완전히 비공개로 보류한 평가셋을 사용할 것, 같은 분포 내 단순 무작위 분할 대신 시간·화자·메타데이터 기준으로 분할할 것, 참조 오류율과 표기법 전환 현상을 장기적으로 추적하는 '벤치마크 적합도' 탭을 리더보드에 추가할 것, 평가 스크립트와 정규화하지 않은 원본 출력을 오픈소스로 공개해 누구나 검증할 수 있게 할 것 등이다.
국내에서 음성인식을 실제 서비스에 적용하는 팀이라면, 이 실험의 실용적 가치는 모델 선정 과정에 한 단계를 더하는 데 있다. 자사 업무에서 나온 실제 녹음 200~500건을 모아 자체 표기 규칙대로 받아쓴 보류 평가셋을 만드는 데 드는 인력 비용은 며칠 수준이다. 이를 여러 공급사의 공개 순위와 대조해보면 순위 방향이 실제로 일치하는지 금방 드러난다. 콜센터 녹음, 회의록, 차량용 음성 명령 같은 실제 사용 환경은 억양·소음·전문용어 분포가 LibriSpeech와 크게 다르다. 리더보드상의 0점 몇 퍼센트 차이는 이런 영역 격차에 쉽게 파묻힐 가능성이 크다.
참고 출처: Hume AI 연구팀이 공개한 탐침 실험 기록, Hugging Face 커뮤니티 기술 블로그, CocoLoop, 각 모델 공식 카드; 대상 모델 목록, 세 가지 탐침의 보고된 비율, 재합성 실험의 수치를 대조 확인.