텐센트 훈위안(Tencent Hunyuan)이 9월 9일 음성 생성·편집 모델 AuK를 오픈소스로 공개했다. 코드는 깃허브의 Tencent-Hunyuan 조직에, 가중치는 허깅페이스와 모델스코프(魔搭) 양쪽에 올라갔다. 기술 보고서 번호는 arXiv 2609.08936이다.
이 모델은 또 하나의 TTS로 자리매김한 게 아니다. 그동안 십수 개의 전용 모델에 흩어져 있던 음성 관련 작업을 하나의 입구로 모았다. 자연어 지시와 참조 음성을 함께 주면 모델이 어떤 작업을 해야 할지 판단해 수정된 음성을 내놓는다.
십수 가지 작업, 하나의 입구
공식 문서는 작업을 여섯 갈래로 나눈다. 생성 쪽은 제로샷 텍스트음성변환과 지시 기반 TTS다. 편집 쪽은 세 층으로 나뉘는데, 콘텐츠 층은 말하는 단어나 가사 자체를 바꾸고, 음향 층은 음높이·속도·음량을 조정하며, 준언어 층은 감정·음색·억양·비언어음을 바꾸고 일반 발화를 숨소리 섞인 목소리로 바꾸는 것도 포함한다. 처리 쪽은 노이즈 제거, 잔향 제거, 음악 분리, 목표 화자 추출을 맡는다.
과거에는 이 각각의 작업이 거의 독립된 모델 하나씩에 대응했다. 더빙 팀은 TTS 한 세트를 갖추고, 감정을 바꾸려면 별도의 음색 변환 모델을, 배경음을 없애려면 또 다른 분리 모델을 찾아야 했다. 셋 모두 오디오 포맷과 샘플링 레이트, 의존 라이브러리 버전이 제각각이라 엔지니어링 작업의 상당 부분이 이들을 이어 붙이는 데 들어갔다. AuK는 지시 자체를 통합 인터페이스로 삼아 어떤 경로를 탈지 모델이 스스로 판단하게 했다.
인코더 부분은 Qwen2.5-Omni-3B를 멀티모달 백본으로 쓴다. 저장소에는 파이썬 API 외에 Gradio 인터페이스와 ComfyUI 노드도 함께 들어 있는데, 둘 다 현재 오픈소스 음성·영상 커뮤니티에서 흔히 쓰이는 진입점이다. 시연 영상 속 예시는 중국어와 영어다.
AuK-Flash, 속도는 어디서 나오나
AuK-Flash는 베이스 모델에서 증류한 고속 버전으로 NFE는 4로 고정하고 CFG는 0으로 설정한다. 공식 설명에 따르면 증류는 2단계로 진행되는데, 먼저 궤적 수준의 일관성 초기화로 적은 스텝의 학생 모델을 띄운 뒤, 작업별로 라우팅하는 분리형 DMD 목적함수로 전환한다. 분리 작업은 별도로 클린 예측 회귀를 통한 지도학습을 거친다고 한다.
사용자 입장에서 이 내용이 뜻하는 바는 이렇다. 일반적인 확산 기반 음성 모델은 한 번 생성할 때 수십 스텝의 샘플링을 거쳐야 하고, 품질을 위해 무조건부 분기를 한 번 더 돌려야 한다. AuK-Flash는 이 두 비용을 모두 줄이는 대신, 교사 모델과 '거의 같은' 수준이지 '완전히 같은' 품질은 아니게 된다. 공식이 제시한 수치는 실측 4.5배 속도 향상이며, 이에 상응하는 객관적 지표 하락은 공개하지 않았다.
같은 분야 다른 오픈소스 모델과 비교하면
올해 오픈소스 음성 모델 발표가 꽤 잦았다. 미스트랄은 ElevenLabs를 벤치마크 대상으로 삼은 40억 파라미터 음성 모델을 내놨고, 알리바바의 Qwen3.5-Omni는 텍스트·음성·영상을 하나로 묶고 음성 클로닝도 지원한다. 훈위안 자신도 이미 베이스 모델 Hy4와 추론 가속 프레임워크를 오픈소스로 공개한 바 있다.
AuK의 차별점은 벤치마크 점수가 아니라 '편집'이라는 단어에 있다. 앞서 언급한 모델들은 기본적으로 생성이 축이어서 텍스트를 주면 음성을 내놓는다. 반면 AuK는 기능의 절반이 기존 음성을 가져와 수정하는 것이고, 수정 후에도 원래 화자의 음색과 리듬을 유지해야 한다. 이는 생성과는 다른 종류의 엔지니어링 문제로 일관성에 대한 요구가 더 엄격하고, 실제 후반 작업 흐름에 더 가깝다.
MIT 라이선스라는 점도 따로 짚을 만하다. 저작자 표시만 지키면 상업적 이용, 수정, 재배포가 허용되는데, 자체 라이선스를 붙이는 적지 않은 국산 오픈소스 모델보다 관대하다. 음성 기능을 제품에 넣으려는 소규모 팀에게는 라이선스 조항이 파라미터 수보다 선택을 더 좌우할 때가 있다.
공식은 아직 다른 모델과 비교한 WER, 화자 유사도, MOS 수치를 공개하지 않았다. 저장소에는 생성·편집·강화·분리 네 범주에 걸친 성능 비교가 실려 있지만 구체적인 점수는 직접 재현해봐야 한다. '공개 시점 최고'라는 평가는 지금으로선 커뮤니티의 전언에 머물러 있고, 아직 제3자 검증은 이뤄지지 않았다.
참고 출처: Tencent-Hunyuan/AuK 저장소 및 기술 보고서, CocoLoop, 허깅페이스 논문 페이지. 파라미터 수·라이선스·속도 향상 수치는 공식 저장소 설명을 기준으로 확인했으며, 평가 점수는 제3자 검증을 거치지 않았다.