Tencent Hunyuan은 11월 13일 실시간 음성 모델 Hy Realtime을 공개했다. 음성 통화에서 듣고 말하는 일을 맡는 모델로, 이번 세대에는 두 가지 기능이 새로 들어갔다. 대화 도중 도구를 호출하는 기능(현재는 주로 웹 검색이 필요한지 판단하는 용도)과, 사용자가 말로 요청한 곡을 바로 불러 주는 기능이다.
이 모델은 이미 Yuanbao의 음성 통화와 Tencent 고객센터에 적용됐다. Yuanbao 사용자는 최신 버전으로 업데이트한 뒤 음성 통화에서 'Chuyu' 음색을 고르면 체험할 수 있다. Tencent는 일부 기능을 열어 둔 웹 데모도 따로 공개했다. 개발자용 API는 Tencent Cloud를 통해 제공될 예정이며, 공식 표현은 '조만간'이다.
말을 반쯤 해도 알아듣고, 웹 검색도 한다
Hunyuan 팀이 이번 개선의 중점을 둔 것은 '알아듣기'다. 실제 통화에서는 사용자가 발음이 흐리거나, 말을 하다 마치거나, 중간에 말을 바꾸는 일이 잦아서 모델이 앞선 맥락을 활용해 의도를 채워 넣어야 한다. 공식 설명에 따르면 이런 불완전한 입력에 대한 이해 정확도가 '크게 향상'됐고 장시간 멀티턴 대화에서도 맥락을 유지하지만, 구체적인 수치는 제시하지 않았다.
도구 호출 부분은 발표문이 비교적 절제된 표현을 쓴다. 모델이 맥락을 보고 웹 검색이 필요한지 판단하며, 검색 결정, 도구 호출, 답변 생성을 하나의 흐름 안에서 처리한다. 강화학습 단계에서는 보상 목표를 '최종 답이 맞는가'에서 호출 과정 전체로 넓혔고, 불필요한 검색에는 단계적으로 감점을 줬다. 사용자가 날씨나 경기 점수를 가볍게 물었을 때 매번 검색하러 가서는 안 된다는 점을 겨냥한 설계다.
노래 기능은 Tencent Music의 TME Lingyin AI 팀과 함께 만들었다. 사용자는 가수, 앨범, 장르, 언어, 발매 연도, 인기도를 조합해 곡을 신청할 수 있다. 예를 들어 '2010년부터 2020년 사이의 영어 포크 곡을 불러 줘'라고 하면 모델이 곡을 찾아 바로 부른다. 품질에 대해 Tencent는 내부 전문가 A/B 테스트에서 '우위가 뚜렷했다'고만 밝혔으며, 평가 세부 내용은 공개하지 않았다.
발표문에서 확인되는 숫자들
기술 부분에서 공개된 정량 정보는 많지 않지만, 비교적 구체적인 것이 세 가지 있다.
- 사전 학습에 수천만 시간 규모의 음성 데이터를 사용했고, 과제를 단순 음성 인식에서 오디오 이해, 음악 이해, 음성 번역으로 넓혔다.
- 텍스트 전용 평가 세트 51개와 음성 평가 세트 50여 개를 갖춰, '텍스트 IQ'가 음성으로 바뀌면서 떨어지지 않는지 점검한다.
- 지도 미세 조정 단계에서 구어체 재작성 데이터 파이프라인을 새로 만들었고, 고품질 텍스트 데이터를 음성 과제로 옮길 때의 유효 보존율이 21%에서 69%로 올랐다.
마지막 숫자는 엔드투엔드 음성 모델의 고질적인 약점을 겨냥한 것이다. 같은 베이스 모델인데도 글로 대화할 때는 맞히던 문제가 음성으로 바꾸면 더 얕게 답한다. Tencent는 Hunyuan 텍스트 모델과 음성 에이전트 모델을 동시에 '선생님'으로 삼아, 통제된 비율로 Hy Realtime을 함께 가르치는 방식을 택했다. 음성 생성 쪽은 텍스트를 내보내면서 동시에 음성을 합성하는 스트리밍 방식을 써서 첫 응답 지연을 줄이려 했다. 지연이 구체적으로 몇 밀리초인지는 공식 발표에 적혀 있지 않다.
중국 사용자에게 어떤 의미인가
중국에서 가장 많이 쓰이는 AI 음성 통화 창구는 대부분 대형 업체의 어시스턴트 앱 안에 있다. Hy Realtime이 먼저 Yuanbao와 Tencent 고객센터에 들어간 것은 경로가 분명하다. 자사 제품의 실제 통화량으로 모델을 다듬은 뒤, Tencent Cloud를 통해 고객센터, 회화 연습, 차량용, 스마트 하드웨어를 만드는 기업에 판매하겠다는 것이다.
일반 사용자에게 가장 눈에 띄는 변화는 Yuanbao 음성 통화에 신청곡이라는 재미가 생긴 것, 그리고 정보를 찾을 때 더 적극적으로 웹 검색을 한다는 점이다. 기업 개발자가 살펴볼 것은 이후에 나온다. API가 열릴 때의 요금 체계, 맞춤 음색 지원 여부, 노래 기능이 API에 들어올지, 그리고 곡 저작권을 어떻게 처리할지다. 발표문은 이 가운데 어느 것도 언급하지 않았고, Tencent Cloud 제품 페이지가 공개된 뒤에야 확인할 수 있다.
Hunyuan 팀은 다음 방향으로 전이중(duplex) 상호작용, 장기 개인화 기억, 프런트와 백그라운드 에이전트 협업을 꼽았다. 전이중은 사용자와 모델이 동시에 말하고 언제든 끼어들 수 있다는 뜻이다. 시중의 실시간 음성 제품은 이 부분에서 모두 아직 다듬는 단계이며, Tencent도 이번에 구현했다고 주장하지는 않았다.
참고 출처: Tencent Hunyuan 공식 발표문, Yuanbao 앱 음성 통화 기능 설명, CocoLoop, Tencent Cloud 웹 데모. 보존율 21%와 69%, 평가 세트 수는 모두 Tencent Hunyuan 발표문의 수치를 따랐다.