알리바바 큐원(Qwen) 팀이 9월 19일 실시간 동시통역 모델 Qwen3.8-LiveTranslate를 공개했다. 글자당 지연은 이전 세대의 2.8초에서 2.3초로 줄었다. 이 모델은 60개 언어를 이해하고 29개 언어로 음성을 출력하며, 발표와 동시에 체험 페이지와 API도 함께 열렸다.
동시통역의 어려움은 번역 품질 자체가 아니라 품질과 지연 사이의 줄다리기에 있다. 더 많은 말을 기다릴수록 문장 구조가 온전해지고 번역이 정확해지지만, 너무 오래 기다리면 청중이 따라가기 힘들어진다. 이번 발표의 핵심은 바로 이 0.5초를 줄인 데 있다.
Interleave로 세 단계를 맞물리다
모델은 Hybrid MoE 기반의 Thinker-Talker 이중 모듈 구조를 사용한다. Thinker는 음성과 영상 입력을 처리하고 번역을 담당하며, Talker는 원래 화자의 음색을 유지한 채 음성을 생성한다. 두 모듈은 Interleave 방식으로 스트리밍 이해, 텍스트 출력, 음성 생성이라는 세 단계를 이어 붙인다.
이 구조의 의미는 세 단계가 더 이상 순서대로 서로의 완료를 기다리지 않는다는 데 있다. 기존 방식은 한 구간을 듣고, 번역하고, 합성하는 순서를 따랐고, 각 단계는 충분한 입력이 쌓일 때까지 기다려야 했다. Interleave는 앞 구간이 끝나기 전에 다음 구간의 작업을 시작하게 해 지연을 줄인다. 대가는 모델의 스트리밍 안정성에 대한 요구가 훨씬 높아진다는 점이다. 앞 문장의 이해가 틀리면 뒷부분의 음성은 이미 출력된 뒤이기 때문이다.
지연 단축 외에도 이번 버전은 세 가지 기능을 추가했다. 실시간 화자 분리와 각자의 음색 유지, 원문과 번역문을 같은 프레임·같은 화면에 출력하는 기능, 그리고 긴 맥락에서의 의미 중의성 해소다. 앞의 두 기능은 회의 상황에서 꼭 필요한 것으로, 여러 사람이 뒤섞여 말할 때 누가 말하는지 구분하고 번역문과 원문을 대조해 볼 수 있게 해준다. 세 번째는 앞뒤 맥락이 단어의 뜻을 결정하는 경우를 겨냥한다.
두 개의 평가셋, 5배 차이 나는 커버리지
알리바바는 두 세트의 데이터를 공개했다. 하나는 공개 벤치마크인 FLEURS 음성 테스트셋으로 70개 언어 방향을 다루며, 알리바바에 따르면 번역 품질, 글자당 지연, 음성 인식 정확도, 음성 합성 품질 네 가지 지표에서 이전 세대와 현재 주류 실시간 동시통역 시스템을 앞선다고 한다. 다른 하나는 알리바바가 자체 구축한 다화자 장음성 평가셋 Omnilingua-MSpeaker로, 14개 언어 방향을 다루며 번역 충실도, 유창성, 간결성, 화자 식별 오류율을 비교한다.
두 세트의 커버리지는 5배 차이가 나는데, 하필 커버리지가 더 좁은 쪽이 이번에 주력으로 내세운 화자 분리 능력을 측정한다. 공개 세트에는 이에 대응하는 다화자 지표가 없어, 외부 재현은 우선 FLEURS의 70개 방향에서 시작할 수밖에 없다. 네 가지 지표에서 구체적으로 얼마나 앞서는지는 공식 자료에 수치로 나와 있지 않다.
나란히 놓고 보면, 경쟁 상대는 어디에 있나
현재 실시간 동시통역에는 몇 가지 다른 기술 노선이 있다. 하나는 성숙한 음성 인식, 기계 번역, 음성 합성 세 요소를 이어 붙이는 방식으로 공학적으로 안정적이고 부품 교체가 쉽지만 지연은 보통 3초를 넘는다. 다른 하나는 음성에서 음성으로 바로 가는 엔드투엔드 모델로, 지연은 낮지만 언어 커버리지를 넓히기 어려운 경우가 많다. Qwen3.8-LiveTranslate가 내세우는 이해 60개 언어, 발화 29개 언어, 지연 2.3초라는 수치는 이 두 노선의 중간, 엔드투엔드 쪽에 조금 더 가까운 위치에 있다.
제대로 비교하려면 같은 테스트셋, 같은 언어 방향에서의 수치가 필요하다. 현재 공개된 비교는 알리바바 자체의 것뿐이며, FLEURS에서의 제3자 독립 재현은 아직 나오지 않았다.
아직 밝히지 않은 것들
이번 발표에서는 오픈소스화나 라이선스 방침에 대한 언급이 없었고, API 가격도 공개되지 않았다. 알리바바가 올해 큐원 시리즈에서 보여온 속도를 보면 Flash급 모델은 대체로 API를 먼저 열고 가중치는 나중에 공개하는 경우가 많았지만, 이번 모델이 같은 방식을 따를지에 대해서는 공식 입장이 없다.
회의, 라이브 방송, 국경을 넘는 고객 상담 같은 상황이 동시통역에 요구하는 것은 지연 수치만이 아니다. 문장이 끊겼을 때 회복 속도, 억양에 대한 강건함, 고유명사의 일관성은 실제 음성으로 써봐야 알 수 있다. 체험 페이지는 이미 열려 있고, 답은 사용하는 사람의 손에 달려 있다.
참고 출처: 알리바바 큐원 공식 발표, CocoLoop, 텅쉰뉴스, 펑황과기; 지연 수치, 언어 수, 두 평가셋의 커버리지는 공식 자료를 기준으로 확인했으며, 네 가지 지표별 구체적인 우위 폭은 공식적으로 개별 수치가 공개되지 않았다.