스텝펀(StepFun)이 9월 15일 음성 AI 모델군 'StepAudio 3' 시리즈를 발표했다. StepAudio 3 Realtime, ASR, TTS, Gen, Music 등 다섯 개 모델을 한꺼번에 내놓았으며, 모두 스텝펀 오픈 플랫폼에서 바로 사용할 수 있다.
제3자 평가 기관 Artificial Analysis의 순위에 따르면 Realtime은 Conversational Dynamics 부문에서 종합 점수 98.9%를 기록해 1위에 올랐다. 같은 기관의 Speech Reasoning 순위에서도 음성 추론 정확도 99.7%로 역시 1위였다. ASR은 비스트리밍 음성 인식 정확도 순위에서 단어 오류율 1.7%로 공동 1위를 차지했다.
다섯 개 모델, 다섯 개 역할
역할 분담은 대략 이렇다. Realtime은 텍스트 변환을 거치지 않고 음성 자체로 추론하는 전이중 실시간 대화를 맡는다. ASR은 대형 모델의 의미 이해를 인식 과정에 접목해, 방언과 중국어·영어 혼용 발화, 전문 분야 어휘까지 처리할 수 있다고 스텝펀은 설명한다. TTS는 발음뿐 아니라 쉼과 어조 같은 준언어적 정보까지 재현하는 실제 사람 수준의 합성을 구현한다. Gen은 사람 목소리, 효과음, 환경음, 배경음악을 하나의 생성 인터페이스에 통합했다. Music은 여러 차례에 걸친 상호작용형 작곡을 지원하며, ABC 표기법으로 멜로디를 직접 지정할 수도 있다.
다섯 모델 중 기술력이 가장 두드러지는 것은 Realtime의 '네이티브 음성 추론'이다. 기존 방식은 음성을 텍스트로 바꾸고, 텍스트로 추론한 뒤, 다시 음성으로 바꾸는 3단계를 거쳤는데, 어조와 강세, 감정은 첫 단계에서 이미 사라졌다. 문자 변환 과정을 건너뛰면 모델이 '정말 잘했다'는 말이 칭찬인지 비꼼인지 구분할 가능성이 생긴다.
오픈소스 공개 여부와 과금 방식은 이번 발표에서 언급되지 않았다.
1.7%라는 숫자를 읽는 법
단어 오류율 1.7%는 비스트리밍 기준 성적이며, 이 전제 조건은 빼놓을 수 없다. 비스트리밍은 오디오 전체를 받은 뒤 텍스트로 옮기는 방식이라 모델이 앞뒤 맥락을 모두 참조할 수 있다. 반면 스트리밍은 듣는 동시에 텍스트를 내놓아야 해서 이미 지나간 부분만 참조할 수 있고, 오류율은 보통 한 단계 더 높게 나온다. 두 방식의 수치를 나란히 비교하는 것 자체가 의미가 없다.
'공동 1위'라는 표현 자체도 정보를 담고 있다. 이 자리를 독점하지 않았다는 뜻으로, 적어도 다른 한 모델이 같은 소수점 자리에 나란히 서 있다는 의미다. 비스트리밍 인식 부문에서 상위권 간 격차가 이미 소수점 셋째 자리 수준까지 좁혀졌다는 뜻이기도 하다.
실제 차이는 순위표 밖에 있을 가능성이 크다. 방언을 몇 개나 지원하는지, 혼용 발화 전환이 얼마나 매끄러운지, 전문 용어에 별도 설정이 필요한지 등이다. 스텝펀은 이 항목들을 언급했지만 비교 가능한 수치는 제시하지 않았다.
중국 내 팀에 주는 의미
올해 중국에서 공개된 음성 모델의 밀도는 낮지 않다. 텐센트 훈위안(Hunyuan)은 AuK를 오픈소스로 공개했고, 샤오미는 다중 화자 인식 모델을 오픈소스로 내놓았으며, 알리바바 통이치엔원(Qwen)의 음성 모델은 툴 콜링 기능을 갖췄다. 차이는 노선에 있다. 오픈소스 진영은 가중치를 공개해 누구나 손볼 수 있게 하는 반면, 스텝펀은 이번 다섯 모델을 자사 오픈 플랫폼에 바로 얹어 API 호출 방식으로 제공한다. 자체 추론 클러스터를 구축할 계획이 없는 팀에는 진입 장벽이 낮지만, 모델이 남의 서버에서 돌아간다는 대가가 따른다.
음성 제품을 만드는 팀이 도입 여부를 결정할 때는 보통 다른 세 가지가 관건이 된다. Realtime의 엔드투엔드 지연 시간을 몇 밀리초까지 낮출 수 있는지, TTS 음색을 커스터마이징할 수 있는지, Gen이 만든 효과음에 상업적 이용 권한이 있는지다. 이번 발표에는 세 가지 모두 나와 있지 않아 오픈 플랫폼 문서를 기다려야 한다.
참고 출처: 스텝펀 공식 발표, CocoLoop, Artificial Analysis 순위표, ITHome; 다섯 모델의 명칭, Conversational Dynamics 및 Speech Reasoning 점수 기준, 비스트리밍 단어 오류율은 모두 공식 발표와 순위표 페이지를 기준으로 한다.