3월 26일, 구글이 Gemini 3.1 Flash Live를 출시했습니다.
이것을 단순히 더 빠르고 저렴한 음성 합성 API라고 생각한다면 다시 살펴볼 가치가 있습니다. 이 모델은 기술 아키텍처에 근본적인 변화를 가져왔습니다.
기존 음성 AI의 작동 방식
기존 AI 음성 상호작용은 기본적으로 3단계 파이프라인이었습니다:
- 음성 인식(ASR): 사용자의 오디오를 텍스트로 변환
- 언어 모델 추론: 텍스트를 LLM에 입력하여 텍스트 응답 생성
- 음성 합성(TTS): 텍스트를 다시 음성 출력으로 변환
각 단계마다 지연 시간이 발생하여 말하고 나서 잠시 기다렸다가 답변을 듣는 느낌을 줍니다. 게다가 변환할 때마다 정보가 손실됩니다. 말투, 멈춤, 감정은 텍스트 단계에서 사라집니다.
Gemini 3.1 Flash Live의 변화
이 3단계 파이프라인을 하나의 네이티브 오디오-투-오디오(audio-to-audio) 모델로 압축했습니다.
텍스트라는 중간 상태를 거치지 않고, 사용자의 음성 입력에서 직접 음성 출력을 생성합니다.
기술 사양:
- 오디오 입력: 16비트 PCM, 16kHz 샘플링 레이트
- 오디오 출력: 24kHz
- 연결 방식: WebSocket 기반 상태 저장 장기 연결
- 70개 이상의 언어 지원
중간 변환 단계가 없기 때문에 지연 시간이 크게 줄어들고, 텍스트로는 전달할 수 없는 말투나 말하는 속도 등의 정보를 포착할 수 있습니다.
구체적인 기능
말 끊기 기능(Barge-in): AI가 말하는 도중에 끊고 질문을 다시 하거나 방향을 바꿀 수 있습니다. 기존 TTS로는 이것이 불가능했으며, 한 문장이 끝나야 다음 문장을 말할 수 있었습니다.
도구 호출: 함수와 Google Search를 호출할 수 있습니다. 즉, 음성 대화 중에 모델이 실시간으로 정보를 검색하고 작업을 실행할 수 있습니다.
양측 기록: 대화 양측의 내용을 동시에 기록할 수 있어 기록 및 분석이 용이합니다.
두 가지 배포 모드: 서버 간(고객 서비스 봇 등 백엔드 시스템에 적합) 및 클라이언트 간(사용자 대상 음성 애플리케이션에 적합)입니다.
벤치마크 성능
복잡한 함수 호출 시나리오에서 음성 모델의 성능을 테스트하는 ComplexFuncBench Audio에서 Gemini 3.1 Flash Live는 90.8%를 기록했습니다.
실제 영향
음성 AI의 가장 큰 장애물 중 하나는 전화 연결을 기다리는 듯한 멈춤 느낌입니다. 지연 시간 감소와 말 끊기 지원은 음성 상호작용을 진정으로 자연스러운 대화에 가깝게 만드는 필수 조건입니다.
이 모델은 Google AI Studio의 Gemini Live API를 통해 개발자에게 제공되며, Gemini Live(200개 이상 국가의 사용자 대상)에도 통합되었습니다.
Gemini 2.5 Flash Native Audio에서 현재의 3.1 Flash Live에 이르기까지 Google의 음성 분야 전략은 매우 일관됩니다. 음성을 LLM에 TTS 포장지만 씌우는 것이 아니라 일등 시민으로 취급하는 것입니다.
출처: Gemini 3.1 Flash Live: Making audio AI more natural and reliable (Google Blog); CocoLoop, Google Releases Gemini 3.1 Flash Live: A Real-Time Multimodal Voice Model (MarkTechPost); Gemini Live gets its biggest upgrade yet with Gemini 3.1 Flash Live (9to5Google)