Em 11 de setembro, a Xiaomi abriu o código de um modelo de reconhecimento de voz chamado Xiaomi-CocktailASR-1, criado especificamente para resolver o "problema da festa de coquetel": quando várias pessoas em uma sala falam ao mesmo tempo, o modelo transcreve apenas a pessoa que você realmente quer ouvir. O código está no GitHub, sob a organização xiaomi-research; os pesos estão no Hugging Face; e o relatório técnico foi enviado ao arXiv em 10 de setembro.
A entrada desse modelo tem um elemento a mais que um modelo de reconhecimento de voz comum: um áudio de referência do interlocutor-alvo. O modelo usa esse áudio como pista de impressão vocal para isolar a fala dessa pessoa dentro da faixa sobreposta e transcrevê-la — o que as outras pessoas dizem simplesmente não aparece no texto.
Os números
Para a taxa de erro de caracteres em conjuntos de teste com múltiplos falantes, o relatório apresenta estes números: LibriMix com duas pessoas sobrepostas, 4,11%; LibriMix3mix com três pessoas sobrepostas, 12,29%; LibriSpeechMix2mix, 2,90%. Nesse mesmo conjunto de testes com três pessoas, modelos de reconhecimento de voz comuns tiveram taxa de erro de caracteres entre 76% e 121%. Passar de 100% significa que o número de caracteres errados inseridos é maior do que a fala original — o modelo misturou as falas de duas ou três pessoas em uma sequência confusa.
Os dados de cenário real vêm de gravações de reuniões da AliMeeting; em condições de campo distante, o TS-WER foi de 20,63%, quase sete pontos percentuais abaixo do melhor resultado publicado anteriormente, 27,5%. Em áudio limpo de uma única pessoa, o LibriSpeech ficou em 1,73%, praticamente empatado com os modelos genéricos dominantes — esse número é o que determina se o modelo pode ser usado como um ASR de propósito geral, e não apenas como uma ferramenta especializada para cenários com sobreposição de vozes.
Há ainda o quesito de rejeição. Quando o interlocutor-alvo simplesmente não fala, o modelo deve retornar texto vazio. No conjunto de amostras negativas em inglês, a taxa de rejeição correta foi de 79,59%; o relatório usa o Gemini-2.5-pro como comparação, cuja taxa de rejeição falsa é de 21,31% — ou seja, quando deveria transcrever, ele erra ao concluir que "ninguém está falando".
Estrutura simples, mas volume de dados nada pequeno
São três partes: um codificador de áudio autossupervisionado baseado em Data2Vec2, com cerca de 60 milhões de parâmetros, que gera embeddings de quadro com 1280 dimensões; um adaptador linear que projeta esses embeddings no espaço oculto do modelo de linguagem; e um backbone Qwen3-8B. No conjunto, é uma arquitetura de modelo de linguagem de ponta a ponta, não a combinação tradicional de modelo acústico mais modelo de linguagem usada em ASR clássico.
O treinamento tem quatro estágios; só o segundo estágio consome mais de 400 mil horas de dados com múltiplos falantes e 600 mil horas de dados com um único falante. Essa escala mostra que a capacidade do modelo vem principalmente do volume de dados e da cobertura da mistura sintética de áudio — a arquitetura em si não impõe uma barreira alta para reprodução externa.
O modelo também suporta um modo de cadeia de raciocínio (chain-of-thought): antes de transcrever, ele primeiro infere "quantas pessoas há neste áudio e a qual trecho a voz-alvo corresponde", para só então transcrever. Segundo o relatório, ativar o CoT reduz a taxa de erro de palavras em mais 0,24 ponto percentual (valor absoluto). Do ponto de vista de engenharia, esse ganho de 0,24 ponto dificilmente compensa o custo extra de inferência; o valor desse modo está mais na interpretabilidade — quando há erro, dá para ver em qual etapa o modelo errou o julgamento.
O que isso significa para a implantação na China
No setor de reconhecimento de voz na China não faltam soluções comerciais; o que falta é um componente de código aberto capaz de travar de forma estável em uma pessoa dentro de uma conversa com várias vozes. Atas de reunião, cabines de carro com vários ocupantes, controle de qualidade de gravação dupla em atendimento ao cliente, aparelhos auditivos — todos esses cenários esbarram no mesmo ponto: o microfone capta mais de uma pessoa.
A direção de aplicação da própria Xiaomi não é difícil de adivinhar: assistentes de voz em carros e dispositivos IoT também precisam lidar com várias pessoas no mesmo espaço. Mas, desta vez, o lançamento veio com pesos completos e código em formato aberto, permitindo que terceiros usem diretamente, sem precisar esperar que algum serviço de nuvem abra uma API. Todos os conjuntos de teste do relatório também são conjuntos de dados públicos, o que reduz a barreira para outros reproduzirem os resultados e apontarem falhas.
Vale uma ressalva: conjuntos de dados como o LibriMix são criados artificialmente sobrepondo falas limpas, o que não corresponde totalmente à reverberação, direção e interrupções de uma sala real. O número mais próximo do uso cotidiano é o do AliMeeting, 20,63%, ainda a uma certa distância de ser considerado "pronto para uso". A Xiaomi também não divulgou resultados específicos do modelo em cenários com várias pessoas falando chinês.
Fontes: repositório de código aberto da Xiaomi xiaomi-research/xiaomi-cocktailasr-1, CocoLoop, relatório técnico no arXiv 2609.11274, IT Home; os números de taxa de erro de caracteres e taxa de rejeição de cada conjunto de dados seguem o relatório técnico.