Em 13 de novembro, a Tencent Hunyuan lançou o modelo de voz em tempo real Hy Realtime, responsável por ouvir e falar nas chamadas de voz. Esta geração ganhou duas capacidades: chamar ferramentas no meio da conversa (por enquanto, sobretudo decidir se é preciso pesquisar na web) e cantar diretamente a música que o usuário pede em voz alta.
O modelo já está no ar nas chamadas de voz do Yuanbao e no atendimento ao cliente da Tencent. Quem usa o Yuanbao só precisa atualizar para a versão mais recente e escolher a voz "Chuyu" na chamada de voz; a Tencent também disponibilizou uma demonstração na web com parte dos recursos. A API para desenvolvedores depende da Tencent Cloud, e a empresa fala apenas em "em breve".
Entende meia frase e ainda pesquisa na web
A equipe Hunyuan concentrou as melhorias desta vez na compreensão. Em chamadas reais, os usuários costumam falar de forma pouco clara, deixar frases pela metade ou mudar de ideia no meio, e o modelo precisa completar a intenção com base no contexto anterior. Segundo a empresa, a precisão na compreensão desse tipo de entrada incompleta "melhorou significativamente" e o contexto se mantém estável em conversas longas com muitas rodadas, mas não há números concretos.
Na chamada de ferramentas, o texto do lançamento é bastante contido: o modelo avalia pelo contexto se precisa pesquisar na web e reúne a decisão de busca, a chamada da ferramenta e a geração da resposta em um único fluxo. Na fase de aprendizado por reforço, a equipe ampliou o objetivo da recompensa de "a resposta final está correta?" para todo o processo de chamada, reduzindo gradualmente o peso das buscas desnecessárias. Se o usuário apenas pergunta de passagem o tempo ou o placar de um jogo, o modelo não deve sair pesquisando toda vez; é a esse cenário que o projeto se dirige.
O recurso de cantar foi desenvolvido em conjunto com a equipe de IA Lingyin da Tencent Music (TME). O usuário pode pedir músicas combinando cantor, álbum, estilo, idioma, ano de lançamento e popularidade, por exemplo "uma música folk em inglês entre 2010 e 2020"; o modelo encontra a faixa correspondente e a canta de imediato. Quanto ao desempenho, a Tencent diz apenas que houve "vantagem significativa" em testes A/B internos com especialistas; os detalhes da avaliação não foram divulgados.
Os números verificáveis no comunicado
A parte técnica revela poucas informações quantitativas, e três delas são relativamente concretas:
- O pré-treinamento usou dados de voz na casa das dezenas de milhões de horas, com tarefas que vão do simples reconhecimento de fala à compreensão de áudio, à compreensão de música e à tradução de fala;
- Há 51 conjuntos de avaliação só de texto e mais de 50 conjuntos de avaliação de voz, usados para acompanhar se a "inteligência textual" cai ao ser convertida em voz;
- Na fase de ajuste fino supervisionado, o fluxo de dados de reescrita em linguagem falada foi refeito, e a taxa efetiva de retenção de dados de texto de alta qualidade ao migrar para tarefas de voz subiu de 21% para 69%.
Este último número trata de um velho problema dos modelos de voz de ponta a ponta: com a mesma base, perguntas que o modelo acerta por texto recebem respostas mais rasas por voz. A solução da Tencent foi fazer o modelo de texto Hunyuan e o modelo de agente de voz atuarem ao mesmo tempo como "professores", orientando o Hy Realtime em uma proporção controlada. Na geração de voz, adota-se um esquema de streaming que sintetiza o áudio enquanto o texto ainda está sendo produzido, para reduzir a latência da primeira resposta; quantos milissegundos isso representa também não foi informado.
O que isso significa para os usuários na China
As portas de entrada mais usadas para chamadas de voz com IA na China estão, em essência, nos aplicativos de assistente das grandes empresas. O Hy Realtime começa pelo Yuanbao e pelo atendimento da Tencent, e o caminho é claro: primeiro lapidar o modelo com o volume real de chamadas dos próprios produtos, depois vendê-lo pela Tencent Cloud a empresas de atendimento, treinamento de conversação, setor automotivo e hardware inteligente.
Para o usuário comum, a mudança mais visível é que a chamada de voz do Yuanbao ganha a brincadeira de pedir músicas e passa a pesquisar na web de forma mais proativa ao buscar informações. Para desenvolvedores corporativos, o que importa ainda está por vir: como será a cobrança quando a API abrir, se haverá suporte a vozes personalizadas, se o recurso de canto chegará à API e como ficam os direitos autorais das músicas. O comunicado não menciona nada disso, e só será possível confirmar quando a página do produto na Tencent Cloud for publicada.
As próximas direções apontadas pela equipe Hunyuan são interação full-duplex, memória personalizada de longo prazo e colaboração entre agentes de primeiro e segundo plano. Full-duplex significa que usuário e modelo podem falar ao mesmo tempo e se interromper a qualquer momento; os produtos de voz em tempo real do mercado ainda estão aperfeiçoando esse ponto, e a Tencent também não afirma já ter chegado lá.
Fontes: comunicado oficial da Tencent Hunyuan, descrição do recurso de chamada de voz do aplicativo Yuanbao, CocoLoop, demonstração web da Tencent Cloud; as taxas de retenção de 21% e 69% e o número de conjuntos de avaliação seguem os dados do comunicado da Tencent Hunyuan.