Le 13 novembre, Tencent Hunyuan a présenté le modèle vocal en temps réel Hy Realtime, chargé d'écouter et de parler lors des appels vocaux. Cette génération ajoute deux capacités : appeler des outils en pleine conversation (pour l'instant, surtout décider s'il faut lancer une recherche sur le web) et chanter directement le morceau que l'utilisateur demande à voix haute.
Le modèle est déjà en service dans les appels vocaux de Yuanbao et au service client de Tencent. Les utilisateurs de Yuanbao n'ont qu'à passer à la dernière version et à choisir la voix « Chuyu » dans l'appel vocal pour l'essayer ; Tencent a aussi mis en ligne une démo web qui ouvre une partie des fonctions. L'API destinée aux développeurs devra attendre Tencent Cloud, et la formule officielle est simplement « prochainement ».
Comprendre une demi-phrase, et chercher sur le web
L'équipe Hunyuan a fait porter l'essentiel de cette amélioration sur la compréhension. Dans les vrais appels, les utilisateurs articulent souvent mal, laissent leurs phrases en suspens ou changent d'avis en cours de route, et le modèle doit compléter l'intention à partir du contexte précédent. Selon l'entreprise, la précision face à ce type d'entrées incomplètes s'est « nettement améliorée » et le contexte reste stable dans les longs échanges à plusieurs tours, mais aucun chiffre précis n'est fourni.
Sur l'appel d'outils, le communiqué reste assez mesuré : le modèle juge d'après le contexte s'il doit chercher sur le web, et réunit dans un même flux la décision de recherche, l'appel d'outil et la génération de la réponse. Lors de l'apprentissage par renforcement, l'équipe a étendu l'objectif de récompense de « la réponse finale est-elle juste ? » à l'ensemble du processus d'appel, avec une pondération dégressive des recherches superflues. Quand l'utilisateur demande simplement la météo ou un score au passage, le modèle ne doit pas partir chercher à chaque fois ; c'est précisément ce cas de figure que vise cette conception.
La fonction de chant a été développée avec l'équipe d'IA Lingyin de Tencent Music (TME). L'utilisateur peut demander un morceau en combinant chanteur, album, genre, langue, année de sortie et popularité, par exemple « une chanson folk en anglais entre 2010 et 2020 » ; le modèle trouve le titre correspondant et le chante aussitôt. Côté résultats, Tencent se contente de dire que lors de tests A/B internes menés par des experts, l'avantage est « net » ; le détail de l'évaluation n'est pas public.
Les chiffres vérifiables dans le communiqué
La partie technique dévoile peu d'informations quantitatives, dont trois sont relativement précises :
- Le pré-entraînement s'appuie sur des données vocales de l'ordre de dizaines de millions d'heures, avec des tâches allant de la simple reconnaissance vocale à la compréhension audio, à la compréhension musicale et à la traduction vocale ;
- S'y ajoutent 51 jeux d'évaluation purement textuels et plus de 50 jeux d'évaluation vocaux, destinés à surveiller si l'« intelligence textuelle » se dégrade lors du passage à la voix ;
- Au stade du réglage fin supervisé, la chaîne de données de réécriture en langage parlé a été refaite, et le taux de rétention effectif des données textuelles de haute qualité lors du transfert vers les tâches vocales est passé de 21 % à 69 %.
Ce dernier chiffre renvoie à un défaut classique des modèles vocaux de bout en bout : à base identique, les questions auxquelles on répond correctement à l'écrit reçoivent des réponses plus superficielles à l'oral. La méthode de Tencent consiste à faire jouer simultanément aux modèles texte Hunyuan et au modèle d'agent vocal le rôle de « professeurs », qui guident Hy Realtime selon une proportion contrôlée. Côté génération vocale, un schéma de streaming synthétise la parole au fur et à mesure que le texte est produit, afin de réduire la latence de la première réponse ; le nombre exact de millisecondes n'est pas indiqué non plus.
Ce que cela change pour les utilisateurs en Chine
Les principales portes d'entrée des appels vocaux par IA en Chine se trouvent pour l'essentiel dans les applications d'assistants des grands groupes. Hy Realtime atterrit d'abord sur Yuanbao et le service client de Tencent, et la voie est claire : affûter le modèle avec le volume réel d'appels de ses propres produits, puis le vendre via Tencent Cloud aux entreprises du service client, de l'entraînement à la conversation, de l'automobile et du matériel intelligent.
Pour l'utilisateur ordinaire, le changement le plus visible est que l'appel vocal de Yuanbao gagne le plaisir de demander des chansons et que le modèle cherche plus volontiers sur le web pour répondre à des questions d'information. Pour les développeurs en entreprise, l'essentiel reste à venir : le mode de tarification à l'ouverture de l'API, la prise en charge de voix personnalisées, l'arrivée ou non du chant dans l'API, et le traitement des droits d'auteur des chansons. Le communiqué n'en dit rien ; il faudra attendre la mise en ligne de la page produit de Tencent Cloud pour le confirmer.
Les prochaines orientations citées par l'équipe Hunyuan sont l'interaction en duplex, la mémoire personnalisée à long terme et la coopération entre agents d'avant-plan et d'arrière-plan. Le duplex signifie que l'utilisateur et le modèle peuvent parler en même temps et s'interrompre à tout moment ; les produits vocaux en temps réel du marché peaufinent encore ce point, et Tencent ne prétend pas non plus l'avoir atteint cette fois.
Sources : communiqué officiel de Tencent Hunyuan, description de la fonction d'appel vocal de l'application Yuanbao, CocoLoop, démo web de Tencent Cloud ; les taux de rétention de 21 % et 69 % ainsi que le nombre de jeux d'évaluation suivent les données du communiqué de Tencent Hunyuan.