El 13 de noviembre, Tencent Hunyuan presentó el modelo de voz en tiempo real Hy Realtime, encargado de escuchar y hablar en las llamadas de voz. Esta generación suma dos capacidades: llamar a herramientas en mitad de la conversación (por ahora, sobre todo decidir si hace falta buscar en la web) y cantar directamente la canción que el usuario pide de viva voz.
El modelo ya está en marcha en las llamadas de voz de Yuanbao y en la atención al cliente de Tencent. Los usuarios de Yuanbao solo tienen que actualizar a la última versión y elegir la voz "Chuyu" en la llamada de voz para probarlo; Tencent también ha publicado una demo web que abre parte de las funciones. La API para desarrolladores tendrá que esperar a Tencent Cloud, y la versión oficial es solo "próximamente".
Entiende frases a medias y también busca en la web
El equipo de Hunyuan ha puesto el foco de esta mejora en la comprensión. En las llamadas reales, los usuarios suelen hablar de forma poco clara, dejar las frases a medias o cambiar de idea sobre la marcha, y el modelo debe completar la intención a partir del contexto previo. Según la compañía, la precisión con este tipo de entradas incompletas ha "mejorado notablemente" y el contexto se mantiene estable en conversaciones largas de varios turnos, pero no se ofrece ninguna cifra concreta.
En cuanto a la llamada a herramientas, el comunicado es bastante comedido: el modelo decide según el contexto si necesita buscar en la web y reúne en un único flujo la decisión de búsqueda, la llamada a la herramienta y la generación de la respuesta. En la fase de aprendizaje por refuerzo, el equipo amplió el objetivo de recompensa de "¿es correcta la respuesta final?" a todo el proceso de llamada, y penaliza de forma escalonada las búsquedas innecesarias. Si el usuario solo pregunta de pasada por el tiempo o un marcador, el modelo no debería ponerse a buscar cada vez; este diseño apunta precisamente a ese escenario.
La función de canto se desarrolló junto con el equipo de IA Lingyin de Tencent Music (TME). El usuario puede pedir canciones combinando cantante, álbum, estilo, idioma, año de lanzamiento y popularidad, por ejemplo "una canción folk en inglés entre 2010 y 2020"; el modelo encuentra el tema y lo canta directamente. En cuanto al resultado, Tencent solo afirma que en pruebas A/B internas con expertos mostró una "ventaja notable"; los detalles de la evaluación no son públicos.
Las cifras que se pueden comprobar en el comunicado
La parte técnica revela poca información cuantitativa, y tres datos son relativamente concretos:
- El preentrenamiento utilizó datos de voz del orden de decenas de millones de horas, con tareas que van del simple reconocimiento de voz a la comprensión de audio, la comprensión musical y la traducción de voz;
- Se acompaña de 51 conjuntos de evaluación solo de texto y más de 50 de voz, para vigilar si la "inteligencia textual" se resiente al pasar a voz;
- En la fase de ajuste fino supervisado se rehízo la cadena de datos de reescritura en lenguaje hablado, y la tasa efectiva de retención de los datos de texto de alta calidad al trasladarse a tareas de voz pasó del 21 % al 69 %.
Esta última cifra se refiere a un mal conocido de los modelos de voz de extremo a extremo: con la misma base, las preguntas que se aciertan por escrito reciben respuestas más superficiales por voz. La solución de Tencent consiste en que el modelo de texto Hunyuan y el modelo de agente de voz actúen a la vez como "profesores" y guíen a Hy Realtime en una proporción controlada. En la generación de voz se emplea un esquema de streaming que sintetiza el audio mientras se produce el texto, con el fin de reducir la latencia de la primera respuesta; cuántos milisegundos son exactamente tampoco consta en el comunicado.
Qué significa para los usuarios en China
Las puertas de entrada más usadas para las llamadas de voz con IA en China están, en esencia, en las aplicaciones de asistente de las grandes empresas. Hy Realtime aterriza primero en Yuanbao y en la atención al cliente de Tencent, y el camino es claro: primero pulir el modelo con el volumen real de llamadas de los propios productos y después venderlo a través de Tencent Cloud a empresas de atención al cliente, entrenamiento de conversación, automoción y hardware inteligente.
Para el usuario común, el cambio más visible es que la llamada de voz de Yuanbao gana la posibilidad de pedir canciones y que, al consultar información, el modelo busca en la web con más iniciativa. Para los desarrolladores empresariales, lo que importa llegará después: cómo se cobrará cuando se abra la API, si habrá voces personalizadas, si la función de canto llegará a la API y cómo se resolverán los derechos de autor de las canciones. El comunicado no menciona nada de esto, y solo se podrá confirmar cuando se publique la página de producto de Tencent Cloud.
Las próximas líneas que enumera el equipo de Hunyuan son la interacción dúplex, la memoria personalizada a largo plazo y la colaboración entre agentes en primer y segundo plano. Dúplex significa que usuario y modelo pueden hablar a la vez e interrumpirse en cualquier momento; los productos de voz en tiempo real del mercado siguen puliendo este punto, y Tencent tampoco afirma haberlo logrado esta vez.
Fuentes: comunicado oficial de Tencent Hunyuan, descripción de la función de llamada de voz de la app Yuanbao, CocoLoop, demo web de Tencent Cloud; las tasas de retención del 21 % y el 69 % y el número de conjuntos de evaluación siguen los datos del comunicado de Tencent Hunyuan.