腾讯混元 11 月 13 日发布实时语音模型 Hy Realtime。它负责语音通话里的听和说,这一代新增两项能力:对话中途调用工具(目前主要是判断要不要联网搜索),以及按用户的口头要求点歌并直接唱出来。
模型已经在元宝的语音通话和腾讯客服上线。元宝用户更新到最新版,在语音通话里选“初语”音色就能体验;腾讯另外放了一个网页 Demo,开放部分能力。对开发者的 API 要等腾讯云,官方的说法是“近期”。
听半截话,也能联网
混元团队把这次的改进重点放在“听懂”上。真实通话里,用户常常口齿含糊、话说一半,或者说到一半改口,模型要结合前文把意图补全。官方称这类不完整输入的理解准确率“显著提升”,长时间多轮对话里也能稳住上下文,但没有给出具体数字。
工具调用这一块,发布文写得比较克制:模型根据上下文判断是否需要联网搜索,把搜索决策、调用工具和生成回答放在同一个流程里完成。强化学习阶段,团队把奖励目标从“最终答案对不对”扩展到整个调用过程,对多余的检索做阶梯式降权。用户随口问一句天气或比分,模型不该每次都跑去搜,这个设计针对的就是这种场景。
唱歌是和腾讯音乐 TME 灵音 AI 团队一起做的。用户可以按歌手、专辑、曲风、语种、发行年份和热度组合点歌,比如“来首 2010 年到 2020 年之间的英文民谣”,模型匹配歌曲后直接演唱。效果方面,腾讯只说在内部专家 A/B 测试里“优势显著”,评测细则没有公开。
发布文里能核实的几个数字
技术部分透露的量化信息不多,有三处比较具体:
- 预训练用到千万小时级的语音数据,任务从单一的语音识别扩展到音频理解、音乐理解和语音翻译;
- 配套 51 套纯文本评测集和 50 多套语音评测集,用来盯住“文本智商”在转成语音后有没有掉;
- 监督微调阶段重做了口语化改写的数据链路,高质量文本数据迁移到语音任务的有效保留率从 21% 提到 69%。
最后这个数字对应的是端到端语音模型的老毛病:同一个底座,打字聊天时能答对的题,换成语音就答得更浅。腾讯的做法是让混元文本模型和语音 Agent 模型同时当“老师”,按控制好的比例一起指导 Hy Realtime。语音生成端采用边出文本边合成语音的流式方案,目的是压低首次响应延迟,延迟具体是多少毫秒,官方同样没写。
对国内用户意味着什么
国内用得最多的 AI 语音通话入口,基本都在大厂的助手 App 里。Hy Realtime 先落在元宝和腾讯客服,路径很清楚:先拿自家产品的真实通话量磨模型,再通过腾讯云卖给做客服、陪练、车载和智能硬件的企业。
对普通用户,最直观的变化是元宝的语音通话多了点歌这个玩法,查信息时也会更主动地联网。对企业开发者,要看的东西还在后面:API 开放时的计价方式、是否支持自定义音色、唱歌功能会不会进 API,以及歌曲版权怎么处理。这几项发布文都没有提到,腾讯云的产品页上线后才能确认。
混元团队给下一步列的方向是双工交互、长期个性化记忆和前后台 Agent 协同。双工指的是用户和模型可以同时说话、随时打断,目前市面上的实时语音产品在这一点上都还在打磨,腾讯这次也没有宣称已经做到。
参考来源:腾讯混元官方发布文、元宝 App 语音通话功能说明、CocoLoop、腾讯云网页 Demo;保留率 21% 与 69%、评测集数量均以腾讯混元发布文口径为准。