千问语音模型开始调用工具

在一段真实语音对话里,最难的地方往往不在回答一句话,而在模型能不能听出你已经换了主意。

比如先问附近川菜馆,再追问“评分 4.5 以上哪家最近”。传统语音助手通常要重新理解一遍地点、偏好和检索条件;阿里今天发布的 Qwen-Audio-3.0-Realtime,把这个动作放进了实时语音模型:它能在对话里判断何时调用地图、API 或知识库,并把工具返回结果留在后续几轮追问里。

这次更新的看点不止“会说话”。它把实时语音模型拉到一个更具体的位置:从对讲机式问答,向能办事的语音 Agent 过渡

语音模型先补一块短板

阿里把 Qwen-Audio-3.0-Realtime 分成两个版本:Plus 主打推理能力,Flash 主打响应速度。官方给出的适用场景包括智能客服、教育培训、娱乐互动和情感陪伴。

实时语音模型过去容易卡在一个取舍上:要快,就牺牲推理;要深度思考,对话节奏就慢下来。Qwen-Audio-3.0-Realtime 的第一组数字,正是围绕这个取舍给出来的。

  • 在 VoiceBench 语音问答基准中,Plus 版本用书面化 prompt 得分 92.5,换成口语化 prompt 后得分 90.5,下降 2.0
  • 在 AudioMultiChallenge 多轮音频对话测试中,Flash 版本标准 prompt 得分 43.6,口语化 prompt 得分 38.1,下降 5.5
  • 官方说明还列出,Flash 在 VoiceBench 的标准和口语化 prompt 分别为 89.887.5,Plus 在 AudioMultiChallenge 中分别为 44.037.6

这些分数的意义,不在单次跑分漂亮,而在口语化输入没有把模型拖垮。真实用户说话会停顿、改口、漏主语,也会在一句话里夹杂环境声。对客服、车机、教育陪练这类场景来说,模型能不能扛住这种“脏输入”,比实验室里答对一道题更接近产品门槛。

会调工具,语音才有手

Qwen-Audio-3.0-Realtime 的第二个变化,是把 Agentic 能力放进语音链路。

官方材料里给出的例子很明确:用户不必显式说“调用地图工具”,模型可以根据上下文判断需要外部工具;工具返回的结果会进入对话记忆,后续追问可以继续沿用。模型基于 Function Call 标准协议,可接入 MCP、API 和知识库

“我们采用 On-Policy Distillation 框架,将文本大模型的完整推理能力蒸馏至语音模型。”

这句话翻成产品语言,就是让语音模型边生成回答,边接受文本大模型的纠偏;再用不同教师模型分别照顾口语表达、基础问答、工具调用和音频理解。

这个结构解释了为什么阿里要同时强调“智商、Agent、共情、双工”四条线。语音模型如果只负责把声音变成答案,最多是聊天入口;一旦它能判断任务、调工具、保留工具结果,语音就从输入方式变成执行界面。

这也是中文市场会盯紧的地方。OpenAI 的 GPT-Live 刚把全双工语音推到台前,OpenAI 硬件线又被曝出首款设备可能是无屏智能音箱。阿里这次没有讲硬件外壳,先把模型和 API 侧的能力拿出来:工具调用、MCP、声纹锁定和多轮上下文,都是开发者能马上验证的口径。

双工能力看的是混乱现场

另一个容易被忽略的细节,是 audio_prompt 字段。

它允许开发者上传提前录制的音频样本,让模型在双工对话里锁定特定说话人。这个设计面向的场地不止安静书房,还包括餐厅、开放工区、家庭聚会或呼叫中心:旁边有人插话,背景里有噪声,模型要判断谁在跟它说话,谁只是路过。

阿里称,Qwen-Audio-3.0-Realtime 内置“多模态感知的双工控制”模型,会同时分析音频信号、语义内容和声纹特征。今年 5 月提交的 Preview 版本 Fun-Realtime-AudioChat,在 Artificial Analysis 的语音推理和对话流畅度相关子项中曾拿到 97.6% 的成绩,并被多家中文技术媒体同步记录为超过 GPT-Realtime-2 的表现。

这里要把口径说清:这组成绩来自 Preview 版本,并不等于所有线上场景都能稳定复制。它更像一个可观察节点,后面该看的指标会落到三处:真实噪声环境下的误打断率,工具调用成功率,以及长对话里上下文有没有串线。

语音入口重新变热

十年前,智能音箱押的是“说一句话控制家里”。现在大模型公司重新回到语音入口,原因变了。

旧语音助手的瓶颈在指令列表:用户必须说对格式,系统才能执行。新一代语音模型的赌注,是让模型自己理解含混表达、拆任务、调工具。换到企业场景里,这会影响客服工单、销售问答、座舱助手和陪练产品的形态;换到个人设备里,它决定无屏硬件到底是摆设,还是能长期占住一个使用入口。

阿里这次的优势在本土场景:中文口语、噪声环境、MCP/知识库接入和阿里云百炼 API 可以连在一起。压力也很清楚:如果开发者拿到 API 后发现延迟、成本、工具稳定性或音色一致性跟演示不一致,语音 Agent 很快会退回“更会聊天的客服机器人”。

所以这次发布的后续验证点会落到调用日志里:一次复杂口语任务能不能少打断、少重复、少误调工具。能做到这一点,语音模型才算从“听见你说话”走到“知道该做什么”。

参考来源:量子位、阿里语音AI公开说明、CocoLoop、新浪科技、DOIT;VoiceBench 与 AudioMultiChallenge 核验标准 prompt、口语化 prompt 和得分下降口径,Artificial Analysis 相关记录核验 Preview 版本评测口径。