Cloudflare 决策模型能直接看视频听音频

Cloudflare 10 月 9 日发布 Clef-omni,给它的”决策模型”系列补上音频和完整视频输入。权重已放到 Hugging Face,许可证是 Apache 2.0,托管版跑在 Workers AI 上。距离 Clef 和 Clef-flash 首发只隔了八天。

决策模型干的活很窄:调用方给出一个状态和一组预设问题,每个问题配几个可选项,模型对每个选项打一个概率,不生成自由文本,也不需要解析输出。Cloudflare 举的内部用例包括在 GitHub 文档仓库里识别并关闭垃圾 issue、在插件库里筛钓鱼、扫描数据里的身份证号这类个人信息、判定恶意域名。

一次调用吃下四种输入

此前的 Clef 能处理文本、图片和从视频里抽出的帧。Clef-omni 直接收 WAV、MP3 音频和 MP4、WebM 视频,音轨和画面同步处理。它同样不做转写和描述,只跑一遍预填充,把所有模态和所有选项一起打分。

Cloudflare 公布的中位延迟:纯文本约 130 毫秒,图片约 150 毫秒,音频几百毫秒,21 秒带声视频约 1.5 秒。

底座是阿里的 Qwen3-Omni-30B-A3B-Instruct,一个混合专家模型。Cloudflare 保留理解部分,丢掉语音合成相关组件,主干冻结,用 LoRA 微调,外加一个小型 Transformer 打分头。模型卡写明,单张 H200 上以 bfloat16 运行,主干约需 64GB 显存。

分数没有全面压过前代

Cloudflare 自己的对比表里,Clef-omni 在多数项目上不如纯视觉版 Clef。工具检索 ToolRet 是 66.6 对 69.19,判断何时该调用工具的 When2Call 是 63.3 对 72.37,钓鱼识别 PhishNChips 是 73.2 对 79.60;家电指令一项差得最多,69.3 对 82.95。银行意图分类 BANKING77 和意图识别 CLINC150+OOS 两项,它略高于 Clef。

拿 TypeSafe 的决策模型 Jev 当参照,Clef-omni 在 When2Call 上落后 17 分以上,在 BANKING77 上领先 15 分。这些分数都由 Cloudflare 自报,评测细节博客没有展开。

同日的两处调整

Clef-flash 托管价从每百万输入 token 0.09 美元降到 0.038 美元,Cloudflare 称已比 Jev 便宜。代价是托管版上下文窗口从 64k 缩到 24k,理由是只有 0.24% 的请求超过 24k;Hugging Face 上的开源权重不受影响,仍按 256k 训练。Clef 价格不变,Cloudflare 把推理迁到 SGLang 后,中位延迟提速 1.7 到 2.0 倍。

又一个千问底座

三天前,微软的 Decision-1 也是专做选择题的决策模型,底座是千问 9B。这一周两家美国公司先后推出同类产品,都选了阿里的开源模型做底。对国内开发者来说,Clef 系列权重可直接下载、协议宽松,API 又声明与 Jev 兼容,自建一套审核、路由或工单分拣服务的门槛不高;Workers AI 托管服务在国内的访问情况,Cloudflare 没有专门说明,生产环境用之前要自己实测。

参考来源:Cloudflare 官方博客、Hugging Face 模型卡(许可证、底座与显存要求)、CocoLoop、IT之家、RuntimeWire;基准分数与价格按 Cloudflare 自报口径。