Cloudflare 決策模型可直接處理影片與音訊

Cloudflare 於 10 月 9 日發表 Clef-omni,為旗下「決策模型」系列補上音訊與完整影片輸入。模型權重已上架 Hugging Face,授權為 Apache 2.0,託管版則在 Workers AI 上運行。距離 Clef 與 Clef-flash 首度推出,只隔了八天。

決策模型要做的事情很單純:呼叫端提供一個狀態與一組預先設定的問題,每個問題附上幾個選項,模型替每個選項打出機率,不產生自由文字,也不需要解析輸出。Cloudflare 列舉的內部應用包括:在 GitHub 文件儲存庫中辨識並關閉垃圾 issue、在外掛庫中篩選釣魚內容、掃描資料中的身分證字號等個人資訊,以及判定惡意網域。

一次呼叫處理四種輸入

先前的 Clef 可處理文字、圖片,以及從影片中擷取的畫格。Clef-omni 則直接接收 WAV、MP3 音訊與 MP4、WebM 影片,音軌與畫面同步處理。它同樣不做轉錄或描述,只跑一次預填充(prefill),就把所有模態與所有選項一併評分。

Cloudflare 公布的中位數延遲為:純文字約 130 毫秒、圖片約 150 毫秒、音訊數百毫秒,21 秒有聲影片約 1.5 秒。

底座是阿里巴巴的 Qwen3-Omni-30B-A3B-Instruct,屬於混合專家(MoE)模型。Cloudflare 保留了理解的部分,拿掉與語音合成相關的元件,凍結主幹並以 LoRA 微調,再加上一個小型 Transformer 評分頭。模型卡載明,單張 H200 即可以 bfloat16 執行,主幹約需 64GB 顯示記憶體。

分數並未全面勝過前代

在 Cloudflare 自己的比較表中,Clef-omni 在多數項目上不及純視覺版的 Clef。工具檢索 ToolRet 為 66.6 對 69.19,判斷何時該呼叫工具的 When2Call 為 63.3 對 72.37,釣魚辨識 PhishNChips 為 73.2 對 79.60;差距最大的是家電指令一項,69.3 對 82.95。銀行意圖分類 BANKING77 與意圖辨識 CLINC150+OOS 這兩項,它則略高於 Clef。

若以 TypeSafe 的決策模型 Jev 作為參照,Clef-omni 在 When2Call 上落後 17 分以上,在 BANKING77 上領先 15 分。這些分數均由 Cloudflare 自行公布,評測細節在部落格中並未多加說明。

同日的兩項調整

Clef-flash 的託管價格從每百萬輸入 token 0.09 美元降到 0.038 美元,Cloudflare 表示這樣已比 Jev 便宜。代價是託管版的上下文視窗從 64k 縮減為 24k,理由是僅有 0.24% 的請求超過 24k;Hugging Face 上的開源權重不受影響,仍以 256k 訓練。Clef 價格不變,Cloudflare 將推論遷移到 SGLang 後,中位數延遲加快了 1.7 到 2.0 倍。

又一個千問底座

三天前,微軟的 Decision-1 同樣是專攻選擇題的決策模型,底座是千問 9B。這一週內,兩家美國公司先後推出同類產品,都選了阿里巴巴的開源模型當底座。對中國的開發者而言,Clef 系列權重可直接下載、授權寬鬆,API 又宣稱與 Jev 相容,自行架設審核、路由或工單分流服務的門檻不高;至於 Workers AI 託管服務在中國境內的連線狀況,Cloudflare 並未特別說明,正式上線前得自行實測。

參考來源:Cloudflare 官方部落格、Hugging Face 模型卡(授權、底座與顯示記憶體需求)、CocoLoop、IT 之家、RuntimeWire;基準分數與價格皆依 Cloudflare 自行公布的口徑。