Hugging Face 推論改走 OpenRouter,零加價

Hugging Face 11 月 16 日宣布,Inference Providers 中的語言模型請求,自當天起改由 OpenRouter 負責路由,不再使用 Hugging Face 自行開發的路由器。使用者的程式碼不必修改,帳款仍記在 Hugging Face 的帳單上;影像、影片、音訊生成不受影響,繼續直連各家推論廠商。

OpenRouter 會依據即時的價格、速度與可靠性,為每次呼叫挑選一家推論廠商。官方部落格給出的定價原則是按廠商原價收費,Hugging Face 不額外加價。

有什麼改變

最直接的變化是故障切換。以前某家廠商出錯,使用者收到的就是那家廠商的錯誤訊息;現在請求會自動換一家重試。

模型 ID 後面的路由後綴照常可用。以 GLM-5.3 為例,不加後綴是預設的綜合最佳,:fastest 選吞吐量最高的,:cheapest 選最便宜的,:novita 這類寫法則鎖定單一廠商。

路由會顧及提示快取。使用者在請求標頭 X-HF-Session-Id 中為每段對話帶上固定的 UUID,同一段對話就會被固定送往持有其快取的廠商。使用者與組織也可以在設定中關閉某些廠商,路由器就不會再往那裡送請求。

介面方面,所有聊天模型都能透過 OpenAI 的 Chat Completions、Responses 介面,以及 Anthropic 的 Messages 介面呼叫,不論背後是哪家廠商。模型頁面新增 Providers 與 Metrics 兩個分頁,按廠商列出價格、速度與 24 小時可用率。

有一項不相容的變更:語言模型不能再使用使用者自己在某家廠商申請的 API 金鑰,請求一律按 Hugging Face 帳戶或組織計費。影像與影片廠商的自訂金鑰仍可繼續使用。

示意图:铁路道岔分流货车并绕过故障线路,象征OpenRouter调度推理请求,独立轨道保留直连

算一筆帳

Hugging Face 在部落格中給出一組均價:開放權重模型平均每百萬輸入 token 0.28 美元、輸出 1.62 美元;閉源模型分別是 1.27 美元與 6.36 美元。粗略算下來,閉源模型的輸入貴約 4.5 倍,輸出貴約 3.9 倍。

再看免費額度。PRO 使用者每月 2 美元,Team 與 Enterprise 組織每個席位每月 2 美元。以開源模型的平均輸出價估算,2 美元大約可換得 120 萬個輸出 token;若全部用在閉源模型上,只夠 30 萬個左右。這點額度適合試用與跑小型實驗,真要上線生產仍須另外付費。

「零加價」替使用者省下的是中間商這一層,前提是廠商原價本身合理。自帶金鑰被關閉後,那些在某家廠商談過折扣或持有預付額度的團隊,經由 Hugging Face 呼叫時就用不上這些條件,只能回到廠商自己的介面。

OpenRouter 的位置

依 Hugging Face 部落格引用的數字,OpenRouter 每月處理超過 800 兆個 token,使用者超過 1000 萬,串接 80 多家廠商的 600 多個模型。OpenRouter 自行測得,重寫路由後容量不足類錯誤減少 46%,首 token 延遲改善 16.9%,吞吐量提升 16.3%;這些都是 OpenRouter 單方面的數據,未經第三方複核。

OpenRouter 今年 8 月宣布加入 Stripe。Hugging Face 是全球最大的開源模型代管平台,這次把語言模型推論的入口交給一家支付公司旗下的路由服務,Hub 上開源模型的呼叫量從此也會經過 OpenRouter 的帳本。

部落格列出的後續計畫有兩項:支援將 OpenRouter 帳戶連結到 Hugging Face,以及讓更多類型的任務走 OpenRouter 路由。兩項都沒有給出時程。

參考來源:CocoLoop、Hugging Face 官方部落格、OpenRouter 公開資料;開源與閉源模型均價、免費額度以 Hugging Face 部落格說法為準,路由效能數字為 OpenRouter 自行測得。