Hugging Face 推理改走 OpenRouter,零加价

Hugging Face 11 月 16 日宣布,Inference Providers 里的语言模型请求,从当天起改由 OpenRouter 负责路由,不再走 Hugging Face 自己写的路由器。用户代码不用改,账仍然记在 Hugging Face 的账单上;图像、视频、音频生成不受影响,继续直连各家推理厂商。

OpenRouter 会根据实时的价格、速度和可靠性,给每次调用挑一家推理厂商。官方博客给出的定价原则是 按厂商原价收费,Hugging Face 不额外加价。

变了什么

最直接的变化是故障切换。以前某家厂商出错,用户收到的就是那家厂商的报错;现在请求会自动换一家重试。

模型 ID 后面的路由后缀照常可用。以 GLM-5.3 为例,不加后缀是默认的综合最优,:fastest 选吞吐最高的,:cheapest 选最便宜的,:novita 这类写法则锁定单一厂商。

路由会照顾提示缓存。用户在请求头 X-HF-Session-Id 里给每段对话带一个固定的 UUID,同一段对话就会被固定发到持有其缓存的厂商。用户和组织也可以在设置里关掉某些厂商,路由器不会再往那里发请求。

接口方面,所有聊天模型都能用 OpenAI 的 Chat Completions、Responses 接口,以及 Anthropic 的 Messages 接口调用,不论背后是哪家厂商。模型页面新增 Providers 和 Metrics 两个标签,按厂商列价格、速度和 24 小时可用率。

有一处不兼容的改动:语言模型不能再用用户自己在某家厂商的 API 密钥,请求一律按 Hugging Face 账户或组织计费。图像和视频厂商的自定义密钥还能继续用。

示意图:铁路道岔分流货车并绕过故障线路,象征OpenRouter调度推理请求,独立轨道保留直连

算一笔账

Hugging Face 在博客里给了一组均价:开源权重模型平均每百万输入 token 0.28 美元、输出 1.62 美元;闭源模型分别是 1.27 美元和 6.36 美元。粗算下来,闭源模型输入贵约 4.5 倍,输出贵约 3.9 倍。

再看免费额度。PRO 用户每月 2 美元,Team 和 Enterprise 组织每个席位每月 2 美元。按开源模型的平均输出价估算,2 美元大约能换 120 万个输出 token;如果全用在闭源模型上,只够 30 万左右。这点额度适合试用和跑小实验,真上生产还是要另付。

“零加价”对用户省掉的是中间商这一层,前提是厂商原价本身合适。自带密钥被关掉后,那些在某家厂商谈过折扣或者有预付额度的团队,经 Hugging Face 调用时就用不上这些条件了,只能回到厂商自己的接口。

OpenRouter 的位置

按 Hugging Face 博客引用的数字,OpenRouter 每月处理超过 800 万亿 token,用户超过 1000 万,接入 80 多家厂商的 600 多个模型。OpenRouter 自己测得,重写路由后容量不足类错误减少 46%,首 token 延迟改善 16.9%,吞吐提升 16.3%;这些都是 OpenRouter 单方面的数据,没有第三方复核。

OpenRouter 今年 8 月宣布加入 Stripe。Hugging Face 是全球最大的开源模型托管平台,这次把语言模型推理的入口交给一家支付公司旗下的路由服务,Hub 上的开源模型调用量从此也会经过 OpenRouter 的账本。

博客列出的后续计划有两项:支持把 OpenRouter 账户关联到 Hugging Face,以及让更多类型的任务走 OpenRouter 路由。两项都没给时间。

参考来源:CocoLoop、Hugging Face 官方博客、OpenRouter 公开资料;开源与闭源模型均价、免费额度以 Hugging Face 博客口径为准,路由性能数字为 OpenRouter 自测。