这条消息得放到一个背景里看才有分量：OpenAI 一年在算力上烧掉几十亿美元，其中最疼的不是训模型，是天天跑模型。
6 月 30 日，The Information 捅出一条：OpenAI 的工程师找到一个办法，把跑模型的推理成本砍掉了一半以上。没换芯片，没加机器，纯软件。
砍到什么程度
把这套优化用在免费的、不登录就能用的 ChatGPT 流量上之后，撑这摊流量的 GPU，从原来一大片掉到只剩两百来张。
两个数字得记住：成本降了一半以上，新卡加了零张。全是把手里现有的服务器榨得更狠榨出来的。
先说清楚”推理”是什么。模型训好之后，用户每问一句、模型每吐一次答案，都要占 GPU 算一遍——这笔钱按次数走，用的人越多，烧得越猛。训练是一次性的大投入，推理才是天天流血的口子。对一个日活几亿的产品来说，账本上最扎眼的就是这块。
所以”推理成本减半”翻成人话就是：同样这些活儿，OpenAI 现在花一半的钱就干完了。
他们到底做了什么？没说
The Information 没披露具体技术。圈里能想到的路子就那么几条：
- 把一堆请求攒成大批一起算（batching）
- 把重复的上下文缓存下来复用（KV-cache）
- 让模型先猜后验、少算几步（speculative decoding）
- 把简单问题直接甩给便宜的小模型
到底用了哪一招、还是几招一起上，OpenAI 没讲，官方也没出来表态。能确认的只有结果：成本对折。
为什么这事分量重
AI 公司比的从来不只是谁模型强，还有谁跑得起。
同样一个模型，成本减半，等于凭空多出一半的利润空间——或者，把价格再往下压一截，逼着对手跟。
这就跟另一条线接上了。DeepSeek 那边刚给 API 搞了套峰谷电价、把价格往死里压；OpenAI 这边闷声把成本砍一半。看着是两件事，其实是同一场仗的两面——谁能把”每一次推理”做得更便宜，谁就能在价格战里多扛几个回合。
顺带提一句 Jalapeño，OpenAI 和博通一起做的自研推理芯片。软件这条线在省钱，硬件那条线也在铺，两头都朝着同一个方向使劲：把单次推理的成本压到地板上。
还没说清的几件事
- 这套优化什么时候铺到全部模型、全部产品线，没说，目前只在免费流量上验过。
- 别家（Anthropic、Google）能不能照着做出同样的效果，没人知道。
- 省下的钱换算成一年具体多少美元，也没给。
结尾
有意思的地方就在这——这种优化平时是看不见的，藏在机房里，财报上未必单独列一行。
可它一旦浮出水面，整张牌桌的成本线就得重算。参数、跑分这些明面上的仗，大家天天盯着；真正决定谁能活到最后的，往往是这种没人鼓掌的省钱功夫。
参考来源：CocoLoop、OpenAI Discovers New Way to Cut Inference Costs in Half（The Information）；OpenAI Cuts Inference Costs in Half With Software Alone（FourWeekMBA）