美国还在收紧芯片出口,DeepSeek 这边换了个思路:既然高端卡拿不够,那就让每一张卡多干点活。
6 月 30 日,DeepSeek 联合北京大学开源了一个叫 DSpark 的推理框架。一句话说清它干嘛的——同样的模型、同样的卡,让 AI 吐字更快、单卡扛的人更多。
数字挺唬人:
- 单个用户的生成速度,提升 60% 到 85%(生产环境实测 57%–85%)
- 单卡总吞吐量,最高冲到 6.6 倍
它到底做了什么
大模型生成文字,传统办法是一个词一个词往外蹦——算完这个词,才能算下一个,谁也插不了队。慢就慢在这儿。
DSpark 走的是「投机解码」(speculative decoding)那条路,但改得更狠。它让一个小模型先把后面几个词的草稿猜出来,大模型不再挨个算,而是一批一批地验:猜对了直接用,猜错了才回炉。再配一套「半自回归」的架构——用轻量的 Markov 头把相邻几个词的关系一起建模——AI 就从「一个字一个字蹦」变成了「一串一串吐」。
省下来的,全是干等的时间。
6.6 倍是怎么来的
这个数字不能光看,得看条件。
DeepSeek 给自己压了条很狠的速度线:V4-Flash 要求每个用户每秒至少 120 个 token,V4-Pro 要求每秒 50 个。在这么严的延迟目标下,DSpark 把总吞吐分别拉高了 661% 和 406%。生产环境里放宽一点,单卡吞吐也能涨到 4 倍。
| 场景 | 提升 |
|---|---|
| 单用户生成速度 | 60%–85% |
| V4-Flash 吞吐(120 token/秒/人) | +661% |
| V4-Pro 吞吐(50 token/秒/人) | +406% |
| 生产环境总吞吐 | 最高 4 倍 |
翻成大白话:同一批 GPU,以前只能同时伺候这么多人,现在能多接好几倍的活,每个人还等得更少。
为什么偏偏这时候开源
时间点值得琢磨。
美国的芯片出口管制一轮紧过一轮,国产 AI 公司最缺的就是高端算力。这时候,与其去抢买不到的卡,不如把手上的卡榨到极限——推理越省,同样的硬件能撑起的性能就越高。DeepSeek 自己的说法是,DSpark
“enables performance tiers that were previously unattainable, shifting the Pareto frontier of our serving system.”
也就是——让原本够不着的性能档位成了可能,把服务系统的帕累托前沿往前推了一格。说白了:以前速度和成本只能二选一,现在两头都能往前挪一点。
而且这回是彻底开源——MIT 协议,直接挂上 Hugging Face 和 GitHub,还不挑食,Qwen、Gemma 这些主流开源模型都能套。
一条越走越清楚的路
这两年国产大模型的打法,慢慢显出一条主线:拼不过卡的绝对数量,就拼每张卡的效率。
DeepSeek 从当年的训练成本一路砍到今天的推理效率,走的都是这一套。芯片被卡在门外,反倒逼出了一堆「把硬件用到骨头里」的活儿。
对全行业也是好事——DSpark 开源了,套在别人模型上一样能提速。至于美国那张「芯片牌」还能压多久,这类工程一点点在给答案。
参考来源:DeepSeek's DSpark boosts AI speed by up to 85 percent(The Decoder);DeepSeek open sources DSpark, a new framework to speed up LLM inference by up to 85%(VentureBeat);CocoLoop、Faster AI, lower costs: DSpark eases inference bottlenecks and chip strain, says DeepSeek(South China Morning Post);Peking University and DeepSeek Open-Source DSpark(Pandaily)