DeepSeek开源DSpark,单卡吞吐提6.6倍

美国还在收紧芯片出口,DeepSeek 这边换了个思路:既然高端卡拿不够,那就让每一张卡多干点活。

6 月 30 日,DeepSeek 联合北京大学开源了一个叫 DSpark 的推理框架。一句话说清它干嘛的——同样的模型、同样的卡,让 AI 吐字更快、单卡扛的人更多。

数字挺唬人:

  • 单个用户的生成速度,提升 60% 到 85%(生产环境实测 57%–85%)
  • 单卡总吞吐量,最高冲到 6.6 倍

它到底做了什么

大模型生成文字,传统办法是一个词一个词往外蹦——算完这个词,才能算下一个,谁也插不了队。慢就慢在这儿。

DSpark 走的是「投机解码」(speculative decoding)那条路,但改得更狠。它让一个小模型先把后面几个词的草稿猜出来,大模型不再挨个算,而是一批一批地验:猜对了直接用,猜错了才回炉。再配一套「半自回归」的架构——用轻量的 Markov 头把相邻几个词的关系一起建模——AI 就从「一个字一个字蹦」变成了「一串一串吐」。

省下来的,全是干等的时间。

6.6 倍是怎么来的

这个数字不能光看,得看条件。

DeepSeek 给自己压了条很狠的速度线:V4-Flash 要求每个用户每秒至少 120 个 token,V4-Pro 要求每秒 50 个。在这么严的延迟目标下,DSpark 把总吞吐分别拉高了 661% 和 406%。生产环境里放宽一点,单卡吞吐也能涨到 4 倍。

场景提升
单用户生成速度60%–85%
V4-Flash 吞吐(120 token/秒/人)+661%
V4-Pro 吞吐(50 token/秒/人)+406%
生产环境总吞吐最高 4 倍

翻成大白话:同一批 GPU,以前只能同时伺候这么多人,现在能多接好几倍的活,每个人还等得更少。

为什么偏偏这时候开源

时间点值得琢磨。

美国的芯片出口管制一轮紧过一轮,国产 AI 公司最缺的就是高端算力。这时候,与其去抢买不到的卡,不如把手上的卡榨到极限——推理越省,同样的硬件能撑起的性能就越高。DeepSeek 自己的说法是,DSpark

“enables performance tiers that were previously unattainable, shifting the Pareto frontier of our serving system.”

也就是——让原本够不着的性能档位成了可能,把服务系统的帕累托前沿往前推了一格。说白了:以前速度和成本只能二选一,现在两头都能往前挪一点。

而且这回是彻底开源——MIT 协议,直接挂上 Hugging Face 和 GitHub,还不挑食,Qwen、Gemma 这些主流开源模型都能套。

一条越走越清楚的路

这两年国产大模型的打法,慢慢显出一条主线:拼不过卡的绝对数量,就拼每张卡的效率。

DeepSeek 从当年的训练成本一路砍到今天的推理效率,走的都是这一套。芯片被卡在门外,反倒逼出了一堆「把硬件用到骨头里」的活儿。

对全行业也是好事——DSpark 开源了,套在别人模型上一样能提速。至于美国那张「芯片牌」还能压多久,这类工程一点点在给答案。

参考来源:DeepSeek's DSpark boosts AI speed by up to 85 percent(The Decoder);DeepSeek open sources DSpark, a new framework to speed up LLM inference by up to 85%(VentureBeat);CocoLoop、Faster AI, lower costs: DSpark eases inference bottlenecks and chip strain, says DeepSeek(South China Morning Post);Peking University and DeepSeek Open-Source DSpark(Pandaily)