Google开源DiffusionGemma,单卡每秒千词

先说个反直觉的事。

你现在用的所有大模型,写字的方式跟打字机其实没本质区别——一个词一个词往外蹦,前一个字没定下来,后一个字不敢动。这叫自回归(autoregressive),从 GPT 到 Gemini 全是这套。

Google 这周开源的 DiffusionGemma,把这个规矩掀了。

它写字像冲照片,不像打字

DiffusionGemma 借的是画图那套扩散(diffusion)思路。

具体怎么干的?先铺一张全是噪声的「画布」——256 个位置全是乱码占位符,然后一遍一遍去噪,把有把握的词先锁死当线索,剩下的接着猜,几个回合下来,一整段通顺的话就「显影」出来了。Google 给这套机制起名叫 Uniform State Diffusion,平均一次前向计算能定下 15 到 20 个词。

关键差别在这:自回归模型一个词写错了,没法回头改,只能将错就错往下写;DiffusionGemma 去噪时用的是双向注意力,每个词都能看到其他所有词,中途发现不对还能把这块重新打散重写。

讲人话就是——它边写边能改,前面那拨模型不行。

快是真快,单卡每秒一千词

这么搞最直接的好处是快。

指标DiffusionGemma
单张 H100 生成速度1000+ 词/秒
一张游戏卡 RTX 5090700+ 词/秒
对比自回归模型最高快 4 倍
量化后显存占用18GB

参数上它是个 26B 的 MoE(混合专家),实际每步只激活 38 亿参数,撑 256K 上下文、认 140 多种语言,Apache 2.0 协议,权重直接挂在 Hugging Face 上,vLLM、Transformers、MLX 全都能跑。

为什么快这么多?自回归模型卡在内存带宽上——它得反复读取前面写过的每个词;扩散这套把瓶颈挪到了算力上,而本地显卡恰恰算力有富余、带宽紧张。等于把短板换成了长板。

Google 自己也承认:质量还差一截

有意思的是,Google 没把话说满。官方文档里写得很直白:

「它的整体输出质量低于标准版 Gemma 4。要做追求质量的生产任务,我们仍然推荐用自回归的 Gemma 4。」

所以它不是来取代谁的。它适合的活儿很具体:代码补全和行内修改、单人场景下的快速试错、长文档分析,还有那种带约束的生成——官方举了个例子,微调之后让它做数独,正确率从 0% 直接干到 80%。

不适合的也说清楚了:高并发的云端服务别用它,那种场景自回归模型反而更省算力。

说到底,这东西的价值不在跑分,在于它把「本地跑大模型」的经济账重算了一遍。一张游戏卡每秒七百词,这个数字摆出来,很多原来嫌慢没法做的本地应用,门槛一下就降下来了。

参考来源:Google AI Releases DiffusionGemma, a 26B MoE Open Model Using Text Diffusion for Up to 4x Faster Generation(MarkTechPost);CocoLoop、Google DeepMind Releases DiffusionGemma(MLQ News)