DiffusionGemma transpose au texte la logique de débruitage des modèles de diffusion d’images. Au lieu de verrouiller les tokens un par un, il part d’un canevas bruité de 256 positions, fixe les mots fiables et réécrit le reste.
Google évoque 15 à 20 tokens décidés par passe, plus de 1 000 tokens par seconde sur une H100 et plus de 700 sur une RTX 5090 quantifiée. Ce 26B MoE n’active qu’environ 3,8 milliards de paramètres par étape.
Le compromis est assumé: la qualité globale reste inférieure à Gemma 4 standard. Le modèle vise les éditions locales de code, les itérations rapides, l’analyse de longs documents et la génération contrainte, pas les services cloud de haute qualité.
Sources：MarkTechPost、CocoLoop、MLQ News.