DiffusionGemma überträgt das Entrauschen von Bild-Diffusionsmodellen auf Text. Statt Token nacheinander festzuschreiben, startet es mit einer verrauschten 256-Token-Fläche, fixiert sichere Wörter und überarbeitet den Rest wiederholt.
Google nennt im Schnitt 15 bis 20 Token pro Forward Pass, mehr als 1.000 Token pro Sekunde auf einer H100 und über 700 Token pro Sekunde auf einer quantisierten RTX 5090. Das 26B-MoE aktiviert pro Schritt nur rund 3,8 Milliarden Parameter.
Der Kompromiss ist klar: Die Gesamtqualität liegt unter Standard-Gemma 4. Gedacht ist das Modell für lokale Code-Edits, schnelles Experimentieren, lange Dokumentanalysen und begrenzte Generierung, nicht als Ersatz für hochwertige Cloud-Ausgabe.
Quellen：MarkTechPost、CocoLoop、MLQ News.