DiffusionGemma đưa logic khử nhiễu của mô hình khuếch tán ảnh sang văn bản. Thay vì chốt từng token, mô hình bắt đầu với một “khung” 256 token đầy nhiễu, rồi khóa các từ chắc chắn và liên tục sửa phần còn lại.
Google nói mỗi lần tính tiến có thể quyết định trung bình 15 đến 20 token, đạt hơn 1.000 token mỗi giây trên một H100 và hơn 700 token mỗi giây trên RTX 5090 sau lượng tử hóa. Mô hình 26B MoE chỉ kích hoạt khoảng 3,8 tỷ tham số mỗi bước.
Đổi lại, Google thừa nhận chất lượng tổng thể thấp hơn Gemma 4 chuẩn. Nó phù hợp hơn với sửa mã cục bộ, thử nhanh, phân tích tài liệu dài và tạo nội dung có ràng buộc, chứ không phải thay thế dịch vụ đám mây chất lượng cao.
Nguồn tham khảo：MarkTechPost、CocoLoop、MLQ News.