DiffusionGemma는 이미지 확산 모델의 노이즈 제거 방식을 텍스트에 가져온다. 토큰을 하나씩 확정하는 대신 256토큰짜리 잡음 캔버스에서 시작해 확신 높은 단어를 고정하고 나머지는 반복해서 고친다.
구글은 한 번의 전방 계산에서 평균 15~20토큰을 확정할 수 있고, H100 한 장에서 초당 1000토큰 이상, 양자화 후 RTX 5090에서도 초당 700토큰 이상을 낸다고 설명했다. 26B MoE 모델이며 단계마다 약 38억 개 파라미터만 활성화된다.
다만 품질의 절충도 분명하다. 전체 출력 품질은 표준 Gemma 4보다 낮아, 고품질 클라우드 서비스보다는 로컬 코드 수정, 빠른 실험, 장문 분석, 제약이 있는 생성에 맞춘 모델이다.
참고 자료：MarkTechPost、CocoLoop、MLQ News.