Ngày 20 tháng 5, Nemotron Labs của NVIDIA đã công bố bài báo và trọng số mô hình cho phương pháp giải mã mới có tên Nemotron-Labs-Diffusion, với ba kích thước 3B, 8B và 14B cùng ba biến thể base, instruct và vision-language.
Điểm mấu chốt không nằm ở số tham số mà ở khả năng hỗ trợ đồng thời ba chế độ giải mã trong một mô hình duy nhất.
Một mô hình ba cách chạy
Các mô hình ngôn ngữ lớn truyền thống tạo văn bản theo cách tự hồi quy (AR), từ trái sang phải mỗi lần một token. Mô hình khuếch tán dự đoán song song một loạt token, tăng thông lượng nhưng độ chính xác thường thua AR. Nemotron-Labs-Diffusion kết hợp cả hai và thêm chế độ thứ ba:
- Tự hồi quy (AR): sinh chuẩn từ trái sang phải, 1× (cơ sở)
- Khuếch tán: khử nhiễu nhiều token cùng lúc, 2,57× token/forward
- Tự suy đoán (Self-Speculation): khuếch tán soạn thảo song song các token ứng viên, AR xác thực, 5,99× token/forward
Tự suy đoán là cải tiến cốt lõi. Phần khuếch tán soạn thảo song song một loạt token ứng viên, sau đó phần AR nhanh chóng xác thực token nào được chấp nhận. Không cần mô hình soạn thảo nhỏ bổ sung hay đầu dự đoán riêng—cùng một mô hình, cùng một bộ trọng số, hai chế độ phối hợp. Trên mô hình 8B, chế độ Tự suy đoán đạt 5,99× token mỗi lần forward so với Qwen3-8B, và độ chính xác (63,61% so với 62,75% của Qwen3-8B) còn tăng nhẹ.
Con số thực tế trên GB200
Thông lượng trên một GPU GB200 với concurrency=1: 850 token/s so với 253 token/s ở chế độ AR. Với kernel CUDA tùy chỉnh của NVIDIA, đạt 1015 token/s. Biến thể 8B Vision-Language đạt 3,63× đến 7,45× token/forward tùy độ dài phản hồi. Để so sánh, thông lượng suy luận LLM chính thống trên H100 thường ở mức 100–300 token/s. Nemotron-Labs-Diffusion 8B trên GB200 đạt 1015 token/s—nhanh hơn 3–4 lần so với các mô hình hàng đầu. Điều này quan trọng cho các tác nhân thời gian thực cần suy luận, gọi công cụ và tiếp tục suy luận. Tăng thông lượng gấp 3 lần có thể giảm độ trễ tác vụ tác nhân từ 15 giây xuống 5 giây—ngưỡng quan trọng để chuyển từ trình diễn sang sử dụng hàng ngày.
Phương pháp huấn luyện
Nemotron-Labs-Diffusion không được huấn luyện từ đầu. Sau tiền huấn luyện AR, thêm giai đoạn thứ hai:
- Giai đoạn 1: 1 nghìn tỷ token, mục tiêu AR thuần túy
- Giai đoạn 2: 300 tỷ token, mục tiêu hỗn hợp AR và khuếch tán
Hàm mất mát hỗn hợp: ℒ(θ) = ℒ_AR(θ) + α · ℒ_diff(θ), với α = 0,3. Điều này có nghĩa AR là mục tiêu chính, khuếch tán là phụ trợ. Lựa chọn trọng số này là điểm khác biệt cơ bản so với các mô hình ngôn ngữ khuếch tán khác, vốn coi mọi thứ tự token như nhau. Nemotron-Labs-Diffusion tận dụng tiên nghiệm tự nhiên của ngôn ngữ từ trái sang phải, tránh suy giảm độ chính xác thường thấy ở mô hình khuếch tán. Huấn luyện sử dụng 256 GPU H100 cho cả ba kích thước mô hình.
Vị thế cạnh tranh
Đối thủ trực tiếp là Qwen3-8B và Llama 4-8B, nhưng Nemotron-Labs-Diffusion không bán 'mô hình thông minh hơn' mà là 'cùng trí thông minh với thông lượng gấp 3–6 lần'. Chiến lược của NVIDIA rất rõ ràng: bán nhiều GB200 hơn cùng mô hình này để khai thác năng suất kinh tế token lớn hơn đối thủ. Điều này phù hợp với chiến lược trong năm qua của NVIDIA: không bán chip đơn lẻ mà bán giải pháp trọn gói (mô hình + phần cứng + kernel CUDA) giúp hóa đơn tính toán của doanh nghiệp hấp dẫn hơn. Trọng số mô hình đã được đưa lên Hugging Face với giấy phép NVIDIA Nemotron Open Model License, cho phép sử dụng thương mại, tinh chỉnh và triển khai. NVIDIA chưa tiết lộ liệu phương pháp này có mở rộng lên 32B/70B hay không, nhưng bản phát hành ngày 20 tháng 5 đủ để các nhóm tối ưu suy luận phải họp bàn vào ngày mai.
Nguồn: NVIDIA AI Releases Nemotron-Labs-Diffusion: A Tri-Mode Language Model with 6× Tokens Per Forward Over Qwen3-8B (MarkTechPost); Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding (NVIDIA Research); NVIDIA pushes past autoregressive text generation with Nemotron-Labs-Diffusion (Startup Fortune); CocoLoop