Mercury 3 của Inception: mô hình khuếch tán vượt 1.000 token/giây

Công ty AI Inception của Mỹ ngày 19/10 đã giới thiệu Mercury 3, một mô hình ngôn ngữ lớn dạng khuếch tán, và cho biết đây là LLM khuếch tán mạnh nhất hiện nay. Mô hình đã có mặt trên nền tảng API riêng của Inception, đồng thời được tích hợp vào OpenRouter, Baseten và Vercel.

Một số con số do hãng công bố: tốc độ sinh văn bản đạt 1068 token/giây trên GPU Nvidia; cửa sổ ngữ cảnh 1 triệu token, trong khi phiên bản trước là Mercury 2.5 chỉ có 260.000; tổng số tham số gấp hơn 40 lần Mercury 1 đời đầu, nhưng con số cụ thể không được tiết lộ.

Tốc độ và giá bán

Inception cho biết Mercury 3 vượt GPT-6 Luna của OpenAI và Claude Haiku 5.5 của Anthropic trên một loạt bài kiểm tra chuẩn, với tốc độ nhanh gấp 4 đến 8 lần các mô hình đối chiếu. Tuy nhiên, bài blog không liệt kê điểm số từng hạng mục, chỉ nói mức độ thông minh trên các bài kiểm tra chuẩn tăng khoảng 3 lần so với Mercury 1 (mini), và chưa có đánh giá độc lập từ tổ chức bên ngoài.

Có hai bài thử nghiệm đưa ra được số liệu cụ thể. Thứ nhất là tác tử trình duyệt: trong 50 tác vụ điều hướng web thực tế của Mind2Web, Mercury 3 hoàn thành một nửa, và công ty khẳng định con số này “cao hơn đáng kể so với GPT-6.1-Sol”. Thứ hai là Sense API của đối tác Octen AI, dùng Mercury 3 để sinh nội dung: thời gian sinh trung vị là 0,9 giây, thời gian phản hồi đầu cuối trung vị là 2,2 giây, trong đó phần tìm kiếm của chính Octen chỉ chiếm khoảng 80 mili giây.

Giá là 0,20 USD cho mỗi triệu token đầu vào và 0,70 USD cho mỗi triệu token đầu ra. Trong giai đoạn ra mắt được giảm 50%, tức 0,10 và 0,35 USD; đầu vào trúng bộ nhớ đệm còn có thêm ưu đãi. Nền tảng API tặng người dùng mới 100 triệu token miễn phí.

Trong bài blog, Inception đặt ý nghĩa của đợt ra mắt này vào khả năng mở rộng quy mô:

"The scaling laws that drove progress in autoregressive models hold for diffusion too."

Các định luật mở rộng từng thúc đẩy tiến bộ của mô hình tự hồi quy cũng đúng với mô hình khuếch tán.

Năm nay có những ai đang đi theo hướng khuếch tán

Các mô hình lớn phổ biến hiện nay viết chữ theo cách tự hồi quy: nhả từng token một, token sau phải chờ token trước. Mô hình khuếch tán mượn ý tưởng từ sinh ảnh: trước hết dựng ra một đoạn bản nháp thô, rồi qua nhiều vòng khử nhiễu để chỉnh sửa, nhiều vị trí được cập nhật cùng lúc. Lợi thế về tốc độ nằm ở chính chỗ này.

Năm nay hướng đi này nóng lên rõ rệt. Hồi tháng 5, Nemotron Labs của Nvidia phát hành Nemotron-Labs-Diffusion với ba cỡ 3B, 8B và 14B, trong đó cùng một mô hình có thể chuyển đổi giữa nhiều cách giải mã, gồm tự hồi quy và khuếch tán. Tháng 6, Google mở mã nguồn DiffusionGemma, sinh song song 256 token mỗi lần. Tại ICML năm nay, giải thưởng lớn cũng thuộc về một bài báo theo hướng khuếch tán.

Nhìn ngang, mỗi bên chọn một hướng khác nhau. Nvidia và Google tung ra các mô hình mã nguồn mở cỡ vừa và nhỏ, thiên về nghiên cứu và chạy trên thiết bị; còn Inception luôn đi theo con đường API thương mại mã nguồn đóng, lấy tốc độ và giá để giành các tình huống nhạy cảm với độ trễ, như hoàn thành mã, trợ lý giọng nói và những quy trình tác tử phải gọi mô hình hàng chục lần liên tiếp. Lần này Mercury 3 nâng cả số tham số lẫn ngữ cảnh, nhằm chứng minh rằng mô hình khuếch tán khi lớn lên vẫn đủ năng lực, chứ không chỉ là “nhanh nhưng ngốc”.

Có chứng minh được hay không còn tùy hai điều: điểm số trên các bảng xếp hạng độc lập, và liệu những nền tảng đã đưa nó vào môi trường sản xuất có tiếp tục dùng sau vài tháng hay không. Blog chính thức chỉ trích dẫn số liệu của một khách hàng là Octen, cỡ mẫu còn quá ít.

Mercury 2, thế hệ trước, mới được tạp chí TIME chọn vào danh sách phát minh hay nhất năm 2026 cách đây ít ngày. Các báo cáo công khai trước đó từng nhắc đến việc Microsoft và SpaceX đều đã tiếp xúc với Inception; hiện chưa có thông tin công khai mới về tiến triển của các thương vụ liên quan.

Nguồn tham khảo: blog chính thức của Inception (đối chiếu tốc độ, ngữ cảnh, tỷ lệ hoàn thành Mind2Web, giá API tiêu chuẩn và giá giảm giai đoạn ra mắt), trang mô hình trên OpenRouter, CocoLoop, tài liệu kỹ thuật về mô hình khuếch tán của Google và Nvidia.