Ngày 20/10, DeepSeek mở mã nguồn trên GitHub khung suy luận quy mô lớn mà hãng dùng nội bộ, có tên DeepInfer, theo giấy phép Apache 2.0. Trang chủ kho mã mô tả đây là khung suy luận hiệu năng cao dành cho các mô hình DeepSeek; bản mở mã nguồn cung cấp những chức năng cốt lõi cho suy luận ngoại tuyến và phục vụ quy mô lớn. Hiện chỉ có một mô hình được hỗ trợ: DeepSeek-V4.1-Flash.
Theo các báo cáo công khai, DeepSeek đồng thời mở mã nguồn một thành phần mã hóa/giải mã Token tên deepseek-recipe, và cho biết trên nền khung này, một cụm đơn của V4.1 Flash đạt thông lượng 155 nghìn tỷ Token mỗi ngày. Con số thông lượng này là lời của chính công ty: phần hiệu năng trong README của kho mã chỉ đặt đường cong thông lượng và độ trễ, không nêu giá trị cụ thể, và hiện cũng chưa có bên thứ ba nào đo lại.
Kho mã có những gì
Các tính năng được README liệt kê chia thành bốn mảng chính.
Mảng đầu tiên là nhân tính toán và môi trường chạy, tích hợp FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, cùng một loạt nhân tùy biến viết bằng TileLang. DeepSeek đã lần lượt công bố mấy cái tên đầu tiên trong tuần lễ mã nguồn mở năm ngoái và vài đợt phát hành sau đó; lần này coi như được đóng gói vào một lớp vỏ có thể khởi chạy dịch vụ trực tiếp.
Mảng thứ hai là chiến lược song song hóa: phần attention dùng song song dữ liệu kết hợp song song ngữ cảnh cân bằng, còn phần MoE dùng song song chuyên gia đi cùng cân bằng tải (EPLB).
Mảng thứ ba là giải mã suy đoán, nối với DSpark mà DeepSeek mở mã nguồn cùng Đại học Bắc Kinh hồi cuối tháng 6, cộng thêm cơ chế xác minh lập lịch theo độ tin cậy, với độ dài bản nháp mặc định là 5.
Mảng thứ tư là một số chi tiết kỹ thuật: lập lịch lô phía CPU chồng lấp với việc thực thi trên thiết bị (bật mặc định); attention cửa sổ trượt chỉ phát lại phần đuôi có giới hạn nên bớt được một phần tính toán prefill; đầu ra có cấu trúc hỗ trợ ràng buộc cú pháp bằng biểu thức chính quy, JSON Schema và EBNF.
Môi trường kiểm thử được ghi rất cụ thể: prefill dùng 4 GPU SM100, decode dùng 64 GPU, tất cả nằm trong cùng một miền scale-up, và các script để tái hiện cũng được công bố kèm theo.
Hai nền tảng phần cứng, năng lực không ngang nhau
Phần cứng được hỗ trợ gồm hai dòng: GPU Nvidia SM100 và NPU Ascend 950 của Huawei. Yêu cầu môi trường lần lượt là CUDA 13 và CANN 9.2, trình biên dịch GCC 13 trở lên, Python 3.12.
Tuy vậy, có hai tính năng được đánh dấu “chỉ NVIDIA”. Thứ nhất là suy luận bất biến theo lô: một yêu cầu cho ra cùng kết quả bất kể nó được ghép chung lô với những yêu cầu nào. Thứ hai là lấy mẫu tất định: cùng đầu vào và cùng tham số lấy mẫu thì cho cùng kết quả. Cả hai rất hữu ích với các nhóm làm đánh giá và kiểm thử hồi quy, nhưng hiện chỉ có trên card Nvidia.
README cũng thẳng thắn nêu những phần còn thiếu: hệ thống KV Cache, việc tách ba tầng mã hóa thị giác, prefill và decode, cũng như cân bằng tải giữa các bản sao song song dữ liệu, đều chưa có trong phiên bản này. Kho mã cho biết phần lớn tính năng engine cần cho triển khai tách rời đã được hiện thực, nhưng muốn dựng một hệ thống giống hệt hệ thống trực tuyến của DeepSeek, người dùng vẫn phải tự bổ sung các lớp này.
Đặt các lần mở mã nguồn cạnh nhau
Phần hạ tầng của DeepSeek được mở mã nguồn từng mảnh một. Tháng 4 năm ngoái, trong kho open-infra-index, hãng đăng một văn bản giải thích rằng sẽ không mở nguyên toàn bộ mã của engine suy luận nội bộ, mà dự định đóng góp cho cộng đồng các cải tiến thiết kế và những thành phần dùng độc lập được, chẳng hạn cho các dự án có sẵn như vLLM.
Nhịp độ sau đó về cơ bản đi theo hướng này: thư viện nhân tính toán được đưa ra riêng trước, cuối tháng 6 là khung giải mã suy đoán DSpark, và tháng 9 hãng công bố trên arXiv nền sandbox DSec dùng để huấn luyện tác tử. DeepInfer là lần đầu tiên những bộ phận ấy được ghép thành một khung có thể triển khai độc lập. So với lời “chỉ đưa ra thành phần” cách đây hơn một năm, cánh cửa đã mở rộng hơn một nấc.
Với các công ty trong nước dùng V4.1 Flash để triển khai riêng, lần này có thêm một bản triển khai tham chiếu chính thức. Còn với các khung cộng đồng như vLLM và SGLang, các tối ưu nhân tính toán của DeepSeek sau này có thể sẽ xuất hiện trước trong khung của chính hãng, rồi cộng đồng mới chuyển sang. Ngay trong ngày kho mã lên mạng, số sao đã vượt ba nghìn; mục issue và các bài đo hiệu năng độc lập sau này sẽ cho thấy rõ hơn đường cong chính thức rằng nó chạy ra sao trong phòng máy của người khác.
Nguồn tham khảo: README của kho GitHub DeepInfer do DeepSeek công bố (đối chiếu mô hình được hỗ trợ, phần cứng, các tính năng chỉ có trên NVIDIA, số card dùng để kiểm thử và giấy phép), CocoLoop, tài liệu thuyết minh open-infra-index của DeepSeek; thông lượng của cụm đơn là số liệu theo cách tính của công ty, chưa được bên thứ ba đo lại.