Ngày 12/11, Amazon Web Services thông báo trên blog học máy chính thức rằng SGLang-Neuron đã chính thức khả dụng công khai. Nhà phát triển có thể dùng đúng bộ giao diện vẫn dùng khi tinh chỉnh SGLang để triển khai mô hình trên chip Trainium do AWS tự phát triển, cũng như tạo dữ liệu rollout cho học tăng cường. Phần mềm được phân phối dưới dạng AWS Deep Learning Container, do RadixArk phối hợp với Annapurna Labs, nhóm chip của Amazon, phát hành.
Bước này nối tiếp bản thử nghiệm của một tháng trước. Ngày 22/10, blog LMSYS từng đăng bản Beta của plugin SGLang cho Trainium; khi đó nhóm tác giả gọi đây là «cột mốc ban đầu», cho biết việc tối ưu hiệu năng vẫn đang tiếp tục và sẽ có cập nhật tại SGLang Summit vào tháng 11. Lần này AWS đã đưa nó vào container chính thức, tức là chuyển từ kho mã thử nghiệm sang giai đoạn có thể kéo image về dùng ngay.
Plugin được gắn vào SGLang như thế nào
SGLang-Neuron là một plugin ngoài cây mã nguồn (out-of-tree plugin), mã của nó không nằm trong kho chính của SGLang. Sau khi cài, plugin đăng ký một nền tảng tên neuron thông qua điểm vào plugin của SGLang; khi khởi động dịch vụ, chỉ cần đặt biến môi trường SGLANG_PLATFORM=neuron là nền tảng này được chọn.
Về phân công, phần lõi SGLang vẫn đảm nhiệm dịch vụ API, vòng đời yêu cầu, RadixAttention và việc ghi sổ bộ nhớ đệm tiền tố; phía plugin triển khai các mô hình, cơ chế attention, lớp MoE và bộ thực thi đồ thị dành riêng cho Trainium. Theo cách nói của AWS, nhờ vậy phần tương thích Trainium và nhánh chính của SGLang có thể phát triển độc lập, không phải chờ phiên bản của nhau.
Một tầng bên dưới là TorchNeuron. Nó đăng ký Trainium như một thiết bị gốc của PyTorch; đường thực thi mô hình của SGLang-Neuron dùng các toán tử PyTorch tiêu chuẩn, còn những phần nhạy cảm về hiệu năng được thay bằng kernel viết bằng NKI (Neuron Kernel Interface), sau đó tất cả được torch.compile biên dịch thành chương trình thực thi.
Plugin cũng hỗ trợ tách PD (prefill/decode): máy chủ prefill tính bộ nhớ đệm KV của prompt, rồi chuyển sang máy chủ giải mã thông qua NIXL trên mạng EFA, và máy chủ giải mã tiếp tục sinh các token còn lại. Mỗi máy chủ dùng bộ lập lịch riêng của SGLang, còn việc di chuyển bộ nhớ đệm do plugin đảm nhiệm.
Bản demo chính thức cho thấy gì, và không cho thấy gì
Ví dụ đầy đủ trong blog là khởi chạy gpt-oss-120b trên một phiên bản EC2 Trainium3 bằng container pytorch-inference-sglang-neuron, với các tham số gồm --tp-size 8, --ep-size 8, --kv-cache-dtype fp8_e4m3, --context-length 10240; cách gọi là giao diện /v1/chat/completions tiêu chuẩn.
Những gì có thể xác nhận chỉ dừng ở đó. Đợt phát hành này không công bố bất kỳ số liệu nào về thông lượng, độ trễ hay chi phí đơn vị, cũng không có so sánh với việc chạy SGLang trên GPU. AWS mô tả Trainium là «có tính kinh tế tốt cho huấn luyện và suy luận quy mô lớn»; đó là định vị của chính nhà cung cấp, và trong tài liệu lần này không có kiểm tra của bên thứ ba để đối chiếu. Về việc hỗ trợ những mô hình nào và tổ hợp tính năng nào đã được kiểm chứng, blog hướng người đọc sang tài liệu trong kho mã; phần nội dung chính chỉ trình diễn duy nhất gpt-oss-120b.
Có ích gì cho các nhóm ở Trung Quốc
SGLang được dùng rất rộng rãi trong các nhóm triển khai mô hình mã nguồn mở tại Trung Quốc; khi các mô hình như DeepSeek, Qwen, MiniMax ra mắt, SGLang thường là một trong những framework suy luận đầu tiên có bản tương thích. Với các nhóm này, lợi ích trực tiếp của SGLang-Neuron là chi phí di chuyển thấp: lệnh khởi động, giao diện gọi và cơ chế bộ nhớ đệm tiền tố đều không phải học lại, thứ thay đổi chủ yếu là con chip và chuỗi biên dịch bên dưới.
Các hạn chế cũng rất thực tế. Thứ nhất là phần cứng ở đâu: blog của AWS không nói rõ liệu khu vực Trung Quốc (Bắc Kinh, Ninh Hạ) có cung cấp phiên bản Trainium3 hay không; nhóm trong nước muốn thử nhiều khả năng phải mở tài khoản ở khu vực nước ngoài trước. Thứ hai là phạm vi mô hình: ví dụ chỉ có một mô hình mã nguồn mở của OpenAI, còn các mô hình mã nguồn mở của Trung Quốc có chạy trực tiếp được không, hay phải chờ plugin bổ sung phần triển khai tương ứng, cần tra tài liệu từng mô hình để xác nhận. Thứ ba là hiệu năng: chưa có benchmark công khai, nên nhóm muốn đổi chip để tiết kiệm chi phí chỉ có thể tự đo tải rồi đối chiếu với hóa đơn của cụm GPU hiện có.
Gộp các điểm này lại, ở giai đoạn hiện tại SGLang-Neuron giống một lựa chọn bổ sung cho những nhóm vốn đã dùng khu vực nước ngoài của AWS và muốn giảm chi phí suy luận. Phải chờ số liệu hiệu năng tại SGLang Summit mới đánh giá được lựa chọn này còn cách bao xa so với việc «thay thế được một phần GPU».
Nguồn tham khảo: Blog học máy của AWS, blog LMSYS, CocoLoop; phiên bản container, tham số khởi chạy và mô hình ví dụ lấy theo cấu hình demo trên blog của AWS.