亚马逊云科技 11 月 12 日在官方机器学习博客上宣布,SGLang-Neuron 正式公开可用。开发者可以用平时调 SGLang 的同一套接口,在 AWS 自研的 Trainium 芯片上部署模型、生成强化学习的 rollout 数据。软件以 AWS 深度学习容器的形式分发,由 RadixArk 与亚马逊旗下芯片团队 Annapurna Labs 合作发布。
这一步是一个月前那次测试版的延续。10 月 22 日,LMSYS 博客发过 SGLang Trainium 插件的 Beta,当时作者把它定位成”早期里程碑”,说性能优化还在进行,会在 11 月的 SGLang Summit 上给出更新。这次 AWS 把它放进了官方容器,算是从实验仓库走到了可以直接拉镜像的阶段。
插件怎么接进 SGLang
SGLang-Neuron 是一个树外插件(out-of-tree plugin),代码不进 SGLang 主仓库。装上插件后,它通过 SGLang 的插件入口注册一个叫 neuron 的平台,启动服务时设置环境变量 SGLANG_PLATFORM=neuron 就会选中它。
分工上,SGLang 核心照旧负责 API 服务、请求生命周期、RadixAttention 和前缀缓存的记账;插件这边实现 Trainium 专用的模型、注意力、MoE 层和图执行器。AWS 的说法是,这样 Trainium 适配和 SGLang 主线可以各自迭代,不用互相等版本。
再往下一层是 TorchNeuron。它把 Trainium 注册成 PyTorch 的原生设备,SGLang-Neuron 的模型执行路径用的是标准 PyTorch 算子,性能敏感的部分换成用 NKI(Neuron Kernel Interface)写的内核,再统一交给 torch.compile 编译成可执行程序。
插件还支持 PD 分离:预填充服务器算出提示词的 KV 缓存,经由 EFA 网络上的 NIXL 传给解码服务器,后者接着生成剩下的 token。两台服务器各自用 SGLang 的调度器,缓存搬运由插件负责。
官方演示了什么,没演示什么
博客给的完整示例是在一台 Trainium3 的 EC2 实例上,用 pytorch-inference-sglang-neuron 容器启动 gpt-oss-120b,参数包括 --tp-size 8、--ep-size 8、--kv-cache-dtype fp8_e4m3、--context-length 10240,调用方式就是标准的 /v1/chat/completions 接口。
能确认的到此为止。这次发布没有给出任何吞吐、延迟或单位成本数据,也没有和 GPU 上跑 SGLang 的对比。AWS 对 Trainium 的描述是”在大规模训练和推理上有很好的经济性”,这属于厂商自己的定位,本次材料里没有第三方测试可以对照。支持哪些模型、哪些功能组合经过验证,博客让读者去看仓库文档,正文只演示了 gpt-oss-120b 这一种。
对国内团队有什么用
SGLang 在国内部署开源模型的团队里用得很广,DeepSeek、Qwen、MiniMax 这类模型上线时,SGLang 常是首批给出适配的推理框架之一。对这些团队来说,SGLang-Neuron 的直接好处是迁移成本低:启动命令、调用接口、前缀缓存机制都不用重学,换的主要是底下的芯片和编译链。
限制也很实际。一是硬件在哪儿:AWS 博客没有说明中国区(北京、宁夏区域)是否提供 Trainium3 实例,国内团队想试,多半得先开海外区域账号。二是模型覆盖:示例只有一个 OpenAI 开源模型,国产开源模型能不能直接跑、要不要等插件补上对应实现,得逐个查文档确认。三是性能:没有公开基准,想换芯片省钱的团队只能自己压测,再和现有 GPU 集群的账单比。
把这几件事合起来看,SGLang-Neuron 现阶段更像是给已经在 AWS 海外区域、又想压低推理成本的团队多开了一个选项。等 SGLang Summit 上的性能数据出来,才能判断这个选项离”能替掉一部分 GPU”还有多远。
参考来源:AWS 机器学习博客、LMSYS 博客、CocoLoop;容器版本、启动参数与示例模型以 AWS 博客演示配置为准。