AWS 讓 SGLang 跑上 Trainium,範例用 gpt-oss-120b

AWS 讓 SGLang 跑上 Trainium,範例用 gpt-oss-120b

亞馬遜雲端運算服務(AWS)於 11 月 12 日在官方機器學習部落格宣布,SGLang-Neuron 正式公開可用。開發者可以用平常調校 SGLang 的同一套介面,在 AWS 自研的 Trainium 晶片上部署模型,並產生強化學習所需的 rollout 資料。軟體以 AWS 深度學習容器的形式發布,由 RadixArk 與亞馬遜旗下晶片團隊 Annapurna Labs 合作推出。

這次發布是一個月前測試版的延續。10 月 22 日,LMSYS 部落格曾釋出 SGLang Trainium 外掛的 Beta 版,當時作者把它定位為「早期里程碑」,表示效能最佳化仍在進行,並會在 11 月的 SGLang Summit 上提供更新。這回 AWS 把它放進官方容器,等於從實驗性儲存庫走到了可以直接拉取映像檔的階段。

外掛如何接上 SGLang

SGLang-Neuron 是一個樹外外掛(out-of-tree plugin),程式碼不會進入 SGLang 主儲存庫。安裝後,它會透過 SGLang 的外掛入口註冊一個名為 neuron 的平台,啟動服務時設定環境變數 SGLANG_PLATFORM=neuron 即可選用。

在分工上,SGLang 核心照舊負責 API 服務、請求生命週期、RadixAttention 與前綴快取的記帳;外掛這邊則實作 Trainium 專用的模型、注意力、MoE 層與圖執行器。AWS 的說法是,這樣 Trainium 的適配工作與 SGLang 主線可以各自迭代,不必互相等待版本。

再往下一層是 TorchNeuron。它把 Trainium 註冊為 PyTorch 的原生裝置,SGLang-Neuron 的模型執行路徑使用標準 PyTorch 運算子,對效能敏感的部分則換成以 NKI(Neuron Kernel Interface)撰寫的核心,最後統一交給 torch.compile 編譯成可執行程式。

外掛也支援預填充與解碼分離(PD 分離):預填充伺服器算出提示詞的 KV 快取,經由 EFA 網路上的 NIXL 傳給解碼伺服器,後者再接著產生其餘的 token。兩台伺服器各自使用 SGLang 的排程器,快取搬移則由外掛負責。

官方示範了什麼,沒示範什麼

部落格提供的完整範例,是在一台 Trainium3 的 EC2 執行個體上,用 pytorch-inference-sglang-neuron 容器啟動 gpt-oss-120b,參數包括 --tp-size 8、--ep-size 8、--kv-cache-dtype fp8_e4m3、--context-length 10240,呼叫方式就是標準的 /v1/chat/completions 介面。

能確認的就到這裡。這次發布沒有給出任何吞吐量、延遲或單位成本數據,也沒有與在 GPU 上跑 SGLang 的比較。AWS 對 Trainium 的描述是「在大規模訓練與推論上具備良好的經濟效益」,這屬於廠商自己的定位,本次資料中沒有第三方測試可供對照。至於支援哪些模型、哪些功能組合經過驗證,部落格請讀者自行查閱儲存庫文件,正文只示範了 gpt-oss-120b 這一種。

對中國大陸團隊有什麼用

SGLang 在中國大陸部署開源模型的團隊中使用相當廣泛,DeepSeek、Qwen、MiniMax 這類模型上線時,SGLang 常是首批提供適配的推論框架之一。對這些團隊來說,SGLang-Neuron 最直接的好處是遷移成本低:啟動指令、呼叫介面、前綴快取機制都不必重新學習,要換的主要是底層的晶片與編譯鏈。

限制也很實際。第一是硬體在哪裡:AWS 部落格沒有說明中國區域(北京、寧夏)是否提供 Trainium3 執行個體,大陸團隊想試用,多半得先開海外區域的帳號。第二是模型涵蓋範圍:範例只有一個 OpenAI 開源模型,大陸的開源模型能不能直接跑、是否要等外掛補上對應實作,得逐一查文件確認。第三是效能:沒有公開基準測試,想靠換晶片省錢的團隊只能自行壓測,再與現有 GPU 叢集的帳單比較。

綜合來看,SGLang-Neuron 現階段更像是替已經在 AWS 海外區域、又想壓低推論成本的團隊多開了一個選項。等 SGLang Summit 上的效能數據出爐,才能判斷這個選項離「能取代一部分 GPU」還有多遠。

參考來源:AWS 機器學習部落格、LMSYS 部落格、CocoLoop;容器版本、啟動參數與範例模型以 AWS 部落格示範的設定為準。