Amazon Web Services(AWS)は11月12日、公式の機械学習ブログでSGLang-Neuronの一般提供を開始したと発表した。開発者は普段SGLangで使っているのと同じインターフェースで、AWS独自設計のTrainiumチップ上にモデルをデプロイしたり、強化学習用のロールアウトデータを生成したりできる。ソフトウェアはAWS Deep Learning Containerとして配布され、RadixArkと、Amazonのチップ部門であるAnnapurna Labsが共同でリリースした。
今回の発表は、約1カ月前のベータ版の続きにあたる。10月22日、LMSYSのブログがSGLang Trainiumプラグインのベータ版を公開した。筆者らはこれを「初期のマイルストーン」と位置づけ、性能最適化は継続中で、11月のSGLang Summitで最新状況を示すと説明していた。今回AWSがこれを公式コンテナに収めたことで、実験的なリポジトリから、イメージをそのままpullできる段階に進んだことになる。
プラグインはSGLangにどう組み込まれるか
SGLang-Neuronはツリー外プラグイン(out-of-tree plugin)で、コードはSGLang本体のリポジトリには入らない。インストールするとSGLangのプラグイン用エントリポイントを通じてneuronというプラットフォームが登録され、サービス起動時に環境変数SGLANG_PLATFORM=neuronを設定すると選択される。
役割分担としては、APIサーバー、リクエストのライフサイクル、RadixAttention、プレフィックスキャッシュの管理はこれまでどおりSGLang本体が担う。プラグイン側がTrainium専用のモデル、アテンション、MoE層、グラフ実行器を実装する。AWSによれば、こうすることでTrainium対応とSGLang本流がそれぞれ独立して更新でき、互いのリリースを待つ必要がない。
さらに下の層にあるのがTorchNeuronだ。Trainiumを PyTorchのネイティブデバイスとして登録するもので、SGLang-Neuronのモデル実行経路は標準のPyTorch演算子を使う。性能に敏感な部分はNKI(Neuron Kernel Interface)で書いたカーネルに置き換え、最終的にtorch.compileでまとめて実行可能なプログラムにコンパイルする。
プラグインはPD分離にも対応する。プリフィル用サーバーがプロンプトのKVキャッシュを計算し、EFAネットワーク上のNIXLを通じてデコード用サーバーに渡す。デコード側が残りのトークンを生成する流れだ。両サーバーはそれぞれSGLangのスケジューラーを使い、キャッシュの受け渡しはプラグインが受け持つ。
公式デモが示したこと、示さなかったこと
ブログに載っている完全な例は、Trainium3のEC2インスタンス1台でpytorch-inference-sglang-neuronコンテナを使い、gpt-oss-120bを起動するものだ。パラメーターは--tp-size 8、--ep-size 8、--kv-cache-dtype fp8_e4m3、--context-length 10240などで、呼び出しは標準の/v1/chat/completionsエンドポイントで行う。
確認できるのはここまでである。今回の発表ではスループット、レイテンシー、単位コストの数値は一切示されておらず、GPU上で動かすSGLangとの比較もない。AWSはTrainiumを「大規模な学習と推論で優れた経済性を持つ」と説明しているが、これはベンダー自身の位置づけであり、今回の資料には照合できる第三者の検証がない。どのモデルや機能の組み合わせが検証済みかについては、ブログはリポジトリのドキュメントを参照するよう案内しており、本文で実演されているのはgpt-oss-120bの1種類だけだ。
中国の開発チームにとっての意味
SGLangは、中国でオープンモデルを運用するチームの間で広く使われている。DeepSeek、Qwen、MiniMaxといったモデルが公開される際、SGLangは真っ先に対応を出す推論フレームワークの一つであることが多い。こうしたチームにとってSGLang-Neuronの直接的な利点は移行コストの低さだ。起動コマンド、呼び出しインターフェース、プレフィックスキャッシュの仕組みを学び直す必要はなく、変わるのは主に下層のチップとコンパイルの流れである。
制約も現実的だ。第一にハードウェアの所在。AWSのブログは、中国リージョン(北京、寧夏)でTrainium3インスタンスが提供されるかどうかを明記していない。試したいチームは、まず海外リージョンのアカウントを開く必要がありそうだ。第二にモデルの対応範囲。例に挙がっているのはOpenAIのオープンモデル1種類だけで、中国発のオープンモデルがそのまま動くのか、プラグイン側の実装追加を待つ必要があるのかは、モデルごとにドキュメントで確認するしかない。第三に性能。公開されたベンチマークがないため、チップを替えてコストを下げたいチームは、自分で負荷試験を行い、既存のGPUクラスターの請求額と比べるしかない。
これらを合わせて見ると、SGLang-Neuronは現段階では、すでにAWSの海外リージョンを使っていて推論コストを抑えたいチームに、選択肢が一つ増えたという位置づけに近い。SGLang Summitで性能データが出て初めて、この選択肢がGPUの一部を置き換えられるところまで来ているかを判断できる。
参考資料:AWS Machine Learning Blog、LMSYS Blog、CocoLoop。コンテナのバージョン、起動パラメーター、例示モデルはAWSブログで実演された構成に基づく。