Amazon Web Services hat am 12. November im offiziellen Machine-Learning-Blog angekündigt, dass SGLang-Neuron allgemein öffentlich verfügbar ist. Entwickler können mit derselben Schnittstelle, mit der sie sonst SGLang betreiben, Modelle auf den von AWS selbst entwickelten Trainium-Chips bereitstellen und Rollout-Daten für Reinforcement Learning erzeugen. Die Software wird als AWS Deep Learning Container ausgeliefert und von RadixArk gemeinsam mit Annapurna Labs, dem Chipteam von Amazon, veröffentlicht.
Der Schritt knüpft an die Testversion von vor einem Monat an. Am 22. Oktober hatte der LMSYS-Blog eine Beta des SGLang-Plugins für Trainium vorgestellt; die Autoren bezeichneten sie damals als «frühen Meilenstein», die Leistungsoptimierung laufe weiter, und auf dem SGLang Summit im November werde es ein Update geben. Nun hat AWS das Plugin in den offiziellen Container aufgenommen – vom Experimental-Repository zu einem Stand, bei dem man das Image direkt ziehen kann.
Wie das Plugin in SGLang eingebunden wird
SGLang-Neuron ist ein Out-of-Tree-Plugin; der Code gehört nicht zum Hauptrepository von SGLang. Nach der Installation registriert es über den Plugin-Einstiegspunkt von SGLang eine Plattform namens neuron, die beim Start des Dienstes mit der Umgebungsvariable SGLANG_PLATFORM=neuron ausgewählt wird.
Bei der Aufgabenteilung bleibt der SGLang-Kern wie bisher für den API-Dienst, den Lebenszyklus der Anfragen, RadixAttention und die Buchführung des Präfix-Caches zuständig; das Plugin implementiert die Trainium-spezifischen Modelle, die Attention, die MoE-Schichten und den Graph-Executor. Laut AWS können so die Trainium-Anpassung und der SGLang-Hauptzweig jeweils eigenständig weiterentwickelt werden, ohne aufeinander zu warten.
Eine Ebene tiefer liegt TorchNeuron. Es registriert Trainium als natives PyTorch-Gerät; der Ausführungspfad von SGLang-Neuron nutzt Standard-PyTorch-Operatoren, leistungskritische Teile werden durch in NKI (Neuron Kernel Interface) geschriebene Kernel ersetzt, und alles wird anschließend von torch.compile zu einem ausführbaren Programm kompiliert.
Das Plugin unterstützt außerdem die PD-Trennung (Prefill/Decode): Der Prefill-Server berechnet den KV-Cache des Prompts und übergibt ihn über NIXL im EFA-Netzwerk an den Decode-Server, der die restlichen Token erzeugt. Beide Server verwenden jeweils den Scheduler von SGLang, den Transport des Caches übernimmt das Plugin.
Was die offizielle Demo zeigt – und was nicht
Das vollständige Beispiel im Blog startet gpt-oss-120b auf einer Trainium3-EC2-Instanz mit dem Container pytorch-inference-sglang-neuron. Zu den Parametern gehören --tp-size 8, --ep-size 8, --kv-cache-dtype fp8_e4m3 und --context-length 10240; aufgerufen wird über die Standardschnittstelle /v1/chat/completions.
Mehr lässt sich nicht bestätigen. Diese Veröffentlichung enthält keinerlei Angaben zu Durchsatz, Latenz oder Stückkosten und auch keinen Vergleich mit SGLang auf GPUs. AWS beschreibt Trainium als «wirtschaftlich attraktiv für Training und Inferenz im großen Maßstab»; das ist die Eigenpositionierung des Anbieters, und in den vorliegenden Unterlagen gibt es keinen Test Dritter, mit dem sich das abgleichen ließe. Welche Modelle und welche Funktionskombinationen validiert sind, überlässt der Blog der Dokumentation im Repository; im Text selbst wird nur gpt-oss-120b vorgeführt.
Was es Teams in China bringt
SGLang ist bei Teams in China, die Open-Source-Modelle betreiben, weit verbreitet; wenn Modelle wie DeepSeek, Qwen oder MiniMax erscheinen, gehört SGLang oft zu den ersten Inferenz-Frameworks mit passender Unterstützung. Für diese Teams liegt der unmittelbare Vorteil von SGLang-Neuron in den niedrigen Migrationskosten: Startbefehl, Aufrufschnittstelle und Präfix-Cache-Mechanismus müssen nicht neu gelernt werden, ausgetauscht werden im Wesentlichen der Chip und die Compiler-Kette darunter.
Die Einschränkungen sind ebenfalls handfest. Erstens die Hardware: Der AWS-Blog sagt nicht, ob die Regionen in China (Peking, Ningxia) Trainium3-Instanzen anbieten; wer es ausprobieren will, muss vermutlich zuerst ein Konto in einer Auslandsregion einrichten. Zweitens die Modellabdeckung: Das Beispiel nutzt nur ein Open-Source-Modell von OpenAI; ob chinesische Open-Source-Modelle direkt laufen oder erst eine passende Implementierung im Plugin nachgereicht werden muss, ist je Modell in der Dokumentation zu prüfen. Drittens die Leistung: Es gibt keine öffentlichen Benchmarks, wer mit einem Chipwechsel Kosten sparen will, muss selbst Lasttests fahren und das Ergebnis mit der Rechnung des bestehenden GPU-Clusters vergleichen.
Zusammengenommen ist SGLang-Neuron derzeit eher eine zusätzliche Option für Teams, die bereits in AWS-Auslandsregionen arbeiten und ihre Inferenzkosten senken wollen. Erst wenn die Leistungsdaten vom SGLang Summit vorliegen, lässt sich beurteilen, wie weit diese Option noch davon entfernt ist, «einen Teil der GPUs ersetzen» zu können.
Quellen: AWS-Machine-Learning-Blog, LMSYS-Blog, CocoLoop; Container-Version, Startparameter und Beispielmodell folgen der Demokonfiguration im AWS-Blog.