AWS porte SGLang sur Trainium, avec gpt-oss-120b en exemple

AWS porte SGLang sur Trainium, avec gpt-oss-120b en exemple

Amazon Web Services a annoncé le 12 novembre sur son blog officiel consacré à l'apprentissage automatique que SGLang-Neuron est désormais officiellement disponible au public. Les développeurs peuvent utiliser la même interface que celle qu'ils emploient avec SGLang pour déployer des modèles sur les puces Trainium conçues par AWS et générer des données de rollout pour l'apprentissage par renforcement. Le logiciel est distribué sous forme d'AWS Deep Learning Container, publié par RadixArk en collaboration avec Annapurna Labs, l'équipe puces d'Amazon.

Cette étape prolonge la version de test d'il y a un mois. Le 22 octobre, le blog de LMSYS avait présenté la Beta du plugin SGLang pour Trainium ; les auteurs y voyaient alors un « jalon préliminaire », précisaient que l'optimisation des performances se poursuivait et qu'une mise à jour serait donnée au SGLang Summit en novembre. Cette fois, AWS l'a intégré à son conteneur officiel, passant d'un dépôt expérimental à un stade où l'on peut tirer directement l'image.

Comment le plugin se greffe sur SGLang

SGLang-Neuron est un plugin hors arborescence (out-of-tree plugin) : son code n'est pas intégré au dépôt principal de SGLang. Une fois installé, il enregistre via le point d'entrée des plugins de SGLang une plateforme nommée neuron, que l'on sélectionne au démarrage du service en définissant la variable d'environnement SGLANG_PLATFORM=neuron.

Côté répartition des rôles, le cœur de SGLang continue d'assurer le service d'API, le cycle de vie des requêtes, RadixAttention et la comptabilité du cache de préfixes ; le plugin implémente les modèles, l'attention, les couches MoE et l'exécuteur de graphes propres à Trainium. Selon AWS, l'adaptation à Trainium et la branche principale de SGLang peuvent ainsi évoluer chacune de leur côté, sans s'attendre mutuellement.

Un cran plus bas se trouve TorchNeuron. Il enregistre Trainium comme périphérique natif de PyTorch ; le chemin d'exécution des modèles de SGLang-Neuron utilise des opérateurs PyTorch standard, les parties sensibles aux performances sont remplacées par des noyaux écrits en NKI (Neuron Kernel Interface), puis le tout est compilé en programme exécutable par torch.compile.

Le plugin prend aussi en charge la séparation PD (prefill/decode) : le serveur de prefill calcule le cache KV du prompt et le transmet, via NIXL sur le réseau EFA, au serveur de décodage, qui poursuit la génération des tokens restants. Chaque serveur utilise son propre ordonnanceur SGLang, et le transfert du cache est assuré par le plugin.

Ce que la démonstration officielle montre, et ce qu'elle ne montre pas

L'exemple complet du blog lance gpt-oss-120b sur une instance EC2 Trainium3 avec le conteneur pytorch-inference-sglang-neuron, avec notamment les paramètres --tp-size 8, --ep-size 8, --kv-cache-dtype fp8_e4m3 et --context-length 10240 ; l'appel se fait par l'interface standard /v1/chat/completions.

Ce que l'on peut confirmer s'arrête là. Cette publication ne fournit aucune donnée de débit, de latence ou de coût unitaire, ni comparaison avec SGLang exécuté sur GPU. AWS décrit Trainium comme offrant « une bonne rentabilité pour l'entraînement et l'inférence à grande échelle » ; il s'agit du positionnement du fournisseur lui-même, et les documents de cette annonce ne contiennent aucun test indépendant permettant de le recouper. Quant aux modèles et aux combinaisons de fonctions validés, le blog renvoie le lecteur à la documentation du dépôt ; le texte ne présente que gpt-oss-120b.

À quoi cela sert aux équipes en Chine

SGLang est très répandu parmi les équipes en Chine qui déploient des modèles open source ; à la sortie de modèles comme DeepSeek, Qwen ou MiniMax, SGLang figure souvent parmi les premiers frameworks d'inférence à proposer une prise en charge. Pour ces équipes, l'avantage direct de SGLang-Neuron est un faible coût de migration : la commande de démarrage, l'interface d'appel et le mécanisme de cache de préfixes n'ont pas à être réappris, et ce qui change, c'est surtout la puce et la chaîne de compilation en dessous.

Les limites sont tout aussi concrètes. La première tient à l'emplacement du matériel : le blog d'AWS ne précise pas si les régions de Chine (Pékin, Ningxia) proposent des instances Trainium3 ; les équipes qui veulent essayer devront sans doute d'abord ouvrir un compte dans une région hors de Chine. La deuxième est la couverture des modèles : l'exemple ne contient qu'un seul modèle open source d'OpenAI, et savoir si les modèles open source chinois fonctionnent directement, ou s'il faut attendre que le plugin ajoute l'implémentation correspondante, demande de consulter la documentation modèle par modèle. La troisième concerne les performances : sans benchmark public, les équipes qui voudraient changer de puce pour économiser ne peuvent que réaliser leurs propres tests de charge, puis les comparer à la facture de leur cluster GPU actuel.

Si l'on met ces éléments bout à bout, SGLang-Neuron ressemble pour l'instant surtout à une option supplémentaire pour les équipes déjà présentes dans les régions AWS hors de Chine et soucieuses de réduire leur coût d'inférence. Il faudra attendre les données de performance du SGLang Summit pour juger à quelle distance cette option se trouve de « pouvoir remplacer une partie des GPU ».

Sources : blog d'apprentissage automatique d'AWS, blog de LMSYS, CocoLoop ; la version du conteneur, les paramètres de démarrage et le modèle d'exemple suivent la configuration de la démonstration du blog d'AWS.