AWS lleva SGLang a Trainium, con ejemplo en gpt-oss-120b

AWS lleva SGLang a Trainium, con ejemplo en gpt-oss-120b

Amazon Web Services anunció el 12 de noviembre en su blog oficial de aprendizaje automático que SGLang-Neuron ya está disponible públicamente. Los desarrolladores pueden usar la misma interfaz con la que ya trabajan en SGLang para desplegar modelos en los chips Trainium de diseño propio de AWS y generar datos de rollout para aprendizaje por refuerzo. El software se distribuye como un AWS Deep Learning Container, publicado por RadixArk en colaboración con Annapurna Labs, el equipo de chips de Amazon.

El paso continúa la versión de prueba de hace un mes. El 22 de octubre, el blog de LMSYS publicó la Beta del plugin de SGLang para Trainium; entonces los autores la describieron como un «hito temprano», dijeron que la optimización del rendimiento seguía en marcha y que habría novedades en el SGLang Summit de noviembre. Ahora AWS lo ha incluido en el contenedor oficial, pasando de un repositorio experimental a una etapa en la que ya se puede descargar la imagen directamente.

Cómo se integra el plugin en SGLang

SGLang-Neuron es un plugin fuera del árbol (out-of-tree plugin): su código no se incorpora al repositorio principal de SGLang. Una vez instalado, registra una plataforma llamada neuron a través del punto de entrada de plugins de SGLang, que se selecciona al iniciar el servicio con la variable de entorno SGLANG_PLATFORM=neuron.

En el reparto de tareas, el núcleo de SGLang sigue encargándose del servicio de API, del ciclo de vida de las solicitudes, de RadixAttention y del registro de la caché de prefijos; el plugin implementa los modelos, la atención, las capas MoE y el ejecutor de grafos específicos de Trainium. Según AWS, así la adaptación a Trainium y la línea principal de SGLang pueden evolucionar cada una por su lado, sin esperar a las versiones de la otra.

Una capa más abajo está TorchNeuron. Registra Trainium como dispositivo nativo de PyTorch; la ruta de ejecución de modelos de SGLang-Neuron usa operadores estándar de PyTorch, las partes sensibles al rendimiento se sustituyen por kernels escritos en NKI (Neuron Kernel Interface), y todo se compila después en un programa ejecutable mediante torch.compile.

El plugin también admite la separación PD (prefill/decode): el servidor de prefill calcula la caché KV del prompt y la transfiere, mediante NIXL sobre la red EFA, al servidor de decodificación, que sigue generando el resto de los tokens. Cada servidor usa su propio planificador de SGLang, y el traslado de la caché corre a cargo del plugin.

Qué muestra la demostración oficial y qué no

El ejemplo completo del blog arranca gpt-oss-120b en una instancia EC2 con Trainium3, usando el contenedor pytorch-inference-sglang-neuron, con parámetros como --tp-size 8, --ep-size 8, --kv-cache-dtype fp8_e4m3 y --context-length 10240; la llamada se hace por la interfaz estándar /v1/chat/completions.

Lo que puede confirmarse termina ahí. Este lanzamiento no ofrece ningún dato de rendimiento, latencia ni coste unitario, ni una comparación con SGLang ejecutándose en GPU. AWS describe Trainium como una opción con «buena economía para el entrenamiento y la inferencia a gran escala»; es el posicionamiento del propio proveedor, y en los materiales de esta ocasión no hay pruebas de terceros con las que contrastarlo. En cuanto a qué modelos y combinaciones de funciones están validados, el blog remite al lector a la documentación del repositorio; en el texto solo se demuestra gpt-oss-120b.

Para qué sirve a los equipos en China

SGLang está muy extendido entre los equipos en China que despliegan modelos de código abierto; cuando salen modelos como DeepSeek, Qwen o MiniMax, SGLang suele ser uno de los primeros frameworks de inferencia en ofrecer compatibilidad. Para estos equipos, la ventaja directa de SGLang-Neuron es el bajo coste de migración: el comando de arranque, la interfaz de llamada y el mecanismo de caché de prefijos no hay que reaprenderlos; lo que cambia es, sobre todo, el chip y la cadena de compilación que hay debajo.

Las limitaciones también son muy prácticas. La primera es dónde está el hardware: el blog de AWS no aclara si las regiones de China (Pekín y Ningxia) ofrecen instancias Trainium3; quien quiera probarlo probablemente tendrá que abrir antes una cuenta en una región en el extranjero. La segunda es la cobertura de modelos: el ejemplo solo incluye un modelo de código abierto de OpenAI, y si los modelos de código abierto chinos funcionan directamente o hay que esperar a que el plugin añada la implementación correspondiente, hay que comprobarlo en la documentación modelo por modelo. La tercera es el rendimiento: sin pruebas de referencia públicas, los equipos que quieran cambiar de chip para ahorrar solo pueden hacer sus propias pruebas de carga y compararlas con la factura de su clúster de GPU actual.

Si se juntan estos puntos, por ahora SGLang-Neuron se parece más a una opción adicional para los equipos que ya están en las regiones de AWS en el extranjero y quieren reducir el coste de inferencia. Habrá que esperar a los datos de rendimiento del SGLang Summit para saber a qué distancia está esta opción de «poder sustituir una parte de las GPU».

Fuentes: blog de aprendizaje automático de AWS, blog de LMSYS, CocoLoop; la versión del contenedor, los parámetros de arranque y el modelo de ejemplo siguen la configuración de la demostración del blog de AWS.