AWS leva o SGLang ao Trainium, com exemplo em gpt-oss-120b

AWS leva o SGLang ao Trainium, com exemplo em gpt-oss-120b

A Amazon Web Services anunciou em 12 de novembro, no blog oficial de aprendizado de máquina, que o SGLang-Neuron está oficialmente disponível ao público. Os desenvolvedores podem usar a mesma interface com que já operam o SGLang para implantar modelos nos chips Trainium desenvolvidos pela própria AWS e gerar dados de rollout para aprendizado por reforço. O software é distribuído como um AWS Deep Learning Container, lançado pela RadixArk em parceria com a Annapurna Labs, a equipe de chips da Amazon.

O passo dá continuidade à versão de teste de um mês atrás. Em 22 de outubro, o blog da LMSYS publicou a Beta do plugin do SGLang para Trainium; na ocasião, os autores o descreveram como um «marco inicial», disseram que a otimização de desempenho continuava e que haveria novidades no SGLang Summit, em novembro. Agora a AWS o colocou no contêiner oficial, saindo de um repositório experimental para uma etapa em que já é possível baixar a imagem diretamente.

Como o plugin se conecta ao SGLang

O SGLang-Neuron é um plugin fora da árvore (out-of-tree plugin): o código não entra no repositório principal do SGLang. Depois de instalado, ele registra, pelo ponto de entrada de plugins do SGLang, uma plataforma chamada neuron, que é selecionada ao iniciar o serviço com a variável de ambiente SGLANG_PLATFORM=neuron.

Na divisão de tarefas, o núcleo do SGLang continua responsável pelo serviço de API, pelo ciclo de vida das requisições, pelo RadixAttention e pelo controle do cache de prefixos; o plugin implementa os modelos, a atenção, as camadas MoE e o executor de grafos específicos do Trainium. Segundo a AWS, assim a adaptação ao Trainium e a linha principal do SGLang podem evoluir cada uma no seu ritmo, sem esperar pelas versões da outra.

Uma camada abaixo está o TorchNeuron. Ele registra o Trainium como dispositivo nativo do PyTorch; o caminho de execução de modelos do SGLang-Neuron usa operadores padrão do PyTorch, as partes sensíveis ao desempenho são trocadas por kernels escritos em NKI (Neuron Kernel Interface), e tudo é depois compilado em um programa executável pelo torch.compile.

O plugin também oferece suporte à separação PD (prefill/decode): o servidor de prefill calcula o cache KV do prompt e o transfere, por meio do NIXL sobre a rede EFA, ao servidor de decodificação, que continua gerando os tokens restantes. Cada servidor usa o seu próprio escalonador do SGLang, e a movimentação do cache fica a cargo do plugin.

O que a demonstração oficial mostra e o que não mostra

O exemplo completo do blog inicia o gpt-oss-120b em uma instância EC2 com Trainium3, usando o contêiner pytorch-inference-sglang-neuron, com parâmetros como --tp-size 8, --ep-size 8, --kv-cache-dtype fp8_e4m3 e --context-length 10240; a chamada é feita pela interface padrão /v1/chat/completions.

O que se pode confirmar termina aí. Este lançamento não traz nenhum dado de vazão, latência ou custo unitário, nem comparação com o SGLang rodando em GPUs. A AWS descreve o Trainium como tendo «boa relação custo-benefício para treinamento e inferência em grande escala»; é o posicionamento do próprio fornecedor, e nos materiais desta vez não há testes de terceiros para confrontá-lo. Sobre quais modelos e combinações de recursos foram validados, o blog remete o leitor à documentação do repositório; no texto, só o gpt-oss-120b é demonstrado.

De que serve para equipes na China

O SGLang é muito usado entre as equipes na China que implantam modelos de código aberto; quando modelos como DeepSeek, Qwen e MiniMax são lançados, o SGLang costuma estar entre os primeiros frameworks de inferência a oferecer suporte. Para essas equipes, o benefício direto do SGLang-Neuron é o baixo custo de migração: o comando de inicialização, a interface de chamada e o mecanismo de cache de prefixos não precisam ser reaprendidos, e o que muda é sobretudo o chip e a cadeia de compilação por baixo.

As limitações também são bem práticas. A primeira é onde está o hardware: o blog da AWS não esclarece se as regiões da China (Pequim e Ningxia) oferecem instâncias Trainium3; quem quiser testar provavelmente terá de abrir antes uma conta em uma região no exterior. A segunda é a cobertura de modelos: o exemplo traz apenas um modelo de código aberto da OpenAI, e se os modelos de código aberto chineses rodam diretamente, ou se é preciso esperar que o plugin ganhe a implementação correspondente, deve ser verificado na documentação modelo a modelo. A terceira é o desempenho: sem benchmarks públicos, as equipes que querem trocar de chip para economizar só podem fazer seus próprios testes de carga e compará-los com a fatura do cluster de GPUs atual.

Reunindo esses pontos, por ora o SGLang-Neuron se parece mais com uma opção adicional para equipes que já estão nas regiões da AWS no exterior e querem reduzir o custo de inferência. Só quando os dados de desempenho do SGLang Summit saírem será possível avaliar quão longe essa opção está de «poder substituir parte das GPUs».

Fontes: blog de aprendizado de máquina da AWS, blog da LMSYS, CocoLoop; a versão do contêiner, os parâmetros de inicialização e o modelo de exemplo seguem a configuração demonstrada no blog da AWS.