AWS, SGLang을 Trainium에서 구동…시연은 gpt-oss-120b

AWS, SGLang을 Trainium에서 구동…시연은 gpt-oss-120b

아마존 웹 서비스(AWS)는 11월 12일 공식 머신러닝 블로그를 통해 SGLang-Neuron을 정식 공개했다고 밝혔다. 개발자는 평소 SGLang을 다루던 것과 같은 인터페이스로 AWS 자체 설계 칩인 Trainium에 모델을 배포하고, 강화학습용 롤아웃 데이터를 생성할 수 있다. 소프트웨어는 AWS 딥러닝 컨테이너 형태로 배포되며, RadixArk와 아마존의 칩 조직인 Annapurna Labs가 공동으로 내놓았다.

이번 발표는 한 달 전 베타 버전의 연장선에 있다. 10월 22일 LMSYS 블로그가 SGLang Trainium 플러그인 베타를 공개했는데, 당시 저자들은 이를 “초기 마일스톤”으로 규정하며 성능 최적화가 진행 중이고 11월 SGLang Summit에서 업데이트를 내놓겠다고 설명했다. 이번에 AWS가 이를 공식 컨테이너에 담으면서, 실험용 저장소에서 이미지를 바로 받아 쓸 수 있는 단계로 넘어온 셈이다.

플러그인이 SGLang에 연결되는 방식

SGLang-Neuron은 트리 외부 플러그인(out-of-tree plugin)으로, 코드가 SGLang 메인 저장소에 들어가지 않는다. 설치하면 SGLang의 플러그인 진입점을 통해 neuron이라는 플랫폼이 등록되고, 서비스를 띄울 때 환경 변수 SGLANG_PLATFORM=neuron을 설정하면 이 플랫폼이 선택된다.

역할 분담을 보면, API 서버, 요청 수명주기, RadixAttention, 프리픽스 캐시 관리는 기존처럼 SGLang 코어가 맡는다. 플러그인은 Trainium 전용 모델, 어텐션, MoE 레이어, 그래프 실행기를 구현한다. AWS는 이렇게 하면 Trainium 대응과 SGLang 메인라인이 서로의 버전을 기다리지 않고 각자 개선될 수 있다고 설명한다.

그 아래 계층이 TorchNeuron이다. Trainium을 PyTorch의 기본 디바이스로 등록하는 계층으로, SGLang-Neuron의 모델 실행 경로는 표준 PyTorch 연산자를 쓴다. 성능에 민감한 부분은 NKI(Neuron Kernel Interface)로 작성한 커널로 바꾸고, 전체를 torch.compile로 컴파일해 실행 프로그램으로 만든다.

플러그인은 PD 분리도 지원한다. 프리필 서버가 프롬프트의 KV 캐시를 계산하면 EFA 네트워크 위의 NIXL을 통해 디코드 서버로 넘기고, 디코드 서버가 나머지 토큰을 생성한다. 두 서버는 각자 SGLang 스케줄러를 사용하며, 캐시 이동은 플러그인이 맡는다.

공식 시연이 보여준 것과 보여주지 않은 것

블로그가 제시한 전체 예제는 Trainium3 EC2 인스턴스 한 대에서 pytorch-inference-sglang-neuron 컨테이너로 gpt-oss-120b를 띄우는 것이다. 매개변수는 --tp-size 8, --ep-size 8, --kv-cache-dtype fp8_e4m3, --context-length 10240 등이며, 호출은 표준 /v1/chat/completions 엔드포인트로 한다.

확인할 수 있는 내용은 여기까지다. 이번 발표에는 처리량, 지연 시간, 단위 비용 수치가 전혀 없으며 GPU에서 SGLang을 돌린 경우와의 비교도 없다. AWS는 Trainium을 “대규모 학습과 추론에서 뛰어난 경제성을 갖췄다”고 설명하는데, 이는 벤더 스스로의 포지셔닝이며 이번 자료에는 대조할 만한 제3자 테스트가 없다. 어떤 모델과 기능 조합이 검증됐는지는 블로그가 저장소 문서를 보라고 안내할 뿐이고, 본문에서 시연한 것은 gpt-oss-120b 한 가지뿐이다.

중국 팀에게 어떤 의미가 있나

SGLang은 중국에서 오픈 모델을 배포하는 팀 사이에서 널리 쓰인다. DeepSeek, Qwen, MiniMax 같은 모델이 나올 때 SGLang은 가장 먼저 대응을 내놓는 추론 프레임워크 중 하나인 경우가 많다. 이런 팀에게 SGLang-Neuron의 직접적인 이점은 낮은 이전 비용이다. 실행 명령, 호출 인터페이스, 프리픽스 캐시 방식을 다시 익힐 필요가 없고, 바뀌는 것은 주로 하위의 칩과 컴파일 체인이다.

제약도 현실적이다. 첫째는 하드웨어 위치다. AWS 블로그는 중국 리전(베이징, 닝샤)에서 Trainium3 인스턴스를 제공하는지 밝히지 않았다. 써보려는 팀은 우선 해외 리전 계정을 만들어야 할 가능성이 크다. 둘째는 모델 지원 범위다. 예제는 OpenAI 오픈 모델 하나뿐이어서, 중국산 오픈 모델이 그대로 돌아가는지, 플러그인이 해당 구현을 추가할 때까지 기다려야 하는지는 모델별로 문서를 확인해야 한다. 셋째는 성능이다. 공개된 벤치마크가 없어, 칩을 바꿔 비용을 줄이려는 팀은 직접 부하 테스트를 하고 기존 GPU 클러스터 청구서와 비교해 봐야 한다.

이를 종합하면 SGLang-Neuron은 현 단계에서 이미 AWS 해외 리전을 쓰면서 추론 비용을 낮추려는 팀에게 선택지가 하나 늘어난 정도에 가깝다. SGLang Summit에서 성능 데이터가 나와야 이 선택지가 GPU 일부를 대체할 수준에서 얼마나 떨어져 있는지 가늠할 수 있다.

참고 출처: AWS Machine Learning Blog, LMSYS Blog, CocoLoop. 컨테이너 버전, 실행 매개변수, 예제 모델은 AWS 블로그가 시연한 구성을 기준으로 한다.