AWS bawa SGLang ke Trainium, contohnya gpt-oss-120b

AWS bawa SGLang ke Trainium, contohnya gpt-oss-120b

Amazon Web Services mengumumkan pada 12 November lewat blog machine learning resminya bahwa SGLang-Neuron kini tersedia secara umum. Pengembang dapat memakai antarmuka yang sama dengan yang biasa mereka gunakan untuk SGLang guna men-deploy model di chip Trainium buatan AWS sendiri, sekaligus menghasilkan data rollout untuk reinforcement learning. Perangkat lunak ini didistribusikan sebagai AWS Deep Learning Container, dirilis bersama oleh RadixArk dan Annapurna Labs, tim chip di bawah Amazon.

Langkah ini merupakan kelanjutan dari versi beta sebulan sebelumnya. Pada 22 Oktober, blog LMSYS merilis Beta plugin SGLang Trainium, yang oleh penulisnya disebut sebagai “tonggak awal”, dengan catatan bahwa optimasi kinerja masih berjalan dan pembaruan akan disampaikan di SGLang Summit bulan November. Kali ini AWS memasukkannya ke kontainer resmi, sehingga plugin ini bergerak dari repositori eksperimen ke tahap yang imejnya bisa langsung ditarik.

Cara plugin terhubung ke SGLang

SGLang-Neuron adalah plugin di luar pohon kode (out-of-tree plugin), artinya kodenya tidak masuk ke repositori utama SGLang. Setelah dipasang, plugin mendaftarkan sebuah platform bernama neuron lewat titik masuk plugin SGLang, dan platform itu dipilih dengan menyetel variabel lingkungan SGLANG_PLATFORM=neuron saat layanan dijalankan.

Soal pembagian tugas, inti SGLang tetap menangani server API, siklus hidup permintaan, RadixAttention, dan pencatatan prefix cache. Plugin mengimplementasikan model, atensi, lapisan MoE, dan eksekutor graf yang khusus untuk Trainium. Menurut AWS, dengan cara ini adaptasi Trainium dan jalur utama SGLang bisa berkembang sendiri-sendiri tanpa saling menunggu rilis.

Satu lapis di bawahnya ada TorchNeuron, yang mendaftarkan Trainium sebagai perangkat asli PyTorch. Jalur eksekusi model SGLang-Neuron memakai operator PyTorch standar, sementara bagian yang peka terhadap kinerja diganti dengan kernel yang ditulis memakai NKI (Neuron Kernel Interface), lalu semuanya diserahkan ke torch.compile untuk dikompilasi menjadi program yang bisa dijalankan.

Plugin ini juga mendukung pemisahan PD (prefill-decode): server prefill menghitung KV cache dari prompt, lalu mengirimkannya lewat NIXL di jaringan EFA ke server decode, yang kemudian menghasilkan token selanjutnya. Kedua server memakai penjadwal SGLang masing-masing, sedangkan pemindahan cache ditangani plugin.

Apa yang diperlihatkan demo resmi, dan apa yang tidak

Contoh lengkap di blog menjalankan gpt-oss-120b di satu instans EC2 Trainium3 dengan kontainer pytorch-inference-sglang-neuron. Parameternya mencakup --tp-size 8, --ep-size 8, --kv-cache-dtype fp8_e4m3, dan --context-length 10240, dengan pemanggilan lewat antarmuka standar /v1/chat/completions.

Hanya sebatas itu yang bisa dipastikan. Rilis ini tidak menyertakan data throughput, latensi, ataupun biaya per unit, dan tidak ada perbandingan dengan SGLang yang berjalan di GPU. AWS menggambarkan Trainium sebagai chip dengan “keekonomian yang baik untuk pelatihan dan inferensi skala besar”, yang merupakan posisi dari pihak vendor sendiri; materi kali ini tidak memuat pengujian pihak ketiga sebagai pembanding. Soal model dan kombinasi fitur mana yang sudah divalidasi, blog meminta pembaca melihat dokumentasi repositori, dan isi artikel hanya mendemonstrasikan gpt-oss-120b.

Apa gunanya bagi tim di Tiongkok

SGLang banyak dipakai oleh tim di Tiongkok yang men-deploy model sumber terbuka. Saat model seperti DeepSeek, Qwen, dan MiniMax dirilis, SGLang kerap menjadi salah satu kerangka inferensi pertama yang menyediakan dukungan. Bagi tim-tim ini, keuntungan langsung SGLang-Neuron adalah biaya migrasi yang rendah: perintah peluncuran, antarmuka pemanggilan, dan mekanisme prefix cache tidak perlu dipelajari ulang, yang berganti terutama chip dan rantai kompilasi di bawahnya.

Keterbatasannya juga nyata. Pertama, soal lokasi perangkat keras: blog AWS tidak menyebutkan apakah instans Trainium3 tersedia di Region Tiongkok (Beijing dan Ningxia), sehingga tim yang ingin mencoba kemungkinan besar harus lebih dulu membuka akun di region luar negeri. Kedua, cakupan model: contohnya hanya satu model sumber terbuka dari OpenAI, dan apakah model sumber terbuka buatan Tiongkok bisa langsung berjalan atau harus menunggu plugin menambahkan implementasinya, perlu dicek satu per satu di dokumentasi. Ketiga, kinerja: tanpa tolok ukur publik, tim yang ingin berhemat dengan berganti chip harus menguji beban sendiri, lalu membandingkannya dengan tagihan klaster GPU yang ada.

Jika dilihat bersama, SGLang-Neuron untuk saat ini lebih mirip satu opsi tambahan bagi tim yang sudah berada di region luar negeri AWS dan ingin menekan biaya inferensi. Baru setelah data kinerja muncul di SGLang Summit, bisa dinilai seberapa jauh opsi ini dari kemampuan menggantikan sebagian GPU.

Sumber: AWS Machine Learning Blog, LMSYS Blog, CocoLoop; versi kontainer, parameter peluncuran, dan model contoh mengikuti konfigurasi yang didemonstrasikan di blog AWS.