Google Cloud mengumumkan pada hari PyTorch Conference 2026 bahwa TorchTPU, yang dikembangkan bersama tim PyTorch Meta, kini open source di GitHub. Menurut Google, TPU sekarang menjadi opsi perangkat native PyTorch seperti halnya GPU dan CPU, dan kode yang sudah ada pada dasarnya bisa berjalan tanpa banyak perubahan.
Pengumuman ini ditandatangani oleh Mark Lohmeyer, wakil presiden AI dan infrastruktur komputasi Google Cloud, serta Bill Jia, wakil presiden teknik. Repositori kodenya berada di organisasi google-pytorch, sedangkan backend vLLM dan SGLang yang menyertainya ditempatkan di organisasi masing-masing proyek.
Satu kali open source, menyambung sederet framework
TorchTPU mendukung debugging mode eager, dan juga bisa melewati torch.compile untuk meningkatkan pemanfaatan TPU serta menekan beban memori. Cukup banyak proyek hulu dan hilir yang terhubung pada hari yang sama:
- Sisi inferensi: vLLM dan SGLang masing-masing mendapat backend PyTorch native. Yang pertama mendukung continuous batching, kuantisasi, dan paralelisme multi-chip, sedangkan yang kedua memakai RadixAttention untuk menggunakan ulang KV cache. llm-d 1.0, yang dirilis bersama Red Hat dan IBM, menangani routing yang sadar prefix cache serta pemisahan prefill dan decode.
- Sisi pelatihan: TorchTitan telah memvalidasi model seperti Llama 3 70B/405B, Qwen 3 8B/32B, Qwen 3 235B (MoE), dan FLUX.1 12B. Framework reinforcement learning VeRL telah menggabungkan backend TPU dan resep acuan GRPO, saat ini berstatus pratinjau.
- Ekosistem: Hugging Face Transformers v5 memuat model ke TPU dengan satu baris
device_map="tpu", dan continuous integration TPU yang berjalan setiap malam juga dibuat untuk Transformers. Ray dapat merangkai CPU, GPU, dan TPU dalam satu pipeline.
Google menyajikan dua kelompok angka performa. TorchTitan mencapai MFU 52% pada Qwen 3 8B dan berskala hampir linear hingga 8.192 chip Ironwood (TPU v7x). Mitra Zenteiq, dengan llm-d dan GKE, menaikkan hasil generasi harian per 1.000 TPU v6e dari 1,47 miliar token menjadi 5,97 miliar, yakni peningkatan lebih dari 4 kali lipat. Kedua kelompok angka berasal dari pengujian sendiri oleh Google atau mitranya, dan pengumuman tidak melampirkan konfigurasi lengkap untuk mereproduksinya.
Mengapa Meta ikut tampil
Jana van Greunen, direktur teknik PyTorch di Meta, memberikan satu kutipan dalam pengumuman:
"We cannot be constrained by a single hardware architecture."
Kami tidak boleh terikat pada satu arsitektur perangkat keras saja.
Ia menyebut TorchTPU sudah menopang "skenario produksi yang kritis" pada model besar, iklan, dan sistem rekomendasi Meta. Berapa banyak TPU yang dipakai dan berapa porsinya dari total komputasi Meta tidak diungkap kali ini. Hugging Face, Inferact (di balik vLLM), dan RadixArk (di balik SGLang) juga menyampaikan pernyataan, semuanya bertumpu pada "keragaman perangkat keras".
Pada pekan yang sama, AWS juga menyerahkan versinya
Jika TorchTPU disandingkan dengan TorchNeuron yang diumumkan AWS sehari sebelumnya, keduanya menempuh jalur yang sama. TorchNeuron adalah backend PyTorch native untuk Trainium, open source dengan lisensi Apache 2.0, dan menjadi beta publik sejak 20 Oktober. Ia mendukung Trainium2 dan Trainium3, dan pengguna hanya perlu menulis .to('neuron'). Ia juga menjadikan Transformers v5 dan TorchTitan sebagai etalase, dan direktur teknik PyTorch Meta yang sama turut menulis testimoni untuk AWS.
Bedanya ada pada detail. AWS membuka cara pengujiannya: uji buta atas 100 ribu model Hugging Face, menjalankan tes upstream PyTorch dengan sekitar 154 ribu hasil, yang sekitar 39 ribu di antaranya sengaja dilewati oleh Neuron, mencakup fitur yang belum didukung rilis pertama seperti sparse tensor dan dynamic shape. Pihak Google hanya mencantumkan daftar yang didukung; operator mana yang jatuh balik ke CPU dan fitur mana yang belum ada tidak dijelaskan dengan tingkat kerincian yang sama dalam pengumuman.
Keduanya bergantung pada antarmuka netral perangkat yang dibangun komunitas PyTorch dalam beberapa tahun terakhir, misalnya titik ekstensi PrivateUse1 dan torch.accelerator. Sebelumnya, pengguna PyTorch yang ingin memakai TPU terutama mengandalkan PyTorch/XLA yang menerjemahkan lewat kompiler XLA, dan pengalaman debugging-nya lama dikeluhkan. Dengan backend native, ambang migrasi turun dari "mengubah kode" menjadi "mengganti nama perangkat".
Bagi pengembang, ujian paling nyata adalah model-model yang tidak masuk daftar validasi resmi. Dokumentasi TorchTPU hanya menyebut TPU v6e dan Ironwood; apakah generasi yang lebih lama bisa dipakai dan bagaimana performanya, Google belum menjelaskan. Plugin agen TPU yang menyertainya pun masih dalam pratinjau awal.
Sumber: blog resmi Google Cloud, blog resmi PyTorch (pengumuman TorchNeuron), CocoLoop, repositori GitHub TorchTPU; angka MFU dan throughput mengacu pada pengujian sendiri oleh Google dan mitranya.