Google Cloud 在 PyTorch Conference 2026 當天宣布，與 Meta PyTorch 團隊合作開發的 TorchTPU 已在 GitHub 開源。依 Google 的說法，TPU 從此和 GPU、CPU 一樣，是 PyTorch 的原生裝置選項，現有程式碼基本上不用修改就能執行。
這篇公告的署名者是 Google Cloud AI 與運算基礎設施副總裁 Mark Lohmeyer，以及工程副總裁 Bill Jia。程式碼儲存庫放在 google-pytorch 組織底下，配套的 vLLM、SGLang 後端則分別放進各自專案的組織。
一次開源，串起一整串框架
TorchTPU 支援 eager 模式除錯，也能透過 torch.compile 提高 TPU 使用率、降低記憶體開銷。同一天接入的上下游專案不少：
- 推論端：vLLM 與 SGLang 各有一個原生 PyTorch 後端，前者支援連續批次處理、量化與多晶片平行，後者以 RadixAttention 重複利用 KV cache；與 Red Hat、IBM 共同發表的 llm-d 1.0 負責前綴快取感知路由，以及預填與解碼分離。
- 訓練端：TorchTitan 已驗證 Llama 3 70B/405B、Qwen 3 8B/32B、Qwen 3 235B（MoE）、FLUX.1 12B 等模型；強化學習框架 VeRL 合併了 TPU 後端與 GRPO 參考配方，目前為預覽版。
- 生態系：Hugging Face Transformers v5 用
device_map="tpu"一行就能載入到 TPU，還為 Transformers 建立了每晚執行的 TPU 持續整合；Ray 能把 CPU、GPU、TPU 編進同一條流水線。
Google 提供的效能數字有兩組。TorchTitan 在 Qwen 3 8B 上跑到 52% MFU，並在最多 8192 顆 Ironwood（TPU v7x）上近乎線性擴展。合作夥伴 Zenteiq 搭配 llm-d 與 GKE 後，每 1000 顆 TPU v6e 的每日生成量從 14.7 億個 token 增加到 59.7 億個，提升 4 倍以上。兩組數據都來自 Google 或合作夥伴自行測試，公告並未附上完整的重現設定。
Meta 為何站台
Meta PyTorch 工程總監 Jana van Greunen 在公告中說了一段話：
"We cannot be constrained by a single hardware architecture."
我們不能被單一硬體架構綁住。
她提到 TorchTPU 已經支撐 Meta 大型模型、廣告與推薦系統中的「關鍵正式環境場景」。至於實際用了多少 TPU、佔 Meta 運算量多大比例，這次並未揭露。Hugging Face、vLLM 背後的 Inferact、SGLang 背後的 RadixArk 也都發表了聲明，說法都落在「硬體多樣性」上。
同一週，AWS 也交出一份成績
把 TorchTPU 和前一天 AWS 公布的 TorchNeuron 放在一起看，兩家走的是同一條路。TorchNeuron 是 Trainium 的原生 PyTorch 後端，以 Apache 2.0 開源，10 月 20 日起公開 Beta，支援 Trainium2 與 Trainium3，使用者只需 .to('neuron')。它同樣拿 Transformers v5 和 TorchTitan 當門面，Meta 那位 PyTorch 工程總監也替 AWS 寫了推薦語。
差別在細節。AWS 公開了測試口徑：以 10 萬個 Hugging Face 模型做盲測，執行 PyTorch 上游測試，約得到 15.4 萬項結果，其中約 3.9 萬項是 Neuron 主動跳過，包括稀疏張量、動態形狀等首版不支援的功能。Google 這邊只列出支援清單，哪些運算子會退回 CPU、哪些功能暫時缺席，公告中找不到同等細緻度的說明。
兩家都仰賴 PyTorch 社群這幾年打造的裝置無關介面，例如 PrivateUse1 擴充點與 torch.accelerator。此前 PyTorch 使用者想用 TPU，主要靠 PyTorch/XLA 透過 XLA 編譯器轉譯，除錯體驗一直被詬病。現在改為原生後端，遷移門檻從「改程式碼」降到「改裝置名稱」。
對開發者來說，最實際的檢驗是那些沒進官方驗證清單的模型。TorchTPU 文件寫明的 TPU 型號只有 v6e 和 Ironwood，更早的幾代能不能用、效能如何，Google 暫未說明；配套的 TPU agent 外掛也還在早期預覽階段。
參考來源：Google Cloud 官方部落格、PyTorch 官方部落格（TorchNeuron 公告）、CocoLoop、TorchTPU GitHub 儲存庫；MFU 與吞吐量數字以 Google 及合作夥伴自行測試的口徑為準。