Pada Google Cloud Next, 22 April, Sundar Pichai meluncurkan TPU generasi kedelapan — bukan satu chip, melainkan dua: TPU 8t dan TPU 8i.
Keputusan untuk membagi satu generasi produk menjadi dua bagian ini patut dicermati.
TPU 8t: Dirancang untuk Pelatihan
Huruf "t" pada TPU 8t berarti training (pelatihan). Spesifikasi intinya:
| Metrik | TPU 8t |
|---|---|
| Jumlah chip maksimum per pod | 9.600 chip |
| Memori bandwidth tinggi bersama | 2 PB (per superpod) |
| Rasio kinerja/harga vs. generasi sebelumnya | +2,7x |
| Presisi floating-point asli | Mendukung bf4 (floating-point 4-bit) |
| Rasio kinerja/daya vs. generasi sebelumnya | +2x |
Dilengkapi akselerator SparseCore terintegrasi yang dirancang khusus untuk menangani skenario akses memori tidak teratur seperti embedding. Topologi jaringan menggunakan 3D torus.
Target Google adalah memampatkan siklus pelatihan model frontier dari "hitungan bulan" menjadi "hitungan minggu."
TPU 8i: Dirancang untuk Inferensi
Huruf "i" pada TPU 8i berarti inference (inferensi). Spesifikasi intinya:
| Metrik | TPU 8i |
|---|---|
| Jumlah chip maksimum per pod | 1.152 chip |
| SRAM vs. generasi sebelumnya | 3x |
| Lompatan komunikasi all-to-all | Berkurang 50% |
| Rasio kinerja/harga vs. generasi sebelumnya (skenario latensi rendah) | +80% |
Menggunakan topologi jaringan Boardfly ICI buatan sendiri, dilengkapi Collectives Acceleration Engine yang dirancang untuk mempercepat decoding autoregresif — salah satu hambatan utama dalam inferensi model besar.
Mengapa Dipisah Menjadi Dua?
Generasi sebelumnya, Ironwood, menangani pelatihan dan inferensi dalam satu chip.
Penilaian Google saat ini adalah: di era agen, bentuk inferensi sangat berbeda dari pelatihan.
Pelatihan bersifat: batch besar, satu kali, prioritas throughput.
Inferensi (terutama untuk agen) bersifat: operasi berkelanjutan, latensi rendah, menjalankan jutaan agen secara konkuren.
Satu arsitektur yang dioptimalkan untuk kedua skenario ini pasti akan mengorbankan efisiensi perangkat keras. Maka dari itu, Google memutuskan untuk memisahkannya dan mengoptimalkan masing-masing secara maksimal.
Ini adalah taruhan pada bentuk komputasi AI di masa depan — bukan sekadar peluncuran "chip yang lebih cepat."
Apakah Nvidia Khawatir?
Google tidak secara langsung menyerang Nvidia — dan di hari yang sama mengumumkan akan menyediakan chip Vera Rubin milik Nvidia untuk pelanggan Cloud pada akhir 2026.
Ini adalah langkah pragmatis. Beban kerja perusahaan sangat bergantung pada ekosistem CUDA, dan biaya migrasi tinggi — tidak bisa terjadi dalam semalam. Chip buatan Google dan chip Nvidia akan hidup berdampingan di cloud yang sama; ini bukan pilihan "salah satu."
Namun arahnya jelas: setiap generasi TPU mendorong rasio kinerja per dolar naik satu tingkat, memberi pelanggan satu alasan lagi untuk memilih jalur Google murni.
Sebagai konteks: 75% kode baru di Google kini dihasilkan oleh AI (naik dari 50% pada musim gugur lalu). Kode itu dijalankan di atas apa? Chip buatan mereka sendiri. Siklus ini perlahan-lahan semakin cepat.
Sumber referensi: CocoLoop, Google Cloud launches two new AI chips to compete with Nvidia (TechCrunch); Two new TPUs to power the next wave of AI training and inference at Google (SiliconANGLE); Our eighth generation TPUs: two chips for the agentic era (Google Blog); Sundar Pichai shares news from Google Cloud Next 2026 (Google Blog)