Auf der Google Cloud Next am 22. April stellte Sundar Pichai die achte TPU-Generation vor – nicht einen Chip, sondern zwei: TPU 8t und TPU 8i.
Die Entscheidung, eine Produktgeneration in zwei Teile aufzuspalten, ist an sich schon bemerkenswert.
TPU 8t: Für das Training
Das "t" in TPU 8t steht für Training. Die Kernparameter:
| Kennzahl | TPU 8t |
|---|---|
| Maximale Verbindungen pro Pod | 9.600 Chips |
| Gemeinsamer Hochbandbreitenspeicher | 2 PB (pro Superpod) |
| Leistung/Preis im Vergleich zur Vorgängergeneration | +2,7x |
| Native Gleitkommagenauigkeit | Unterstützt bf4 (4-Bit-Gleitkomma) |
| Leistung/Stromverbrauch im Vergleich zur Vorgängergeneration | +2x |
Integriert ist ein SparseCore-Beschleuniger, der speziell für unregelmäßige Speicherzugriffsmuster wie Embedding ausgelegt ist. Die Netzwerktopologie verwendet einen 3D-Torus.
Googles Ziel ist es, die Trainingszyklen von Frontier-Modellen von "Monaten" auf "Wochen" zu verkürzen.
TPU 8i: Für die Inferenz
Das "i" in TPU 8i steht für Inference.
| Kennzahl | TPU 8i |
|---|---|
| Maximale Verbindungen pro Pod | 1.152 Chips |
| SRAM im Vergleich zur Vorgängergeneration | 3x |
| All-to-All-Kommunikationssprünge | Reduziert um 50% |
| Leistung/Preis im Vergleich zur Vorgängergeneration | +80% (bei niedrigen Latenzen) |
Verwendet wird die selbst entwickelte Boardfly-ICI-Netzwerktopologie mit integrierter Collectives Acceleration Engine, die speziell die autoregressive Dekodierung beschleunigt – einer der zentralen Engpässe bei der Inferenz großer Modelle.
Warum die Aufteilung?
Die vorherige Generation Ironwood war ein einzelner Chip, der sowohl Training als auch Inferenz bewältigte.
Googles Einschätzung ist nun: Im Zeitalter der Agenten unterscheidet sich die Inferenz grundlegend vom Training.
Training bedeutet: große Chargen, einmalig, Durchsatz priorisiert.
Inferenz (insbesondere bei Agenten) bedeutet: kontinuierlicher Betrieb, niedrige Latenz, gleichzeitiger Betrieb von Millionen von Agenten.
Eine Architektur, die beide Szenarien bedient, muss zwangsläufig Kompromisse bei der Hardware-Effizienz eingehen. Also trennt man sie auf und optimiert jede Linie bis zum Maximum.
Dies ist eine Wette von Google auf die zukünftige Form der KI-Berechnung, nicht nur die Vorstellung eines "schnelleren Chips".
Ist Nvidia beunruhigt?
Google hat Nvidia nicht direkt herausgefordert – und am selben Tag angekündigt, dass es Cloud-Kunden später im Jahr 2026 Nvidias Vera-Rubin-Chips anbieten wird.
Das ist pragmatisch. Unternehmensworkloads sind stark vom CUDA-Ökosystem abhängig, die Migrationskosten sind hoch und nicht von heute auf morgen zu bewältigen. Googles eigene Chips und Nvidia-Chips koexistieren in derselben Cloud – es ist keine "Entweder-oder"-Entscheidung.
Aber die Richtung ist klar: Jede TPU-Generation treibt das Preis-Leistungs-Verhältnis um eine Größenordnung nach oben, und die Kunden haben einen weiteren Grund, den reinen Google-Weg zu wählen.
Als Hintergrund: 75 % des neuen Codes bei Google werden jetzt von KI generiert (im letzten Herbst waren es 50 %). Auf welcher Hardware läuft dieser Code letztlich? Auf ihren eigenen Chips. Dieser Kreislauf beschleunigt sich allmählich.
Quellenangabe: CocoLoop, Google Cloud launches two new AI chips to compete with Nvidia (TechCrunch); Two new TPUs to power the next wave of AI training and inference at Google (SiliconANGLE); Our eighth generation TPUs: two chips for the agentic era (Google Blog); Sundar Pichai shares news from Google Cloud Next 2026 (Google Blog)