Google、TPUを訓練用と推論用の2系統に分割

4月22日のGoogle Cloud Nextで、Sundar Pichai氏が第8世代TPUを発表した。1つのチップではなく、TPU 8tとTPU 8iの2種類である。

1世代の製品を2つに分割するという判断自体が注目に値する。

TPU 8t:訓練向け

TPU 8tの「t」はtraining(訓練)を意味する。主な仕様は以下の通り。

指標TPU 8t
1ポッドあたりの最大接続チップ数9,600
共有高帯域幅メモリ2PB(1スーパーポッドあたり)
性能/価格比(前世代比)+2.7倍
ネイティブ浮動小数点精度bf4(4ビット浮動小数点)対応
性能/消費電力比(前世代比)+2倍

内蔵のSparseCoreアクセラレータにより、embeddingのようなメモリアクセスが不規則な処理を高速化。ネットワークトポロジは3Dトーラスを採用。

Googleはフロンティアモデルの訓練サイクルを「月単位」から「週単位」に短縮することを目指す。

TPU 8i:推論向け

TPU 8iの「i」はinference(推論)を意味する。主な仕様は以下の通り。

指標TPU 8i
1ポッドあたりの最大接続チップ数1,152
SRAM(前世代比)3倍
all-to-all通信のホップ数50%削減
性能/価格比(前世代比、低遅延シナリオ)+80%

独自開発のBoardfly ICIネットワークトポロジを採用し、Collectives Acceleration Engineを内蔵。大規模モデル推論の主要なボトルネックである自己回帰デコードを高速化する。

なぜ2つに分割したのか?

前世代のIronwoodは1つのチップで訓練と推論の両方を処理していた。

現在のGoogleの判断は、エージェント時代において、推論の形態は訓練とは根本的に異なるというものだ。

訓練は:大バッチ、一括処理、スループット優先。
推論(特にエージェント)は:継続稼働、低遅延、数百万のエージェントの同時実行。

1つのアーキテクチャで両方のシナリオを最適化しようとすると、ハードウェア効率が妥協される。そこでGoogleは分割し、それぞれを極限まで最適化する道を選んだ。

これは単なる「より高速なチップ」の発表ではなく、将来のAIコンピューティングの形態に対する賭けである。

Nvidiaは緊張しているか?

GoogleはNvidiaを直接標的にしなかった。それどころか、同日に2026年後半にCloud顧客向けにNvidiaのVera Rubinチップを提供すると発表した。

これは現実的な判断だ。エンタープライズワークロードはCUDAエコシステムに大きく依存しており、移行コストは高く、一朝一夕には進まない。Googleの自社開発チップとNvidiaのチップは同じクラウド内で共存する。「二者択一」ではない。

しかし方向性は明確だ。TPUの世代が進むごとに性能対コスト比が1桁向上し、顧客が純粋なGoogle路線を選ぶ理由が増えていく

参考までに、Google社内では新規コードの75%がAIによって生成されている(昨年秋は50%)。そのコードは何の上で実行されるのか?自社製のチップだ。この循環は徐々に加速している。

参考元:CocoLoop、Google Cloud launches two new AI chips to compete with Nvidia(TechCrunch);Two new TPUs to power the next wave of AI training and inference at Google(SiliconANGLE);Our eighth generation TPUs: two chips for the agentic era(Google Blog);Sundar Pichai shares news from Google Cloud Next 2026(Google Blog)