Google divide la TPU en dos líneas: entrenamiento e inferencia

En Google Cloud Next, el 22 de abril, Sundar Pichai presentó la octava generación de TPU – no un chip, sino dos: TPU 8t y TPU 8i.

Dividir una generación de producto en dos vertientes es, por sí mismo, una decisión digna de mención.

TPU 8t: Para entrenamiento

La "t" en TPU 8t significa training (entrenamiento). Parámetros clave:

IndicadorTPU 8t
Conexión máxima por pod9.600 chips
Memoria compartida de alto ancho de banda2 PB (por superpod)
Relación rendimiento/precio frente a la generación anterior+2,7x
Precisión nativa de punto flotanteCompatible con bf4 (punto flotante de 4 bits)
Relación rendimiento/consumo frente a la generación anterior+2x

Incorpora el acelerador SparseCore, diseñado para manejar patrones irregulares de acceso a memoria como los embeddings. La topología de red utiliza 3D torus.

El objetivo de Google es reducir el ciclo de entrenamiento de los modelos frontier de "meses" a "semanas".

TPU 8i: Para inferencia

La "i" en TPU 8i significa inference (inferencia).

IndicadorTPU 8i
Conexión máxima por pod1.152 chips
SRAM frente a la generación anterior3 veces
Saltos de comunicación all-to-allReducción del 50%
Relación rendimiento/precio frente a la generación anterior+80% (en escenarios de baja latencia)

Utiliza la topología de red Boardfly ICI desarrollada internamente, con el Collectives Acceleration Engine integrado, diseñado para acelerar la decodificación autorregresiva – uno de los principales cuellos de botella en la inferencia de modelos grandes.

¿Por qué dividir en dos vertientes?

La generación anterior, Ironwood, era un único chip que manejaba tanto entrenamiento como inferencia.

Ahora, la evaluación de Google es: en la era de los agentes, la inferencia tiene una forma completamente diferente al entrenamiento.

El entrenamiento es: lotes grandes, proceso único, prioridad en el rendimiento.
La inferencia (especialmente con agentes) es: operación continua, baja latencia, ejecución simultánea de millones de agentes.

Una única arquitectura para ambos escenarios inevitablemente implicaría compromisos en la eficiencia del hardware. La solución fue separarlos y optimizar cada uno al máximo.

Esta es una apuesta de Google sobre la forma futura de la computación de IA, no solo el lanzamiento de un "chip más rápido".

¿Está Nvidia preocupada?

Google no lanzó pullas a Nvidia – y el mismo día anunció que proporcionará los chips Vera Rubin de Nvidia a los clientes de Cloud a finales de 2026.

Esto es pragmático. Las cargas de trabajo empresariales dependen en gran medida del ecosistema CUDA, y los costos de migración son altos, no algo que se resuelva de la noche a la mañana. Los chips propietarios de Google y los de Nvidia coexisten en la misma nube – no es una elección de "uno u otro".

Pero la dirección es clara: cada generación de TPU eleva la relación costo-beneficio en un orden de magnitud, dando a los clientes una razón más para elegir el camino puramente Google.

Como dato de contexto: el 75% del nuevo código interno de Google ahora es generado por IA (en el otoño pasado era el 50%). ¿En qué hardware se ejecuta ese código? En los chips que ellos mismos fabrican. Este ciclo se está acelerando gradualmente.

Fuentes de referencia: CocoLoop, Google Cloud launches two new AI chips to compete with Nvidia (TechCrunch); Two new TPUs to power the next wave of AI training and inference at Google (SiliconANGLE); Our eighth generation TPUs: two chips for the agentic era (Google Blog); Sundar Pichai shares news from Google Cloud Next 2026 (Google Blog)