4월 22일 Google Cloud Next에서 순다르 피차이(Sundar Pichai) CEO가 8세대 TPU를 발표했다. 하나의 칩이 아닌 TPU 8t와 TPU 8i, 두 가지 제품이다.
한 세대 제품을 두 개로 쪼개는 이 결정 자체가 주목할 만하다.
TPU 8t: 학습용
TPU 8t의 't'는 training(학습)을 의미한다. 주요 사양은 다음과 같다.
| 지표 | TPU 8t |
|---|---|
| 단일 포드 최대 연결 칩 수 | 9,600개 |
| 공유 고대역폭 메모리 | 2PB (슈퍼포드 기준) |
| 성능/가격 비율 (전 세대 대비) | +2.7배 |
| 네이티브 부동소수점 정밀도 | bf4(4비트 부동소수점) 지원 |
| 성능/전력 비율 (전 세대 대비) | +2배 |
내장형 SparseCore 가속기를 탑재해 embedding과 같이 메모리 접근 패턴이 불규칙한 작업을 처리한다. 네트워크 토폴로지는 3D torus를 사용한다.
구글의 목표는 프론티어 모델의 학습 주기를 '월 단위'에서 '주 단위'로 단축하는 것이다.
TPU 8i: 추론용
TPU 8i의 'i'는 inference(추론)를 의미한다. 주요 사양은 다음과 같다.
| 지표 | TPU 8i |
|---|---|
| 단일 포드 최대 연결 칩 수 | 1,152개 |
| SRAM (전 세대 대비) | 3배 |
| all-to-all 통신 홉 수 | 50% 감소 |
| 성능/가격 비율 (전 세대 대비, 저지연 시나리오) | +80% |
자체 개발한 Boardfly ICI 네트워크 토폴로지를 사용하며, Collectives Acceleration Engine을 내장해 대규모 모델 추론의 핵심 병목인 자기회귀 디코딩(autoregressive decoding)을 가속화한다.
왜 두 개로 쪼갰나?
전 세대인 Ironwood는 하나의 칩으로 학습과 추론을 모두 처리했다.
현재 구글의 판단은 에이전트 시대에 추론의 형태는 학습과 근본적으로 다르다는 것이다.
학습은: 대규모 배치, 일회성, 처리량 우선.
추론(특히 에이전트)은: 지속적 실행, 저지연, 수백만 에이전트 동시 실행.
하나의 아키텍처로 두 시나리오를 모두 최적화하려면 하드웨어 효율성이 타협될 수밖에 없다. 그래서 과감히 분할해 각각을 극한까지 최적화하기로 했다.
이는 단순한 '더 빠른 칩' 발표가 아니라 미래 AI 컴퓨팅의 형태에 대한 구글의 베팅이다.
Nvidia는 긴장할까?
구글은 Nvidia를 직접 겨냥하지 않았다. 오히려 같은 날 2026년 후반에 Cloud 고객에게 Nvidia의 Vera Rubin 칩을 제공하겠다고 발표했다.
이는 현실적인 접근이다. 엔터프라이즈 워크로드는 CUDA 생태계에 크게 의존하고 있으며, 전환 비용이 높아 하루아침에 이뤄지지 않는다. 구글의 자체 개발 칩과 Nvidia 칩은 같은 클라우드 내에서 공존할 것이며 '둘 중 하나'를 선택하는 문제가 아니다.
하지만 방향은 분명하다. TPU 세대가 거듭될수록 성능 대비 가격이 한 단계씩 높아지며, 고객이 순수 구글 노선을 선택할 이유가 하나씩 늘어난다.
참고로 구글 내부에서 새로 작성되는 코드의 75%가 이제 AI로 생성된다(지난가을 50%에서 증가). 그 코드는 무엇 위에서 실행될까? 바로 자체 제작 칩이다. 이 순환이 서서히 가속화되고 있다.
참고 출처: CocoLoop, Google Cloud launches two new AI chips to compete with Nvidia (TechCrunch); Two new TPUs to power the next wave of AI training and inference at Google (SiliconANGLE); Our eighth generation TPUs: two chips for the agentic era (Google Blog); Sundar Pichai shares news from Google Cloud Next 2026 (Google Blog)