OpenAI가 Hot Chips 행사에서 자체 개발한 추론 전용 칩 'Jalapeño'의 첫 벤치마크 결과를 공개했다. 브로드컴과 공동 개발한 이 칩은 정격 소비전력이 700W이며, 실측 지속 전력은 550W 이하로 관리된다고 밝혔다. 비교 대상은 엔비디아의 GB200 NVL72와 GB300 NVL72로, 두 시스템의 가속기 한 개당 정격은 각각 1200W와 1400W다.
벤치마크는 SemiAnalysis가 공개한 InferenceX 스위트를 사용했고, GPT-OSS 120B, DeepSeek R1 670B, 문샷 AI(Moonshot AI)의 Kimi K2.5(1조 파라미터) 세 개 모델로 테스트했다. OpenAI가 제시한 결과에 따르면 피크 처리량 기준 kW당 AI 작업량은 비교 시스템 대비 1.5~1.9배, 종단 간 지연시간은 1.7~3.6배 낮았으며, 상호작용이 많은 시나리오에서의 성능은 2.1~4.1배 높았다. GB300이 그동안 기록한 가장 빠른 토큰 간 지연 구간에서는 kW당 처리량 격차가 8.6~104.3배까지 벌어졌다고 밝혔다.
칩 한 개의 사양은 13.4PFLOPS(MXFP4 정밀도), HBM4 216GB, 메모리 대역폭 15.4TB/s다. 128개를 랙 하나로 묶으면 총 1.7EFLOPS, HBM4 27.5TB, 대역폭은 2PB/s에 근접한다.
OpenAI 하드웨어 총괄 리처드 호(Richard Ho)는 행사에서 이렇게 잘라 말했다.
"The bottom line is that the results show a very, very significant performance advance over state of the art.(결론적으로 이번 결과는 현재 최고 수준 대비 매우, 매우 significant한 성능 향상을 보여준다)"
700W라는 기준선은 어떻게 정해졌나
Jalapeño는 모델을 학습시키지 않고 추론만 담당한다. 이 한 가지 전제만으로 칩의 설계 예산 배분이 완전히 달라진다. 학습의 병목은 그래디언트 동기화와 노드 간 상호연결 대역폭이지만, 추론의 병목은 메모리 용량, KV 캐시 적중률, 요청 한 건당 응답 시간이다. HBM4 216GB에 13.4PFLOPS를 맞춘 조합도 이런 맥락에서 보면 이해가 된다. 연산 밀도를 무리하게 끌어올리는 대신 메모리와 대역폭을 넉넉하게 배정한 설계다.
OpenAI는 설계 방향에 대해 "We designed Jalapeño to minimize data movement and communication delays(데이터 이동과 통신 지연을 최소화하도록 Jalapeño를 설계했다)"고 설명했다. 구체적으로는 KV 캐시 배치를 명시적으로 지정하고 지역화해 프리필 단계와 통신 단계의 병목을 없앴다고 한다.
대략 계산해보면, 같은 1400W 랙 전력 예산 안에 Jalapeño는 두 개, GB300은 한 개가 들어간다. kW당 1.5~1.9배라는 처리량 격차가 실제로 성립한다면, 같은 전력에서 나오는 결과물 차이는 한층 더 벌어진다. 연산 자원의 대부분을 추론에 쓰는 기업 입장에서 절약되는 것은 전기요금만이 아니라 칩 부족으로 놓쳤을 처리 용량까지 포함된다.
칩 개발 과정 자체도 눈여겨볼 대목이다. 콘셉트 단계에서 테이프아웃까지 9개월이 걸렸고, 설계 과정에는 AI의 도움을 받았다고 한다.
벤치마크 모델 3개 중 2개는 중국산
비교에 쓰인 모델 구성이 눈길을 끈다. GPT-OSS 120B는 OpenAI 자체 오픈 웨이트 모델이고, DeepSeek R1 670B와 Kimi K2.5는 각각 딥시크(DeepSeek)와 문샷 AI(Moonshot AI)가 내놓은 모델이다. 미국 기업이 자체 개발한 가속기의 잣대로, 중국 두 팀이 공개한 오픈 웨이트를 사용한 셈이다.
이유는 단순하다. 폐쇄형 모델의 추론 결과는 제3자가 재현할 수 없다. 하드웨어 업체가 벤치마크에 대한 신뢰를 얻으려면 누구나 내려받아 직접 돌려볼 수 있는 웨이트를 고를 수밖에 없다. 오픈 모델은 이렇게 '뒤쫓는 쪽'에서 하드웨어 평가의 공용 잣대로 위치가 바뀌었다. 지난 2년간 중국 팀들이 생태계 확장을 위해 웨이트를 공개해온 전략이, 예상치 못한 곳에서 성과로 돌아오고 있다.
걸러 들어야 할 몇 가지
더 레지스터(The Register)는 이번 수치를 액면 그대로 받아들이면 안 된다고 지적한다. 비교에서 추측 디코딩 같은 최적화 기법이 빠졌고, 테스트 조건도 완전하다고 보기 어렵다. 나란히 놓고 보면 AMD의 헬리오스(Helios) 시스템은 메모리 대역폭이 Jalapeño보다 15% 적지만 연산 성능은 1.46~2배 높다. 엔비디아와 AMD의 GPU는 여전히 프로그래밍 유연성에서 우위에 있으며, 전용 추론 칩은 효율을 얻는 대신 유연성을 내준 셈이다.
더 중요한 지점은 이번 비교에 이제 막 출하를 시작한 베라 루빈(Vera Rubin)이 빠져 있다는 것이다. Jalapeño가 맞붙은 상대는 이전 세대인 Blackwell이고, 베라 루빈 자체는 OpenAI 자체 시설에서 '극소량' 배치되는 시점이 2026년 말, 본격 확대는 2027년으로 예정돼 있다. 실제로 가동될 무렵이면 맞상대는 더 이상 GB300이 아니게 된다.
속도 면에서도 OpenAI는 멈추지 않는다. 2세대 칩은 이미 개발이 한창이고, 3세대 칩은 설계 단계에 있다고 한다.
참고 출처: OpenAI 공식 발표, TechCrunch, CocoLoop, The Register, Tom's Hardware. InferenceX 벤치마크 기준, 칩 단일 사양, 소비전력 수치는 공개 보도와 대조해 확인했다.