OpenAI 최고재무책임자(CFO) 사라 프리어는 9월 8일 골드만삭스가 주최한 코뮤나코피아(Communacopia) 콘퍼런스에서, 회사가 이미 자사의 최전선 모델을 칩 설계에 활용하고 있으며 자체 개발한 추론 칩 Jalapeno가 설계부터 테이프아웃까지 단 9개월 만에 완료됐다고 밝혔다. 그는 또 칩 설계, 생명과학, 금융서비스를 회사가 중점적으로 진출할 3대 산업으로 꼽으며, 이들 분야에서 특정 업무 흐름에 맞춘 AI 수요가 늘고 있다는 점을 근거로 들었다.
Jalapeno는 OpenAI와 브로드컴이 공동 개발한 추론 칩으로, 올해 6월 공개됐다. 자사 모델을 더 낮은 비용으로 구동하는 것이 목적이다. 공개된 내용에 따르면 초기 샘플은 일반적인 AI용 GPU 대비 약 절반의 비용이 든다. 출하 시점은 공개되지 않았다.
9개월이라는 속도는 커스텀 칩치고는 이례적으로 빠르다. 새로운 추론용 ASIC을 아키텍처 확정에서 테이프아웃까지 끌고 가는 데는 업계에서 통상 1년 반에서 2년이 걸린다. 프리어는 이 기간 단축의 이유를 자사 모델에 돌렸지만, 모델이 구체적으로 어떤 단계를 맡았는지—레이아웃·배선, 검증, 아니면 더 앞단의 아키텍처 탐색인지—는 밝히지 않았다.
Luna를 GLM-5.3과 비교하다
이번 발언에서 더 구체적이었던 부분은 가격이었다. 프리어에 따르면 Luna는 80% 가격 인하 후 입력 가격이 100만 토큰당 0.20달러, 출력 가격이 1.20달러로 떨어졌고, 이후 사용량은 약 10배 늘었다. 그는 한발 더 나아가 비교 대상으로 중국의 오픈웨이트 모델을 지목했다.
"If you're deploying Luna and compare that to (Z.ai's) GLM 5.3, for example, on a cloud layer, we are cheaper."
예를 들어 Luna를 배포해서 클라우드 계층에서 (Z.ai의) GLM 5.3과 비교하면, 우리 쪽이 더 저렴하다.
이 비교의 전제는 짚고 넘어갈 필요가 있다. 프리어가 비교한 것은 "클라우드에 배포된 GLM-5.3", 즉 오픈웨이트 모델을 제3의 클라우드에 호스팅했을 때의 실제 단가였다. 이는 즈푸(Zhipu)가 자체적으로 공개한 API 가격과는 다른 수치다. GLM-5.3이 출시 당시 제시한 출력 가격은 100만 토큰당 4.4달러였다. 같은 모델이라도 자체 API로 제공되는지, 제3의 클라우드를 거치는지에 따라 GPU 점유율, 메모리, 동시 처리율을 어떻게 분담하느냐가 달라져 가격이 몇 배씩 차이 날 수 있다. OpenAI는 이번 비교의 전체 전제나 가정한 처리량 수준을 공개하지 않았다.
중국산 오픈웨이트 진영에 가해지는 실질적 압박
이 메시지가 겨냥하는 대상은 자체 호스팅을 하는 기업이다. 지난 2년간 국내외 기업들이 오픈웨이트 모델을 선택한 주된 이유는 두 가지였다. 데이터를 외부로 내보내지 않는다는 점, 그리고 직접 운영하는 편이 더 저렴하다는 계산이었다. 첫 번째 이유는 영향을 받지 않지만, 두 번째 이유는 폐쇄형 모델 쪽의 가격 인하로 압박받고 있다. Luna의 출력 가격이 1.20달러까지 낮아지고, 그 뒤에 계속 가격을 낮출 자체 추론 칩까지 버티고 있다면, "자체 호스팅이 더 저렴하다"는 계산은 다시 해봐야 한다—특히 동시 처리량이 적고 GPU 활용률을 끌어올리기 어려운 팀이라면 더욱 그렇다.
다만 분명히 해둘 점이 있다. 프리어가 제시한 수치는 어디까지나 판매자 입장의 설명이며, Luna와 GLM-5.3을 동일한 처리량 조건에서 비교한 단가를 제3자가 공개적으로 검증한 사례는 아직 없고, 즈푸 측도 이 비교에 대해 아무런 반응을 내놓지 않았다.
참고 출처: 로이터, CocoLoop, Qz; 여러 보도를 통해 Luna의 입출력 단가와 가격 인하 폭, Jalapeno의 설계 기간과 샘플 비용 비율, 프리어의 영어 발언 내용을 교차 확인했다.