베이징대 계열 반도체 스타트업 한쉬테크(寒序科技, Hanxu Technology)가 추론용 컴퓨팅 아키텍처 'uHBM'과 'uLPU'를 공개했다. 1세대 uHBM이 제시한 온칩 가중치 판독 대역폭 설계값은 24TB/s이며, 짝을 이루는 uLPU는 40억(4B) 파라미터급 멀티모달 백본 모델을 겨냥해 디코드 단계에서 초당 2000토큰 이상의 처리량을 목표로 한다.
이 회사는 2023년 8월 설립됐으며 베이징대 응용자기학센터에서 스핀오프했다. 중국 내 MRAM 기반 자기 컴퓨팅을 다루는 팀 중 가장 이른 축에 속한다.
가중치를 칩에 못 박다
대형모델 추론은 프리필(Prefill)과 디코드(Decode) 두 단계로 나뉜다. 전자는 연산량을, 후자는 대역폭을 잡아먹는다. 토큰을 하나 뱉을 때마다 칩은 모델 가중치 전체를 메모리에서 연산 유닛으로 옮겨야 하는데, GPU에서 이 운반을 담당하는 게 바로 HBM이다. 대역폭이 넓을수록 토큰이 더 빨리 나온다.
한쉬테크의 방식은 이 운반 자체를 없애는 것이다. 모델 가중치는 비휘발성 MRAM 배열에 상주하고, 행렬-벡터 연산은 같은 실리콘 위에서 끝난다. 칩 밖으로 나가는 건 저차원 활성화 벡터뿐이다. MRAM은 비휘발성 메모리라 전원이 꺼져도 가중치가 사라지지 않고 매번 다시 불러올 필요도 없다. 연산 유닛을 저장 배열 바로 옆에 배치하면서 '판독 대역폭'은 칩 간 버스의 문제가 아니라 칩 내부 배선의 문제로 바뀐다. 24TB/s 수준은 칩 외부 버스로는 당분간 나오기 힘든 숫자다.
검증용 칩 'SpinPU-ED01'은 이미 시제품이 나왔다. 공개 자료에 따르면 MRAM 뱅크는 120개이며, 실측 온칩 메모리 접근 대역폭 밀도는 0.105TB/(mm²·s)로, 제3자 검증과 24시간 연속 안정 구동 테스트를 통과했다.
'4B'라는 경계선
uLPU의 성능 목표가 40억 파라미터 멀티모달 백본 모델로 설정된 데는 이유가 있다. 가중치를 칩에 상주시키려면 칩이 물리적으로 이를 담을 수 있어야 하므로, MRAM 배열의 용량이 곧 실행 가능한 모델 크기의 상한을 결정한다. 대략 계산하면 40억 파라미터를 INT8로 저장할 경우 약 4GB가 필요한데, 이는 현재 공정에서 칩 하나에 담을 수 있는 수준에 이미 근접해 있다.
이런 제약은 자연히 엣지 기기와 소형 모델 쪽으로 방향을 잡게 만든다. 한쉬테크가 공개한 로드맵에 따르면 엣지 형태는 NPU와 협업해 로봇을 겨냥하고, 클라우드 형태는 UCIe 다이 간 연결과 112G/224G SerDes로 여러 칩을 묶어 적층으로 용량을 확보한다. 로드맵은 uHBM-Die에서 uLPU-Chip, Module을 거쳐 2U 트레이와 랙 단위까지 이어지지만, 각 단계마다 상호연결 손실과 발열 문제를 처음부터 다시 풀어야 한다.
설계값과 양산칩 사이
분명히 짚어야 할 점은, 24TB/s와 초당 2000토큰 모두 현재로선 아키텍처 설계값일 뿐 양산 칩에서 실측된 수치가 아니라는 것이다. 진짜 답은 1세대 제품이 시제품으로 나온 뒤에야 나온다.
이 구분은 중국산 칩을 둘러싼 서사에서 자주 뭉개진다. 설계값은 아키텍처의 이론적 상한을 보여주고, 실측값은 공정·수율·타이밍 수렴을 거친 뒤 남는 실제 수치를 보여준다. 그 격차는 과거 사례를 보면 30%에서 70%까지 다양했다.
한쉬테크가 뛰어든 시점은 나쁘지 않다. HBM 생산 능력은 소수 대형 업체에 묶여 있고 중국 내 업체들은 물량 확보에 어려움을 겪고 있어, 추론용으로 HBM을 우회하려는 수요는 뚜렷하다. Groq는 이미 HBM을 SRAM으로 대체하는 방식으로 한 갈래 길을 증명했지만, 그 대가로 카드 한 장당 용량이 작아 수백에서 수천 장 규모로 클러스터를 짜야 했다. MRAM은 SRAM보다 밀도가 높아 이론상 칩 하나에 더 많은 가중치를 담을 수 있는데, 이 지점이 한쉬테크와 Groq 노선이 갈라지는 부분이다. 실제로 이를 구현해낼 수 있을지는 여전히 아직 양산에 들어가지 않은 그 칩에 달려 있다.
참고 출처: 한쉬테크 공개 기술자료, 커촹반일보(科創板日報), CocoLoop, 콰이커지(快科技). uHBM의 대역폭 설계값, 디코드 처리량 목표, SpinPU-ED01의 뱅크 수와 대역폭 밀도는 공개 자료를 기준으로 확인했으며, 대역폭과 처리량은 모두 실측치가 아닌 아키텍처 설계값이다.