北京大学系の半導体スタートアップ、寒序科技（Hanxu Technology）が推論向け計算アーキテクチャ「uHBM」と「uLPU」を発表した。第一世代のuHBMが掲げるチップ内重み読み出し帯域の設計値は24TB/s。組み合わせるuLPUは4Bパラメータのマルチモーダル基盤モデルを想定し、デコード段階で2000トークン/秒超のスループットを目標に据える。
同社は2023年8月設立。北京大学応用磁学センターからのスピンオフで、国内でMRAMを使った磁気コンピューティングに取り組む最も早い世代のチームの一つとされる。
重みをチップに固定する
大規模モデルの推論はPrefillとDecodeの二段階に分かれる。前者は計算力を、後者は帯域を消費する。トークンを一つ吐き出すたびに、チップはモデルの重み一式をメモリから演算ユニットへ丸ごと運ばなければならない。GPUにおけるHBMは、まさにこの運搬を担うために存在する。帯域が広いほど、トークンは速く出てくる。
寒序科技のアプローチは、この「運搬」自体をなくすことにある。モデルの重みは不揮発性MRAMアレイに常駐し、行列・ベクトル演算は同じシリコン上で完結する。チップ外に出るのは低次元の活性化ベクトルだけだ。MRAMは不揮発性メモリのため、電源を切っても重みは消えず、再ロードの必要もない。演算ユニットを記憶アレイのすぐそばに配置することで、「読み出し帯域」はチップ間バスの問題ではなく、チップ内配線の問題に変わる。24TB/sという水準は、チップ外バスでは当面実現しそうにない数字だ。
検証用チップ「SpinPU-ED01」はすでに試作が完了している。公開資料によれば、MRAMバンクは120個、実測のチップ内メモリアクセス帯域密度は0.105TB/(mm²・s)で、第三者検証と24時間連続稼働試験をクリアしている。
「4B」という境界線
uLPUの性能目標が4Bパラメータのマルチモーダル基盤モデルに設定されているのには理由がある。重みをチップ上に常駐させる前提は、チップがそれを物理的に収められることだ。つまりMRAMアレイの容量が、そのまま動かせるモデルの上限を決める。概算すると、4BパラメータをINT8で保持すると約4GBになり、現行プロセスで1チップに詰め込める量にすでに近い。
この制約は、必然的にエッジ向けや小型モデルへと道筋を向ける。寒序科技が公開したロードマップでは、エッジ形態はNPUと協調してロボティクス向けを狙い、クラウド形態はUCIeによるダイ間接続と112G/224G SerDesで複数チップを連結し、積層によって容量を稼ぐ。ロードマップは「uHBM-Die」から「uLPU-Chip」「Module」、さらに「2Uトレイ」「ラック筐体」までを描くが、各段階で相互接続損失と放熱の問題をあらためて解決する必要がある。
設計値と量産チップの間
はっきりさせておく必要があるのは、24TB/sも2000トークン/秒も、現時点ではアーキテクチャ上の設計値であり、量産チップでの実測値ではないという点だ。答えが出るのは第一世代製品が試作から戻ってきてからになる。
この違いは、中国製チップをめぐる語りの中でしばしば曖昧にされる。設計値はアーキテクチャの理論上限を示し、実測値はプロセス・歩留まり・タイミング収束を経た後に残る現実の数字を示す。両者の乖離は、過去の例では3割から7割まで幅がある。
寒序科技が仕掛けたタイミングは悪くない。HBMの生産能力は少数の大手メーカーに握られており、中国国内メーカーは調達に苦しんでいる。推論用途でHBMを回避する需要は明確に存在する。Groqはすでに、HBMをSRAMに置き換える形でこの課題に一つの答えを示したが、その代償は1枚あたりの容量が小さく、数百から数千枚規模のカードでクラスタを組む必要があることだった。MRAMはSRAMより密度が高く、理論上は1チップにより多くの重みを収められる——この点が寒序科技とGroqの路線の分岐点だ。それを実現できるかどうかは、依然として量産前のあのチップにかかっている。
参考資料：寒序科技の公開技術資料、科創板日報、CocoLoop、快科技。uHBMの帯域設計値、Decodeスループット目標、SpinPU-ED01のバンク数と帯域密度は公開情報に基づき確認済みだが、帯域とスループットはいずれもアーキテクチャ設計値であり実測値ではない。