北大系芯片公司寒序科技公布了一套推理计算架构,名字叫 uHBM 和 uLPU。首代 uHBM 给出的片内权重读出带宽设计值是 24 TB/s,配套的 uLPU 面向 4B 参数的多模态主干模型,Decode 阶段目标超过 2000 Tokens/s。
这家公司 2023 年 8 月成立,由北京大学应用磁学中心孵化,在国内做 MRAM 磁计算的团队里算最早一批。
把权重钉死在片上
大模型推理分成 Prefill 和 Decode 两段,前者吃算力,后者吃带宽。每吐一个 token,芯片都要把整套模型权重从显存里搬进计算单元一遍,GPU 上的 HBM 就是为这个搬运环节服务的。带宽多大,token 就吐多快。
寒序的做法是取消搬运。模型权重常驻在 Persistent MRAM 阵列里,矩阵-向量运算在同一片硅上完成,片外只传低维激活向量。MRAM 是非易失存储,断电权重也在,不需要每次重新加载;把计算单元贴着存储阵列排布,“读出带宽”这个指标就从片间总线的问题变成了片内布线的问题——24 TB/s 这个量级,在片外总线上短期内看不到。
验证芯片 SpinPU-ED01 已经回片,公开材料给出的参数是 120 个 MRAM Bank,实测片内访存带宽密度 0.105 TB/(mm²·s),通过了第三方检测和 24 小时连续稳定运行。
4B 这个数字划了边界
uLPU 的性能目标写的是 4B 多模态主干模型,这个尺寸挑得有讲究。权重常驻片上的前提是片上装得下,MRAM 阵列的容量直接决定了能跑多大的模型。粗算一下,4B 参数按 INT8 存放大约 4 GB,已经接近当前工艺下单颗芯片能塞进的量级。
所以这条路线天然指向端侧和小模型。寒序公布的产品路线里,边端形态是和 NPU 协同、面向机器人;云端形态靠 UCIe 片间扩展、112G/224G SerDes 把多颗芯片连起来,用堆叠换容量。从 uHBM-Die 到 uLPU-Chip、Module,再到 2U Tray 和整机 Rack,路线图铺得完整,但每一级都要重新解决互连损耗和散热。
设计值和流片之间
需要把话说清楚的是,24 TB/s 和 2000 Tokens/s 目前都是架构设计值,未经量产流片实测。答案要等首代产品回片。
这个区别在国产芯片的叙事里常被抹平。设计值反映架构上限,实测值反映工艺、良率、时序收敛之后还剩多少,中间的折扣有多大,历史上从三成到七成的例子都有。
寒序踩中的时机不差。HBM 产能被几家大厂锁死,国内厂商拿货困难,绕开 HBM 做推理成了明确需求。Groq 用 SRAM 换掉 HBM 走通过一次,代价是单卡容量小、要靠成百上千张卡组集群。MRAM 的密度比 SRAM 高,理论上单片能装下更多权重,这是寒序和 Groq 路线的分野所在。能不能兑现,仍然要看那颗还没量产的芯片。
参考来源:寒序科技公开技术材料、科创板日报、CocoLoop、快科技;uHBM 带宽设计值、Decode 吞吐目标与 SpinPU-ED01 的 Bank 数、带宽密度已按公开口径核对,其中带宽与吞吐两项均为架构设计值。