A Hanxu Technology (寒序科技), startup de chips ligada à Universidade de Pequim, apresentou uma arquitetura de computação para inferência batizada de uHBM e uLPU. A primeira geração do uHBM traz como valor de projeto uma largura de banda de leitura de pesos no chip de 24 TB/s; o uLPU que a acompanha mira um modelo multimodal de 4B parâmetros, com meta de mais de 2000 Tokens/s na fase de Decode.
A empresa foi fundada em agosto de 2023, incubada pelo Centro de Magnetismo Aplicado da Universidade de Pequim, e está entre as primeiras equipes chinesas a trabalhar com computação magnética baseada em MRAM.
Pesos fixados dentro do chip
A inferência de modelos grandes se divide em duas etapas, Prefill e Decode: a primeira consome poder de computação, a segunda consome largura de banda. A cada token gerado, o chip precisa mover todo o conjunto de pesos do modelo da memória para a unidade de cálculo; é justamente para essa movimentação que serve o HBM nas GPUs. Quanto maior a largura de banda, mais rápido o token sai.
A solução da Hanxu é eliminar esse transporte. Os pesos do modelo ficam residentes permanentemente numa matriz de MRAM persistente, as operações de matriz-vetor acontecem no mesmo pedaço de silício, e só vetores de ativação de baixa dimensão trafegam para fora do chip. MRAM é uma memória não volátil: os pesos permanecem mesmo sem energia e não precisam ser recarregados a cada início. Ao colocar as unidades de cálculo coladas à matriz de memória, o indicador "largura de banda de leitura" deixa de ser um problema do barramento entre chips e passa a ser um problema de roteamento dentro do próprio chip — uma ordem de grandeza como 24 TB/s dificilmente aparece em um barramento externo no curto prazo.
O chip de validação SpinPU-ED01 já voltou da fabricação. Segundo materiais públicos, ele tem 120 bancos de MRAM, com densidade de largura de banda de acesso medida em 0,105 TB/(mm²·s), aprovado em verificação de terceiros e em operação estável contínua por 24 horas.
O número 4B traça o limite
A meta de desempenho do uLPU é um modelo multimodal de 4B parâmetros, e esse tamanho foi escolhido com cuidado. A premissa de manter os pesos residentes no chip é que eles caibam nele; a capacidade da matriz MRAM determina diretamente o tamanho máximo de modelo executável. Numa conta simples, 4B parâmetros em INT8 ocupam cerca de 4 GB, valor já próximo do que um único chip consegue comportar com a tecnologia de fabricação atual.
Por isso, esse caminho aponta naturalmente para dispositivos de borda e modelos pequenos. No roteiro de produtos divulgado pela Hanxu, a versão de borda trabalha em conjunto com um NPU voltado para robótica; a versão de nuvem depende de interconexão entre chips via UCIe e SerDes de 112G/224G para ligar vários chips, trocando empilhamento por capacidade. Do uHBM-Die ao uLPU-Chip, Module, passando por Tray 2U até o rack completo, o roteiro está bem definido — mas em cada nível é preciso resolver de novo as perdas de interconexão e a dissipação de calor.
Entre o valor de projeto e o chip fabricado
É preciso deixar claro: por enquanto, 24 TB/s e 2000 Tokens/s são apenas valores de projeto da arquitetura, ainda não medidos em um chip fabricado em escala. A resposta real só virá quando a primeira geração do produto voltar da fábrica.
Essa diferença costuma ser apagada na narrativa sobre chips chineses. O valor de projeto reflete o teto da arquitetura; o valor medido reflete o que sobra depois do processo de fabricação, do rendimento e da convergência de timing — historicamente, o desconto entre os dois já variou de cerca de 30% a 70%.
O momento escolhido pela Hanxu não é ruim. A capacidade de produção de HBM está travada nas mãos de poucas grandes fabricantes, e os fabricantes chineses têm dificuldade para obter fornecimento, o que tornou explícita a demanda por inferência sem depender de HBM. A Groq já percorreu esse caminho trocando HBM por SRAM, ao custo de menor capacidade por placa, exigindo clusters de centenas ou milhares de placas. A densidade do MRAM é maior que a do SRAM, e, em teoria, um único chip consegue armazenar mais pesos — é exatamente aí que os caminhos da Hanxu e da Groq se separam. Se isso vai se confirmar ainda depende daquele chip que ainda não entrou em produção em escala.
Fontes: materiais técnicos públicos da Hanxu Technology, STCN, CocoLoop, Kuaikeji; a largura de banda de projeto do uHBM, a meta de throughput de Decode e o número de bancos e a densidade de largura de banda do SpinPU-ED01 foram conferidos com base em divulgações públicas, sendo que largura de banda e throughput são valores de projeto da arquitetura.