La startup china de chips Hanxu Technology (寒序科技), vinculada a la Universidad de Pekín, ha presentado una arquitectura de cómputo para inferencia llamada uHBM y uLPU. La primera generación de uHBM ofrece como valor de diseño un ancho de banda de lectura de pesos en el propio chip de 24 TB/s; el uLPU que la acompaña apunta a un modelo troncal multimodal de 4B parámetros, con el objetivo de superar los 2000 Tokens/s en la fase de Decode.
La empresa se fundó en agosto de 2023, incubada por el Centro de Magnetismo Aplicado de la Universidad de Pekín, y es uno de los primeros equipos chinos dedicados a la computación magnética basada en MRAM.
Pesos clavados dentro del chip
La inferencia de modelos grandes se divide en dos fases, Prefill y Decode: la primera consume potencia de cálculo, la segunda consume ancho de banda. Por cada token que genera, el chip tiene que mover el conjunto completo de pesos del modelo desde la memoria hasta la unidad de cálculo; para eso sirve precisamente el HBM en las GPU. Cuanto mayor el ancho de banda, más rápido sale cada token.
El planteamiento de Hanxu elimina ese transporte. Los pesos del modelo residen de forma permanente en una matriz de MRAM persistente, las operaciones matriz-vector se ejecutan en el mismo trozo de silicio, y fuera del chip solo viajan vectores de activación de baja dimensión. La MRAM es memoria no volátil: los pesos sobreviven a un corte de energía y no hace falta recargarlos cada vez. Al colocar las unidades de cálculo pegadas a la matriz de memoria, el indicador de "ancho de banda de lectura" deja de ser un problema del bus entre chips y pasa a ser un problema de enrutado dentro del propio chip; un orden de magnitud como 24 TB/s no se ve, a corto plazo, en un bus externo.
El chip de validación SpinPU-ED01 ya ha vuelto de fabricación. Según el material público, cuenta con 120 bancos de MRAM, con una densidad de ancho de banda de acceso en el chip medida en 0,105 TB/(mm²·s), y ha superado verificación de terceros junto con un funcionamiento estable continuo de 24 horas.
La cifra 4B marca el límite
El objetivo de rendimiento del uLPU está fijado en un modelo troncal multimodal de 4B parámetros, y ese tamaño no se ha elegido al azar. La premisa de mantener los pesos residentes en el chip es que quepan en él; la capacidad de la matriz MRAM determina directamente cuán grande puede ser el modelo ejecutable. Haciendo un cálculo aproximado, 4B parámetros en INT8 ocupan unos 4 GB, una cifra ya cercana a lo que un solo chip puede albergar con la tecnología de fabricación actual.
Por eso esta vía apunta de forma natural a los dispositivos de borde y a los modelos pequeños. En la hoja de ruta de producto que ha presentado Hanxu, la variante de borde trabaja junto a un NPU orientado a robótica; la variante en la nube se apoya en interconexión entre chips vía UCIe y SerDes de 112G/224G para enlazar varios chips, cambiando apilamiento por capacidad. Desde uHBM-Die hasta uLPU-Chip, Module, y de ahí a Tray 2U y al rack completo, la hoja de ruta está bien trazada, pero en cada nivel hay que resolver de nuevo las pérdidas de interconexión y la disipación de calor.
Entre el valor de diseño y el chip ya fabricado
Conviene dejarlo claro: por ahora, 24 TB/s y 2000 Tokens/s son solo valores de diseño de la arquitectura, sin medir todavía en un chip fabricado en serie. La respuesta real llegará cuando vuelva de fábrica la primera generación del producto.
Esa diferencia suele diluirse en el relato sobre los chips chinos. El valor de diseño refleja el techo de la arquitectura; el valor medido refleja lo que queda después del proceso de fabricación, el rendimiento (yield) y la convergencia de temporización, y ese descuento intermedio ha oscilado históricamente entre el 30 % y el 70 %.
El momento que ha elegido Hanxu no es malo. La capacidad de producción de HBM está en manos de unos pocos grandes fabricantes, a los fabricantes chinos les cuesta conseguir suministro, y la necesidad de hacer inferencia esquivando el HBM se ha vuelto explícita. Groq ya recorrió antes ese camino sustituyendo HBM por SRAM, a costa de una menor capacidad por tarjeta, lo que obliga a montar clústeres de cientos o miles de tarjetas. La densidad de la MRAM es mayor que la del SRAM, y en teoría un solo chip puede almacenar más pesos: ahí es exactamente donde se separan los caminos de Hanxu y Groq. Que esto se cumpla o no depende todavía de ese chip que aún no ha entrado en producción en serie.
Fuentes: materiales técnicos públicos de Hanxu Technology, STCN, CocoLoop, Kuaikeji; el ancho de banda de diseño del uHBM, el objetivo de throughput de Decode y el número de bancos y la densidad de ancho de banda del SpinPU-ED01 se han contrastado con datos publicados, siendo el ancho de banda y el throughput valores de diseño de la arquitectura.