La start-up chinoise de puces Hanxu Technology (寒序科技), issue de l'université de Pékin, a présenté une architecture de calcul pour l'inférence baptisée uHBM et uLPU. La première génération d'uHBM affiche une bande passante de lecture des poids sur puce dont la valeur de conception atteint 24 To/s ; l'uLPU qui l'accompagne cible un modèle de base multimodal à 4 milliards de paramètres (4B), avec un objectif de plus de 2000 tokens/s en phase de Decode.
L'entreprise a été fondée en août 2023, incubée par le centre de magnétisme appliqué de l'université de Pékin, et compte parmi les toutes premières équipes chinoises à travailler sur le calcul magnétique à base de MRAM.
Des poids figés sur la puce
L'inférence des grands modèles se déroule en deux phases, Prefill et Decode : la première consomme de la puissance de calcul, la seconde de la bande passante. Pour chaque token généré, la puce doit déplacer l'intégralité des poids du modèle depuis la mémoire vers l'unité de calcul ; c'est précisément à cela que sert la HBM sur les GPU. Plus la bande passante est large, plus les tokens sortent vite.
L'approche de Hanxu supprime purement et simplement ce transport. Les poids du modèle résident en permanence dans une matrice de MRAM persistante, les opérations matrice-vecteur s'exécutent sur le même morceau de silicium, et seuls des vecteurs d'activation de faible dimension sortent de la puce. La MRAM est une mémoire non volatile : les poids survivent à une coupure de courant et n'ont pas besoin d'être rechargés à chaque démarrage. En plaçant les unités de calcul directement contre la matrice de mémoire, l'indicateur de "bande passante de lecture" cesse d'être un problème de bus inter-puces pour devenir un problème de routage interne à la puce — un ordre de grandeur comme 24 To/s ne se retrouve pas, à court terme, sur un bus externe.
La puce de validation SpinPU-ED01 est déjà revenue de fabrication. Selon les documents publics, elle embarque 120 bancs de MRAM, avec une densité de bande passante d'accès sur puce mesurée à 0,105 To/(mm²·s), et a passé une vérification par un tiers ainsi qu'un fonctionnement stable continu de 24 heures.
Le chiffre 4B trace la limite
L'objectif de performance de l'uLPU est fixé pour un modèle de base multimodal à 4B paramètres, et cette taille n'a pas été choisie au hasard. Pour que les poids résident en permanence sur la puce, encore faut-il qu'ils y tiennent : la capacité de la matrice MRAM détermine directement la taille maximale du modèle exécutable. Selon un calcul approximatif, 4B paramètres stockés en INT8 occupent environ 4 Go, une valeur déjà proche de ce qu'une seule puce peut contenir avec la technologie de fabrication actuelle.
Cette voie pointe donc naturellement vers l'edge et les petits modèles. Dans la feuille de route produit dévoilée par Hanxu, la version edge fonctionne de concert avec un NPU, à destination de la robotique ; la version cloud s'appuie sur une interconnexion inter-puces UCIe et des SerDes 112G/224G pour relier plusieurs puces entre elles, échangeant de l'empilement contre de la capacité. De l'uHBM-Die à l'uLPU-Chip et au Module, puis au Tray 2U et au rack complet, la feuille de route est entièrement déroulée — mais à chaque étage, il faut à nouveau régler les pertes d'interconnexion et la dissipation thermique.
Entre valeur de conception et puce sortie de fonderie
Il faut le dire clairement : 24 To/s et 2000 tokens/s ne sont pour l'instant que des valeurs de conception de l'architecture, non mesurées sur une puce produite en série. La vraie réponse n'arrivera qu'avec le retour de fonderie de la première génération du produit.
Cette distinction est souvent gommée dans le récit autour des puces chinoises. La valeur de conception reflète le plafond de l'architecture, la valeur mesurée reflète ce qu'il en reste une fois pris en compte le procédé de fabrication, le rendement et la convergence du timing — un écart qui, historiquement, a déjà varié de 30 % à 70 %.
Le moment choisi par Hanxu n'est pas mauvais. Les capacités de production de HBM sont verrouillées par une poignée de grands fabricants, les acteurs chinois peinent à s'approvisionner, et le besoin de faire de l'inférence en contournant la HBM est devenu explicite. Groq a déjà emprunté cette voie en substituant de la SRAM à la HBM, au prix d'une capacité par carte plus faible, ce qui impose des clusters de centaines, voire de milliers de cartes. La MRAM est plus dense que la SRAM, et une seule puce peut en théorie stocker davantage de poids — c'est exactement là que les chemins de Hanxu et de Groq divergent. Reste à savoir si la promesse sera tenue, ce qui dépend encore de cette puce qui n'est pas encore entrée en production de série.
Sources : documents techniques publics de Hanxu Technology, STCN, CocoLoop, Kuaikeji ; la bande passante de conception de l'uHBM, l'objectif de débit en Decode ainsi que le nombre de bancs et la densité de bande passante du SpinPU-ED01 ont été recoupés à partir des informations publiées, la bande passante et le débit étant tous deux des valeurs de conception de l'architecture.