Das Pekinger Chip-Startup Hanxu Technology (寒序科技) hat eine Inferenz-Rechenarchitektur namens uHBM und uLPU vorgestellt. Die erste uHBM-Generation gibt als Auslegungswert für die On-Chip-Lesebandbreite der Gewichte 24 TB/s an; das dazugehörige uLPU ist auf ein multimodales 4B-Parameter-Backbone-Modell ausgelegt, mit einem Ziel von über 2000 Tokens/s in der Decode-Phase.
Das Unternehmen wurde im August 2023 gegründet, ausgegründet aus dem Zentrum für Angewandten Magnetismus der Peking-Universität, und zählt zu den frühesten Teams in China, die an MRAM-basiertem magnetischem Computing arbeiten.
Gewichte fest auf dem Chip verankert
Die Inferenz großer Modelle gliedert sich in zwei Phasen, Prefill und Decode: Erstere frisst Rechenleistung, Letztere Bandbreite. Für jedes ausgegebene Token muss der Chip den kompletten Satz an Modellgewichten einmal aus dem Speicher in die Recheneinheit schieben – genau dafür ist HBM bei GPUs zuständig. Je größer die Bandbreite, desto schneller die Token-Ausgabe.
Hanxus Ansatz schafft diesen Transport komplett ab. Die Modellgewichte liegen dauerhaft in einem Persistent-MRAM-Array, Matrix-Vektor-Operationen laufen auf demselben Stück Silizium, und über den Chip-Rand hinaus werden nur niedrigdimensionale Aktivierungsvektoren übertragen. MRAM ist nichtflüchtig, die Gewichte bleiben auch bei Stromausfall erhalten und müssen nicht bei jedem Start neu geladen werden. Legt man die Recheneinheiten direkt neben das Speicher-Array, wird aus der Kennzahl "Lesebandbreite" ein Problem des On-Chip-Routings statt des Chip-zu-Chip-Bus – eine Größenordnung von 24 TB/s ist auf einem externen Bus kurzfristig nicht in Sicht.
Der Verifizierungschip SpinPU-ED01 ist bereits zurück aus der Fertigung. Laut öffentlichem Material verfügt er über 120 MRAM-Banks, die gemessene On-Chip-Zugriffsbandbreitendichte liegt bei 0,105 TB/(mm²·s); er hat eine Drittprüfung sowie einen 24-Stunden-Dauerlauf bestanden.
Die Zahl 4B zieht die Grenze
Das Leistungsziel von uLPU lautet 4B-Parameter-Multimodal-Backbone – diese Größenordnung ist bewusst gewählt. Voraussetzung dafür, dass Gewichte dauerhaft auf dem Chip liegen, ist, dass sie überhaupt draufpassen; die Kapazität des MRAM-Arrays bestimmt direkt, wie groß das lauffähige Modell sein kann. Grob gerechnet belegen 4B Parameter in INT8 rund 4 GB – das liegt bereits nahe an dem, was ein einzelner Chip in der aktuellen Fertigungstechnik unterbringen kann.
Diese Route zeigt deshalb naturgemäß Richtung Edge und kleine Modelle. In der von Hanxu vorgestellten Produkt-Roadmap arbeitet die Edge-Variante mit einer NPU zusammen und zielt auf Robotik; die Cloud-Variante nutzt UCIe-Die-to-Die-Anbindung sowie 112G/224G-SerDes, um mehrere Chips zu verbinden und Kapazität über Stapelung zu gewinnen. Von uHBM-Die über uLPU-Chip und -Module bis hin zu 2U-Tray und komplettem Rack ist die Roadmap vollständig ausformuliert – nur muss auf jeder Stufe erneut das Problem von Verbindungsverlusten und Wärmeabfuhr gelöst werden.
Zwischen Auslegungswert und Tape-out
Klar gesagt werden muss: 24 TB/s und 2000 Tokens/s sind derzeit reine Architektur-Auslegungswerte, noch nicht an einem in Serie gefertigten Chip gemessen. Die eigentliche Antwort gibt es erst, wenn die erste Produktgeneration aus der Fertigung zurückkommt.
Dieser Unterschied wird in der Erzählung um chinesische Chips oft verwischt. Der Auslegungswert spiegelt die architektonische Obergrenze, der gemessene Wert das, was nach Fertigungsprozess, Ausbeute und Timing-Konvergenz übrig bleibt – der Abschlag dazwischen reichte historisch von rund 30 bis 70 Prozent.
Das Timing spielt Hanxu in die Karten. Die HBM-Kapazitäten sind fest in der Hand einiger großer Hersteller, chinesische Anbieter kommen nur schwer an Ware – der Bedarf, Inferenz an HBM vorbei zu bauen, ist damit klar formuliert. Groq hat mit SRAM statt HBM bereits einen solchen Weg vorgemacht, um den Preis geringerer Kapazität pro Karte, was Cluster aus Hunderten bis Tausenden Karten nötig macht. MRAM ist dichter als SRAM, ein einzelner Chip kann theoretisch mehr Gewichte fassen – genau hier trennen sich die Wege von Hanxu und Groq. Ob sich das einlösen lässt, hängt weiter an jenem Chip, der noch nicht in Serie gefertigt wird.
Quellen: öffentliche technische Unterlagen von Hanxu Technology, STCN, CocoLoop, Kuaikeji; Bandbreiten-Auslegungswert von uHBM, Decode-Durchsatzziel sowie Bank-Zahl und Bandbreitendichte von SpinPU-ED01 wurden anhand öffentlicher Angaben abgeglichen, wobei Bandbreite und Durchsatz jeweils Architektur-Auslegungswerte sind.