Startup chip yang berafiliasi dengan Peking University, Hanxu Technology, memperkenalkan arsitektur komputasi inferensi bernama uHBM dan uLPU. Generasi pertama uHBM mematok nilai desain bandwidth pembacaan bobot on-chip sebesar 24TB/s, sementara uLPU pendampingnya menyasar model backbone multimodal 4B parameter dengan target throughput tahap decode di atas 2.000 token per detik.
Perusahaan ini berdiri Agustus 2023, dierami oleh Center for Applied Magnetism di Peking University, dan termasuk salah satu tim paling awal di Tiongkok yang menggarap komputasi magnetik berbasis MRAM.
Mematri Bobot agar Tidak Berpindah
Inferensi model besar terbagi dua tahap, prefill dan decode. Prefill menguras daya komputasi, decode menguras bandwidth. Setiap kali chip mengeluarkan satu token, seluruh bobot model harus dipindahkan dari memori ke unit komputasi — inilah tugas HBM pada GPU. Semakin lebar bandwidth-nya, semakin cepat token keluar.
Pendekatan Hanxu adalah menghapus proses pemindahan itu sama sekali. Bobot model menetap permanen di array Persistent MRAM, operasi matriks-vektor dijalankan di keping silikon yang sama, dan hanya vektor aktivasi berdimensi rendah yang keluar dari chip. MRAM bersifat non-volatile — bobot tidak hilang saat daya mati dan tidak perlu dimuat ulang setiap kali. Dengan menempatkan unit komputasi tepat di sebelah array penyimpanan, "bandwidth pembacaan" berubah dari persoalan bus antar-chip menjadi persoalan routing di dalam chip. Angka sebesar 24TB/s bukan sesuatu yang bisa dicapai bus di luar chip dalam waktu dekat.
Chip validasi bernama SpinPU-ED01 sudah kembali dari fab. Materi publik menyebut 120 bank MRAM dengan kepadatan bandwidth akses memori on-chip terukur sebesar 0,105TB/(mm²·s), dan chip ini telah lolos pengujian pihak ketiga serta uji operasi stabil 24 jam nonstop.
Batas di Angka 4B
Target performa uLPU dipatok pada model backbone multimodal 4B parameter, dan ukuran ini bukan tanpa perhitungan. Prasyarat menyimpan bobot secara permanen di chip adalah chip itu harus mampu menampungnya secara fisik, sehingga kapasitas array MRAM langsung membatasi seberapa besar model yang bisa dijalankan. Hitungan kasarnya, 4B parameter yang disimpan dalam format INT8 membutuhkan sekitar 4GB — sudah mendekati kapasitas maksimal yang bisa dimuat satu chip dengan proses fabrikasi saat ini.
Keterbatasan ini secara alami mengarahkan pendekatan ini ke perangkat edge dan model berukuran kecil. Dalam peta jalan yang dipublikasikan Hanxu, bentuk edge dipasangkan dengan NPU dan menyasar robotika; bentuk cloud mengandalkan interkoneksi antar-die UCIe serta SerDes 112G/224G untuk menghubungkan banyak chip, menukar penumpukan (stacking) dengan kapasitas. Peta jalannya membentang dari uHBM-Die ke uLPU-Chip dan Module, lalu ke tray 2U dan rak penuh — jalur yang lengkap di atas kertas, tapi setiap tahap harus memecahkan ulang masalah rugi interkoneksi dan pembuangan panas.
Antara Nilai Desain dan Chip Sungguhan
Satu hal yang perlu ditegaskan: angka 24TB/s dan target 2.000 token/detik untuk saat ini adalah nilai desain arsitektur, bukan hasil pengukuran dari chip produksi massal. Jawaban sesungguhnya baru akan diketahui setelah produk generasi pertama kembali dari fab.
Perbedaan ini sering kali dikaburkan dalam narasi seputar chip buatan Tiongkok. Nilai desain mencerminkan batas atas arsitektur, sedangkan nilai terukur mencerminkan sisa yang tersisa setelah proses fabrikasi, yield, dan penyelarasan timing selesai — dan secara historis selisihnya bisa berkisar dari 30% sampai 70%.
Momentum yang diambil Hanxu terbilang tepat. Kapasitas produksi HBM dikuasai segelintir pemain besar, produsen domestik Tiongkok kesulitan mendapat pasokan, dan mencari jalan memutar dari HBM untuk inferensi menjadi kebutuhan yang jelas. Groq sudah membuktikan satu jalur dengan mengganti HBM dengan SRAM, dengan konsekuensi kapasitas per kartu kecil sehingga harus mengelompokkan ratusan hingga ribuan kartu. MRAM lebih padat dari SRAM, sehingga secara teori satu chip bisa menampung lebih banyak bobot — di titik inilah jalur Hanxu berbeda dari Groq. Apakah ini bisa benar-benar terwujud masih bergantung pada chip yang belum diproduksi massal itu.
Sumber: materi teknis publik Hanxu Technology, STAR Market Daily, CocoLoop, Kuaikeji; nilai desain bandwidth uHBM, target throughput decode, serta jumlah bank dan kepadatan bandwidth SpinPU-ED01 telah diverifikasi berdasarkan keterangan publik, dengan catatan bandwidth dan throughput sama-sama merupakan nilai desain arsitektur, bukan hasil pengukuran.