Hanxu Technology (寒序科技), công ty chip xuất thân từ Đại học Bắc Kinh, vừa công bố một kiến trúc tính toán suy luận (inference) mang tên uHBM và uLPU. Thế hệ uHBM đầu tiên đưa ra băng thông đọc trọng số trên chip theo thiết kế là 24 TB/s; uLPU đi kèm nhắm tới mô hình xương sống đa phương thức (multimodal) 4B tham số, với mục tiêu ở giai đoạn Decode vượt 2000 Tokens/s.
Công ty này thành lập tháng 8/2023, được ươm tạo bởi Trung tâm Từ học Ứng dụng của Đại học Bắc Kinh, thuộc nhóm những đội làm điện toán từ tính MRAM sớm nhất tại Trung Quốc.
Hàn cứng trọng số vào chip
Suy luận mô hình lớn chia làm hai giai đoạn Prefill và Decode: giai đoạn đầu ngốn năng lực tính toán, giai đoạn sau ngốn băng thông. Mỗi lần sinh ra một token, chip phải chuyển toàn bộ trọng số mô hình từ bộ nhớ vào đơn vị tính toán một lượt; HBM trên GPU chính là để phục vụ khâu di chuyển này. Băng thông càng lớn, tốc độ sinh token càng nhanh.
Cách làm của Hanxu là loại bỏ hẳn khâu di chuyển đó. Trọng số mô hình được lưu thường trực trong mảng Persistent MRAM, các phép tính ma trận-vector thực hiện ngay trên cùng một tấm silicon, chỉ có vector kích hoạt (activation) chiều thấp được truyền ra ngoài chip. MRAM là bộ nhớ không mất dữ liệu khi mất điện, trọng số vẫn còn nguyên, không cần nạp lại mỗi lần; khi đơn vị tính toán được đặt sát ngay mảng lưu trữ, chỉ số "băng thông đọc" chuyển từ vấn đề của bus liên chip thành vấn đề của định tuyến trong chip — mức 24 TB/s này khó thấy trên bus ngoài chip trong ngắn hạn.
Chip xác minh SpinPU-ED01 đã hoàn thành chế tạo (tape-out), tài liệu công khai cho biết có 120 MRAM Bank, băng thông truy cập bộ nhớ trên chip đo thực tế đạt mật độ 0,105 TB/(mm²·s), đã qua kiểm định của bên thứ ba và chạy ổn định liên tục 24 giờ.
Con số 4B vạch ranh giới
Mục tiêu hiệu năng của uLPU được ghi là mô hình xương sống đa phương thức 4B tham số, và con số này được chọn có chủ đích. Tiền đề của việc trọng số lưu thường trực trên chip là chip phải chứa vừa; dung lượng mảng MRAM quyết định trực tiếp mô hình có thể chạy lớn tới đâu. Ước tính sơ bộ, 4B tham số lưu ở định dạng INT8 chiếm khoảng 4 GB, đã gần chạm mức mà một con chip đơn lẻ theo công nghệ hiện tại có thể nhét vừa.
Vì vậy hướng đi này tự nhiên nhắm tới thiết bị đầu cuối (edge) và mô hình nhỏ. Trong lộ trình sản phẩm mà Hanxu công bố, dạng đầu cuối phối hợp với NPU, hướng tới robot; dạng đám mây dựa vào kết nối liên chip UCIe, dùng SerDes 112G/224G để nối nhiều chip lại, lấy xếp chồng (stacking) đổi lấy dung lượng. Từ uHBM-Die đến uLPU-Chip, Module, rồi tới Tray 2U và cả tủ Rack hoàn chỉnh, lộ trình được vẽ khá đầy đủ, nhưng ở mỗi cấp đều phải giải lại bài toán tổn hao kết nối và tản nhiệt.
Giữa giá trị thiết kế và con chip đã ra lò
Cần nói rõ: 24 TB/s và 2000 Tokens/s hiện tại đều là giá trị thiết kế theo kiến trúc, chưa được đo thực tế trên chip sản xuất hàng loạt. Câu trả lời thật sự phải chờ thế hệ sản phẩm đầu tiên hoàn thành chế tạo.
Sự khác biệt này trong các câu chuyện về chip nội địa Trung Quốc thường bị xóa nhòa. Giá trị thiết kế phản ánh trần kiến trúc, giá trị đo thực tế phản ánh những gì còn lại sau khi công nghệ chế tạo, tỷ lệ thành phẩm (yield) và việc hội tụ định thời (timing) đã trừ hao — mức chênh lệch ở giữa, trong lịch sử từng có ví dụ dao động từ 30% đến 70%.
Thời điểm Hanxu chọn không tệ. Năng lực sản xuất HBM bị vài hãng lớn nắm giữ, doanh nghiệp Trung Quốc khó lấy hàng, nên nhu cầu né HBM để làm suy luận đã trở nên rõ ràng. Groq từng đi qua con đường này bằng cách dùng SRAM thay HBM, cái giá là dung lượng mỗi card nhỏ, phải dựa vào cụm hàng trăm, hàng nghìn card. Mật độ của MRAM cao hơn SRAM, về lý thuyết một chip đơn có thể chứa nhiều trọng số hơn — đây chính là điểm phân nhánh giữa hướng đi của Hanxu và của Groq. Có hiện thực hóa được hay không, vẫn phải chờ con chip chưa lên dây chuyền sản xuất hàng loạt kia.
Nguồn tham khảo: tài liệu kỹ thuật công khai của Hanxu Technology, STCN, CocoLoop, Kuaikeji; băng thông thiết kế của uHBM, mục tiêu thông lượng Decode cùng số Bank và mật độ băng thông của SpinPU-ED01 đã được đối chiếu theo công bố chính thức, trong đó băng thông và thông lượng đều là giá trị thiết kế theo kiến trúc.