Microsoft cho nhiều PC chạy chung một mô hình lớn qua USB4

Microsoft vừa phát hành bản xem trước dành cho nhà phát triển của RDMA over USB4 trên Windows. Chỉ cần nối vài máy tính Windows với nhau bằng cáp USB4 thông thường là có thể gộp bộ nhớ và GPU của từng máy để chạy chung một mô hình lớn cục bộ, không cần card mạng RDMA chuyên dụng, switch hay trình điều khiển của bên thứ ba.

Giải pháp này nhắm tới những mô hình mà bộ nhớ của một máy đơn lẻ không chứa nổi. Trước đây, gặp tình huống đó người dùng hoặc phải nén mô hình nhỏ hơn, hoặc đẩy yêu cầu lên đám mây; giờ có thêm một lựa chọn là gắn thêm một máy nữa.

Illustration: three mini PCs linked pairwise by three cables support a red cube representing one shared local AI model

Ba máy mini chạy mô hình 235B

Microsoft công bố hai bản demo, một của AMD và một của Intel.

Cấu hìnhMô hìnhTốc độ sinh
3 máy Ryzen AI Max+ 395, mỗi máy 128GBQwen3-235B-A22B (lượng tử hóa 4-bit)18,5 đến 21,98 token/giây
3 máy Core Ultra Series 3, mỗi máy 64GBGPT-OSS-120B49,4 token/giây
4 máy Core Ultra Series 3, mỗi máy 64GBGPT-OSS-120B54,2 token/giây

Cấu hình của AMD dùng các máy tính mini có GPU tích hợp Radeon 8060S, mỗi máy có 128GB bộ nhớ hợp nhất. Con số 18,5 do chính Microsoft đo, còn 21,98 là kết quả AMD chạy trên cấu hình của hãng. Ở phía Intel, khi tăng từ ba lên bốn máy, tốc độ nhích từ 49,4 lên 54,2, tức thêm một máy chỉ đổi lấy mức cải thiện chưa tới một phần mười.

Tính nhẩm sơ bộ là thấy vì sao cần ghép máy: 235 tỷ tham số lưu ở dạng 4-bit thì riêng phần trọng số đã gần 118GB. Nhét vào một máy 128GB xong, phần dư cho ngữ cảnh và hệ thống chẳng còn bao nhiêu; chia ra ba máy mới có chỗ để chạy ngữ cảnh dài. Đây là ước tính theo số tham số, mức chiếm dụng thực tế còn tùy định dạng lượng tử hóa và độ dài ngữ cảnh, và Microsoft không công bố mức dùng bộ nhớ của từng nút.

Nhanh nhờ bỏ qua ngăn xếp mạng

RDMA, viết tắt của truy cập bộ nhớ trực tiếp từ xa, giúp dữ liệu khi chuyển giữa hai máy bỏ qua phần lớn phần mềm mạng thông thường. Theo số liệu Microsoft đưa ra, độ trễ khứ hồi của các thông điệp nhỏ vào khoảng 28 đến 50 micro giây, trong khi chạy UDP trên cùng một liên kết USB4 chậm hơn khoảng bốn lần. Tốc độ liên kết hỗ trợ hai mức 40Gbps và 80Gbps, các cổng Thunderbolt 4 và Thunderbolt 5 tương thích cũng dùng được.

Suy luận phân tán rất nhạy với độ trễ. Một mô hình bị cắt ra chạy trên nhiều máy, và cứ mỗi token được sinh ra thì kết quả trung gian lại phải truyền qua lại giữa các máy một vòng; truyền chậm hơn một chút là tốc độ chung tụt xuống.

Cách đấu dây cũng có yêu cầu riêng. Microsoft đòi hỏi mỗi máy phải nối trực tiếp với mọi máy còn lại: với ba máy, mỗi máy chiếm hai cổng USB4 và cần tổng cộng ba sợi cáp; theo đúng quy tắc đó thì bốn máy sẽ là mỗi máy ba cổng và sáu sợi cáp. Microsoft đặc biệt lưu ý rằng nếu nối các máy thành một chuỗi, hiệu năng sẽ giảm rõ rệt. Số cổng USB4 trên máy tính phổ thông có hạn, nên chúng tôi ước tính quy mô tối đa của giải pháp này chỉ khoảng bốn đến năm máy.

So với giải pháp dùng card mạng chuyên dụng

RDMA đã được dùng nhiều năm trong máy chủ và cụm AI, Windows lẫn Linux đều hỗ trợ từ lâu, chỉ là trước nay luôn cần phần cứng chuyên dụng. ServeTheHome trước đó từng trình diễn một cụm tám nút NVIDIA GB10 với tổng bộ nhớ 1TB, dùng card mạng ConnectX-7 và Ethernet 200Gbps, chạy giao thức RoCE. Tốc độ liên kết của giải pháp đó gấp nhiều lần USB4, đổi lại mỗi máy đều phải có card mạng chuyên dụng, cộng thêm một switch.

Apple đi theo hướng gần với Microsoft: cuối năm ngoái hãng mở RDMA cho Thunderbolt 5 trong macOS, và sau đó cách xếp nhiều máy Mac lại để chạy mô hình lớn trở nên phổ biến hơn. Về phía Windows, VideoCardz nêu một chi tiết: các máy thuộc dòng RTX Spark không có cổng ConnectX-7 như DGX Spark, và tính năng này của Microsoft nhắm đúng vào loại máy đó, bao gồm cả các máy tính mini Strix Halo và Gorgon Halo của AMD.

So ra thì vị trí của giải pháp USB4 rất rõ: băng thông và khả năng mở rộng không sánh được với cách làm trong phòng máy, nhưng bù lại không cần thêm bất kỳ phần cứng nào, nhóm nhỏ hay cá nhân đang có hai, ba máy mới là có thể thử ngay.

Khi nào dùng được

Hiện các bản Windows công khai chưa có tính năng này. Microsoft dự kiến phát hành qua kênh Experimental của Windows Insider, chưa công bố ngày cụ thể. NetworkDirect provider ở tầng dưới và một bản llama.cpp đã chỉnh sửa đã được mở mã nguồn, nhà phát triển nào muốn thử sớm có thể xem mã trước.

Vẫn còn vài điều Microsoft chưa nói: những chip điều khiển USB4 nào nằm trong danh sách hỗ trợ, máy của các hãng khác nhau có nối lẫn với nhau được không, và khi nào các công cụ phổ biến như Ollama, LM Studio sẽ theo kịp. Các demo đều dùng chip thế hệ mới; những máy USB4 đời cũ hơn có dùng được hay không thì phải chờ bản xem trước ra mắt mới có kiểm chứng thực tế.

Nguồn tham khảo: Blog kỹ thuật USB của Microsoft, VideoCardz, CocoLoop; đã đối chiếu cấu hình máy, mô hình chạy và số token mỗi giây của ba bản demo, cùng độ trễ khứ hồi và yêu cầu đấu dây.