Edge0, công ty chuyên về mô hình chạy trên thiết bị đầu cuối, ngày 12/11 đã mở mã nguồn Edge0-145B và Edge0-120B, đồng thời phát hành khung suy luận thống nhất cùng bộ công cụ triển khai. Công ty cho biết 145B là mô hình mã nguồn mở chạy trên thiết bị đầu cuối đầu tiên đạt 145 tỷ tham số, nhắm tới laptop cá nhân và không cần máy chủ.
Phiên bản đầu tiên hỗ trợ macOS, Windows và Linux, bao gồm chip Apple dòng M cùng các nền tảng của Nvidia như RTX Spark, RTX 4090 và RTX 5090. Trọng số được đặt trên Hugging Face, khung suy luận nằm trên GitHub; ngoài ra còn có một ứng dụng desktop không cần tài khoản, không giới hạn hạn mức, các chức năng cốt lõi dùng được khi ngoại tuyến.
Điểm benchmark so với các mô hình đám mây hạng “Flash”
Trong các kết quả Edge0 công bố, DeepSWE 1.1 đạt 64,6, trong khi Qwen3.8-Flash-Next là 58,7 và DeepSeek-V4-Flash-0731 là 54,4; Terminal-Bench 2.1 đạt 86,52, cao hơn mức 83,3 và 82,7 của hai mô hình này. GPQA-Diamond đạt 90,4, thấp hơn đôi chút so với 90,8 của DeepSeek-V4-Flash-0731; HLE đạt 35,4, cũng thấp hơn một chút so với 35,9 của Qwen3.8-Flash-Next.
Các điểm số này có một tiền đề: kết quả của Edge0, Qwen, DeepSeek và Claude đều đến từ đánh giá nội bộ của Edge0, môi trường kiểm thử đầy đủ và hướng dẫn tái lập sẽ được công bố cùng báo cáo kỹ thuật. Claude trong bảng so sánh là Opus 4.6 (Max), thuộc một thế hệ khá cũ, các mô hình chủ lực hiện nay đã được cập nhật từ lâu. Trước khi có kết quả kiểm tra lại từ bên thứ ba, bảng này chỉ nên được xem là số liệu do nhà sản xuất tự công bố.
So với mô hình điện thoại trước đó của chính hãng, bước nhảy là rất lớn. Edge0-35B ra mắt hồi tháng 9 dùng khoảng 2,5GB bộ nhớ trên iPhone 18 Pro Max, đạt trên 37 token mỗi giây; 145B có số tham số gấp khoảng bốn lần và được đưa lên laptop. Mô hình nền tảng chạy trên thiết bị của Apple có khoảng 3B tham số, Gemini Nano của Google có hai phiên bản 1,8B và 3,25B; Edge0 dùng hai con số này để cho thấy các mô hình trên thiết bị đầu cuối trước đây phổ biến dưới 10B.
145 tỷ tham số được nhét vào 29GB như thế nào
Tính nhẩm một chút: với lượng tử hóa 4-bit thông thường, 145B tham số chỉ riêng trọng số đã cần khoảng 72GB, vượt xa 29GB. Cách làm Edge0 đưa ra gồm bốn tầng.
Về kiến trúc, dùng chung các ma trận lớn. Cứ mỗi 64 chuyên gia (expert) dùng chung hai nhóm ma trận lớn, mỗi chuyên gia chỉ giữ lại một nhóm nhỏ tham số mô tả điểm khác biệt, nhờ vậy lượng trọng số cần lưu trữ và di chuyển giảm xuống trong khi số chuyên gia không đổi. Mỗi bước suy luận chỉ kích hoạt khoảng 10B tham số.
Huấn luyện ngay từ đầu theo cấu trúc dành cho thiết bị đầu cuối. Mô hình được huấn luyện trên kiến trúc dành cho thiết bị đầu cuối ngay từ đầu, không đi theo hướng “huấn luyện mô hình đám mây lớn trước rồi nén, cắt tỉa sau”.
Nạp dữ liệu theo dây chuyền lưu trữ ba cấp. Các “chuyên gia nóng” hay dùng nằm trong VRAM; kho chuyên gia khoảng 40GB đặt trong bộ nhớ hệ thống và được nạp vào VRAM khi cần; dữ liệu bảng từ vựng khoảng 48GB nằm trên SSD và được đọc khi dùng đến. Việc đọc và tính toán chồng lấp lên nhau để tránh chờ đợi tuần tự.
Về điều phối, CPU và GPU cùng làm việc. GPU tính các chuyên gia trong bộ đệm, CPU xử lý song song phần còn lại; cộng thêm giải mã suy đoán (speculative decoding) xác minh nhiều token ứng viên cùng lúc, chi phí đọc trọng số được dàn trải lên nhiều đầu ra hơn.
Có một điểm bài blog chưa giải thích rõ: bộ nhớ đỉnh 29GB và kho chuyên gia khoảng 40GB nằm trong bộ nhớ hệ thống khớp với nhau thế nào, và cách thống kê có phải chỉ tính phía VRAM hay không, bài viết không nói. Trong biểu đồ so sánh của chính Edge0, mức ghi là laptop có 48GB dùng được, người dùng muốn chạy cục bộ nên chuẩn bị 48GB bộ nhớ thống nhất cho chắc chắn.
Phần demo và số liệu do công ty cung cấp
Edge0 trình chiếu một số demo agent chạy cục bộ: tạo một video giải thích trong vòng một giờ, dựng cảnh thành phố Manhattan trong Blender, viết chương trình cho drone bay vượt chướng ngại vật để tìm chiếc ba lô đỏ, và đi từ bố trí mạch trong KiCad đến hoạt ảnh lắp ráp trong UE5. Tất cả đều là thử nghiệm nội bộ của công ty; mức nhân lực và chi phí token đám mây tiết kiệm được cũng là cách quy đổi của chính công ty.
Công ty còn cho biết bốn dòng sản phẩm của mình đã phát hành 200 mô hình trong một năm, các mô hình mã nguồn mở có hơn 15 triệu lượt tải trong ba tháng, và tính đến tháng 10 có hơn 110.000 tổ chức khách hàng. Những con số quy mô này hiện chỉ là số liệu từ một phía công ty, chưa thể xác minh.
Nguồn tham khảo: blog phát hành chính thức của Edge0, trang mô hình trên Hugging Face, CocoLoop, tài liệu khung suy luận Edge0 trên GitHub; mọi điểm benchmark đều theo đánh giá nội bộ của Edge0, 29GB là bộ nhớ đỉnh do nhà sản xuất đo thực tế.