Công ty khởi nghiệp AI PrismML đã phát triển một mô hình ngôn ngữ nhỏ dành cho kính thông minh dùng chip Qualcomm. Tại sự kiện Snapdragon Summit ngày 24 tháng 9, Qualcomm đã trình diễn mô hình 1-bit Bonsai của PrismML chạy cục bộ trên nền tảng Snapdragon AR1 Gen 1, cho phép người đeo kính đặt câu hỏi theo thời gian thực về những gì đang ở trước mắt.
Mô hình này có 2 tỷ tham số, được tinh chỉnh cho cả tác vụ thị giác và ngôn ngữ. Theo TechCrunch, PrismML cho biết dung lượng của mô hình chỉ bằng một phần tư so với các mô hình lớn hơn, trong khi vẫn giữ được phần lớn hiệu năng trên các bài kiểm tra chuẩn. Bài báo không nêu rõ mô hình nào được dùng để so sánh hay các bài kiểm tra cụ thể là gì.
PrismML hiện chưa công bố bất kỳ mẫu kính thương mại nào sử dụng mô hình này; hãng nào sẽ là bên đầu tiên áp dụng và thời điểm ra mắt vẫn còn bỏ ngỏ.
Từ iPhone đến kính thông minh
PrismML do các nhà nghiên cứu từ Caltech thành lập, với Ion Stoica của Berkeley làm cố vấn. Hướng đi xuyên suốt của công ty là nén mô hình lại để chạy được trên thiết bị đầu cuối.
Vào tháng 7, công ty này tuyên bố đã nén mô hình dense 27 tỷ tham số Qwen 3.6 của Alibaba từ khoảng 54GB xuống dưới 4GB, chạy cục bộ trên iPhone 17 Pro. Dòng Bonsai ra mắt trước đó có ba kích thước 8B, 4B và 1.7B, tập trung vào trọng số 1-bit, với các chỉ số công ty đưa ra là bộ nhớ sử dụng nhỏ hơn 14 lần, tốc độ nhanh hơn 8 lần và tiêu thụ năng lượng thấp hơn 5 lần so với mô hình full-precision. Backend 1-bit Q1_0 của hãng cũng đã được tích hợp vào llama.cpp.
Phiên bản 2B lần này có số tham số nằm giữa hai kích thước 1.7B và 4B sẵn có của Bonsai, được bổ sung thêm khả năng thị giác. Từ 27 tỷ tham số trên iPhone đến 2 tỷ tham số trên kính, PrismML đang hướng tới những thiết bị có tài nguyên tính toán ngày càng hạn hẹp hơn.
Vì sao là AR1 Gen 1
Snapdragon AR1 Gen 1 là chip Qualcomm thiết kế riêng cho kính thông minh gọn nhẹ; đây cũng là nền tảng được dùng trên các mẫu kính AI không màn hình như Ray-Ban Meta. Không gian pin và tản nhiệt trên kính rất hạn chế, nên phần lớn kính AI hiện nay giao việc hỏi đáp bằng hình ảnh cho điện thoại hoặc đám mây xử lý, còn bản thân kính chỉ đảm nhận chụp ảnh, thu âm và phát âm thanh.
Chạy mô hình cục bộ mang lại hai lợi ích trực tiếp. Một là không phụ thuộc vào mạng, vẫn dùng được ở nơi sóng yếu; hai là hình ảnh camera ghi lại có thể lưu ngay trên thiết bị mà không cần tải lên. Cái giá phải trả nằm ở thời lượng pin và hiệu năng thực tế: mô hình 2 tỷ tham số có thể trả lời được câu hỏi phức tạp đến đâu, mức tỏa nhiệt và tiêu hao pin khi nhận diện liên tục ra sao, buổi trình diễn tại sự kiện chưa cho câu trả lời, phải chờ sản phẩm thực tế mới kiểm chứng được.
PrismML cho biết mục tiêu của họ là để AI mã nguồn mở trọng số (open-weight) chạy được ngay trên thiết bị, tận dụng tốt hơn năng lực tính toán mà người dùng đã có sẵn, để họ không phải phụ thuộc hoàn toàn vào một vài phòng thí nghiệm AI đóng nguồn lớn.
Đối với thị trường Trung Quốc, dòng chip AR của Qualcomm cũng là lựa chọn của không ít hãng kính AI nội địa. Vì mô hình của PrismML đi theo hướng mở trọng số, nếu sau này được công khai tải về, các nhà sản xuất kính và lập trình viên Trung Quốc về lý thuyết cũng có thể thử nghiệm trực tiếp, nhưng công ty chưa cho biết khi nào phiên bản thị giác 2B này sẽ được mở và theo giấy phép nào.
Nguồn tham khảo: TechCrunch, CocoLoop, bản trình diễn tại sự kiện Snapdragon Summit của Qualcomm, trang chính thức của PrismML; số liệu về tham số mô hình, tỷ lệ dung lượng và các chỉ số của dòng Bonsai được đối chiếu theo công bố của công ty.