PrismML 把 1-bit 模型装进高通眼镜芯片

AI 初创公司 PrismML 为搭载高通芯片的智能眼镜做了一款小型语言模型。高通在 9 月 24 日的 Snapdragon 峰会上演示了 PrismML 的 1-bit Bonsai 模型在 Snapdragon AR1 Gen 1 平台上本地运行,佩戴者可以对着眼前的东西实时提问。

这款模型有 20 亿参数,针对视觉和语言任务调过。据 TechCrunch 报道,PrismML 称它的体积只有更大模型的四分之一,同时在标准基准测试上保留了大部分性能。具体对比的是哪款模型、哪几项基准,报道没有列出。

PrismML 目前没有公布任何搭载这款模型的商用眼镜,哪家厂商会先用、什么时候上市,都还是空白。

从 iPhone 到眼镜

PrismML 由加州理工的研究人员创办,伯克利的 Ion Stoica 担任顾问。这家公司的路线一直是把模型压小,塞进终端设备里跑。

7 月,它宣称把阿里通义千问 Qwen 3.6 的 270 亿参数稠密模型从约 54GB 压到 4GB 以内,放到 iPhone 17 Pro 上本地运行。更早推出的 Bonsai 系列有 8B、4B、1.7B 三种尺寸,主打 1-bit 权重,公司给出的指标是内存占用比全精度模型小 14 倍、速度快 8 倍、能耗低 5 倍。它的 1-bit 后端 Q1_0 也已进入 llama.cpp。

这次的 2B 版本,参数量介于 Bonsai 原有的 1.7B 和 4B 之间,额外加了视觉能力。从 iPhone 上的 270 亿参数到眼镜上的 20 亿参数,PrismML 在往算力更紧的设备走。

为什么是 AR1 Gen 1

Snapdragon AR1 Gen 1 是高通专为轻量智能眼镜设计的芯片,Ray-Ban Meta 这类不带显示屏的 AI 眼镜用的就是这个平台。眼镜的电池和散热空间都很小,目前市面上多数 AI 眼镜把视觉问答交给手机或云端处理,眼镜本身只负责拍照、收音和播放。

本地跑模型有两个直接好处。一是不依赖网络,信号差的地方也能用;二是摄像头拍到的画面可以留在设备上,不用上传。代价在续航和效果:20 亿参数的模型能回答多复杂的问题,连续识别时发热和耗电如何,峰会演示给不出答案,要等真机出来才能测。

PrismML 对外的说法是,希望让开放权重的 AI 在设备上运行,更好地利用用户手里已有的算力,让用户不必只依赖几家大型闭源 AI 实验室。

对国内市场,高通 AR 系列芯片同样是不少国产 AI 眼镜的选择。PrismML 的模型走开放权重路线,如果后续公开下载,国内眼镜厂商和开发者理论上也能直接拿来试,但这款 2B 视觉版本何时开放、用什么许可协议,公司还没有说明。

参考来源:TechCrunch、CocoLoop、高通 Snapdragon 峰会演示、PrismML 官方页面;模型参数量、体积比例与 Bonsai 系列指标按公司口径核验。