PrismML 把 1-bit 模型塞進高通眼鏡晶片

AI 新創公司 PrismML 為搭載高通晶片的智慧眼鏡打造了一款小型語言模型。高通在 9 月 24 日的 Snapdragon 高峰會上展示了 PrismML 的 1-bit Bonsai 模型在 Snapdragon AR1 Gen 1 平台上本機運作,配戴者可以對著眼前的東西即時提問。

這款模型有 20 億參數,針對視覺與語言任務調校過。據 TechCrunch 報導,PrismML 表示它的體積只有更大模型的四分之一,同時在標準基準測試上保留了大部分效能。具體對比的是哪款模型、哪幾項基準,報導並未列出。

PrismML 目前沒有公布任何搭載這款模型的商用眼鏡,哪家廠商會率先採用、何時上市,都還是未知數。

從 iPhone 到眼鏡

PrismML 由加州理工學院的研究人員創辦,柏克萊的 Ion Stoica 擔任顧問。這家公司的路線一直是把模型壓縮,塞進終端裝置裡運作。

7 月,該公司宣稱把阿里巴巴通義千問 Qwen 3.6 的 270 億參數稠密模型從約 54GB 壓縮到 4GB 以內,放到 iPhone 17 Pro 上本機運作。更早推出的 Bonsai 系列有 8B、4B、1.7B 三種尺寸,主打 1-bit 權重,公司提出的數據是記憶體佔用比全精度模型小 14 倍、速度快 8 倍、耗電低 5 倍。它的 1-bit 後端 Q1_0 也已併入 llama.cpp。

這次的 2B 版本,參數量介於 Bonsai 原有的 1.7B 與 4B 之間,額外加入了視覺能力。從 iPhone 上的 270 億參數到眼鏡上的 20 億參數,PrismML 正往運算資源更緊繃的裝置邁進。

為何是 AR1 Gen 1

Snapdragon AR1 Gen 1 是高通專為輕量智慧眼鏡設計的晶片,Ray-Ban Meta 這類不帶顯示螢幕的 AI 眼鏡用的就是這個平台。眼鏡的電池與散熱空間都很有限,目前市面上多數 AI 眼鏡把視覺問答交給手機或雲端處理,眼鏡本身只負責拍照、收音與播放。

在本機執行模型有兩個直接好處。一是不依賴網路,訊號不佳的地方也能用;二是攝影機拍到的畫面可以留在裝置上,不必上傳。代價則在續航力與效果:20 億參數的模型能回答多複雜的問題,連續辨識時的發熱與耗電表現如何,高峰會的展示給不出答案,得等實機推出才能測試。

PrismML 對外的說法是,希望讓開放權重的 AI 在裝置端運作,更善用使用者手邊既有的運算資源,讓使用者不必只依賴少數幾家大型封閉式 AI 實驗室。

在中國市場,高通的 AR 系列晶片同樣是不少中國國產 AI 眼鏡的選擇。PrismML 的模型走開放權重路線,若後續公開釋出,中國的眼鏡廠商與開發者理論上也能直接拿來嘗試,但這款 2B 視覺版本何時釋出、採用什麼授權條款,公司尚未說明。

參考來源:TechCrunch、CocoLoop、高通 Snapdragon 高峰會展示、PrismML 官方頁面;模型參數量、體積比例與 Bonsai 系列數據按公司說法查核。