Startup AI PrismML membuat model bahasa berukuran kecil untuk kacamata pintar berbasis chip Qualcomm. Pada Snapdragon Summit tanggal 24 September, Qualcomm mendemonstrasikan model 1-bit Bonsai milik PrismML berjalan secara lokal di platform Snapdragon AR1 Gen 1, memungkinkan pengguna mengajukan pertanyaan secara real-time tentang apa pun yang ada di depan mata mereka.
Model ini memiliki 2 miliar parameter, yang disetel khusus untuk tugas visual dan bahasa. Menurut laporan TechCrunch, PrismML mengklaim ukurannya hanya seperempat dari model yang lebih besar, sambil tetap mempertahankan sebagian besar performa pada benchmark standar. Laporan tersebut tidak menyebutkan model dan benchmark spesifik yang digunakan untuk perbandingan itu.
PrismML belum mengumumkan kacamata komersial mana pun yang akan menggunakan model ini. Produsen mana yang akan menjadi yang pertama mengadopsinya, dan kapan produk itu akan diluncurkan, masih belum jelas.
Dari iPhone ke Kacamata
PrismML didirikan oleh para peneliti dari Caltech, dengan Ion Stoica dari Berkeley sebagai penasihat. Strategi perusahaan ini secara konsisten adalah memperkecil ukuran model agar bisa berjalan langsung di perangkat pengguna.
Pada Juli, perusahaan ini mengklaim telah mengompresi model padat Qwen 3.6 milik Alibaba yang berparameter 27 miliar, dari sekitar 54GB menjadi kurang dari 4GB, dan menjalankannya secara lokal di iPhone 17 Pro. Seri Bonsai sebelumnya hadir dalam ukuran 8B, 4B, dan 1,7B yang mengandalkan bobot 1-bit, dengan klaim perusahaan berupa penggunaan memori 14 kali lebih kecil, kecepatan 8 kali lebih cepat, dan konsumsi energi 5 kali lebih rendah dibanding model presisi penuh. Backend 1-bit miliknya, Q1_0, juga sudah digabungkan ke dalam llama.cpp.
Versi 2B kali ini berada di antara ukuran 1,7B dan 4B yang sudah ada di seri Bonsai, dengan tambahan kemampuan visual. Dari 27 miliar parameter di iPhone menjadi 2 miliar parameter di kacamata, PrismML bergerak ke arah perangkat dengan kapasitas komputasi yang jauh lebih terbatas.
Mengapa AR1 Gen 1
Snapdragon AR1 Gen 1 adalah chip yang dirancang khusus Qualcomm untuk kacamata pintar ringan; kacamata AI tanpa layar seperti Ray-Ban Meta menggunakan platform ini. Ruang baterai dan termal pada kacamata sangat terbatas, dan sebagian besar kacamata AI di pasaran saat ini menyerahkan tugas tanya-jawab visual ke ponsel atau cloud, sementara kacamata itu sendiri hanya menangani pemotretan, perekaman suara, dan pemutaran.
Menjalankan model secara lokal memberikan dua keuntungan langsung. Pertama, tidak bergantung pada jaringan, sehingga tetap bisa digunakan di area dengan sinyal buruk; kedua, rekaman yang diambil kamera bisa tetap berada di perangkat tanpa perlu diunggah. Konsekuensinya ada pada daya tahan baterai dan performa: seberapa rumit pertanyaan yang bisa dijawab model 2 miliar parameter ini, serta seberapa panas dan boros daya saat pengenalan berlangsung terus-menerus, belum bisa dijawab oleh demo di ajang tersebut — harus menunggu perangkat asli untuk diuji.
Pernyataan resmi PrismML adalah keinginan mereka agar AI open-weight bisa berjalan langsung di perangkat, memanfaatkan lebih baik daya komputasi yang sudah dimiliki pengguna, sehingga pengguna tidak harus bergantung sepenuhnya pada segelintir laboratorium AI besar yang tertutup.
Di pasar China, chip seri AR dari Qualcomm juga menjadi pilihan banyak produsen kacamata AI lokal. Model PrismML mengikuti pendekatan open-weight, sehingga jika suatu saat dirilis untuk diunduh, produsen kacamata dan pengembang di China secara teori bisa langsung memakainya — namun kapan versi visual 2B ini akan dirilis dan dengan lisensi apa belum diumumkan perusahaan.
Sumber: TechCrunch, CocoLoop, demo Snapdragon Summit Qualcomm, halaman resmi PrismML; jumlah parameter model, rasio ukuran, dan data seri Bonsai mengikuti klaim perusahaan.