La start-up d'IA PrismML a mis au point un petit modèle de langage pour des lunettes connectées équipées de puces Qualcomm. Lors du Snapdragon Summit du 24 septembre, Qualcomm a montré le modèle Bonsai en 1 bit de PrismML fonctionnant localement sur la plateforme Snapdragon AR1 Gen 1, permettant à la personne qui porte les lunettes de poser des questions en temps réel sur ce qu'elle a sous les yeux.
Ce modèle compte 2 milliards de paramètres et a été ajusté à la fois pour des tâches visuelles et linguistiques. Selon TechCrunch, PrismML affirme que sa taille ne représente qu'un quart de celle de modèles plus grands, tout en conservant l'essentiel des performances sur des benchmarks standards. L'article ne précise pas à quel modèle la comparaison a été faite ni quels benchmarks ont été utilisés.
PrismML n'a pour l'instant annoncé aucune paire de lunettes commerciale intégrant ce modèle ; on ignore quel fabricant sera le premier à l'adopter et à quel moment un produit pourrait arriver.
De l'iPhone aux lunettes
PrismML a été fondée par des chercheurs de Caltech, avec Ion Stoica, de Berkeley, comme conseiller. La ligne constante de l'entreprise consiste à compresser des modèles pour les faire tourner directement sur des appareils terminaux.
En juillet, l'entreprise a annoncé avoir compressé le modèle dense Qwen 3.6 d'Alibaba, fort de 27 milliards de paramètres, d'environ 54 Go à moins de 4 Go, pour le faire tourner localement sur un iPhone 17 Pro. La série Bonsai, lancée auparavant, propose des tailles de 8B, 4B et 1,7B, toutes centrées sur des poids en 1 bit ; selon l'entreprise, elles consomment 14 fois moins de mémoire, sont 8 fois plus rapides et 5 fois moins gourmandes en énergie que des modèles en pleine précision. Son moteur 1 bit maison, Q1_0, a par ailleurs déjà été intégré à llama.cpp.
Cette nouvelle version 2B se situe entre les tailles existantes de Bonsai, 1,7B et 4B, avec en plus des capacités visuelles. Passant d'un modèle à 27 milliards de paramètres sur iPhone à un modèle à 2 milliards sur des lunettes, PrismML se dirige vers des appareils aux ressources de calcul de plus en plus limitées.
Pourquoi l'AR1 Gen 1
Le Snapdragon AR1 Gen 1 est une puce que Qualcomm a conçue spécifiquement pour des lunettes connectées légères ; c'est la même plateforme qu'utilisent des lunettes d'IA sans écran comme les Ray-Ban Meta. L'espace disponible pour la batterie et la dissipation thermique étant très limité sur des lunettes, la plupart des lunettes d'IA actuelles délèguent les questions visuelles au smartphone ou au cloud, les lunettes elles-mêmes se contentant de photographier, capter le son et le restituer.
Faire tourner le modèle localement apporte deux avantages directs : ne pas dépendre d'une connexion réseau, ce qui permet de l'utiliser même là où le signal est faible, et garder les images captées par la caméra sur l'appareil sans avoir à les envoyer ailleurs. La contrepartie se joue sur l'autonomie et les performances réelles : jusqu'à quel niveau de complexité un modèle à 2 milliards de paramètres peut répondre à des questions, et quelle chaleur ou consommation génère une reconnaissance en continu, sont des points que la démonstration lors de l'événement n'a pas permis de trancher ; il faudra attendre un appareil réel pour le vérifier.
PrismML explique vouloir permettre à une IA à poids ouverts de tourner directement sur les appareils, afin de mieux exploiter la puissance de calcul déjà entre les mains des utilisateurs, pour qu'ils ne dépendent pas uniquement de quelques grands laboratoires d'IA à code fermé.
Sur le marché chinois, les puces AR de Qualcomm sont également choisies par plusieurs fabricants locaux de lunettes d'IA. Le modèle de PrismML suivant une logique de poids ouverts, si celui-ci est un jour rendu public au téléchargement, les fabricants de lunettes et développeurs chinois pourraient en théorie l'essayer directement ; l'entreprise n'a toutefois pas encore précisé quand cette version visuelle 2B sera ouverte, ni sous quelle licence.
Sources : TechCrunch, CocoLoop, démonstration au Snapdragon Summit de Qualcomm, page officielle de PrismML ; le nombre de paramètres, le ratio de taille et les indicateurs de la série Bonsai ont été vérifiés à partir des déclarations de l'entreprise.