Das KI-Startup PrismML hat ein kleines Sprachmodell für Smart Glasses mit Qualcomm-Chips entwickelt. Auf dem Snapdragon Summit am 24. September zeigte Qualcomm, wie PrismMLs 1-Bit-Modell Bonsai lokal auf der Plattform Snapdragon AR1 Gen 1 läuft – Träger können in Echtzeit Fragen zu dem stellen, was sie gerade vor sich sehen.
Das Modell hat 2 Milliarden Parameter und wurde sowohl für visuelle als auch für sprachliche Aufgaben angepasst. Laut TechCrunch gibt PrismML an, dass das Modell nur ein Viertel der Größe größerer Modelle einnimmt, dabei aber den Großteil der Leistung in Standard-Benchmarks beibehält. Welches Modell konkret zum Vergleich herangezogen wurde und welche Benchmarks gemeint sind, nennt der Bericht nicht.
PrismML hat bislang keine kommerzielle Brille angekündigt, die dieses Modell nutzt; welcher Hersteller zuerst einsteigt und wann ein Produkt erscheint, ist offen.
Vom iPhone zur Brille
PrismML wurde von Forschern des Caltech gegründet, Berkeleys Ion Stoica berät das Unternehmen. Der rote Faden der Firma ist es, Modelle so weit zu verkleinern, dass sie direkt auf Endgeräten laufen.
Im Juli erklärte das Unternehmen, das dichte 27-Milliarden-Parameter-Modell Qwen 3.6 von Alibaba von rund 54 GB auf unter 4 GB komprimiert und lokal auf dem iPhone 17 Pro zum Laufen gebracht zu haben. Die zuvor veröffentlichte Bonsai-Reihe gibt es in den Größen 8B, 4B und 1,7B, jeweils mit 1-Bit-Gewichten; laut Unternehmensangaben braucht sie 14-mal weniger Speicher, ist 8-mal schneller und verbraucht 5-mal weniger Energie als Modelle mit voller Präzision. Das hauseigene 1-Bit-Backend Q1_0 ist zudem bereits in llama.cpp integriert.
Die neue 2B-Version liegt parametermäßig zwischen den bestehenden Bonsai-Größen 1,7B und 4B und bekommt zusätzlich visuelle Fähigkeiten. Vom 27-Milliarden-Parameter-Modell auf dem iPhone zum 2-Milliarden-Parameter-Modell auf der Brille bewegt sich PrismML damit zu Geräten mit noch knapperen Rechenressourcen.
Warum gerade der AR1 Gen 1
Der Snapdragon AR1 Gen 1 ist ein Chip, den Qualcomm speziell für leichte Smart Glasses entwickelt hat; auf dieser Plattform laufen auch displaylose KI-Brillen wie die Ray-Ban Meta. Da Akku- und Kühlraum bei Brillen sehr begrenzt sind, lagern die meisten heutigen KI-Brillen visuelle Anfragen an das Smartphone oder die Cloud aus und übernehmen selbst nur Fotografieren, Tonaufnahme und Wiedergabe.
Ein lokal laufendes Modell bringt zwei direkte Vorteile: Es ist nicht auf eine Netzverbindung angewiesen und funktioniert auch bei schlechtem Empfang, und Kamerabilder können auf dem Gerät bleiben, statt hochgeladen zu werden. Der Preis dafür zeigt sich bei Akkulaufzeit und Leistung: Wie komplexe Fragen ein 2-Milliarden-Parameter-Modell beantworten kann und wie stark sich das Gerät bei dauerhafter Bilderkennung erwärmt und den Akku belastet, ließ die Vorführung auf dem Summit offen – das muss sich erst mit echten Geräten zeigen.
PrismML erklärt, man wolle Open-Weight-KI direkt auf Geräten lauffähig machen, um die Rechenleistung, die Nutzer bereits besitzen, besser zu nutzen – damit sie nicht allein auf einige wenige große, closed-source KI-Labore angewiesen sind.
Auch für den chinesischen Markt sind Qualcomms AR-Chips die Wahl vieler heimischer KI-Brillenhersteller. Da PrismML auf offene Gewichte setzt, könnten chinesische Brillenhersteller und Entwickler das Modell theoretisch direkt ausprobieren, sobald es öffentlich verfügbar ist – wann diese 2B-Vision-Version freigegeben wird und unter welcher Lizenz, hat das Unternehmen noch nicht mitgeteilt.
Quellen: TechCrunch, CocoLoop, Live-Demo auf Qualcomms Snapdragon Summit, offizielle PrismML-Seite; Angaben zu Parameterzahl, Größenverhältnis und Bonsai-Kennzahlen wurden anhand der Unternehmensangaben geprüft.