PrismML mete un modelo de 1 bit en el chip de gafas de Qualcomm

La startup de IA PrismML ha desarrollado un modelo de lenguaje pequeño para gafas inteligentes con chips de Qualcomm. En la Snapdragon Summit del 24 de septiembre, Qualcomm mostró el modelo Bonsai de 1 bit de PrismML funcionando de forma local en la plataforma Snapdragon AR1 Gen 1, permitiendo que quien lleva las gafas haga preguntas en tiempo real sobre lo que tiene delante.

El modelo tiene 2000 millones de parámetros y se ha ajustado tanto para tareas visuales como de lenguaje. Según TechCrunch, PrismML afirma que su tamaño es solo una cuarta parte del de modelos más grandes, manteniendo la mayor parte del rendimiento en pruebas estándar. La noticia no precisa con qué modelo se comparó ni qué pruebas concretas se usaron.

Por ahora PrismML no ha anunciado ningunas gafas comerciales que integren este modelo; qué fabricante será el primero en adoptarlo y cuándo llegará al mercado sigue sin conocerse.

Del iPhone a las gafas

PrismML fue fundada por investigadores de Caltech, con Ion Stoica, de Berkeley, como asesor. La línea constante de la empresa ha sido comprimir modelos para que quepan y funcionen en dispositivos finales.

En julio, la compañía afirmó haber comprimido el modelo denso de 27 000 millones de parámetros Qwen 3.6 de Alibaba, de unos 54 GB a menos de 4 GB, para que funcionara localmente en un iPhone 17 Pro. La serie Bonsai, lanzada antes, incluye versiones de 8B, 4B y 1.7B, todas centradas en pesos de 1 bit; según la empresa, usan 14 veces menos memoria, son 8 veces más rápidas y consumen 5 veces menos energía que los modelos de precisión completa. Su backend propio de 1 bit, Q1_0, ya se ha integrado también en llama.cpp.

Esta nueva versión de 2B queda entre los tamaños existentes de Bonsai, 1.7B y 4B, y añade capacidad visual. Del modelo de 27 000 millones de parámetros en el iPhone al de 2000 millones en las gafas, PrismML se está moviendo hacia dispositivos con recursos de cómputo cada vez más ajustados.

Por qué el AR1 Gen 1

El Snapdragon AR1 Gen 1 es un chip que Qualcomm diseñó específicamente para gafas inteligentes ligeras; es la misma plataforma que usan gafas de IA sin pantalla como las Ray-Ban Meta. Como el espacio para batería y disipación de calor en unas gafas es muy limitado, la mayoría de las gafas de IA actuales delegan las preguntas visuales al teléfono o a la nube, y las gafas en sí solo se encargan de fotografiar, captar audio y reproducir sonido.

Ejecutar el modelo localmente aporta dos ventajas directas: no depender de la conexión de red, lo que permite usarlo en zonas con mala cobertura, y que las imágenes captadas por la cámara puedan quedarse en el propio dispositivo sin necesidad de subirlas. El coste aparece en la autonomía y en el rendimiento real: qué tan complejas pueden ser las preguntas que responde un modelo de 2000 millones de parámetros, y cuánto calor y consumo genera un reconocimiento continuo, son cosas que la demostración en el evento no aclaró; habrá que esperar a un dispositivo real para comprobarlo.

PrismML dice que su objetivo es que la IA de pesos abiertos funcione directamente en los dispositivos, aprovechando mejor la capacidad de cómputo que los usuarios ya tienen, para que no dependan únicamente de unos pocos grandes laboratorios de IA de código cerrado.

En el mercado chino, los chips AR de Qualcomm también son la opción de varios fabricantes locales de gafas de IA. Como el modelo de PrismML sigue la vía de pesos abiertos, si más adelante se publica para descarga, en teoría los fabricantes y desarrolladores chinos también podrían probarlo directamente, aunque la empresa todavía no ha dicho cuándo se abrirá esta versión visual de 2B ni bajo qué licencia.

Fuentes: TechCrunch, CocoLoop, demostración en la Snapdragon Summit de Qualcomm, página oficial de PrismML; las cifras de parámetros, la proporción de tamaño y los indicadores de la serie Bonsai se han verificado según lo publicado por la empresa.