El 20 de agosto, el equipo Qwen de Alibaba presentó Qwen-UI-Agent, un modelo base de agente de interfaz gráfica pensado para dispositivos reales. La idea suena sencilla: que el modelo entienda lo que ve en pantalla y luego toque, deslice y escriba como lo haría una persona, completando una tarea de principio a fin. La cobertura incluye teléfonos móviles, computadoras, páginas web y el entorno DeepSearch, con búsqueda conectada a internet.
Los resultados que presentó la empresa son extensos. En móviles, Qwen-UI-Agent obtuvo 82,1% en MobileWorld, 92,2% en MobileWorld-Real (ejecutado en dispositivos reales) y 97,5% en AndroidDaily; en computadoras, 79,5% en OSWorld-Verified, 73,6% en tareas de navegador con WebArena y 75,0% en la prueba de búsqueda en chino BrowseComp-ZH; en localización de elementos de interfaz, ScreenSpot-Pro marcó 81,5%. En parte de las tareas de OSWorld-v2, la empresa asegura una tasa de finalización del 40,0%, reduciendo en cerca de 58% el número de pasos necesarios. Los modelos usados como comparación fueron GPT-5.6 Sol, Claude Opus 4.8 y Gemini 3.1 Pro.
Un campo de entrenamiento construido con más de 100 teléfonos
Más revelador que las puntuaciones es el entorno que hay detrás. Alibaba montó un laboratorio con más de 100 teléfonos reales, que cubre más de 150 aplicaciones, con un benchmark de más de 400 tareas en dispositivos reales, capacidad para ejecutar diez mil entornos simultáneos y trayectorias de aprendizaje por refuerzo que admiten más de 100 pasos.
Es un enfoque que pesa mucho en activos físicos. En los últimos años, la mayoría de los agentes de GUI se han entrenado en simuladores o sandboxes de navegador, baratos y fáciles de reproducir, pero con una brecha frente a los dispositivos reales: anuncios que aparecen de repente, ventanas de permisos que saltan, pantallas de carga que se traban por fallos de red. Precisamente ahí es donde suelen fallar las tareas largas. Meter el laboratorio físico en el proceso equivale a cambiar costo de hardware por alineación con la distribución real.
La brecha entre la precisión en cada paso y la tasa de éxito en tareas largas también aparece aquí. Haciendo un cálculo simple: si la tasa de éxito por paso es del 81,5%, la probabilidad de que una tarea de 100 pasos se complete de una sola vez, sin error, es prácticamente insignificante. Lo que sostiene un flujo largo es la capacidad de detectar el error, retroceder y probar otro camino, y ese tipo de muestras de fallo es justo lo que aporta el entorno real, algo que difícilmente surge de forma natural en un simulador.
En el escritorio, interfaz y línea de comandos se mezclan
Hay un detalle propio del lado de escritorio: según la empresa, esta solución combina acciones de interfaz gráfica con comandos de línea de comandos, y cerca de la mitad de las tareas de escritorio recurrió a llamadas por CLI.
Desde el punto de vista de ingeniería, esto es casi un reconocimiento. Completar una tarea como "ordenar estos archivos por fecha y luego comprimirlos" solo a base de clics haría que el número de pasos se disparara; un agente capaz de usar la línea de comandos se salta decenas de clics de golpe. El costo es que el límite de permisos se vuelve más sensible: el radio de daño de un comando es mucho mayor que el de un clic equivocado. El relevo entre dispositivos queda a cargo del framework Harness, que permite retomar en la computadora una tarea que quedó a medias en el teléfono.
Dónde se traza la línea de seguridad
"Ante solicitudes ilegales o de alto riesgo, el modelo no ejecuta ninguna acción de interfaz, rechaza la petición y termina la tarea de inmediato", así describe la empresa la política de rechazo del modelo. Acciones sensibles como pagos, eliminación de datos o cambios de autorización requieren confirmación previa del usuario.
Para los usuarios en China, el alcance real de este mecanismo solo se sabrá cuando la herramienta llegue a los dispositivos reales. Las operaciones de alto riesgo en el móvil no siempre se ven distintas a simple vista: una pantalla de confirmación de pago sin contraseña y un botón común de "Siguiente" tienen una diferencia mínima en píxeles; el criterio del modelo depende del contexto, no del aspecto del control.
Quién adoptará esta tecnología
El informe técnico ya está en arXiv, y el repositorio de código está en GitHub, en Tongyi-MAI/MAI-UI. Ese mismo repositorio ya había liberado antes la serie MAI-UI, en cuatro tamaños de 2B a 235B parámetros, bajo licencia Apache 2.0. Todavía no hay una definición clara sobre cuánto de los pesos de Qwen-UI-Agent se hará público.
Por el orden natural de adopción, los primeros beneficiados serán probablemente los fabricantes de teléfonos y de computadoras: tienen permisos a nivel de sistema y ya cuentan con puntos de entrada listos para meter al agente en los asistentes de voz. Para las aplicaciones de terceros, el obstáculo es el permiso de accesibilidad, un punto que en China sigue bajo un control regulatorio bastante estricto.
Fuentes: cuenta oficial de Qwen en WeChat, IT之家 (IT Home), CocoLoop, 快科技 (Kuaikeji); informe técnico y página del proyecto de Qwen-UI-Agent, usados para verificar los criterios de cada benchmark y la escala del entorno con dispositivos reales.