Le 20 août, l'équipe Qwen d'Alibaba a présenté Qwen-UI-Agent, un modèle de base pour agents GUI conçu pour des appareils réels. L'objectif affiché est simple : faire en sorte que le modèle comprenne l'écran, puis clique, glisse et saisisse du texte comme le ferait un humain, pour mener une tâche de bout en bout. La couverture inclut le mobile, l'ordinateur, le web, ainsi qu'un environnement DeepSearch avec recherche en ligne.
Les résultats communiqués sont nombreux. Côté mobile, Qwen-UI-Agent obtient 82,1 % sur MobileWorld, 92,2 % sur la version en conditions réelles MobileWorld-Real, et 97,5 % sur AndroidDaily. Côté ordinateur, 79,5 % sur OSWorld-Verified, 73,6 % sur les tâches de navigateur WebArena, et 75,0 % sur BrowseComp-ZH, l'épreuve de recherche en chinois. Sur la localisation d'éléments d'interface, ScreenSpot-Pro affiche 81,5 %. Sur une partie des tâches d'OSWorld-v2, l'équipe annonce un taux de réussite de 40,0 % tout en réduisant d'environ 58 % le nombre d'étapes d'exécution. Les modèles cités en comparaison sont GPT-5.6 Sol, Claude Opus 4.8 et Gemini 3.1 Pro, dans cette même catégorie.
Un terrain d'entraînement bâti sur plus de cent téléphones
Ce qui en dit plus long sur l'orientation des investissements que les scores eux-mêmes, c'est l'environnement mis en place derrière. Alibaba a constitué une salle de machines regroupant plus de 100 téléphones réels et couvrant plus de 150 applications, avec un référentiel de plus de 400 tâches sur appareils réels. Le système peut faire tourner dix mille environnements en parallèle, et les trajectoires d'apprentissage par renforcement peuvent dépasser 100 étapes.
Cette approche mise lourdement sur les actifs matériels. Ces dernières années, les agents GUI ont surtout été entraînés dans des simulateurs ou des bacs à sable web, une méthode peu coûteuse et reproductible, mais qui laisse un écart avec les appareils réels : ces derniers affichent des publicités, font apparaître des fenêtres de permissions, ou se bloquent sur une page de chargement à cause d'une connexion instable — autant de points où les tâches longues échouent le plus souvent. Faire entrer une salle de machines dans l'équation revient à échanger du coût matériel contre un meilleur alignement de distribution.
C'est aussi là que se situe l'écart entre la précision par étape et le taux de réussite des tâches longues. Selon un calcul approximatif, si le taux de réussite par étape est de 81,5 %, la probabilité de mener à bien une tâche de 100 étapes d'un seul coup devient négligeable. Ce qui permet de tenir un long enchaînement, c'est la capacité du modèle à détecter ses propres erreurs, à revenir en arrière et à changer de chemin — et ce sont précisément ces échantillons d'échec que fournit l'environnement réel, difficiles à faire émerger naturellement dans un simulateur.
Sur ordinateur, l'interface se mélange à la ligne de commande
Un détail côté ordinateur : l'équipe indique que le système prend en charge des actions mixtes, combinant manipulation d'interface et ligne de commande, et qu'environ la moitié des tâches sur ordinateur font appel à des commandes CLI.
C'est, sur le plan technique, une forme d'aveu. Réaliser uniquement à la souris une tâche comme « classer ces fichiers par date puis les compresser » ferait exploser le nombre d'étapes ; un agent capable de taper des commandes s'épargne d'un coup plusieurs dizaines de clics. En contrepartie, la frontière des permissions devient plus sensible : le rayon de dégâts d'une commande erronée dépasse largement celui d'un simple clic malencontreux. Le relais entre appareils est confié au framework Harness, qui permet à une tâche inachevée sur mobile de se poursuivre sur ordinateur.
Où se situe la limite de sécurité
« Face à une demande illégale ou à haut risque, il n'exécute aucune action d'interface, refuse directement et met fin à la tâche », décrit ainsi l'équipe la politique de refus du modèle. Les actions sensibles comme le paiement, la suppression de données ou la modification d'autorisations exigent, elles, une confirmation préalable de l'utilisateur.
Pour les utilisateurs en Chine, la portée réelle de ce mécanisme ne se vérifiera qu'après le déploiement sur des appareils réels. Sur mobile, les opérations à haut risque ne se présentent pas toujours de façon évidente : une page de confirmation de paiement sans mot de passe et un simple bouton « Suivant » se ressemblent souvent au pixel près, si bien que le jugement du modèle repose sur le contexte plutôt que sur l'apparence des éléments d'interface.
Qui va s'en emparer
Le rapport technique est déjà en ligne sur arXiv, et le dépôt de code se trouve sur GitHub, sous Tongyi-MAI/MAI-UI. Ce dépôt avait déjà rendu open source la série MAI-UI, déclinée en quatre tailles de 2B à 235B de paramètres sous licence Apache 2.0. L'étendue de l'ouverture des poids de Qwen-UI-Agent n'a pas encore été précisée.
Dans l'ordre de déploiement probable, les premiers bénéficiaires seront sans doute les fabricants de smartphones et de PC, qui disposent des permissions au niveau système et d'un point d'entrée tout prêt pour intégrer l'agent à leur assistant vocal. Pour les applications tierces, impossible de contourner la question des permissions d'accessibilité — un obstacle dont le cadre réglementaire reste, en Chine, assez strict.
Sources : compte WeChat officiel de Qwen, ITHome (IT之家), CocoLoop, Kuaikeji (快科技) ; rapport technique et page du projet Qwen-UI-Agent pour la vérification des critères de référence et de l'échelle de l'environnement réel.