Em 20 de agosto, a equipe Qwen da Alibaba lançou o Qwen-UI-Agent, um modelo-base de agente de GUI voltado para dispositivos reais. A proposta parece simples: fazer o modelo enxergar a tela e depois tocar, deslizar e digitar como uma pessoa, executando uma tarefa do início ao fim. A cobertura inclui celulares, computadores, páginas web e o ambiente DeepSearch, com busca conectada à internet.
Os números divulgados pela empresa são extensos. No lado mobile, o Qwen-UI-Agent obteve 82,1% no MobileWorld, 92,2% no MobileWorld-Real (rodado em aparelhos reais) e 97,5% no AndroidDaily; no desktop, 79,5% no OSWorld-Verified, 73,6% em tarefas de navegador no WebArena e 75,0% no teste de busca em chinês BrowseComp-ZH; no reconhecimento de elementos de interface, o ScreenSpot-Pro marcou 81,5%. Em parte das tarefas do OSWorld-v2, a empresa afirma taxa de conclusão de 40,0%, reduzindo em cerca de 58% o número de passos necessários. Os modelos usados como comparação foram GPT-5.6 Sol, Claude Opus 4.8 e Gemini 3.1 Pro.
Um campo de treinamento feito com mais de 100 celulares
Mais revelador que as pontuações é o ambiente por trás delas. A Alibaba montou um laboratório com mais de 100 celulares reais, cobrindo mais de 150 aplicativos, com um benchmark de mais de 400 tarefas em dispositivos reais, capacidade de rodar dez mil ambientes simultâneos e trajetórias de aprendizado por reforço com suporte a mais de 100 passos.
Essa é uma abordagem que pesa em ativos físicos. Nos últimos anos, a maioria dos agentes de GUI foi treinada em simuladores ou sandboxes de navegador — baratos e fáceis de reproduzir, mas com uma lacuna em relação a dispositivos reais: anúncios que aparecem do nada, caixas de permissão que saltam na tela, telas de carregamento travadas por instabilidade de rede. São justamente esses os pontos onde tarefas longas costumam falhar. Trazer o laboratório físico para dentro do processo significa trocar custo de hardware por alinhamento de distribuição.
A diferença entre a precisão em cada passo isolado e a taxa de sucesso em tarefas longas também aparece aqui. Fazendo uma conta simples: se a taxa de sucesso por passo é de 81,5%, a chance de uma tarefa de 100 passos ser concluída de uma vez, sem erro, é praticamente desprezível. O que sustenta um fluxo longo é a capacidade de perceber o erro, recuar e tentar outro caminho — e é exatamente esse tipo de amostra de falha que o ambiente real fornece, algo que dificilmente surge de forma natural em simuladores.
No desktop, interface e linha de comando se misturam
Há um detalhe específico do lado desktop: segundo a empresa, a solução combina ações de interface gráfica com comandos de linha de comando, e cerca de metade das tarefas de desktop envolveu chamadas via CLI.
Do ponto de vista de engenharia, isso é quase uma admissão. Completar uma tarefa como "organizar estes arquivos por data e depois compactá-los" só com cliques de mouse faria o número de passos disparar; um agente capaz de digitar comandos pula dezenas de cliques de uma vez. O custo é que a fronteira de permissões fica mais sensível — o raio de estrago de um comando é bem maior que o de um clique errado. A transição entre dispositivos fica a cargo do framework Harness, que permite que uma tarefa iniciada no celular seja retomada no computador.
Onde fica a linha de segurança
"Diante de pedidos ilegais ou de alto risco, o modelo não executa nenhuma ação de interface, recusa e encerra a tarefa diretamente" — é assim que a empresa descreve a política de recusa do modelo. Ações sensíveis como pagamentos, exclusão de dados e alteração de permissões exigem confirmação prévia do usuário.
Para usuários na China, o real alcance desse mecanismo só vai ficar claro depois que a ferramenta chegar aos dispositivos reais. Ações de alto risco no celular nem sempre têm uma aparência óbvia — uma tela de confirmação de pagamento sem senha e um botão comum de "Próximo" têm diferença mínima em termos de pixels; o julgamento do modelo depende do contexto, não da aparência do controle.
Quem vai adotar essa tecnologia
O relatório técnico já está no arXiv, e o repositório de código está no GitHub, em Tongyi-MAI/MAI-UI. Esse repositório já havia disponibilizado antes a série MAI-UI, em quatro tamanhos de 2B a 235B parâmetros, sob licença Apache 2.0. Ainda não há definição clara sobre o quanto dos pesos do Qwen-UI-Agent será aberto.
Pela ordem natural de adoção, os primeiros beneficiados devem ser fabricantes de celulares e de PCs — eles têm permissões em nível de sistema e já contam com pontos de entrada prontos para encaixar o agente em assistentes de voz. Para aplicativos de terceiros, o obstáculo é a permissão de acessibilidade, um ponto que, na China, segue sob um controle regulatório bastante rígido.
Fontes: conta oficial do Qwen no WeChat, IT之家 (IT Home), CocoLoop, 快科技 (Kuaikeji); relatório técnico e página do projeto do Qwen-UI-Agent, usados para verificar os critérios de cada benchmark e a escala do ambiente com dispositivos reais.