Am 20. August hat das Qwen-Team von Alibaba Qwen-UI-Agent vorgestellt, ein GUI-Agenten-Basismodell für reale Geräte. Die Aufgabe klingt schlicht: Das Modell soll den Bildschirm verstehen und dann wie ein Mensch tippen, wischen und Text eingeben, um eine Aufgabe vollständig durchzuführen. Abgedeckt werden Smartphones, PCs, Websites sowie eine DeepSearch-Umgebung mit Online-Recherche.
Die von Alibaba veröffentlichte Ergebnisliste fällt umfangreich aus. Bei Smartphones erreicht MobileWorld 82,1 %, die Variante mit echten Geräten MobileWorld-Real 92,2 % und AndroidDaily 97,5 %. Bei Desktop-Aufgaben liegt OSWorld-Verified bei 79,5 %, die Browser-Aufgabe WebArena bei 73,6 % und der chinesischsprachige Suchtest BrowseComp-ZH bei 75,0 %. Bei der Lokalisierung von Oberflächenelementen erzielt ScreenSpot-Pro 81,5 %. Bei einem Teil der Aufgaben aus OSWorld-v2 gibt Alibaba eine Erfolgsquote von 40,0 % an, bei gleichzeitig um rund 58 % reduzierten Ausführungsschritten. Als Vergleichsmodelle werden GPT-5.6 Sol, Claude Opus 4.8 und Gemini 3.1 Pro genannt.
Ein Trainingsfeld aus über 100 Smartphones
Aussagekräftiger als die Benchmark-Werte ist die dahinterstehende Umgebung. Alibaba hat ein Testlabor mit über 100 echten Smartphones und mehr als 150 Apps aufgebaut, dazu einen Benchmark mit über 400 Aufgaben auf echten Geräten. Das System kann zugleich zehntausend parallele Umgebungen betreiben, und die Trajektorienlänge beim Reinforcement Learning unterstützt mehr als 100 Schritte.
Dieser Ansatz ist kapitalintensiv. GUI-Agenten wurden in den vergangenen Jahren meist in Simulatoren oder Web-Sandboxes trainiert — kostengünstig und gut reproduzierbar, allerdings mit einer Kluft zwischen Simulation und echtem Gerät: Echte Geräte zeigen Werbe-Popups, Berechtigungsdialoge oder hängen wegen Netzwerkschwankungen auf Ladeseiten fest — genau jene Stellen, an denen lange Aufgaben häufig scheitern. Das echte Testlabor tauscht also Hardwarekosten gegen eine bessere Verteilungsanpassung.
Hier zeigt sich auch die Lücke zwischen der Genauigkeit einzelner Schritte und der Erfolgsquote langer Aufgaben. Überschlägig gerechnet: Liegt die Erfolgswahrscheinlichkeit pro Schritt bei 81,5 %, ist die Wahrscheinlichkeit, eine 100-Schritte-Aufgabe auf Anhieb komplett durchzuziehen, verschwindend gering. Lange Abläufe halten nur durch, wenn das Modell Fehler erkennt, zurückgeht und einen anderen Weg wählt — und genau solche Fehlerfälle liefert die Umgebung mit echten Geräten, die sich in Simulatoren kaum von selbst ergeben.
Am Desktop im Mix mit der Kommandozeile
Am Desktop gibt es ein bemerkenswertes Detail: Laut Alibaba unterstützt die Lösung eine Mischung aus Oberflächenbedienung und Kommandozeilenbefehlen, wobei rund die Hälfte der Desktop-Aufgaben CLI-Aufrufe nutzt.
Technisch ist das quasi ein Eingeständnis. Eine Aufgabe wie „diese Dateien nach Datum sortieren und dann komprimieren“ allein per Mausklick zu erledigen, würde die Schrittzahl außer Kontrolle geraten lassen; ein Agent, der die Kommandozeile beherrscht, überspringt Dutzende Klicks direkt. Der Preis dafür: Die Grenzen der Berechtigungen werden heikler, denn der Schadensradius eines einzelnen Befehls ist deutlich größer als der eines Fehlklicks. Für die geräteübergreifende Übergabe sorgt das Harness-Framework — eine auf dem Smartphone unvollendete Aufgabe kann an den PC weitergereicht werden.
Wo verläuft die Sicherheitslinie
Alibaba beschreibt die Ablehnungsstrategie des Modells so: „Bei rechtswidrigen oder hochriskanten Anfragen führt es keinerlei Oberflächenaktionen aus, sondern lehnt die Aufgabe direkt ab und beendet sie.“ Sensible Aktionen wie Zahlungen, das Löschen von Daten oder Änderungen an Berechtigungen erfordern zunächst eine Bestätigung durch den Nutzer.
Für Nutzer in China zeigt sich die tatsächliche Bindungswirkung dieses Mechanismus erst, sobald er auf echten Geräten ausgerollt wird. Hochriskante Aktionen auf dem Smartphone sind oft nicht offensichtlich erkennbar — eine Bestätigungsseite für eine Zahlung ohne Passwort unterscheidet sich auf Pixelebene kaum von einer gewöhnlichen „Weiter“-Schaltfläche; die Einschätzung des Modells stützt sich auf den Kontext, nicht auf das äußere Erscheinungsbild der Bedienelemente.
Wer wird das Angebot übernehmen
Der technische Bericht ist bereits auf arXiv veröffentlicht, das Code-Repository liegt unter Tongyi-MAI/MAI-UI auf GitHub. Dieses Repository hat zuvor bereits die MAI-UI-Reihe in vier Größen von 2B bis 235B unter der Apache-2.0-Lizenz als Open Source veröffentlicht. Wie offen die Gewichte von Qwen-UI-Agent zugänglich gemacht werden, ist derzeit noch nicht klar benannt.
Nach der wahrscheinlichen Reihenfolge der Einführung dürften zunächst Smartphone- und PC-Hersteller profitieren — sie verfügen über Berechtigungen auf Systemebene und einen naheliegenden Zugang, um den Agenten in Sprachassistenten einzubauen. Drittanbieter-Apps müssen für eine Integration die Hürde der Bedienungshilfen-Berechtigung nehmen, und diese Hürde wird in China regulatorisch bislang eng gehalten.
Quellen: Offizieller WeChat-Account von Qwen, ITHome, CocoLoop, Kuaikeji; technischer Bericht und Projektseite von Qwen-UI-Agent zur Überprüfung der Benchmark-Angaben und des Umfangs der Umgebung mit echten Geräten.