8月20日、アリババのQwenチームは実機向けのGUIエージェント基盤モデル「Qwen-UI-Agent」を発表した。狙いは単純で、モデルに画面を認識させ、人間のようにタップ、スワイプ、入力を行い、ひとつのタスクを最初から最後までやり遂げさせることだ。対応範囲はスマートフォン、パソコン、ウェブ、そしてネット検索を伴うDeepSearch環境にまで及ぶ。
公式が示した成績表はかなり充実している。スマートフォン側ではMobileWorldで82.1%、実機版のMobileWorld-Realで92.2%、AndroidDailyで97.5%を記録。パソコン側ではOSWorld-Verifiedで79.5%、ブラウザタスクのWebArenaで73.6%、中国語検索タスクのBrowseComp-ZHで75.0%。画面上の要素特定を測るScreenSpot-Proでは81.5%を報告している。OSWorld-v2の一部タスクでは完了率40.0%を達成しつつ、実行ステップ数を約58%削減したとしている。比較対象として挙げられているのはGPT-5.6 Sol、Claude Opus 4.8、Gemini 3.1 Proだ。
100台超のスマートフォンが支える訓練環境
スコア以上に投資の方向性を物語るのが、その背後にある環境だ。アリババは100台を超える実機スマートフォンと150種超のアプリをそろえたラボを構築し、400種超のタスクからなる実機ベンチマークを整備。同時に1万件の並行環境を稼働でき、強化学習の軌跡長は100ステップ以上に対応する。
この路線は資産負担が重い。GUIエージェントはこれまで、コストが低く再現性の高いシミュレータやウェブサンドボックスで訓練されることが多かったが、そこには実機との間に隔たりがある。実機では広告がポップアップし、権限確認ダイアログが表示され、通信の乱れで読み込み画面のまま止まることもある。これらはまさに長時間タスクが失敗しやすい局面だ。ラボを自前で持つことは、ハードウェアコストと引き換えに分布のずれを埋める選択と言える。
単一ステップの精度と長時間タスクの成功率の間には落差もある。ざっくり計算すると、各ステップの成功率が81.5%だとすれば、100ステップのタスクを一度で完走できる確率はほぼ無視できるレベルになる。長いフローを支えるのは、誤りに気づいて後戻りし、別の道を試す能力だ。実機環境こそがこうした失敗サンプルを生み出す場であり、シミュレータでは自然には育ちにくい。
パソコン側はGUI操作とコマンドラインを併用
パソコン側にはひとつ細かな点がある。公式によれば、このモデルは画面操作とコマンドライン呼び出しの混合動作に対応しており、デスクトップタスクのおよそ半数でCLI呼び出しが使われているという。
これは工学的にはある種の割り切りと言える。「これらのファイルを日付順に分類して圧縮する」といったタスクをマウス操作だけでこなそうとすればステップ数が制御できないほど膨らむが、コマンドラインを打てるエージェントなら数十回のクリックを一気に省ける。代償として権限の境界がより敏感になる点が挙げられる。ひとつのコマンドがもたらす被害範囲は、誤クリック一回よりはるかに大きい。デバイスをまたぐ引き継ぎはHarnessフレームワークが担い、スマートフォンでやり残した作業をパソコン側で続行できる。
安全策の線引き
「違法または高リスクな要求に直面した場合、いかなる画面操作も実行せず、直ちに拒否してタスクを終了する」。公式はモデルの拒否ポリシーをこう説明する。支払い、データ削除、権限変更といった機微な操作については、事前にユーザーの確認を求める。
中国国内のユーザーにとって、この仕組みが実際にどこまで機能するかは、実機への配信が始まってからでないと分からない。スマートフォン上の高リスク操作は、見た目上はっきり異なるとは限らない。パスワード不要の決済確認画面と普通の「次へ」ボタンは、ピクセル単位ではほとんど区別がつかないこともあり、モデルの判断はコントロールの見た目ではなく文脈に依存している。
誰が受け皿になるのか
技術レポートはすでにarXivに公開され、コードリポジトリはGitHubのTongyi-MAI/MAI-UIに置かれている。このリポジトリはこれまでにも、2Bから235Bまで4つのサイズを持つMAI-UIシリーズをApache 2.0ライセンスでオープンソース化してきた。Qwen-UI-Agentの重みをどこまで公開するかについては、現時点で明確な言及はない。
展開の順番を考えると、まず恩恵を受けるのはスマートフォンメーカーとパソコンメーカーだろう。システムレベルの権限を握っており、音声アシスタントにエージェントを組み込む入口もすでに手元にある。サードパーティのアプリが接続しようとすれば、ユーザー補助機能の権限という壁を避けて通れず、この壁は中国国内では従来から厳しく運用されている。
参考資料：Qwen大規模モデル公式アカウント、IT之家、CocoLoop、快科技。Qwen-UI-Agentの技術レポートおよびプロジェクトページで各種ベンチマークの基準と実機環境の規模を確認。