8월 20일, 알리바바 Qwen 팀이 실제 기기를 겨냥한 GUI 에이전트 기반 모델 'Qwen-UI-Agent'를 공개했다. 목표는 단순하다. 모델이 화면을 실제로 보고, 사람처럼 탭하고 스와이프하고 입력해 하나의 작업을 처음부터 끝까지 완수하도록 하는 것이다. 적용 범위는 스마트폰, PC, 웹, 그리고 실시간 검색을 포함한 DeepSearch 환경까지 아우른다.
공식이 공개한 성적표는 상당히 촘촘하다. 모바일에서는 MobileWorld 82.1%, 실기기 버전인 MobileWorld-Real 92.2%, AndroidDaily 97.5%를 기록했다. PC에서는 OSWorld-Verified 79.5%, 브라우저 작업 벤치마크 WebArena 73.6%, 중국어 검색 벤치마크 BrowseComp-ZH 75.0%를 나타냈다. 화면 요소 위치 인식을 측정하는 ScreenSpot-Pro에서는 81.5%를 보고했다. OSWorld-v2의 일부 작업에서는 완료율 40.0%를 달성하면서 실행 스텝 수를 약 58% 줄였다고 밝혔다. 함께 제시된 비교 대상은 GPT-5.6 Sol, Claude Opus 4.8, Gemini 3.1 Pro다.
스마트폰 100대 넘게 쏟아부은 훈련장
점수보다 투자 방향을 더 잘 보여주는 건 그 배후의 환경이다. 알리바바는 100대가 넘는 실제 스마트폰과 150개가 넘는 앱을 갖춘 랩을 구축하고, 400개가 넘는 작업으로 구성된 실기기 벤치마크를 마련했다. 동시에 1만 개의 병렬 환경을 돌릴 수 있고, 강화학습 궤적 길이는 100스텝 이상까지 지원한다.
이 노선은 자산 투입 비중이 크다. GUI 에이전트는 최근 몇 년간 대부분 시뮬레이터나 웹 샌드박스에서 훈련돼 왔다. 비용이 낮고 재현이 쉽지만, 그만큼 실제 기기와의 사이에 간극이 존재한다. 실제 기기에서는 광고가 튀어나오고, 권한 팝업이 뜨고, 네트워크가 흔들리면 로딩 화면에 멈춰 서기도 한다. 이런 순간들이 바로 장시간 작업이 실패하기 쉬운 지점이다. 실기기 랩을 직접 들여놓는 것은 하드웨어 비용을 들여 분포 정합성을 맞추는 선택이다.
단일 스텝 정확도와 장시간 작업 성공률 사이의 격차도 여기서 드러난다. 대략 계산해보면, 스텝별 성공률이 81.5%라고 할 때 100스텝짜리 작업을 한 번에 끝까지 마칠 확률은 거의 무시해도 될 수준이다. 긴 흐름을 버티게 하는 건 실수를 스스로 발견하고 되돌아가 다른 경로를 시도하는 능력이며, 실기기 환경이 바로 이런 실패 샘플을 만들어내는 곳이다. 시뮬레이터에서는 자연스럽게 생겨나기 어렵다.
PC에서는 GUI 조작과 명령줄을 섞어 쓴다
PC 쪽에는 세부 사항이 하나 있다. 공식에 따르면 이 시스템은 화면 조작과 명령줄 호출을 혼합한 동작을 지원하며, 데스크톱 작업의 약 절반에서 CLI 호출이 사용됐다.
이는 공학적으로 일종의 인정이라 할 수 있다. '이 파일들을 날짜별로 분류해 압축하라' 같은 작업을 순전히 클릭만으로 끝내려 하면 스텝 수가 걷잡을 수 없이 불어난다. 명령줄을 입력할 수 있는 에이전트는 수십 번의 클릭을 곧바로 건너뛴다. 대가는 권한 경계가 더 민감해진다는 점이다. 명령 하나가 미치는 파급 범위는 실수로 클릭 한 번 잘못하는 것보다 훨씬 크다. 기기 간 이어받기는 Harness 프레임워크가 맡아, 스마트폰에서 끝내지 못한 작업을 PC로 넘겨 이어갈 수 있다.
안전선은 어디에 그어져 있나
'불법적이거나 고위험 요청에 직면하면 어떤 화면 조작도 실행하지 않고, 즉시 거부하고 작업을 종료한다.' 공식은 모델의 거부 정책을 이렇게 설명한다. 결제, 데이터 삭제, 권한 변경 같은 민감한 동작은 사용자 확인을 먼저 요구한다.
중국 내 사용자 입장에서 이 장치가 실제로 얼마나 힘을 발휘할지는 실기기 배포가 이뤄진 뒤에야 확인할 수 있다. 스마트폰에서 고위험 조작은 겉보기에 뚜렷하게 다르지 않은 경우가 많다. 비밀번호 없는 결제 확인 화면과 평범한 '다음' 버튼은 픽셀 단위로는 차이가 거의 없을 수 있으며, 모델의 판단은 컨트롤의 겉모습이 아니라 맥락에 의존한다.
누가 이걸 받아 쓸까
기술 보고서는 이미 arXiv에 올라와 있고, 코드 저장소는 GitHub의 Tongyi-MAI/MAI-UI에 있다. 이 저장소는 앞서 2B부터 235B까지 네 가지 크기의 MAI-UI 시리즈를 Apache 2.0 라이선스로 오픈소스화한 바 있다. Qwen-UI-Agent 가중치를 어느 범위까지 공개할지는 아직 명확히 밝혀지지 않았다.
배포 순서로 보면 가장 먼저 혜택을 볼 곳은 스마트폰 제조사와 PC 제조사일 가능성이 크다. 이들은 시스템 수준 권한을 쥐고 있고, 에이전트를 음성 비서에 끼워 넣을 기존 입구도 갖고 있다. 서드파티 앱이 연동하려면 접근성 권한이라는 장벽을 피할 수 없는데, 이 장벽은 중국 내에서 줄곧 엄격하게 관리돼 왔다.
참고 출처: 첸원 대형모델 공식 계정, IT즈자, CocoLoop, 콰이커지. Qwen-UI-Agent 기술 보고서와 프로젝트 페이지로 각 벤치마크 기준과 실기기 환경 규모를 확인했다.