두바오(Doubao)가 가상 데스크톱을 윈도우에 도입하면서, PC 조작형 AI 에이전트는 가장 직관적인 충돌 지점을 피해가기 시작했다. 에이전트가 작업하는 동안 사용자가 마우스와 키보드를 평소처럼 쓸 수 있는지 여부다. 공개된 제품 소개에 따르면 작업은 비교적 독립된 환경에서 진행되며, 화면을 인식하고 마우스와 키보드를 조작해 웹페이지와 여러 소프트웨어를 오가며 단계를 완료할 수 있다고 한다.
이 방식은 GUI 경로를 택했으며 MCP, API, 플러그인, CLI에 의존하지 않는다. 장점은 오래된 소프트웨어나 별도 인터페이스가 없는 웹사이트도 커버할 수 있다는 것이다. 대가도 분명한데, 화면 구성 변화와 팝업, 권한 확인 창이 모두 오작동의 원인이 될 수 있다.
마우스를 빼앗지 않는 것은 첫걸음일 뿐
가상 데스크톱이 해결하는 것은 병행 사용 문제이지, 통제 가능성을 자동으로 해결해주지는 않는다. 제품 측은 사용자가 작업 단계를 실시간으로 확인하고 언제든 일시 정지하거나 직접 넘겨받을 수 있다고 설명한다. 실제 사용 경험은 세 가지에 달려 있다. 작업이 다음에 어떤 앱을 건드릴지 미리 알려주는지, 일시 정지가 즉시 반영되는지, 실패한 뒤에 되짚어볼 수 있는 기록이 남는지다.
웹페이지와 표, 여러 소프트웨어를 넘나드는 작업을 처리해야 하는 사람들에게는 이런 격리된 환경이 '메인 데스크톱을 넘겨받는' 방식보다 실용적인 형태에 가깝다. 다음 단계에서 검증해야 할 지표도 소박하다. 장시간 작업을 안정적으로 완료할 수 있는지, 중요한 조작 직전에 사용자가 개입할 수 있는지, 그리고 독립 환경이 로컬 파일과 로그인 상태의 경계를 얼마나 투명하게 다루는지다.
참고 출처: 두바오 공개 제품 정보, CocoLoop; 윈도우 가상 데스크톱, GUI 조작, 독립 환경 및 일시 정지·인계 기능 설명을 확인함.