豆包（Doubao）が仮想デスクトップをWindowsに投入したことで、PC操作型AIエージェントは最も分かりやすい衝突を回避し始めた。エージェントが作業している間、ユーザー自身のマウスとキーボードをそのまま使えるかどうかという問題だ。公開されている製品情報によると、タスクは比較的独立した環境の中で進行し、画面を認識してマウスとキーボードを操作し、ウェブページや複数のソフトウェアをまたいで一連の手順をこなせるという。
採用しているのはGUI経由の方式で、MCPやAPI、プラグイン、CLIには依存しない。利点は、古いソフトや専用インターフェースのないサイトもカバーできる可能性があること。代償もはっきりしていて、画面レイアウトの変化やポップアップ、権限確認ウィンドウが誤操作の原因になり得る。
マウスを奪わないのは第一歩にすぎない
仮想デスクトップが解決するのは並行利用の問題であり、制御可能性を自動的に解決するわけではない。製品側の説明では、ユーザーは操作手順をリアルタイムで確認でき、いつでも一時停止や操作の引き継ぎができるとしている。実際の使い勝手は3点で決まる。タスクが次にどのアプリに触れるかを示しているか、一時停止が即座に効くか、失敗した後に検証可能な記録が残るかだ。
ウェブページや表計算、複数ソフトをまたぐ作業をこなす必要がある人にとって、このような隔離環境は「メインデスクトップを乗っ取る」方式よりも実用に近い形と言える。今後検証すべき指標も地味なものだ。長時間タスクを安定して完了できるか、重要な操作の前にユーザーが介入できるか、そして独立環境がローカルファイルやログイン状態との境界をどこまで透明にしているか、である。
参考資料：豆包の公開製品情報、CocoLoop；Windows仮想デスクトップ、GUI操作、独立環境、一時停止・引き継ぎ機能の説明を確認。