Depuis le 19 novembre, Google déploie la fonction de « contrôle de l'ordinateur » (computer use) dans l'application Gemini pour Mac. L'utilisateur décrit une tâche en une phrase, et Gemini clique, saisit du texte, parcourt les menus et remplit les formulaires de lui-même, à travers les fichiers locaux, les logiciels de bureau et les pages web. Dans un premier temps, elle n'est ouverte qu'aux abonnés Google AI Plus, Pro et Ultra aux États-Unis, avec l'interface en anglais.
L'article d'annonce sur le blog est signé Michael Friedman, responsable produit de l'application Gemini, et reste très court. Les conditions d'équipement figurent dans une note de bas de page : le Mac doit avoir une puce Apple Silicon et macOS Sequoia 15.0 ou une version ultérieure ; le compte doit être un compte Google personnel appartenant à une personne de plus de 18 ans, les comptes professionnels et scolaires n'étant pas concernés cette fois. Les utilisateurs européens et britanniques devront patienter.
Travailler dans une fenêtre en arrière-plan
Ce que Google souligne le plus dans ce lancement, c'est que Gemini ne dispute pas la souris à l'utilisateur. Il tourne dans une fenêtre isolée en arrière-plan, la zone de discussion affiche un aperçu en temps réel, et l'écran et le curseur de l'utilisateur restent utilisables comme d'habitude.
« Your main screen and cursor remain completely free, so you can keep typing, designing, or taking calls without interruption. »
(Votre écran principal et votre curseur restent entièrement libres : vous pouvez continuer à écrire, à concevoir ou à passer des appels sans être dérangé.)
On l'appelle en ajoutant l'étiquette « @Computer use » dans la conversation. L'utilisateur choisit à l'avance les applications auxquelles Gemini peut toucher, peut suivre chacune de ses actions et le mettre en pause à tout moment ; les opérations sensibles exigent son accord avant d'être exécutées. Selon 9to5Google, aux étapes de connexion et de paiement, Gemini s'arrête aussi pour attendre une confirmation, et les réglages gagnent des connecteurs de bureau comme Blender et Autodesk Fusion.
Les quatre exemples donnés par Google sont tous des petites corvées du quotidien : corriger les couleurs par lots dans un logiciel de retouche ou monter une scène 3D ; extraire le poids, les dimensions et l'adresse de PDF locaux pour les saisir dans un devis de transport à plusieurs colonnes ; relever des indicateurs dans des tableaux de bord de plusieurs régions pour composer une présentation Google Slides ; analyser des photos de vêtements dans un dossier, vérifier les prix, noter les informations, puis mettre les articles en vente sur une plateforme de seconde main.
L'avertissement sur les risques est lui aussi sans détour. Google indique que Gemini peut se tromper, y compris en supprimant définitivement des fichiers ou en les partageant avec d'autres personnes. Les sauvegardes des fichiers modifiés sont supprimées au bout de 24 heures ou lorsque l'utilisateur lance une nouvelle tâche.
De Spark au contrôle de l'ordinateur
Si l'on met bout à bout les étapes franchies par Google sur Mac cette année, le rythme est très soutenu :
- 30 juin : l'agent Gemini Spark arrive sur Mac, réservé aux utilisateurs d'AI Ultra de plus de 18 ans aux États-Unis, avec un accès limité aux dossiers autorisés ;
- Fin juillet : Gemini sur Mac peut commander à la voix les applications déjà ouvertes, puis Spark s'étend aux utilisateurs d'AI Pro dans plus de 160 pays ;
- 10 septembre : Gemini lance son client Windows, appelé par Alt + Espace ;
- 13 octobre : l'application Gemini ajoute le mode Tâches, qui continue de tourner une fois l'utilisateur parti ;
- 17 novembre : le mode Tâches est ouvert gratuitement dans six pays, dont les États-Unis ;
- 19 novembre : le contrôle de l'ordinateur est lancé.
Du côté des développeurs, cela a commencé plus tôt. Google a ouvert le modèle Gemini 2.5 Computer Use aux développeurs dès octobre 2025, puis intégré la capacité de contrôle de l'ordinateur à Gemini 3.5 Flash en juin de cette année. Le changement tient cette fois au support : la capacité quitte l'API et le navigateur pour entrer dans une application grand public sur l'ordinateur de monsieur Tout-le-monde, et son champ d'action s'élargit des pages web à n'importe quel logiciel de bureau désigné par l'utilisateur.
La hiérarchie des prix en dit long sur les intentions de Google. Le mode Tâches, qui ne traite que des fichiers et des services connectés, est déjà gratuit aux États-Unis ; le contrôle de l'ordinateur, qui pilote directement l'écran, commence à l'offre payante la moins chère. Selon les tarifs publiés auparavant, AI Plus coûte 4,99 dollars par mois, Pro 19,99 dollars et Ultra davantage. PPC Land calcule à la louche que 142 jours séparent Spark, réservé en juin à l'offre la plus chère, de ce contrôle de l'ordinateur.
Les zones d'ombre
L'annonce de Google et sa documentation d'aide ne concordent pas tout à fait. AppleInsider relève que le document d'assistance du jour du lancement ne cite que Pro et Ultra comme offres permettant de contrôler des applications de bureau, alors que l'annonce mentionnait AI Plus ; lequel des deux textes fait foi, Google ne l'a pas précisé séparément. TechCrunch rapporte que Google n'a pas non plus dit quand la fonction serait étendue à d'autres pays ou à d'autres systèmes.
Autre zone d'ombre, côté web. Lorsque Gemini ouvre des sites et remplit des formulaires dans la fenêtre en arrière-plan, l'annonce ne dit pas si le site voit un navigateur ordinaire ou un agent identifiable. Pour les sites de e-commerce et de formulaires, cela influe sur la gestion du risque et sur la façon de comptabiliser le trafic.
Les produits comparables ne manquent plus. Cowork d'Anthropic est arrivé sur macOS en janvier de cette année sous forme d'aperçu de recherche, et l'extension Chrome d'OpenAI peut manipuler des onglets, remplir des formulaires et envoyer des messages à la place de l'utilisateur. La différence de Gemini tient à la « fenêtre en arrière-plan » : l'humain et l'agent ont chacun leur curseur. Reste à voir si l'usage réel est stable, ce que diront les retours des premiers utilisateurs de Plus.
Sources : blog officiel de Google Gemini (périmètre de la fonction, exigences d'appareil et de compte, quatre exemples), TNW, CocoLoop, PPC Land (prix des abonnements et jalons du produit), 9to5Google (mode d'appel et connecteurs de bureau), AppleInsider, TechCrunch ; Centre d'aide Google pour vérifier la version du système et la limite d'âge.