Le 14 septembre, ByteDance a lancé la version grand public de son assistant téléphonique Doubao, embarquée pour la première fois sur le Nubia NaviX Ultra, un appareil co-développé par ZTE et ByteDance. La présentation et le début des ventes sont prévus à 14h le 16 septembre, les précommandes étant déjà ouvertes.
Le même jour a également été publié un protocole nommé SAEP, pour Screen Automation Execution Protocol (protocole de déclaration d'exécution d'automatisation d'écran), avec une période de consultation publique de 30 jours. Selon l'entreprise, les applications tierces peuvent déclarer elles-mêmes les limites d'utilisation, en autorisant ou en refusant explicitement que l'assistant IA effectue de l'automatisation d'écran au sein de leur propre application ; pour les applications ayant explicitement refusé, l'assistant n'exécutera pas ces actions automatisées.
Ce que cette version de l'assistant ajoute
En tête de la liste des fonctions figure le mode de réveil : par la voix, ainsi qu'une touche IA dédiée avec authentification par empreinte digitale. Selon la description officielle, cette touche sert à la fois de point d'entrée et de point d'autorisation — ce n'est qu'après validation de l'empreinte que le processus se poursuit.
Vient ensuite la fonction de questions-réponses à l'écran : on peut interroger l'assistant sur tout ce qui est visible sur la page en cours ; la recherche de données locales couvre l'album photo, les SMS et les notes. La fonction d'enregistrement audio a été améliorée et se connecte désormais à Feishu Miaoji (l'outil de transcription de Lark). La partie exécution de tâches inter-applications s'appelle « Opérer le téléphone » et porte encore l'étiquette Bêta.
Un scénario de démonstration présenté par l'entreprise consiste à pointer la caméra vers un meuble et dire : « en fonction de ce style de décoration, aide-moi à choisir une armoire de moins de 1,2 mètre et à moins de 1 000 yuans », l'assistant allant alors chercher des produits correspondants sur des plateformes de commerce en ligne. Cette phrase concentre trois contraintes — le style, la taille et le prix — qui relèvent respectivement de la vision, de la recherche et de la comparaison de prix ; pour que cela fonctionne, l'assistant doit réellement entrer dans l'application de e-commerce et naviguer entre les pages.
Le traitement des données repose sur un schéma combiné appareil-cloud. Parmi les certifications de conformité citées figurent ISO 27001, ISO 27701, ISO/IEC 42001, ainsi que le niveau 3 de la protection classifiée de cybersécurité chinoise. Les caractéristiques publiques de l'appareil incluent une épaisseur de 7,62 mm et une batterie de 7 100 mAh.
Quant à la portée réelle de ces fonctions en pratique, l'entreprise elle-même pose des limites : cela dépend de quatre facteurs — le modèle de l'appareil, la version du système, l'adaptation de l'application et l'autorisation de l'utilisateur.
Pour la première fois, la partie manipulée dispose d'un interrupteur
La voie de l'automatisation d'écran est suivie depuis plus de deux ans, presque toujours selon le même schéma : l'assistant obtient les droits d'accessibilité ou de capture d'écran, reconnaît les éléments de l'interface, puis simule des appuis et des glissements. Le computer use d'Anthropic, le pilotage de navigateur d'OpenAI, ainsi que les solutions d'agents de plusieurs fabricants chinois de téléphones, relèvent au fond tous de ce même cadre.
Cette approche comporte un point jamais résolu : l'application sur laquelle on clique n'a aucune voix au chapitre pendant tout le processus. Elle ne sait pas si elle a affaire à un humain ou à un assistant, et ne dispose d'aucun canal officiel pour dire « ne touchez pas à cette page ». Jusqu'ici, la parade consistait soit pour l'application à mettre en place sa propre détection anti-automatisation, soit pour le fabricant à négocier en privé une adaptation avec les grandes applications.
C'est précisément cette couche que le SAEP modifie, en permettant à la partie manipulée d'exprimer ses limites sous forme de déclaration. Pour les applications de transaction, de paiement ou de distribution de contenu, c'est un besoin bien réel : un trafic automatisé mélangé au trafic réel des utilisateurs affecte le contrôle des risques, la facturation et les modèles de recommandation.
Mais l'efficacité du protocole dépendra de sa mise en œuvre concrète. Pendant les 30 jours de consultation publique, on ne sait toujours pas qui pourra faire la déclaration, si la granularité sera au niveau de la page ou seulement de l'application, ni comment le comportement de l'assistant se repliera après un refus. On ignore également si le tableau des déclarations sera rendu public. Le protocole lui-même est créé et maintenu par l'entreprise, et non par un organisme de normalisation du secteur — son adoption par des tiers dépendra donc, en dernier ressort, du jugement de chacun.
Quelques questions concrètes pour les utilisateurs en Chine
Premièrement, la liaison à l'appareil. Cette version de l'assistant n'est disponible, dans un premier temps, que sur le Nubia NaviX Ultra, et le communiqué ne précise pas quand ni dans quelle mesure d'autres modèles en bénéficieront. Une situation qui s'est répétée à plusieurs reprises ces deux dernières années avec les assistants IA chinois : la fonction tourne d'abord sur le matériel propre de l'entreprise avant de s'étendre ; le rythme semble ici suivre la même logique.
Deuxièmement, les autorisations. L'automatisation d'écran nécessite un niveau de droits supérieur à celui d'une application classique, auquel s'ajoute la capacité de recherche locale dans les photos, les SMS et les notes — le périmètre d'autorisation n'est pas mince. La touche à authentification par empreinte ajoute certes une barrière supplémentaire à l'entrée, mais l'étendue réelle de ce que l'assistant peut atteindre en arrière-plan une fois autorisé reste difficile à vérifier point par point pour l'utilisateur.
Troisièmement, l'utilisabilité. « Opérer le téléphone » est encore en version bêta, et dans l'écosystème applicatif chinois, les points de blocage les plus fréquents pour ce type de fonction sont justement le captcha, la confirmation de paiement et l'état de connexion — trois étapes qui, précisément, ne se prêtent pas à être déléguées à un assistant.
Sources : communiqué officiel de Doubao, IT Home, site officiel de Nubia, CocoLoop ; vérification de la période de consultation publique du SAEP, du calendrier de lancement de l'appareil et de la formulation des limitations fonctionnelles.