L'Institute for AI Industry Research (AIR) de l'université Tsinghua, en collaboration avec Yubianhuan (域变换), a publié une étude sur la manipulation incarnée baptisée Zeva. Sa méthode est peu courante dans ce domaine aujourd'hui : les poids du modèle restent gelés pendant tout le processus, sans aucune mise à jour de gradient — le robot progresse tout seul pendant le déploiement, uniquement grâce au contexte. Sur plusieurs benchmarks d'IA incarnée, le taux de réussite cumulé est passé de 26 % à 73 %.
L'approche dominante consiste à collecter des données, les annoter, puis affiner un modèle VLA, en recommençant à chaque nouveau scénario. Zeva déplace tout ce processus vers l'inférence : le système mémorise la relation causale entre les actions et les changements d'état, puis restitue cette relation sous forme de prompt au modèle de base gelé. Le modèle de base utilisé dans l'article est Cosmos3.
Trois composants
L'encodeur de transition causale extrait, à partir de chaque action, le changement d'état, en associant "ce que j'ai fait" à "comment l'environnement a changé". Cette étape constitue la collecte de données de toute la méthode : la précision de l'extraction détermine directement si la suite est exploitable.
La mémoire causale fonctionne sur deux échelles temporelles. La couche courte, appelée "trajectoire d'interaction brève", ne concerne que la tentative en cours ; la couche longue, la "mémoire d'interaction persistante", s'accumule au fil de plusieurs tentatives. La première répond à "qu'ai-je essayé lors de cette tentative", la seconde à "où ai-je échoué la dernière fois". La séparation des deux niveaux est délibérée : le signal d'échec de la tentative en cours doit se répercuter immédiatement sur l'action suivante, tandis que l'expérience accumulée d'une tentative à l'autre doit être filtrée avant d'entrer dans la mémoire à long terme — les mélanger expose le système au bruit d'une seule tentative.
La troisième étape est l'injection de politique en contexte, qui insère les indices causaux dans l'entrée du modèle gelé. Pendant tout le déploiement, aucune mise à jour de gradient n'a lieu.
Où se situent les chiffres
Sur le benchmark RoboCasa365-Atomic5, le taux de réussite moyen atteint 76,8 %. Plus révélateur encore, l'ensemble de données obtenu après transfert vers un véritable laboratoire de chimie (environnement que l'équipe a baptisé ChemLab-Evo) : saisir un tube à essai est passé de 65 % à 100 %, positionner un bécher de 25 % à 70 %, et verser de l'eau de 30 % à 80 %.
Les points de départ des trois tâches diffèrent fortement. Saisir le tube à essai partait déjà d'une base de 65 % ; atteindre 100 % revenait simplement à peaufiner les derniers détails. Positionner le bécher partait de 25 % et a presque triplé — signe que le mécanisme de mémoire apporte des gains plus marqués dans les plages de taux de réussite faibles, le robot échouant davantage et générant ainsi plus de paires causales à exploiter.
Une seule démonstration humaine permet encore de faire progresser les résultats : environ 20 points de pourcentage de plus pour le bécher et environ 15 points de plus pour le versement d'eau. Qu'une démonstration isolée, dont l'information est pourtant limitée en soi, produise un tel bond montre qu'elle s'intègre dans la mémoire et non dans les paramètres, ce qui la rend directement exploitable ("plug-and-play").
Pourquoi un laboratoire de chimie
Le choix de ce scénario répond à une considération pratique. Dans les manipulations chimiques, les limites des changements d'état sont nettes — niveau du liquide, position du tube à essai, présence ou non d'un déversement —, ce qui rend le signal causal propre et les paires extraites par l'encodeur peu bruitées. Pour des tâches aux états difficiles à quantifier, comme plier du linge, le même mécanisme ne fonctionnera pas nécessairement aussi bien, et l'article ne l'élude pas.
Sur le plan technique, cela change la forme même du déploiement. Avec l'approche par fine-tuning, chaque nouveau site nécessite une nouvelle collecte de données, un nouvel entraînement et une validation de régression — un cycle complet se compte en semaines. Zeva, lui, fonctionne dès le déploiement et devient plus précis à l'usage, au prix d'un contexte plus long et d'un coût plus élevé par étape d'inférence. L'approche la plus rentable dépend de la fréquence de changement de scénario : si un robot effectue la même tâche pendant longtemps, le fine-tuning reste l'option la plus économique.
L'article s'intitule "Zeva: In-Context Causal Learning for Generalizable Embodied Manipulation", et parmi ses auteurs figurent Liu Yunxin et Cao Ting, de l'AIR de Tsinghua.
Sources : article original de Zeva, QbitAI, CocoLoop ; les taux de réussite et les noms des benchmarks ont été vérifiés d'après les valeurs publiées dans l'article, les hausses étant calculées par soustraction directe des chiffres de l'article.