Une vidéo de démonstration de trois à douze secondes, accompagnée des données de mouvement enregistrées en synchronisation, est chargée directement dans la fenêtre de contexte du modèle — et le robot exécute ensuite une tâche qu'il n'a jamais pratiquée : aucune mise à jour de gradient, aucun fine-tuning, pas un seul poids modifié. Generalist AI baptise ce procédé « physical prompting » et le dévoile en même temps que son nouveau modèle, GEN-1.5.
GEN-1.5 est un grand modèle multimodal qui traite quatre types d'entrées — vidéo, données de capteurs, instructions en langage naturel et proprioception —, conserve une fenêtre de mémoire de 30 secondes et produit des trajectoires de mouvement à 100 Hz. Selon l'équipe, le système s'entraîne en continu depuis plus de huit mois sur son moteur de données.
Trois chiffres délimitent la fourchette
La société a testé son système sur 10 tâches de manipulation — ouvrir un bocal en verre, faire glisser la fermeture éclair d'une trousse, sortir de l'argent d'un portefeuille, entre autres. Avec une seule démonstration en guise de prompt de contexte, le taux de réussite moyen atteint 59 % (écart-type de ±10 points). En collectant à la place cinq minutes de données par tâche — environ 50 démonstrations — puis en appliquant dix étapes de mise à jour de gradient, le résultat grimpe à 83 % (±9 points). Sur une tâche mise de côté pour le test, avec une seule étape d'adaptation, le taux atteint 66,5 %.
Cet écart de 24 points coûte cinq minutes de collecte plus un passage dans la file d'entraînement. Pour une ligne de production qui change de pièce des dizaines de fois, le calcul est vite fait : la voie du fine-tuning impose de refaire tout le cycle collecte-entraînement à chaque changement de référence, alors que le prompting en contexte se joue en quelques secondes. Reste que 59 % est encore loin du fonctionnement sans supervision ; pour l'instant, cela sert surtout à éviter l'étape de reprogrammation dans les scénarios de collaboration homme-robot.
Mis en regard avec l'approche des acteurs chinois du secteur, l'écart est net. Des entreprises comme Alibaba, AgiBot (Zhiyuan) ou Unitree ont, l'an dernier, surtout misé sur davantage de données et un matériel plus abouti, s'appuyant sur d'immenses volumes de téléopération pour faire grimper le taux de réussite sur une tâche donnée — au prix de devoir tout recommencer à chaque nouvelle tâche. GEN-1.5 choisit une autre voie : renoncer au score maximal sur une tâche unique pour gagner la liberté de changer de tâche sans toucher aux poids. Grossièrement, si une usine doit mettre en service trois à cinq nouveaux postes par semaine, les deux approches peuvent différer d'un ordre de grandeur en coût de main-d'œuvre au moment du déploiement.
Même l'équipe a été surprise
"Inserting a single demonstration in the context buffer... yields any measurable competence at all was unexpected."
En français : le fait qu'insérer une seule démonstration dans le tampon de contexte produise ne serait-ce qu'une compétence mesurable était inattendu. Cette phrase résume l'enjeu. L'apprentissage en contexte des modèles de langage avait lui aussi « émergé » à l'époque de GPT-3, sans que personne ne l'ait entraîné spécifiquement pour cela ; ce que rapporte aujourd'hui Generalist, c'est ce même type d'émergence, mais côté capteurs et angles articulaires. L'entreprise a été fondée en 2024 par d'anciens chercheurs de DeepMind et de Boston Dynamics, et avait déjà levé 400 millions de dollars.
Les limites que l'entreprise reconnaît elle-même
L'annonce n'élude pas plusieurs faiblesses : les tâches testées sont toutes courtes et simples, ce qui relativise le taux de réussite ; les compétences apprises en contexte restent bien plus fragiles que celles d'un modèle fine-tuné ; et le physical prompting introduit par ailleurs des sauts temporels jamais rencontrés à l'entraînement, créant une rupture entre l'extrait de démonstration et l'exécution réelle.
Ces limites, mises bout à bout, pointent vers une même conclusion : apprendre une nouvelle compétence à partir d'une seule démonstration n'en est qu'à ses débuts. Sa capacité à tenir sur des tâches longues et à rester stable dans des environnements encombrés dépendra de la marge que les prochaines versions parviendront à gagner au-delà de ces 59 %.
Sources : annonce officielle de GEN-1.5 sur le blog de Generalist AI, IoT Tech News, CocoLoop ; les chiffres de 59 % pour une seule démonstration, 83 % après fine-tuning, 66,5 % sur la tâche réservée, ainsi que la fenêtre de mémoire de 30 secondes et la fréquence de mouvement de 100 Hz, suivent tous l'annonce officielle.