Ein drei bis zwölf Sekunden langes Demo-Video wird zusammen mit den synchron aufgezeichneten Bewegungsdaten direkt in das Kontextfenster eines Modells geladen – und der Roboter führt anschließend eine Aufgabe aus, die er noch nie geübt hat. Kein Gradientenupdate, kein Feintuning, kein einziges Gewicht wird verändert. Generalist AI nennt dieses Verfahren "Physical Prompting" und stellt es zusammen mit dem neuen Modell GEN-1.5 vor.
GEN-1.5 ist ein großes multimodales Modell, das vier Arten von Eingaben verarbeitet: Video, Sensordaten, Sprachanweisungen und Propriozeption. Es hält ein Gedächtnisfenster von 30 Sekunden und gibt Bewegungstrajektorien mit 100 Hz aus. Laut Team wurde das System über acht Monate durchgehend in der eigenen Daten-Engine trainiert.
Drei Zahlen stecken den Rahmen ab
Getestet wurde offiziell an 10 Manipulationsaufgaben – etwa dem Öffnen eines Glasgefäßes, dem Aufziehen eines Stiftetui-Reißverschlusses oder dem Herausnehmen von Geld aus einem Portemonnaie. Mit einer einzigen Demonstration als Kontext-Prompt lag die durchschnittliche Erfolgsquote bei 59 Prozent (Standardabweichung ±10 Prozentpunkte). Wurden stattdessen pro Aufgabe fünf Minuten Daten gesammelt – rund 50 Demonstrationen – und zehn Gradientenupdate-Schritte durchlaufen, stieg der Wert auf 83 Prozent (±9 Prozentpunkte). Bei einer Aufgabe außerhalb des Trainingsdatensatzes, mit einem einzigen Anpassungsschritt, lag die Quote bei 66,5 Prozent.
Die Lücke von 24 Prozentpunkten kostet fünf Minuten Datensammlung plus eine Runde Trainingswarteschlange. Für eine Fertigungslinie, die Dutzende Werkstücke wechselt, lässt sich das leicht durchrechnen: Der Feintuning-Weg verlangt bei jedem SKU-Wechsel einen kompletten Sammel- und Trainingsdurchlauf, während Kontext-Prompting eine Sache von Sekunden ist. Nur ist ein Niveau von 59 Prozent noch weit von unbeaufsichtigtem Betrieb entfernt – aktuell erspart es eher den Umprogrammierungsschritt in der Mensch-Roboter-Zusammenarbeit.
Stellt man das neben den Ansatz chinesischer Wettbewerber, zeigt sich ein Unterschied: Firmen wie Alibaba, AgiBot (Zhiyuan) und Unitree haben im vergangenen Jahr vor allem auf mehr Daten und ausgefeiltere Hardware gesetzt – mit riesigen Mengen an Teleoperationsdaten wird die Erfolgsquote für Einzelaufgaben hochgetrieben, bei einer neuen Aufgabe beginnt der Sammel- und Trainingszyklus jedoch von vorn. GEN-1.5 wählt den anderen Weg: Es verzichtet auf Spitzenwerte bei Einzelaufgaben zugunsten der Freiheit, zwischen Aufgaben zu wechseln, ohne die Gewichte anzufassen. Grob gerechnet: Muss eine Fabrik pro Woche drei bis fünf neue Arbeitsstationen einrichten, können sich die beiden Ansätze beim Personalaufwand für die Inbetriebnahme um eine Größenordnung unterscheiden.
Selbst das Team war überrascht
"Inserting a single demonstration in the context buffer... yields any measurable competence at all was unexpected."
Auf Deutsch: Dass das Einfügen einer einzigen Demonstration in den Kontextpuffer überhaupt zu messbarer Kompetenz führt, kam unerwartet. Dieser Satz bringt die Tragweite auf den Punkt. In-Context-Learning bei Sprachmodellen "tauchte" seinerzeit bei GPT-3 einfach auf, ohne dass es gezielt trainiert worden wäre; Generalist berichtet nun von derselben Art von Emergenz – nur diesmal auf der Seite von Sensoren und Gelenkwinkeln. Das Unternehmen wurde 2024 von ehemaligen Forschern von DeepMind und Boston Dynamics gegründet und hat zuvor 400 Millionen US-Dollar an Finanzierung eingesammelt.
Die Grenzen, die das Unternehmen selbst zieht
Die Ankündigung verschweigt einige Schwachstellen nicht: Die Testaufgaben sind allesamt kurz und einfach, die Erfolgsquote ist entsprechend kein Glanzwert; Fähigkeiten, die im Kontext gelernt wurden, sind deutlich brüchiger als bei feingetunten Modellen; Physical Prompting erzeugt zudem Sprünge auf der Zeitachse, die im Training nie vorkamen – zwischen Demo-Clip und tatsächlicher Ausführung entsteht ein Bruch.
Zusammengenommen laufen diese Einschränkungen auf ein Urteil hinaus: Der Ansatz, aus einer einzigen Demonstration eine neue Fähigkeit zu lernen, steckt gerade erst in den Anfängen. Ob er sich auf lange Aufgabenketten übertragen lässt und in unaufgeräumten Umgebungen stabil bleibt, hängt davon ab, wie weit künftige Versionen die 59 Prozent noch heben.
Quellen: offizieller Generalist-AI-Blogbeitrag zur GEN-1.5-Ankündigung, IoT Tech News, CocoLoop; die Angaben zu 59 % bei einer einzelnen Demonstration, 83 % nach Feintuning, 66,5 % bei der ausgelagerten Aufgabe sowie zum 30-Sekunden-Gedächtnisfenster und der 100-Hz-Bewegungsfrequenz folgen durchgehend der offiziellen Ankündigung.