Nvidia hat diesmal keinen neuen Chip vorgestellt, sondern ein Modell – und zwar als Open Source.
Cosmos 3, das CEO Jensen Huang als „Open Frontier Foundation Model for Physical AI" bezeichnet, soll Robotern und autonomen Fahrzeugen die Fähigkeit geben, sich vorzustellen, was als Nächstes in der physischen Welt passiert, und dann zu entscheiden, wie sie sich bewegen.
Ein Modell für Sehen, Denken und Handeln
Cosmos 3 basiert auf einer hybriden Transformer-Architektur: ein Transformer für das Denken und ein weiterer für die Generierung. Der Denk-Transformer versteht zunächst Objektinteraktionen, Bewegungen und räumlich-zeitliche Beziehungen; der Generierungs-Transformer erzeugt dann Videos und Aktionsverläufe.
Das Besondere ist die Fähigkeit, direkt „Aktionsdaten" auszugeben – Gelenkwinkel, Greiferöffnungen und Bewegungspfade. Bisher mussten solche Daten manuell in realen Umgebungen gesammelt werden; jetzt kann das Modell sie synthetisieren.
Nvidia zufolge verkürzt sich der Trainings- und Evaluierungszyklus für Physical AI von Monaten auf Tage.
Drei Größen, die kleinste passt in eine Workstation
Nvidia hat drei Versionen auf einmal veröffentlicht:
- Cosmos 3 Nano (16B Parameter) – läuft auf einer Workstation mit einer einzigen RTX PRO 6000
- Cosmos 3 Super (64B Parameter) – für Rechenzentren mit Hopper/Blackwell
- Cosmos 3 Edge (wird noch veröffentlicht) – für Echtzeit-Inferenz am Edge
Die 16B-Größe ist bemerkenswert: Kleine Robotik-Teams können sie auf ihrer eigenen Workstation ausführen, ohne Cloud-Ressourcen mieten zu müssen.
In Benchmarks beansprucht Nvidia die Spitzenplätze in mehreren Ranglisten: Physics-IQ, PAI-Bench, R-Bench für Weltgenerierung; RoboArena für Aktionsstrategien; sowie mehrere visuelle Verständnis-Benchmarks. Natürlich sind dies von Nvidia ausgewählte Benchmarks; die tatsächliche Leistung muss von der Community bestätigt werden.
Nvidia gründet auch die Cosmos Alliance
Neben der Open-Source-Veröffentlichung hat Nvidia die „Cosmos Alliance" ins Leben gerufen, deren Gründungsmitglieder Agile Robots, Black Forest Labs, Generalist, LTX, Runway und Skild AI sind – eine Mischung aus Robotik- und Videogenerierungsunternehmen.
Jensen Huang sagte: „Die Cosmos-3-Familie offener, grenzüberschreitender Omnimodelle bietet Entwicklern einen Generationensprung in der Fähigkeit, Roboter, autonome Fahrzeuge und visuelle KI zu bauen."
Die strategische Wahl ist interessant. Der Physical-AI-Bereich ist überfüllt, aber die meisten Unternehmen halten ihre Modelle geschlossen. Nvidia macht das Gegenteil: Es öffnet das Basismodell und baut eine Allianz auf. Die Wette gilt nicht dem Verkauf eines bestimmten Roboters – sondern dass alle seine Modelle und Chips verwenden, um Roboter zu trainieren. Die „Schaufelverkäufer"-Strategie, einmal mehr.
Quellen: NVIDIA Newsroom; Tech Startups; Axios; CocoLoop