Cette fois, Nvidia n'a pas dévoilé une nouvelle puce, mais un modèle — et il est open source.
Cosmos 3, que le PDG Jensen Huang qualifie de « modèle de base frontalier ouvert pour le Physical AI », vise à donner aux robots et aux véhicules autonomes la capacité d'« imaginer » ce qui va se passer ensuite dans le monde physique, puis de décider comment se déplacer.
Un seul modèle pour voir, penser et agir
Cosmos 3 repose sur une architecture de transformeurs hybrides : un transformeur pour le raisonnement et un autre pour la génération. Le transformeur de raisonnement comprend d'abord les interactions entre objets, les mouvements et les relations spatio-temporelles ; le transformeur de génération produit ensuite des vidéos et des trajectoires d'action.
Ce qui le distingue, c'est sa capacité à générer directement des « données d'action » — angles d'articulation, ouvertures de pince et chemins de mouvement. Auparavant, ces données devaient être collectées manuellement dans des environnements réels ; désormais, le modèle peut les synthétiser.
Nvidia affirme que cela réduit le cycle d'entraînement et d'évaluation pour le Physical AI de plusieurs mois à quelques jours.
Trois tailles, la plus petite tient dans une station de travail
Nvidia a publié trois versions à la fois :
- Cosmos 3 Nano (16B paramètres) — fonctionne sur une station de travail avec une seule RTX PRO 6000
- Cosmos 3 Super (64B paramètres) — pour les centres de données avec Hopper/Blackwell
- Cosmos 3 Edge (à venir) — pour l'inférence en temps réel en périphérie
La taille 16B est remarquable : les petites équipes de robotique peuvent l'exécuter sur leur propre station de travail sans louer de cloud.
Dans les benchmarks, Nvidia revendique la première place dans plusieurs classements : Physics-IQ, PAI-Bench, R-Bench pour la génération de monde ; RoboArena pour la politique d'action ; et plusieurs benchmarks de compréhension visuelle. Bien sûr, ce sont des benchmarks choisis par Nvidia ; les performances réelles attendent la vérification par la communauté.
Nvidia forme également la Cosmos Alliance
En plus de l'open source, Nvidia a lancé la « Cosmos Alliance », dont les membres fondateurs incluent Agile Robots, Black Forest Labs, Generalist, LTX, Runway et Skild AI — un mélange d'entreprises de robotique et de génération vidéo.
Jensen Huang a déclaré : « La famille Cosmos 3 d'omnimodèles frontaliers ouverts offre aux développeurs un bond générationnel dans leur capacité à construire des robots, des véhicules autonomes et de l'IA visuelle. »
Le choix stratégique est intéressant. Le domaine du Physical AI est encombré, mais la plupart des entreprises gardent leurs modèles fermés. Nvidia fait l'inverse : il ouvre le modèle de base et construit une alliance. Son pari ne porte pas sur la vente d'un robot particulier — mais sur le fait que tout le monde utilise ses modèles et ses puces pour entraîner des robots. La stratégie du « vendeur de pelles », une fois de plus.
Sources : NVIDIA Newsroom ; Tech Startups ; Axios ; CocoLoop