NVIDIA pousse son offensive dans l’IA au-delà du texte et du code avec Cosmos 3, un modèle présenté comme une base ouverte pour l’« IA physique » : robots, véhicules autonomes, caméras industrielles et systèmes capables de raisonner sur des scènes réelles avant d’agir.
Un modèle pensé pour le monde réel, pas seulement pour le langage
La différence centrale revendiquée par NVIDIA est l’unification. Cosmos 3 combine, dans un même modèle, la compréhension visuelle, la génération de monde et la prédiction d’action. La page officielle le décrit comme un « omni-model » capable de traiter le texte, l’image, la vidéo, le son ambiant et l’action.
L’enjeu est important pour la robotique et la conduite autonome : ces systèmes ne doivent pas seulement reconnaître des objets, mais interpréter des trajectoires, des interactions, des intentions et des conséquences possibles. NVIDIA indique que Cosmos 3 peut servir de modèle vision-langage pour raisonner sur des objets, des interactions et l’intention dans des scénarios réels complexes.
Ce que change l’architecture Mixture-of-Transformers
Cosmos 3 repose sur une architecture Mixture-of-Transformers. Dans les éléments publiés par NVIDIA, cette architecture associe des modules de raisonnement et de génération distincts afin que le modèle raisonne d’abord, puis génère. Le laboratoire de recherche de NVIDIA résume l’objectif : connecter compréhension, génération, simulation et action à travers un modèle de monde partagé.
Ce choix vise à remplacer des chaînes plus fragmentées. Le billet publié sur Hugging Face explique que les précédentes briques Cosmos séparaient davantage la génération de monde, la génération contrôlée, la compréhension de scène et la génération de politiques. Cosmos 3 rassemble ces capacités dans une même famille de modèles.
Robots, véhicules autonomes et vision industrielle
Les cas d’usage cités par NVIDIA couvrent plusieurs domaines où l’erreur peut être coûteuse : apprentissage de politiques robotiques, génération de données synthétiques pour véhicules autonomes, inspection qualité, sécurité, surveillance du trafic, logistique et analyse de flux vidéo. L’idée n’est pas seulement de produire des images réalistes, mais de créer des futurs plausibles à partir de texte, d’image, de vidéo, de son ambiant et d’actions.
Dans cette logique, la vidéo devient un outil d’« imagination » pour entraîner et évaluer des systèmes physiques sans dépendre uniquement de ce qui a été capturé dans le monde réel. NVIDIA insiste aussi sur l’usage en boucle fermée : simuler plusieurs approches, évaluer les résultats, puis converger vers un comportement adapté.
Ouverture réelle, mais écosystème NVIDIA très présent
Cosmos 3 est présenté comme ouvert. NVIDIA indique que les modèles Cosmos 3 Super et Cosmos 3 Nano sont disponibles, que Cosmos 3 Edge doit arriver pour l’inférence en temps réel, et que les développeurs peuvent accéder aux modèles via Hugging Face, à des ressources sur GitHub, à Hugging Face Diffusers et aux microservices NVIDIA NIM.
La page officielle précise aussi que les modèles Cosmos WFM sont proposés sous licence OpenMDW1.1 de la Linux Foundation. Ce point compte : dans l’IA physique, l’ouverture du modèle, des scripts d’entraînement complémentaire et des outils d’évaluation peut accélérer les tests par des laboratoires, industriels et développeurs indépendants.
Cette ouverture reste cependant liée à un écosystème matériel et logiciel très marqué. NVIDIA écrit que Cosmos 3 est optimisé pour ses matériels, notamment les serveurs RTX PRO Blackwell et Blackwell GB200. Pour les entreprises, la question ne sera donc pas seulement de télécharger un modèle, mais d’évaluer le coût, l’infrastructure et l’intégration nécessaires.
Des performances annoncées à lire avec prudence
Les annonces autour de Cosmos 3 revendiquent de bons résultats sur des benchmarks de génération de monde, d’action policy et de compréhension visuelle, notamment Artificial Analysis, Physics-IQ, PAI-Bench, R-Bench, RoboLab, RoboArena, VANTAGE-Bench et TAR. Ces éléments sont intéressants, mais ils restent des performances annoncées dans le cadre du lancement.
Pour juger l’impact réel de Cosmos 3, il faudra regarder comment les modèles se comportent hors démonstrations contrôlées : robustesse dans des environnements nouveaux, erreurs de raisonnement spatial, sécurité des actions proposées, latence en temps réel et capacité à s’intégrer dans des chaînes robotiques existantes. Les sources publiées ne transforment pas encore Cosmos 3 en preuve de déploiement sûr à grande échelle.
Pourquoi c’est un signal fort pour les agents IA
Cosmos 3 illustre un déplacement plus large : les agents IA ne se limitent plus aux interfaces de chat, aux navigateurs ou aux environnements de développement. NVIDIA cible des agents capables d’observer des flux vidéo, d’interpréter une scène, de simuler des conséquences et de proposer une action dans le monde physique.
C’est précisément ce qui rend l’annonce importante pour scienceactu.com : elle relie les modèles de fondation, la robotique, les données synthétiques et les agents dans un même cadre. Si l’approche fonctionne au-delà des benchmarks annoncés, elle pourrait réduire une partie du travail nécessaire pour entraîner et tester des systèmes physiques. Si elle échoue, ce sera probablement sur les points les plus difficiles : généralisation, sécurité, coût et validation indépendante.
Sources
- NVIDIA — Physical AI with World Foundation Models
- Hugging Face — Welcome NVIDIA Cosmos 3: The First Open Omni-model for Physical AI Reasoning and Action
- NVIDIA Research — Cosmos 3: Omnimodal World Models for Physical AI
- HPCwire / AIwire — NVIDIA Launches Cosmos 3, the Open Frontier Foundation Model for Physical AI
