NVIDIA Dévoile une Pile d'IA Complète et des Modèles Cosmos pour la Robotique
NVIDIA a dévoilé une suite complète de nouvelles technologies lors de la SIGGRAPH 2025, signalant un bond en avant significatif dans le développement de l’IA physique pour la robotique, les véhicules autonomes et les applications industrielles. Ce nouvel écosystème, comprenant des modèles mondiaux Cosmos avancés, des bibliothèques de simulation Omniverse robustes et une infrastructure de pointe, est conçu pour accélérer le cheminement de l’entraînement virtuel au déploiement dans le monde réel.
Au cœur de cette annonce se trouvent les modèles fondamentaux Cosmos World, conçus pour doter les robots de capacités de raisonnement améliorées. Parmi eux, Cosmos Reason est un modèle vision-langage de 7 milliards de paramètres spécialement conçu pour les agents intelligents opérant dans des scénarios complexes du monde réel. Cette IA dispose d’une mémoire avancée pour le raisonnement spatial et temporel, associée à une compréhension intrinsèque des lois physiques. Ces capacités permettent aux robots et aux agents IA de planifier méticuleusement des actions étape par étape dans des environnements dynamiques, s’avérant inestimables pour des tâches comme la curation de données, la planification robotique sophistiquée et l’analyse vidéo détaillée. Le modèle traite diverses données de capteurs, y compris la vidéo et le LIDAR, les alimentant dans un moteur de raisonnement qui dicte les mouvements ultérieurs d’un agent. Il prend en charge à la fois l’interprétation d’instructions de haut niveau et la génération d’actions granulaires, imitant la logique humaine pour la navigation et la manipulation.
Complétant Cosmos Reason, les modèles Cosmos Transfer accélèrent considérablement la génération de jeux de données synthétiques. Cosmos Transfer-2, par exemple, crée rapidement des données d’entraînement à partir de scènes de simulation 3D ou d’entrées de contrôle spatial, réduisant considérablement le temps et les coûts généralement associés à la production de données d’entraînement robotiques réalistes. Ceci est particulièrement bénéfique pour l’apprentissage par renforcement et la validation de modèles de politiques, où la nécessité de modéliser des cas limites, des éclairages variés et diverses conditions météorologiques à l’échelle est primordiale. Une « variante de transfert distillée » optimisée améliore encore la vitesse, permettant aux développeurs d’itérer la création de jeux de données avec une agilité sans précédent. La famille de modèles fondamentaux Cosmos World elle-même offre une polyvalence, couvrant les catégories Nano, Super et Ultra avec des nombres de paramètres allant de 4 milliards à 14 milliards, permettant un ajustement fin pour des latences, des fidélités et des cas d’utilisation spécifiques, du streaming en temps réel au rendu photoréaliste.
La plateforme Omniverse de NVIDIA a également reçu une mise à jour substantielle, introduisant de nouvelles bibliothèques de simulation et de rendu cruciales pour la création d’environnements d’entraînement virtuels réalistes. Les bibliothèques de reconstruction neuronale permettent désormais aux développeurs d’importer des données de capteurs et de rendre le monde physique en 3D avec un photoréalisme réaliste, en tirant parti de techniques de rendu avancées. L’intégration améliorée avec OpenUSD et le simulateur CARLA, grâce à de nouveaux outils de conversion et capacités de rendu, vise à standardiser les flux de travail de simulation complexes, facilitant une interopérabilité transparente entre divers frameworks robotiques comme Mujoco et le pipeline basé sur USD de NVIDIA. De plus, une nouvelle bibliothèque de matériaux SimReady offre des milliers de matériaux de substrat, augmentant considérablement la fidélité de l’entraînement et de la simulation robotique. Le moteur de simulation dédié de NVIDIA, Isaac Sim 5.0.0, a également été mis à niveau avec des modèles d’actionneurs améliorés, un support Python et ROS plus large, et des améliorations de rendu neuronal pour une génération de données synthétiques supérieure.
Pour prendre en charge ces modèles et simulations avancés, NVIDIA a introduit une infrastructure spécialement conçue pour les flux de travail robotiques. Les serveurs RTX Pro Blackwell offrent une architecture unifiée optimisée pour les tâches exigeantes de simulation, d’entraînement et d’inférence dans le développement robotique. De plus, le DGX Cloud offre une solution évolutive basée sur le cloud pour gérer les flux de travail d’IA physique, permettant aux équipes de développer, d’entraîner et de déployer des agents IA à distance depuis n’importe où.
L’industrie a rapidement reconnu le potentiel de ces innovations. Des entreprises de premier plan, notamment Amazon Devices, Agility Robotics, Figure AI, Uber et Boston Dynamics, pilotent déjà les modèles Cosmos et les outils Omniverse. Elles exploitent ces technologies pour générer des données d’entraînement critiques, construire des jumeaux numériques et accélérer le déploiement de la robotique dans les secteurs de la fabrication, du transport et de la logistique. NVIDIA a rendu les modèles Cosmos largement disponibles via son API et ses catalogues de développeurs, offrant une licence permissive qui prend en charge les applications de recherche et commerciales.
La vision de NVIDIA est claire : l’IA physique représente un défi complet, de bout en bout. En fournissant des modèles plus intelligents, des capacités de simulation plus riches et une infrastructure évolutive, NVIDIA vise à combler l’écart critique entre l’entraînement virtuel et le déploiement dans le monde réel. Cette approche intégrée promet de réduire considérablement les essais et erreurs coûteux dans le développement robotique, débloquant des niveaux d’autonomie sans précédent pour les agents et robots intelligents.