NVIDIA Révolutionne la Robotique avec Omniverse AI et Nouveaux Outils
NVIDIA a dévoilé une suite de nouveaux outils et modèles d’IA sous ses plateformes Omniverse et Cosmos, conçus pour accélérer considérablement le développement et le déploiement de solutions robotiques avancées. Ces innovations, propulsées par les derniers serveurs NVIDIA RTX PRO et DGX Cloud, visent à permettre aux développeurs de créer des jumeaux numériques physiquement précis, de reconstruire des environnements du monde réel dans des simulations, de générer des données synthétiques pour entraîner des modèles d’IA physiques et de construire des agents intelligents capables de comprendre le monde physique.
Selon Rev Lebaredian, vice-président d’Omniverse et des technologies de simulation chez NVIDIA, la convergence de l’infographie et de l’intelligence artificielle est sur le point de transformer fondamentalement l’industrie de la robotique. Il a souligné qu’en combinant le raisonnement de l’IA avec une simulation évolutive et physiquement précise, NVIDIA permet la création de futurs robots et véhicules autonomes qui révolutionneront des industries évaluées à des billions de dollars.
Parmi les annonces clés figurent les nouveaux kits de développement logiciel (SDK) et bibliothèques NVIDIA Omniverse, désormais disponibles pour la création et le déploiement d’applications de simulation d’IA industrielle et de robotique. Ces SDK introduisent une interopérabilité de données cruciale entre MuJoCo (MJCF) et Universal Scene Description (OpenUSD), ouvrant la voie à une simulation robotique transparente sur toutes les plateformes pour plus de 250 000 développeurs d’apprentissage robotique MuJoCo. Pour améliorer encore le réalisme, les nouvelles bibliothèques Omniverse NuRec et les modèles d’IA introduisent le splatting gaussien 3D avec lancer de rayons Omniverse RTX, une technique de rendu sophistiquée qui permet aux développeurs de capturer, reconstruire et simuler le monde réel en 3D à l’aide de données de capteurs.
En complément de ces avancées, les frameworks de simulation et d’apprentissage de robots open source, NVIDIA Isaac Sim 5.0 et NVIDIA Isaac Lab 2.2, sont désormais accessibles sur GitHub. Isaac Sim intègre désormais le rendu neuronal NuRec et de nouveaux schémas de robots et de capteurs basés sur OpenUSD, aidant les développeurs à combler le fossé difficile entre la simulation et les performances réelles. L’impact de NuRec est déjà visible, avec son intégration dans CARLA, un simulateur open source proéminent utilisé par plus de 150 000 développeurs, et son adoption par le leader de la chaîne d’outils de véhicules autonomes Foretellix, qui exploite NuRec, NVIDIA Omniverse Sensor RTX et Cosmos Transfer pour améliorer sa génération de données synthétiques physiquement précises. Le spécialiste des moteurs de données Voxel51, avec son FiftyOne, utilisé par des entreprises comme Ford et Porsche, prend également en charge NuRec pour une préparation de données simplifiée. Des acteurs majeurs tels qu’Amazon Devices & Services, Boston Dynamics, Figure AI, Hexagon, RAI Institute, Lightwheel et Skild AI adoptent déjà les bibliothèques Omniverse, Isaac Sim et Isaac Lab pour accélérer leur développement de robotique IA.
Au-delà de la simulation, les modèles de fondation mondiale (WFMs) Cosmos de NVIDIA, qui ont enregistré plus de 2 millions de téléchargements, permettent aux développeurs de générer diverses données d’entraînement pour les robots à grande échelle en utilisant diverses invites. Les nouveaux modèles dévoilés au SIGGRAPH promettent des améliorations significatives en termes de vitesse, de précision, de prise en charge linguistique et de contrôle de la génération de données synthétiques. Notamment, Cosmos Transfer-2, qui sera bientôt publié, simplifiera l’invitation et accélérera la création de données synthétiques photoréalistes à partir de scènes de simulation 3D ou d’entrées de contrôle spatial. Une version distillée de Cosmos Transfer améliore encore la vitesse, réduisant un processus de distillation en 70 étapes à une seule étape, permettant au modèle de s’exécuter à des vitesses sans précédent sur les serveurs NVIDIA RTX PRO. Des entreprises comme Lightwheel, Moon Surgical et Skild AI utilisent déjà Cosmos Transfer pour accélérer l’entraînement de l’IA physique en simulant un large éventail de conditions à grande échelle.
Une percée significative dans la compréhension du monde vient avec NVIDIA Cosmos Reason, un nouveau modèle de langage visuel (VLM) de raisonnement de 7 milliards de paramètres, ouvert et personnalisable, conçu pour l’IA physique et la robotique. Contrairement aux VLM précédents qui excellaient dans la reconnaissance d’objets mais luttaient avec des tâches multi-étapes ou l’ambiguïté, Cosmos Reason permet aux robots et aux agents d’IA visuels de raisonner davantage comme des humains, en tirant parti des connaissances antérieures, de la compréhension de la physique et du bon sens pour interpréter et agir dans le monde réel. Ses applications couvrent la curation et l’annotation de données, permettant une préparation automatisée et de haute qualité de vastes ensembles de données ; la planification et le raisonnement robotiques, agissant comme le cœur intelligent pour la prise de décision délibérée dans les modèles d’action de langage visuel (VLA) de robots ; et les agents d’IA d’analyse vidéo pour extraire des informations et effectuer une analyse des causes profondes sur de grands volumes de données vidéo. Les propres équipes de robotique et DRIVE de NVIDIA emploient Cosmos Reason pour la curation, le filtrage, l’annotation des données et le post-entraînement VLA, tandis qu’Uber l’utilise pour annoter et légender les données d’entraînement des véhicules autonomes. Magna intègre Cosmos Reason dans sa plateforme City Delivery pour aider les véhicules autonomes à s’adapter plus rapidement aux nouveaux environnements urbains. De plus, VAST Data, Milestone Systems et Linker Vision adoptent Cosmos Reason pour automatiser la surveillance du trafic, améliorer la sécurité et optimiser l’inspection visuelle dans les environnements urbains et industriels.
Pour prendre en charge ces charges de travail exigeantes, NVIDIA a également annoncé une nouvelle infrastructure d’IA. Les serveurs NVIDIA RTX PRO Blackwell offrent une architecture unifiée pour chaque tâche de développement de robots, de l’entraînement et de la génération de données synthétiques à l’apprentissage et à la simulation de robots. De plus, NVIDIA DGX Cloud, désormais disponible sur Microsoft Azure Marketplace, offre aux développeurs Omniverse une plateforme entièrement gérée, simplifiant la diffusion à grande échelle d’applications basées sur OpenUSD et NVIDIA RTX depuis le cloud, minimisant ainsi les charges d’orchestration et de gestion de l’infrastructure. Accenture et Hexagon figurent parmi les premiers leaders de l’industrie à adopter cette plateforme.
Pour cultiver davantage l’écosystème de développeurs, NVIDIA lance un programme de cursus et de certification OpenUSD, répondant à la demande croissante d’expertise USD avec le soutien des membres d’AOUSD et des leaders de l’industrie. Ils s’engagent également dans une collaboration open source avec Lightwheel, intégrant des frameworks d’entraînement et d’évaluation de politiques robotiques dans NVIDIA Isaac Lab, avec des capacités d’apprentissage par renforcement parallèle, des benchmarks et des actifs prêts pour la simulation pour la manipulation et la locomotion des robots.