La Vision 'Graphics 3.0' de Nvidia: Productivité Physique par l'IA

Nvidia promeut une nouvelle ère qu’elle nomme “Graphics 3.0”, une vision où les visuels générés par l’IA deviennent fondamentaux pour stimuler la productivité dans le monde physique, particulièrement au sein des usines et des entrepôts. Ce concept s’éloigne des graphiques créés par l’homme, exploitant plutôt les outils d’IA générative (genAI) pour produire les images nécessaires. Nvidia estime que ces graphiques alimentés par l’IA joueront un rôle crucial dans diverses applications, de la formation des robots pour des tâches du monde réel à l’assistance des systèmes d’IA dans l’automatisation de la conception et de la création d’équipements et de structures.

“Nous croyons que nous sommes maintenant dans Graphics 3.0… suralimentés par l’IA”, a déclaré Ming-Yu Liu, vice-président de la recherche chez Nvidia, lors d’un discours liminaire à SIGGRAPH 2025, une importante conférence sur les graphiques qui s’est tenue récemment à Vancouver, Colombie-Britannique. Alors que les puissants GPU de Nvidia sont déjà largement utilisés pour les modèles d’IA générative basés sur le texte et les assistants virtuels, l’entreprise envisage que Graphics 3.0 étende l’influence de l’IA directement dans notre environnement physique. Cela inclut la capacité de l’IA à gérer des robots, à contrôler des feux de signalisation, à faire fonctionner des appareils ménagers, à guider des véhicules autonomes et à superviser des équipements dans des environnements divers tels que les bureaux, les usines et les entrepôts. Le PDG de Nvidia, Jensen Huang, a en outre souligné ce potentiel transformateur dans une allocution vidéo, prédisant que les robots vont bientôt “nous assister dans nos maisons, redéfinir la façon dont le travail est effectué dans les usines, les entrepôts, l’agriculture, et plus encore”.

Cependant, la réalisation de Graphics 3.0 présente des défis uniques. Contrairement à l’IA virtuelle, qui repose souvent sur d’abondantes données textuelles utilisées pour entraîner de grands modèles fondamentaux d’entreprises comme OpenAI et Google, l’IA physique nécessite des données basées sur des pixels. De telles données ne sont pas aussi facilement disponibles ou acquises dans le monde réel. Pour combler cette lacune, Nvidia est pionnière dans la création de données synthétiques en simulant des mondes virtuels complets adaptés à ces applications. “Les robots n’apprennent pas du code. Ils apprennent de l’expérience”, a expliqué Huang, soulignant le dilemme central : “Mais l’entraînement en monde réel est lent et coûteux.”

Pour surmonter ces obstacles, Nvidia a développé des modèles d’IA avancés et des outils de simulation conçus pour générer les données de pixels précises nécessaires à l’entraînement des robots, des voitures autonomes et d’autres dispositifs d’IA physique. Aaron Lefohn, vice-président de la recherche au laboratoire de graphiques en temps réel de Nvidia, a noté que ces innovations exigent “des outils entièrement nouveaux afin que les artistes puissent conceptualiser, créer et itérer des ordres de grandeur plus rapidement qu’aujourd’hui”. Parmi ces avancées figurent les modèles Cosmos AI de Nvidia, conçus pour permettre aux robots d’interpréter des commandes, de percevoir leur environnement, de raisonner, de planifier et d’exécuter des tâches dans le domaine physique. Sonia Fidler, vice-présidente de la recherche au laboratoire d’intelligence spatiale de Nvidia, a souligné à quel point ces modèles sont cruciaux pour injecter de l’intelligence numérique dans le domaine physique, ajoutant que “l’IA physique ne peut pas évoluer par essais et erreurs dans le monde réel. C’est dangereux, chronophage et coûteux”. Un exemple concret est l’entraînement de véhicules autonomes dans des environnements virtuels, une approche bien plus réalisable que de faire s’écraser des voitures physiques à plusieurs reprises pour accumuler des données d’entraînement.

Cette semaine, Nvidia a également dévoilé Omniverse NuRec, un outil révolutionnaire qui convertit les données de capteurs du monde réel en simulations entièrement interactives. Ces simulations offrent un espace virtuel sûr et efficace où les robots peuvent être entraînés et testés. Omniverse NuRec intègre divers outils et modèles d’IA pour la construction, la simulation, le rendu et l’amélioration d’environnements numériques 3D détaillés. La reconstruction virtuelle de ces mondes est réalisée en traitant les données 2D collectées à partir de caméras et d’autres capteurs, chaque pixel étant méticuleusement étiqueté sur la base d’une compréhension visuelle des données de capteurs entrantes. Fidler a cependant reconnu une nuance critique : “Il est très important de souligner ici que la compréhension visuelle n’est pas parfaite et qu’en raison de différentes ambiguïtés, il est difficile de la perfectionner.” Au-delà de la simulation, l’entreprise a également introduit de nouveaux outils de génération de matériaux par IA qui facilitent la création de graphiques très réalistes, avec des détails visuels authentiques comme la réflectivité et les textures de surface. Ces outils permettent aux experts et ingénieurs 3D d’engager des assistants IA en utilisant un langage simple pour décrire leurs exigences de conception, rationalisant ainsi le processus créatif.