Nvidia: Comment son labo de recherche a propulsé 4T$ en IA et Robotique

Lorsque Bill Dally a rejoint le laboratoire de recherche de Nvidia en 2009, c’était une opération modeste d’une douzaine de personnes, principalement axée sur le lancer de rayons, une technique de rendu sophistiquée utilisée en infographie. Aujourd’hui, cette branche de recherche autrefois petite a grandi pour compter plus de 400 individus, jouant un rôle pivot dans la transformation de Nvidia, d’une startup des années 90 connue pour ses GPU de jeux vidéo, en une puissance de 4 000 milliards de dollars à l’avant-garde de la révolution de l’intelligence artificielle. Désormais, le laboratoire se concentre sur le développement des technologies fondamentales pour la robotique et l’IA avancée, certains de ses travaux pionniers apparaissant déjà dans des produits commerciaux, y compris une nouvelle suite de modèles d’IA, de bibliothèques et d’infrastructures pour les développeurs de robotique récemment dévoilée.

Dally, aujourd’hui scientifique en chef de Nvidia, a commencé à consulter pour l’entreprise en 2003 alors qu’il était encore à l’Université de Stanford. Quelques années plus tard, alors qu’il se préparait à quitter son poste de directeur du département d’informatique de Stanford, il planifiait un congé sabbatique. Nvidia, cependant, avait une vision différente. David Kirk, alors à la tête du laboratoire de recherche, et Jensen Huang, PDG de Nvidia, croyaient qu’un poste permanent était une meilleure voie. Dally a raconté leur «pression totale» pour le persuader, un effort qui a finalement réussi. Il a réfléchi que le rôle était devenu un «ajustement parfait» pour ses intérêts et ses talents, un endroit où il pouvait apporter sa contribution la plus significative au monde.

En prenant la tête du laboratoire en 2009, Dally a priorisé l’expansion. Les chercheurs se sont immédiatement diversifiés au-delà du lancer de rayons, se penchant sur des domaines tels que la conception de circuits et l’intégration à très grande échelle (VLSI), un processus complexe qui entasse des millions de transistors sur une seule micropuce. La croissance du laboratoire a été continue depuis lors. Dally insiste sur une approche stratégique de la recherche, évaluant constamment de nouveaux domaines passionnants pour identifier ceux qui ont le plus grand potentiel d’impact positif sur l’entreprise.

Pendant une période significative, cette orientation stratégique s’est traduite par la construction de GPU supérieurs pour l’intelligence artificielle. Nvidia a été remarquablement précoce dans le domaine émergent de l’IA, explorant le concept de GPU optimisés pour l’IA dès 2010 – plus d’une décennie avant que la frénésie actuelle de l’IA ne s’installe. Dally se souvient avoir reconnu très tôt le potentiel transformateur de l’IA et avoir convaincu Huang de «doubler la mise». Cette clairvoyance a conduit à la spécialisation de leurs GPU, au développement de logiciels de support étendus et à un engagement proactif avec les chercheurs en IA du monde entier, bien avant que le grand public ne reconnaisse sa pertinence.

Alors que Nvidia occupe désormais une position dominante sur le marché des GPU d’IA, les efforts de recherche de l’entreprise se sont déplacés pour identifier de nouvelles frontières au-delà des centres de données d’IA. Cette exploration les a menés directement vers l’IA physique et la robotique. Dally envisage un avenir où les robots deviendront une force mondiale massive, et Nvidia vise à être le «cerveau de tous les robots», nécessitant le développement de technologies sous-jacentes critiques.

C’est là qu’intervient Sanja Fidler, vice-présidente de la recherche en IA chez Nvidia. Fidler a rejoint le laboratoire de recherche en 2018, ayant déjà été impliquée dans le développement de modèles de simulation pour robots avec son équipe au MIT. Son travail a immédiatement captivé l’intérêt de Jensen Huang lors d’une réception de chercheurs. Fidler a décrit la décision de rejoindre Nvidia comme irrésistible, citant à la fois le sujet captivant et une forte adéquation culturelle. L’invitation de Huang, «viens travailler avec moi, pas avec nous, pas pour nous», a résonné profondément.

Fidler a ensuite établi un laboratoire de recherche à Toronto, se concentrant sur la construction de simulations pour l’IA physique au sein d’Omniverse, la plateforme de Nvidia pour la création de mondes virtuels. Un défi majeur dans la construction de ces environnements simulés était l’acquisition des données 3D nécessaires. Cela impliquait non seulement de trouver un vaste volume d’images potentielles, mais aussi de développer la technologie pour convertir ces images en rendus 3D utilisables par les simulateurs. Nvidia a investi dans le «rendu différentiable», une technologie qui rend le rendu adaptable à l’IA, permettant la conversion d’images ou de vidéos 2D en modèles 3D.

Omniverse a publié la première itération de son modèle image-vers-3D, GANverse3D, en 2021, et a ensuite abordé le même processus pour la vidéo. En utilisant des vidéos de robots et de voitures autonomes, ils ont développé le Neuric Neural Reconstruction Engine, annoncé pour la première fois en 2022, pour créer ces modèles et simulations 3D avancés. Ces innovations constituent l’épine dorsale technologique de la famille de modèles d’IA mondiale Cosmos de l’entreprise, qui ont été dévoilés au CES en janvier.

L’objectif actuel du laboratoire est d’accélérer considérablement ces modèles. Tout comme les jeux vidéo exigent une réactivité en temps réel, les robots demandent des temps de réaction encore plus rapides. Fidler explique qu’un robot pourrait traiter le monde 100 fois plus vite qu’il ne se déroule, ce qui signifie que rendre ces modèles substantiellement plus rapides serait immensément précieux pour les applications robotiques et d’IA physique. Nvidia continue de progresser dans ce domaine, annonçant récemment une nouvelle flotte de modèles d’IA mondiale spécifiquement conçus pour générer des données synthétiques pour l’entraînement des robots, ainsi que de nouvelles bibliothèques et logiciels d’infrastructure pour les développeurs de robotique.

Malgré les progrès rapides et l’enthousiasme actuel entourant les robots, en particulier les humanoïdes, l’équipe de recherche de Nvidia maintient une perspective réaliste. Dally et Fidler avertissent tous deux que la présence généralisée des humanoïdes dans les foyers est encore à plusieurs années, établissant des parallèles avec le battage médiatique et le calendrier associés aux véhicules autonomes. Dally souligne que l’IA, de l’IA visuelle permettant la perception des robots à l’IA générative aidant à la planification des tâches et des mouvements et à la manipulation, a été le catalyseur essentiel. À mesure que les défis individuels sont surmontés et que le volume de données d’entraînement pour les réseaux neuronaux s’accroît, les capacités de ces robots continueront de croître de manière exponentielle.