Nvidias Forschungslabor: Motor des 4-Billionen-KI-Erfolgs
Als Bill Dally 2009 in Nvidias Forschungslabor eintrat, war es ein bescheidener Betrieb von etwa einem Dutzend Leuten, der sich hauptsächlich auf Raytracing konzentrierte, eine ausgeklügelte Rendering-Technik, die in der Computergrafik verwendet wird. Heute ist dieser einst kleine Forschungszweig auf über 400 Personen angewachsen und spielt eine zentrale Rolle bei der Transformation von Nvidia von einem Startup der Neunzigerjahre, bekannt für Videospiel-GPUs, zu einem 4-Billionen-Dollar-Kraftpaket an der Spitze der Revolution der künstlichen Intelligenz. Nun konzentriert sich das Labor auf die Entwicklung grundlegender Technologien für Robotik und fortschrittliche KI, wobei einige seiner Pionierarbeiten bereits in kommerziellen Produkten erscheinen, darunter eine kürzlich vorgestellte neue Suite von KI-Modellen, Bibliotheken und Infrastrukturen für Robotikentwickler.
Dally, jetzt Nvidias Chefwissenschaftler, begann 2003, während er noch an der Stanford University war, als Berater für das Unternehmen tätig zu sein. Einige Jahre später, als er sich darauf vorbereitete, als Abteilungsleiter des Informatik-Departments in Stanford zurückzutreten, plante er ein Sabbatical. Nvidia hatte jedoch eine andere Vision. David Kirk, damals Leiter des Forschungslabors, und Nvidia-CEO Jensen Huang waren der Meinung, dass eine feste Anstellung der bessere Weg sei. Dally erzählte von ihrem „Full-Court-Press“, um ihn zu überzeugen, ein Versuch, der letztendlich erfolgreich war. Er reflektierte, dass die Rolle „perfekt“ zu seinen Interessen und Talenten passte, ein Ort, an dem er seinen wichtigsten Beitrag zur Welt leisten konnte.
Nachdem Dally 2009 die Leitung des Labors übernommen hatte, priorisierte er die Expansion. Die Forscher weiteten sich sofort über Raytracing hinaus aus und tauchten in Bereiche wie Schaltungsdesign und Very Large-Scale Integration (VLSI) ein, ein komplexer Prozess, der Millionen von Transistoren auf einem einzigen Mikrochip vereint. Das Wachstum des Labors war seitdem kontinuierlich. Dally betont einen strategischen Forschungsansatz, indem er ständig neue und aufregende Bereiche evaluiert, um diejenigen mit dem höchsten Potenzial zur positiven Beeinflussung des Unternehmens zu identifizieren.
Für einen erheblichen Zeitraum übersetzte sich dieser strategische Fokus in den Bau überlegener GPUs für künstliche Intelligenz. Nvidia war bemerkenswert früh im aufkeimenden KI-Feld dabei und erforschte das Konzept KI-optimierter GPUs bereits 2010 – mehr als ein Jahrzehnt, bevor der aktuelle KI-Hype einsetzte. Dally erinnert sich, das transformative Potenzial der KI frühzeitig erkannt und Huang überzeugt zu haben, „doppelt darauf zu setzen“. Diese Weitsicht führte zur Spezialisierung ihrer GPUs, zur Entwicklung umfangreicher unterstützender Software und zur proaktiven Zusammenarbeit mit KI-Forschern weltweit, lange bevor die breite Masse ihre Relevanz erkannte.
Da Nvidia nun eine dominante Position auf dem KI-GPU-Markt einnimmt, haben sich die Forschungsbemühungen des Unternehmens darauf verlagert, neue Grenzen jenseits von KI-Rechenzentren zu identifizieren. Diese Erkundung hat sie direkt in die physische KI und Robotik geführt. Dally stellt sich eine Zukunft vor, in der Roboter zu einer massiven globalen Kraft werden, und Nvidia strebt danach, das „Gehirn aller Roboter“ zu sein, was die Entwicklung kritischer zugrunde liegender Technologien notwendig macht.
Hier kommt Sanja Fidler, Nvidias Vizepräsidentin für KI-Forschung, ins Spiel. Fidler kam 2018 in das Forschungslabor, nachdem sie bereits mit ihrem Team am MIT an der Entwicklung von Simulationsmodellen für Roboter beteiligt gewesen war. Ihre Arbeit erregte sofort das Interesse von Jensen Huang bei einem Empfang für Forscher. Fidler beschrieb die Entscheidung, Nvidia beizutreten, als unwiderstehlich und nannte sowohl das überzeugende Thema als auch eine starke kulturelle Übereinstimmung. Huangs Einladung „komm und arbeite mit mir, nicht mit uns, nicht für uns“ fand tiefen Anklang.
Fidler gründete daraufhin ein Forschungslabor in Toronto, das sich auf den Aufbau von Simulationen für physische KI innerhalb von Omniverse, Nvidias Plattform für die Erstellung virtueller Welten, konzentriert. Eine primäre Herausforderung beim Aufbau dieser simulierten Umgebungen war die Beschaffung der notwendigen 3D-Daten. Dies umfasste nicht nur die Beschaffung einer riesigen Menge potenzieller Bilder, sondern auch die Entwicklung der Technologie zur Umwandlung dieser Bilder in 3D-Renderings, die von Simulatoren verwendet werden können. Nvidia investierte in „differenzierbares Rendering“, eine Technologie, die das Rendering für KI zugänglich macht und die Umwandlung von 2D-Bildern oder -Videos in 3D-Modelle ermöglicht.
Omniverse veröffentlichte 2021 die erste Iteration seines Bild-zu-3D-Modells, GANverse3D, und befasste sich anschließend mit demselben Prozess für Videos. Durch die Nutzung von Videos von Robotern und selbstfahrenden Autos entwickelten sie die Neuric Neural Reconstruction Engine, die erstmals 2022 angekündigt wurde, um diese fortschrittlichen 3D-Modelle und Simulationen zu erstellen. Diese Innovationen bilden das technologische Rückgrat der Cosmos-Familie von Welt-KI-Modellen des Unternehmens, die im Januar auf der CES vorgestellt wurden.
Der aktuelle Fokus des Labors liegt auf der signifikanten Beschleunigung dieser Modelle. So wie Videospiele Echtzeit-Reaktionsfähigkeit erfordern, verlangen Roboter noch schnellere Reaktionszeiten. Fidler erklärt, dass ein Roboter die Welt 100-mal schneller verarbeiten könnte, als sie sich entfaltet, was bedeutet, dass eine wesentlich schnellere Ausführung dieser Modelle für Robotik- und physische KI-Anwendungen von immensem Wert wäre. Nvidia macht in diesem Bereich weiterhin Fortschritte und kündigte kürzlich eine neue Flotte von Welt-KI-Modellen an, die speziell für die Generierung synthetischer Daten zum Trainieren von Robotern entwickelt wurden, zusammen mit neuen Bibliotheken und Infrastruktursoftware für Robotikentwickler.
Trotz des schnellen Fortschritts und der aktuellen Begeisterung um Roboter, insbesondere Humanoide, behält das Nvidia-Forschungsteam eine realistische Perspektive bei. Sowohl Dally als auch Fidler warnen, dass die weite Verbreitung von Humanoiden in Haushalten noch mehrere Jahre entfernt ist, und ziehen Parallelen zum Hype und Zeitplan im Zusammenhang mit autonomen Fahrzeugen. Dally betont, dass KI, von visueller KI, die die Wahrnehmung von Robotern ermöglicht, bis hin zu generativer KI, die bei der Aufgaben- und Bewegungsplanung sowie Manipulation hilft, der entscheidende Wegbereiter war. Wenn einzelne Herausforderungen überwunden werden und das Volumen der Trainingsdaten für neuronale Netze wächst, werden die Fähigkeiten dieser Roboter weiterhin exponentiell zunehmen.