Nvidias 'Graphics 3.0': KI-gesteuerte physische Produktivität

Nvidia propagiert eine neue Ära, die es “Graphics 3.0” nennt – eine Vision, in der KI-generierte Visualisierungen grundlegend werden, um die Produktivität in der physischen Welt, insbesondere in Fabriken und Lagern, zu steigern. Dieses Konzept entfernt sich von menschengemachten Grafiken und nutzt stattdessen generative KI (genAI)-Tools, um die notwendigen Bilder zu produzieren. Nvidia ist davon überzeugt, dass diese KI-gesteuerten Grafiken eine entscheidende Rolle in verschiedenen Anwendungen spielen werden, vom Training von Robotern für reale Aufgaben bis zur Unterstützung von KI-Systemen bei der Automatisierung des Designs und der Erstellung von Geräten und Strukturen.

„Wir glauben, dass wir jetzt in Graphics 3.0 sind … durch KI übermächtig gemacht“, erklärte Ming-Yu Liu, Vice President of Research bei Nvidia, während einer Keynote-Rede auf der SIGGRAPH 2025, einer kürzlich in Vancouver, BC, abgehaltenen prominenten Grafikkonferenz. Während Nvidias leistungsstarke GPUs bereits weit verbreitet für textbasierte generative KI-Modelle und virtuelle Assistenten eingesetzt werden, sieht das Unternehmen Graphics 3.0 als eine Erweiterung des KI-Einflusses direkt in unsere physische Umgebung. Dazu gehört, dass KI Roboter verwalten, Verkehrssignale steuern, Haushaltsgeräte bedienen, autonome Fahrzeuge führen und Geräte in verschiedenen Umgebungen wie Büros, Fabriken und Lagern überwachen kann. Nvidia-CEO Jensen Huang betonte dieses transformative Potenzial in einer Videoansprache weiter und sagte voraus, dass Roboter uns bald „in unseren Häusern assistieren, die Art und Weise, wie Arbeit in Fabriken, Lagern, der Landwirtschaft und mehr erledigt wird, neu definieren werden.“

Die Realisierung von Graphics 3.0 birgt jedoch einzigartige Herausforderungen. Im Gegensatz zu virtueller KI, die oft auf reichlich Textdaten basiert, die zum Training großer Grundmodelle von Unternehmen wie OpenAI und Google verwendet werden, erfordert physische KI pixelbasierte Daten. Solche Daten sind in der realen Welt nicht so leicht verfügbar oder einfach zu beschaffen. Um diese Lücke zu schließen, leistet Nvidia Pionierarbeit bei der Erstellung synthetischer Daten, indem es umfassende virtuelle Welten simuliert, die auf diese Anwendungen zugeschnitten sind. „Roboter lernen nicht aus Code. Sie lernen aus Erfahrung“, erklärte Huang und hob das Kerndilemma hervor: „Aber das Training in der realen Welt ist langsam und teuer.“

Um diese Hürden zu überwinden, hat Nvidia fortschrittliche KI-Modelle und Simulationstools entwickelt, die darauf ausgelegt sind, die präzisen Pixeldaten zu generieren, die zum Training von Robotern, autonomen Autos und anderen physischen KI-Geräten benötigt werden. Aaron Lefohn, Vice President of Research bei Nvidias Echtzeitgrafiklabor, bemerkte, dass diese Innovationen „völlig neue Tools erfordern, damit Künstler Konzepte entwickeln, erstellen und Iterationen um Größenordnungen schneller durchführen können, als dies heute der Fall ist.“ Zu diesen Fortschritten gehören Nvidias Cosmos AI-Modelle, die darauf ausgelegt sind, Roboter zu befähigen, Befehle zu interpretieren, ihre Umgebung wahrzunehmen, zu schlussfolgern, zu planen und Aufgaben im physischen Bereich auszuführen. Sonia Fidler, Vice President of Research bei Nvidias Spatial Intelligence Lab, betonte, wie entscheidend diese Modelle sind, um digitale Intelligenz in den physischen Bereich zu injizieren, und fügte hinzu: „Physische KI kann nicht durch Versuch und Irrtum in der realen Welt skaliert werden. Das ist unsicher, zeitaufwendig und teuer.“ Ein Paradebeispiel ist das Training autonomer Fahrzeuge in virtuellen Umgebungen, ein weitaus praktikablerer Ansatz, als physische Autos wiederholt abstürzen zu lassen, um Trainingsdaten zu sammeln.

Diese Woche enthüllte Nvidia auch Omniverse NuRec, ein bahnbrechendes Tool, das reale Sensordaten in vollständig interaktive Simulationen umwandelt. Diese Simulationen bieten einen sicheren und effizienten virtuellen Raum, in dem Roboter trainiert und getestet werden können. Omniverse NuRec integriert verschiedene Tools und KI-Modelle für den Aufbau, die Simulation, das Rendering und die Verbesserung detaillierter 3D-Digitalumgebungen. Die virtuelle Rekonstruktion dieser Welten wird durch die Verarbeitung von 2D-Daten erreicht, die von Kameras und anderen Sensoren gesammelt werden, wobei jedes Pixel basierend auf einem visuellen Verständnis der eingehenden Sensordaten sorgfältig beschriftet wird. Fidler räumte jedoch eine kritische Nuance ein: „Es ist hier sehr wichtig zu betonen, dass das visuelle Verständnis nicht perfekt ist und es aufgrund unterschiedlicher Mehrdeutigkeiten schwer ist, es zu perfektionieren.“ Über die Simulation hinaus stellte das Unternehmen auch neue KI-Materialgenerierungstools vor, die die Erstellung hochrealistischer Grafiken ermöglichen, komplett mit authentischen visuellen Details wie Reflektivität und Oberflächentexturen. Diese Tools ermöglichen es 3D-Experten und Ingenieuren, KI-Assistenten mit einfacher Sprache zu beauftragen, ihre Designanforderungen zu beschreiben, wodurch der kreative Prozess optimiert wird.