NVIDIA: Neue Omniverse KI-Tools revolutionieren Robotik

NVIDIA hat eine Reihe neuer Tools und KI-Modelle unter seinen Omniverse- und Cosmos-Plattformen vorgestellt, die darauf ausgelegt sind, die Entwicklung und den Einsatz fortschrittlicher Robotiklösungen erheblich zu beschleunigen. Diese Innovationen, die von den neuesten NVIDIA RTX PRO Servern und DGX Cloud angetrieben werden, sollen Entwickler befähigen, physikalisch genaue digitale Zwillinge zu erstellen, reale Umgebungen innerhalb von Simulationen zu rekonstruieren, synthetische Daten für das Training physikalischer KI-Modelle zu generieren und intelligente Agenten aufzubauen, die in der Lage sind, die physikalische Welt zu verstehen.

Laut Rev Lebaredian, Vice President von Omniverse und Simulationstechnologien bei NVIDIA, ist die Konvergenz von Computergrafik und künstlicher Intelligenz dazu prädestiniert, die Robotikindustrie grundlegend zu verändern. Er betonte, dass NVIDIA durch die Kombination von KI-Argumentation mit skalierbarer, physikalisch genauer Simulation die Schaffung zukünftiger Roboter und autonomer Fahrzeuge ermöglicht, die Industrien im Wert von Billionen Dollar revolutionieren werden.

Zu den wichtigsten Ankündigungen gehören neue NVIDIA Omniverse Software Development Kits (SDKs) und Bibliotheken, die jetzt für den Bau und die Bereitstellung von industriellen KI- und Robotik-Simulationsanwendungen verfügbar sind. Diese SDKs führen eine entscheidende Dateninteroperabilität zwischen MuJoCo (MJCF) und Universal Scene Description (OpenUSD) ein und ermöglichen eine nahtlose Robotersimulation über Plattformen hinweg für über 250.000 MuJoCo-Roboter-Lernentwickler. Um den Realismus weiter zu verbessern, führen neue Omniverse NuRec-Bibliotheken und KI-Modelle Omniverse RTX Ray-Traced 3D Gaussian Splatting ein, eine ausgeklügelte Rendering-Technik, die es Entwicklern ermöglicht, die reale Welt in 3D mithilfe von Sensordaten zu erfassen, zu rekonstruieren und zu simulieren.

Als Ergänzung zu diesen Fortschritten sind die Open-Source-Robotersimulations- und Lern-Frameworks NVIDIA Isaac Sim 5.0 und NVIDIA Isaac Lab 2.2 jetzt auf GitHub zugänglich. Isaac Sim integriert jetzt das neuronale Rendering von NuRec und neue OpenUSD-basierte Roboter- und Sensorschemata, die Entwicklern helfen, die anspruchsvolle Lücke zwischen Simulation und realer Leistung zu schließen. Der Einfluss von NuRec ist bereits sichtbar, mit seiner Integration in CARLA, einem prominenten Open-Source-Simulator, der von über 150.000 Entwicklern genutzt wird, und seiner Übernahme durch den Marktführer für autonome Fahrzeug-Toolchains Foretellix, der NuRec, NVIDIA Omniverse Sensor RTX und Cosmos Transfer nutzt, um seine physikalisch genaue synthetische Datengenerierung zu verbessern. Der Datenmotorenspezialist Voxel51’s FiftyOne, der von Unternehmen wie Ford und Porsche verwendet wird, unterstützt NuRec ebenfalls für eine optimierte Datenaufbereitung. Große Akteure wie Amazon Devices & Services, Boston Dynamics, Figure AI, Hexagon, RAI Institute, Lightwheel und Skild AI setzen bereits Omniverse-Bibliotheken, Isaac Sim und Isaac Lab ein, um ihre KI-Robotikentwicklung zu beschleunigen.

Über die Simulation hinaus ermöglichen NVIDIAs Cosmos World Foundation Models (WFMs), die über 2 Millionen Downloads verzeichnet haben, Entwicklern, vielfältige Trainingsdaten für Roboter in großem Maßstab unter Verwendung verschiedener Prompts zu generieren. Neue auf der SIGGRAPH vorgestellte Modelle versprechen signifikante Verbesserungen bei der Geschwindigkeit, Genauigkeit, Sprachunterstützung und Kontrolle der synthetischen Datengenerierung. Insbesondere Cosmos Transfer-2, das bald veröffentlicht wird, wird das Prompting vereinfachen und die Erstellung fotorealistischer synthetischer Daten aus 3D-Simulationsszenen oder räumlichen Steuerungseingaben beschleunigen. Eine destillierte Version von Cosmos Transfer verbessert die Geschwindigkeit weiter, indem ein 70-Schritte-Destillationsprozess auf einen einzigen Schritt reduziert wird, sodass das Modell mit beispielloser Geschwindigkeit auf NVIDIA RTX PRO Servern ausgeführt werden kann. Unternehmen wie Lightwheel, Moon Surgical und Skild AI nutzen Cosmos Transfer bereits, um das Training physikalischer KI durch Simulation einer Vielzahl von Bedingungen in großem Maßstab zu beschleunigen.

Ein signifikanter Durchbruch im Weltverständnis kommt mit NVIDIA Cosmos Reason, einem neuen offenen und anpassbaren 7-Milliarden-Parameter-Reasoning-Vision-Language-Modell (VLM), das für physikalische KI und Robotik entwickelt wurde. Im Gegensatz zu früheren VLMs, die bei der Objekterkennung hervorragend waren, aber mit mehrstufigen Aufgaben oder Mehrdeutigkeiten zu kämpfen hatten, ermöglicht Cosmos Reason Robotern und Vision-KI-Agenten, mehr wie Menschen zu denken, indem sie Vorwissen, Physikverständnis und gesunden Menschenverstand nutzen, um die reale Welt zu interpretieren und darin zu agieren. Seine Anwendungen umfassen Datenkurierung und -annotation, die eine automatisierte, hochwertige Vorbereitung massiver Datensätze ermöglichen; Roboterplanung und -reasoning, die als intelligenter Kern für die bewusste Entscheidungsfindung in Roboter-Vision-Language-Action (VLA)-Modellen fungieren; und Videoanalyse-KI-Agenten zum Extrahieren von Erkenntnissen und zur Durchführung von Ursachenanalysen bei großen Mengen von Videodaten. NVIDIAs eigene Robotik- und DRIVE-Teams setzen Cosmos Reason für die Datenkurierung, Filterung, Annotation und VLA-Nachtraining ein, während Uber es für die Annotation und Beschriftung von Trainingsdaten für autonome Fahrzeuge verwendet. Magna integriert Cosmos Reason in seine City Delivery-Plattform, um autonomen Fahrzeugen zu helfen, sich schneller an neue urbane Umgebungen anzupassen. Darüber hinaus übernehmen VAST Data, Milestone Systems und Linker Vision Cosmos Reason, um die Verkehrsüberwachung zu automatisieren, die Sicherheit zu verbessern und die visuelle Inspektion sowohl in städtischen als auch in industriellen Umgebungen zu optimieren.

Um diese anspruchsvollen Arbeitslasten zu unterstützen, hat NVIDIA auch neue KI-Infrastruktur angekündigt. Die NVIDIA RTX PRO Blackwell Server bieten eine einheitliche Architektur für jede Roboterentwicklungsaufgabe, von Training und synthetischer Datengenerierung bis hin zu Roboterlernen und Simulation. Darüber hinaus bietet NVIDIA DGX Cloud, jetzt im Microsoft Azure Marketplace verfügbar, Omniverse-Entwicklern eine vollständig verwaltete Plattform, die das Streamen von OpenUSD- und NVIDIA RTX-basierten Anwendungen in großem Maßstab aus der Cloud vereinfacht und dadurch den Aufwand für Infrastruktur-Orchestrierung und -Management minimiert. Accenture und Hexagon gehören zu den ersten Branchenführern, die diese Plattform übernehmen.

Um das Entwickler-Ökosystem weiter zu kultivieren, startet NVIDIA ein OpenUSD-Lehrplan- und Zertifizierungsprogramm, das der wachsenden Nachfrage nach USD-Expertise mit Unterstützung von AOUSD-Mitgliedern und Branchenführern begegnet. Sie engagieren sich auch in einer Open-Source-Zusammenarbeit mit Lightwheel, die Robot Policy Training- und Evaluierungs-Frameworks in NVIDIA Isaac Lab integriert, komplett mit parallelen Reinforcement-Learning-Fähigkeiten, Benchmarks und simulationsbereiten Assets für Robotermanipulation und -lokomotion.