NVIDIA stellt End-to-End KI-Stack & Cosmos Modelle für Robotik vor
NVIDIA hat auf der SIGGRAPH 2025 eine umfassende Suite neuer Technologien vorgestellt, die einen bedeutenden Fortschritt in der Entwicklung von physischer KI für Robotik, autonome Fahrzeuge und Industrieanwendungen signalisiert. Dieses neue Ökosystem, das fortschrittliche Cosmos Weltmodelle, robuste Omniverse Simulationsbibliotheken und modernste Infrastruktur umfasst, wurde entwickelt, um den Weg vom virtuellen Training zur realen Bereitstellung zu beschleunigen.
Im Mittelpunkt dieser Ankündigung stehen die Cosmos World Foundation Models, die Roboter mit erweiterten Denkfähigkeiten ausstatten sollen. Darunter ist Cosmos Reason, ein 7-Milliarden-Parameter-Vision-Language-Modell, das speziell für intelligente Agenten entwickelt wurde, die in komplexen realen Szenarien agieren. Diese KI verfügt über ein erweitertes Gedächtnis für räumliches und zeitliches Denken, gepaart mit einem intrinsischen Verständnis physikalischer Gesetze. Solche Fähigkeiten ermöglichen es Robotern und KI-Agenten, Schritt-für-Schritt-Aktionen in dynamischen Umgebungen akribisch zu planen, was für Aufgaben wie Datenkuratierung, anspruchsvolle Roboterplanung und detaillierte Videoanalysen von unschätzbarem Wert ist. Das Modell verarbeitet verschiedene Sensordaten, einschließlich Video und LIDAR, und speist diese in eine Denkmaschine ein, die die nachfolgenden Bewegungen eines Agenten bestimmt. Es unterstützt sowohl die Interpretation von Anweisungen auf hoher Ebene als auch die Generierung granularer Aktionen, die menschenähnliche Logik für Navigation und Manipulation nachahmen.
Ergänzend zu Cosmos Reason sind die Cosmos Transfer Modelle, die die Generierung synthetischer Datensätze dramatisch beschleunigen. Cosmos Transfer-2 beispielsweise erstellt schnell Trainingsdaten aus 3D-Simulationsszenen oder räumlichen Steuerungseingaben, wodurch der Zeit- und Kostenaufwand, der typischerweise mit der Erstellung realistischer Robotertrainingsdaten verbunden ist, erheblich reduziert wird. Dies ist besonders vorteilhaft für Reinforcement Learning und die Validierung von Policy-Modellen, bei denen die Notwendigkeit, Randfälle, unterschiedliche Beleuchtung und verschiedene Wetterbedingungen in großem Maßstab zu modellieren, von größter Bedeutung ist. Eine optimierte „Distilled Transfer Variant“ erhöht die Geschwindigkeit weiter, sodass Entwickler die Datensatzerstellung mit beispielloser Agilität iterieren können. Die Cosmos World Foundation Model Familie selbst bietet Vielseitigkeit und umfasst Nano-, Super- und Ultra-Kategorien mit Parameterzahlen von 4 Milliarden bis 14 Milliarden, was eine Feinabstimmung für spezifische Latenz, Wiedergabetreue und Anwendungsfälle ermöglicht, vom Echtzeit-Streaming bis zum fotorealistischen Rendering.
NVIDIAs Omniverse-Plattform erhielt ebenfalls ein substanzielles Update, das neue Simulations- und Rendering-Bibliotheken einführt, die für die Erstellung realistischer virtueller Trainingsumgebungen entscheidend sind. Neural Reconstruction Libraries ermöglichen es Entwicklern nun, Sensordaten zu importieren und die physische Welt in 3D mit lebensechtem Fotorealismus zu rendern, wobei fortschrittliche Rendering-Techniken genutzt werden. Die verbesserte Integration mit OpenUSD und dem CARLA Simulator durch neue Konvertierungstools und Rendering-Funktionen zielt darauf ab, komplexe Simulations-Workflows zu standardisieren und eine nahtlose Interoperabilität zwischen verschiedenen Robotik-Frameworks wie Mujoco und NVIDIAs USD-basierter Pipeline zu ermöglichen. Darüber hinaus bietet eine neue SimReady Materials Library Tausende von Substratmaterialien, was die Wiedergabetreue der Robotik-Trainings und -Simulationen erheblich steigert. NVIDIAs dedizierte Simulations-Engine, Isaac Sim 5.0.0, wurde ebenfalls mit verbesserten Aktuatormodellen, breiterer Python- und ROS-Unterstützung sowie neuronalen Rendering-Verbesserungen für eine überlegene synthetische Datengenerierung aufgerüstet.
Zur Unterstützung dieser fortschrittlichen Modelle und Simulationen führte NVIDIA zweckgebundene Infrastruktur für Robotik-Workflows ein. Die RTX Pro Blackwell Server bieten eine einheitliche Architektur, die für die anspruchsvollen Aufgaben der Simulation, des Trainings und der Inferenz in der Robotikentwicklung optimiert ist. Zusätzlich bietet die DGX Cloud eine skalierbare, cloudbasierte Lösung zur Verwaltung physischer KI-Workflows, die Teams befähigt, KI-Agenten von überall aus remote zu entwickeln, zu trainieren und bereitzustellen.
Die Industrie hat das Potenzial dieser Innovationen schnell erkannt. Führende Unternehmen, darunter Amazon Devices, Agility Robotics, Figure AI, Uber und Boston Dynamics, testen bereits Cosmos-Modelle und Omniverse-Tools. Sie nutzen diese Technologien, um kritische Trainingsdaten zu generieren, digitale Zwillinge zu erstellen und die Bereitstellung von Robotik in den Bereichen Fertigung, Transport und Logistik zu beschleunigen. NVIDIA hat Cosmos-Modelle über seine API und Entwicklerkataloge breit verfügbar gemacht und bietet eine permissive Lizenz an, die sowohl Forschungs- als auch kommerzielle Anwendungen unterstützt.
NVIDIAs Vision ist klar: Physische KI stellt eine umfassende, Full-Stack-Herausforderung dar. Durch die Bereitstellung intelligenterer Modelle, reichhaltigerer Simulationsfunktionen und skalierbarer Infrastruktur will NVIDIA die kritische Lücke zwischen virtuellem Training und realer Bereitstellung schließen. Dieser integrierte Ansatz verspricht, kostspielige Trial-and-Error-Methoden in der Robotikentwicklung erheblich zu reduzieren und intelligente Agenten und Robotern ein beispielloses Maß an Autonomie zu ermöglichen.