Genie 3: DeepMinds KI schafft konsistente 3D-Welten

Google DeepMind hat Genie 3 vorgestellt, ein neues „Weltmodell“, das interaktive 3D-Umgebungen in Echtzeit generieren soll. Dieses fortschrittliche System ist für die Simulation komplexer Szenarien und das Training autonomer KI-Agenten gedacht und stellt einen bedeutenden Schritt in der KI-Forschung dar.

Genie 3 erstellt dynamische virtuelle Welten aus einfachen Textaufforderungen, wodurch Benutzer diese Umgebungen mit 24 Bildern pro Sekunde und 720p-Auflösung erkunden können. Im Gegensatz zu herkömmlichen Videogenerierungsmodellen konstruiert Genie 3 jeden Frame sequenziell und berücksichtigt dabei bis zu eine Minute früherer Umgebungsdetails. Dieser einzigartige autoregressive Ansatz ist entscheidend für die Aufrechterhaltung der visuellen und physikalischen Kohärenz und ermöglicht es den generierten Welten, „mehrere Minuten“ lang konsistent zu bleiben – ein bemerkenswerter technischer Fortschritt gegenüber früheren Modellen. DeepMind hebt Genie 3 als das erste Modell hervor, das Echtzeit-Interaktivität mit diesem Grad an langfristiger physikalischer Konsistenz in seinen Umgebungen kombiniert, und positioniert es als grundlegende Technologie für die Entwicklung allgemeinerer KI-Systeme (AGI). Diese neueste Iteration baut auf DeepMinds früheren Arbeiten auf, darunter Genie 1, Genie 2 sowie die Videogeneratoren Veo 2 und Veo 3.

Das Modell demonstriert eine breite Palette kreativer Fähigkeiten, von der Generierung realistischer Landschaften mit dynamischen Wettereffekten wie Lava, Wind und Regen bis hin zur Gestaltung fantastischer Umgebungen mit Portalen, fliegenden Inseln oder animierten Kreaturen. Es kann sogar historische Orte wie Venedig oder das antike Knossos rekonstruieren. Benutzer können mit diesen Welten interagieren, indem sie Textbefehle, bekannt als „aufforderbare Weltereignisse“, eingeben, um Änderungen wie wechselnde Wettermuster oder das Erscheinen neuer Objekte auszulösen. Diese Interaktion geht über die einfache Navigation hinaus und ermöglicht es Benutzern, „Was-wäre-wenn“-Szenarien zu erstellen und zu testen, wie KI-Agenten auf unerwartete Ereignisse reagieren.

Eine Schlüsselanwendung für Genie 3 ist das Training autonomer KI-Agenten. Im Gegensatz zu Methoden wie NeRF oder Gaussian Splatting, die auf vorhandenen 3D-Daten basieren, generiert Genie 3 Umgebungen direkt aus Textbeschreibungen und Benutzerinteraktionen, wobei die Konsistenz organisch aus der Simulation selbst entsteht. Dies ermöglicht das Training von KI-Agenten in offeneren und dynamischeren Szenarien, ohne dass alle physikalischen Regeln vorprogrammiert werden müssen. DeepMind nutzt Genie 3 bereits, um seinen hauseigenen SIMA-Agenten zu testen, der Aufgaben in diesen generierten Welten autonom erledigt. In diesem Setup reagiert die Simulation ausschließlich auf die Aktionen des Agenten und nicht auf seine vordefinierten Ziele, was komplexe Aufgabenabläufe in einer kontrollierten Umgebung erleichtert und Forschern neue Wege zur Bewertung der KI-Leistung und zur Identifizierung von Schwächen bietet.

Genie 3 ist derzeit als eingeschränkte Forschungs-Vorschau für eine ausgewählte Gruppe von Forschern und Kreativen verfügbar. DeepMind gibt an, dass dieser Ansatz helfen wird, potenzielle Risiken frühzeitig zu identifizieren und die weitere Entwicklung zu leiten. Das Unternehmen sieht zukünftige Anwendungen in Bildung, Simulation und Expertenschulung vor, insbesondere zur Vorbereitung von Personen auf Entscheidungen in komplexen realen Szenarien. Das Modell weist jedoch technische Einschränkungen auf: Agentenaktionen sind derzeit eingeschränkt, Interaktionen dauern typischerweise nur wenige Minuten, und Multi-Agenten-Simulationen sind noch nicht durchgängig zuverlässig. Darüber hinaus sind reale Standorte nicht georeferenziert, und lesbarer Text erscheint nur, wenn er explizit in der Aufforderung enthalten ist.

Genie 3 stimmt mit DeepMinds umfassenderem Ziel überein, „Grundlagen-Weltmodelle“ zu entwickeln, um fortgeschrittenere, agentenbasierte KI-Systeme anzutreiben. DeepMind behauptet, dass Weltmodelle wie Genie 3 ein „entscheidender Meilenstein auf dem Weg zur AGI“ sind, da sie das Training von KI-Agenten in einem „unbegrenzten Lehrplan reicher Simulationsumgebungen“ ermöglichen. Diese Perspektive wird von DeepMind-CEO Demis Hassabis geteilt, der solche Modelle zuvor als wesentlich für den Aufbau allgemeiner künstlicher Intelligenz beschrieben hat, die zunehmend die zugrunde liegende physikalische Struktur der Welt erfassen kann. Darüber hinaus plädiert ein kürzlich erschienenes Papier der DeepMind-Forscher Richard Sutton und David Silver für eine grundlegende Verschiebung in der KI-Forschung, weg von Systemen, die auf statischen menschlichen Daten trainiert werden, hin zu Agenten, die aus ihren eigenen Erfahrungen in simulierten Welten lernen – eine Vision, die Modelle wie Genie 3 unterstützen sollen.

Das Aufkommen von Weltmodellen wie Genie 3 löst auch Diskussionen über deren potenzielle Auswirkungen auf die Zukunft der Spieleentwicklung aus. Einige von DeepMinds Demonstrationen ähneln frühen Versionen von Videospielen, wenngleich sie die Komplexität kommerzieller Titel vermissen lassen. Jim Fan, Director of AI bei NVIDIA, sieht Genie 3 als Vorläufer dessen, was er als „Game Engine 2.0“ bezeichnet. Fan schlägt vor, dass die komplexen Funktionalitäten aktueller Spiel-Engines wie der Unreal Engine eines Tages von einem „datengesteuerten Blob von Aufmerksamkeitsgewichten“ gekapselt werden könnten. In dieser Zukunft würden diese Gewichte „einen Raum-Zeit-Pixelblock“ direkt basierend auf Gamecontroller-Befehlen animieren, wodurch die Notwendigkeit expliziter 3D-Assets, Szenengraphen oder komplexer Shader-Programmierung entfiele. Fan prognostiziert, dass sich die Spieleentwicklung zu einer ausgeklügelten Form des Prompt Engineering entwickeln wird, die mit Agenten-Workflows konvergiert, ähnlich wie die jüngsten Trends bei großen Sprachmodellen.