Genie Envisioner : IA Générative Vidéo Unifiée pour la Robotique Scalable
La quête de systèmes robotiques véritablement intelligents, capables de percevoir, de penser et d’agir de manière autonome dans le monde réel, représente une frontière de l’intelligence artificielle. Un obstacle fondamental dans ce parcours est d’atteindre une manipulation robotique évolutive et fiable, c’est-à-dire le contrôle précis et l’interaction avec des objets par contact délibéré. Bien que la recherche ait progressé grâce à diverses méthodes, des modèles analytiques à l’apprentissage basé sur les données, la plupart des systèmes existants restent fragmentés. La collecte de données, la formation et l’évaluation se déroulent généralement par étapes isolées, exigeant souvent des configurations personnalisées, une curation manuelle méticuleuse et des ajustements spécifiques aux tâches. Cette approche désarticulée crée des frictions importantes, entravant le progrès, masquant les schémas d’échec et rendant la recherche difficile à reproduire, soulignant un besoin critique d’un cadre unifié pour rationaliser l’apprentissage et l’évaluation.
Historiquement, la recherche sur la manipulation robotique a évolué des modèles purement analytiques aux modèles de monde neuronaux sophistiqués qui apprennent la dynamique environnementale directement à partir des entrées sensorielles, opérant à la fois avec des données de pixels brutes et dans des espaces latents abstraits. Parallèlement, des modèles de génération vidéo à grande échelle ont émergé, capables de produire des visuels remarquablement réalistes. Cependant, ceux-ci sont souvent insuffisants en matière de contrôle robotique, manquant fréquemment de la capacité de conditionner les actions, de maintenir une cohérence temporelle à long terme ou d’effectuer un raisonnement multi-vue crucial pour une manipulation efficace. De même, les modèles de vision-langage-action, qui suivent les instructions humaines, sont largement contraints par l’apprentissage basé sur l’imitation, limitant leur capacité de récupération d’erreurs ou de planification complexe. L’évaluation de l’efficacité des stratégies de contrôle de robots, ou « politiques », présente également un défi important ; les simulateurs physiques nécessitent un réglage fin approfondi, et les tests en situation réelle sont d’un coût prohibitif en ressources. Les métriques d’évaluation actuelles privilégient souvent la fidélité visuelle plutôt que le succès réel de la tâche, ce qui met en évidence une lacune dans les benchmarks qui reflètent véritablement les performances de manipulation dans le monde réel.
Pour relever ces défis omniprésents, des chercheurs des équipes AgiBot Genie, NUS LV-Lab et BUAA ont développé le Genie Envisioner (GE). Cette plateforme innovante unifie l’apprentissage de politiques, la simulation et l’évaluation au sein d’un cadre génératif vidéo unique et puissant, adapté à la manipulation robotique. Au cœur de cette plateforme se trouve GE-Base, un modèle de diffusion vidéo à grande échelle, guidé par des instructions, méticuleusement entraîné pour capturer les dynamiques spatiales, temporelles et sémantiques complexes des tâches robotiques du monde réel. S’appuyant sur cette base, GE-Act traduit ces représentations apprises en trajectoires d’action précises, tandis que GE-Sim offre un environnement de simulation basé sur la vidéo, conditionné par l’action et remarquablement rapide. Pour évaluer rigoureusement les performances, le benchmark EWMBench qui l’accompagne évalue le réalisme visuel, la précision physique et l’alignement entre les instructions et les actions résultantes. Entraîné sur plus d’un million d’épisodes d’interaction robotique, GE démontre une généralisation impressionnante sur divers robots et tâches, ouvrant la voie à une recherche en intelligence incarnée évolutive, consciente de la mémoire et physiquement ancrée.
L’architecture de Genie Envisioner est élégamment structurée en trois composants principaux. GE-Base, l’élément fondamental, est un modèle de diffusion vidéo multi-vue, conditionné par des instructions, qui a traité plus d’un million d’épisodes de manipulation robotique. Grâce à cet entraînement intensif, il apprend des « trajectoires latentes » abstraites qui décrivent précisément comment les scènes évoluent sous des commandes spécifiques. En tirant parti de ces représentations apprises, GE-Act transforme ensuite ces informations vidéo latentes en signaux d’action tangibles à l’aide d’un décodeur léger de correspondance de flux. Cela permet un contrôle moteur rapide et précis, remarquablement même sur des types de robots non inclus dans les données d’entraînement initiales. De plus, GE-Sim réutilise intelligemment les capacités génératives de GE-Base pour créer un simulateur neuronal conditionné par l’action. Cela permet des déroulements de simulation rapides, en boucle fermée et basés sur la vidéo, s’exécutant beaucoup plus vite que le matériel réel. L’ensemble du système est ensuite mis à l’épreuve par la suite EWMBench, qui fournit une évaluation holistique du réalisme vidéo, de la cohérence physique et de l’alignement crucial entre les instructions humaines et les actions résultantes du robot.
Des évaluations complètes ont démontré les performances robustes de Genie Envisioner dans des environnements réels et simulés pour une variété de tâches de manipulation robotique. GE-Act a démontré une vitesse exceptionnelle, générant des trajectoires d’action de 54 étapes en seulement 200 millisecondes, et a constamment surpassé les principales bases de référence de vision-langage-action en termes de taux de réussite pas à pas et de bout en bout. Son adaptabilité a été particulièrement frappante, car il s’est intégré avec succès à de nouveaux types de robots comme l’Agilex Cobot Magic et le Dual Franka avec seulement une heure de données spécifiques à la tâche, se montrant particulièrement apte aux tâches complexes impliquant des objets déformables. Pendant ce temps, GE-Sim a fourni des simulations vidéo haute fidélité et conditionnées par l’action, offrant un outil inestimable pour les tests de politiques évolutifs et en boucle fermée. Le benchmark EWMBench a en outre validé la supériorité de GE-Base sur les modèles vidéo de pointe, confirmant son alignement temporel exceptionnel, sa cohérence de mouvement et sa stabilité de scène, tous étroitement alignés sur les jugements de qualité humaine.
En conclusion, Genie Envisioner se présente comme une plateforme puissante, unifiée et évolutive pour la manipulation robotique, intégrant de manière transparente l’apprentissage de politiques, la simulation et l’évaluation dans un cadre génératif vidéo unique. Son cœur, GE-Base, un modèle de diffusion vidéo guidé par des instructions, capture magistralement les schémas spatiaux, temporels et sémantiques complexes des interactions robotiques du monde réel. GE-Act traduit ces informations en plans d’action précis et adaptables, même pour de nouveaux types de robots avec un minimum de réentraînement. Couplé à la simulation haute fidélité et conditionnée par l’action de GE-Sim pour un raffinement rapide des politiques et à l’évaluation rigoureuse d’EWMBench, Genie Envisioner marque un bond significatif. Des tests approfondis en conditions réelles soulignent les performances supérieures du système, l’établissant comme une base solide pour le développement d’une intelligence incarnée à usage général et guidée par des instructions.