NVIDIA Impulsa la Robótica con Nuevas Herramientas y Modelos de IA Omniverse
NVIDIA ha presentado un conjunto de nuevas herramientas y modelos de IA bajo sus plataformas Omniverse y Cosmos, diseñadas para acelerar significativamente el desarrollo y la implementación de soluciones robóticas avanzadas. Estas innovaciones, impulsadas por los últimos servidores NVIDIA RTX PRO y DGX Cloud, tienen como objetivo capacitar a los desarrolladores para crear gemelos digitales físicamente precisos, reconstruir entornos del mundo real dentro de simulaciones, generar datos sintéticos para entrenar modelos de IA físicos y construir agentes inteligentes capaces de comprender el mundo físico.
Según Rev Lebaredian, vicepresidente de Omniverse y tecnologías de simulación en NVIDIA, la convergencia de los gráficos por computadora y la inteligencia artificial está a punto de transformar fundamentalmente la industria de la robótica. Hizo hincapié en que, al combinar el razonamiento de la IA con una simulación escalable y físicamente precisa, NVIDIA está permitiendo la creación de futuros robots y vehículos autónomos que revolucionarán industrias valoradas en billones de dólares.
Entre los anuncios clave se encuentran los nuevos kits de desarrollo de software (SDK) y bibliotecas de NVIDIA Omniverse, ahora disponibles para construir e implementar aplicaciones de simulación de robótica e IA industrial. Estos SDK introducen una interoperabilidad de datos crucial entre MuJoCo (MJCF) y Universal Scene Description (OpenUSD), lo que permite una simulación de robots fluida en todas las plataformas para más de 250,000 desarrolladores de aprendizaje de robots MuJoCo. Para mejorar aún más el realismo, las nuevas bibliotecas Omniverse NuRec y los modelos de IA introducen el splatting gaussiano 3D con trazado de rayos Omniverse RTX, una sofisticada técnica de renderizado que permite a los desarrolladores capturar, reconstruir y simular el mundo real en 3D utilizando datos de sensores.
Complementando estos avances, los marcos de simulación y aprendizaje de robots de código abierto, NVIDIA Isaac Sim 5.0 y NVIDIA Isaac Lab 2.2, ahora son accesibles en GitHub. Isaac Sim ahora integra la renderización neuronal NuRec y nuevos esquemas de robots y sensores basados en OpenUSD, lo que ayuda a los desarrolladores a superar la brecha desafiante entre la simulación y el rendimiento en el mundo real. El impacto de NuRec ya se está viendo, con su integración en CARLA, un destacado simulador de código abierto utilizado por más de 150,000 desarrolladores, y su adopción por parte del líder de la cadena de herramientas de vehículos autónomos Foretellix, que está aprovechando NuRec, NVIDIA Omniverse Sensor RTX y Cosmos Transfer para mejorar su generación de datos sintéticos físicamente precisos. El especialista en motores de datos Voxel51, con su FiftyOne, utilizado por empresas como Ford y Porsche, también es compatible con NuRec para una preparación de datos optimizada. Los principales actores como Amazon Devices & Services, Boston Dynamics, Figure AI, Hexagon, RAI Institute, Lightwheel y Skild AI ya están adoptando las bibliotecas Omniverse, Isaac Sim e Isaac Lab para acelerar su desarrollo de robótica con IA.
Más allá de la simulación, los modelos de fundación mundial (WFMs) Cosmos de NVIDIA, que han registrado más de 2 millones de descargas, permiten a los desarrolladores generar diversos datos de entrenamiento para robots a escala utilizando varias indicaciones. Los nuevos modelos presentados en SIGGRAPH prometen mejoras significativas en la velocidad, precisión, soporte de idiomas y control de la generación de datos sintéticos. En particular, Cosmos Transfer-2, que se lanzará pronto, simplificará la indicación y acelerará la creación de datos sintéticos fotorrealistas a partir de escenas de simulación 3D o entradas de control espacial. Una versión destilada de Cosmos Transfer mejora aún más la velocidad, reduciendo un proceso de destilación de 70 pasos a un solo paso, lo que permite que el modelo se ejecute a velocidades sin precedentes en los servidores NVIDIA RTX PRO. Empresas como Lightwheel, Moon Surgical y Skild AI ya están utilizando Cosmos Transfer para acelerar el entrenamiento de IA física simulando una amplia gama de condiciones a escala.
Un avance significativo en la comprensión del mundo llega con NVIDIA Cosmos Reason, un nuevo modelo de lenguaje visual (VLM) de razonamiento de 7 mil millones de parámetros, abierto y personalizable, diseñado para IA física y robótica. A diferencia de los VLM anteriores que sobresalían en el reconocimiento de objetos pero tenían dificultades con tareas de varios pasos o ambigüedades, Cosmos Reason permite que los robots y los agentes de IA de visión razonen más como humanos, aprovechando el conocimiento previo, la comprensión de la física y el sentido común para interpretar y actuar en el mundo real. Sus aplicaciones abarcan la curación y anotación de datos, permitiendo la preparación automatizada y de alta calidad de conjuntos de datos masivos; la planificación y el razonamiento de robots, actuando como el núcleo inteligente para la toma de decisiones deliberada en los modelos de acción de lenguaje de visión (VLA) de robots; y agentes de IA de análisis de video para extraer información y realizar análisis de causa raíz en grandes volúmenes de datos de video. Los propios equipos de robótica y DRIVE de NVIDIA están empleando Cosmos Reason para la curación, el filtrado, la anotación de datos y el post-entrenamiento de VLA, mientras que Uber lo utiliza para anotar y subtitular datos de entrenamiento de vehículos autónomos. Magna está integrando Cosmos Reason en su plataforma City Delivery para ayudar a los vehículos autónomos a adaptarse más rápidamente a nuevos entornos urbanos. Además, VAST Data, Milestone Systems y Linker Vision están adoptando Cosmos Reason para automatizar el monitoreo del tráfico, mejorar la seguridad y optimizar la inspección visual tanto en entornos urbanos como industriales.
Para soportar estas exigentes cargas de trabajo, NVIDIA también ha anunciado una nueva infraestructura de IA. Los servidores NVIDIA RTX PRO Blackwell ofrecen una arquitectura unificada para cada tarea de desarrollo de robots, desde el entrenamiento y la generación de datos sintéticos hasta el aprendizaje y la simulación de robots. Además, NVIDIA DGX Cloud, ahora disponible en Microsoft Azure Marketplace, proporciona a los desarrolladores de Omniverse una plataforma totalmente gestionada, simplificando la transmisión a escala de aplicaciones basadas en OpenUSD y NVIDIA RTX desde la nube, minimizando así las cargas de orquestación y gestión de la infraestructura. Accenture y Hexagon se encuentran entre los primeros líderes de la industria en adoptar esta plataforma.
Para cultivar aún más el ecosistema de desarrolladores, NVIDIA está lanzando un programa de Currículo y Certificación OpenUSD, abordando la creciente demanda de experiencia en USD con el apoyo de miembros de AOUSD y líderes de la industria. También están colaborando en código abierto con Lightwheel, integrando marcos de entrenamiento y evaluación de políticas de robots en NVIDIA Isaac Lab, completo con capacidades de aprendizaje por refuerzo paralelo, puntos de referencia y activos listos para simulación para la manipulación y locomoción de robots.