英伟达Omniverse AI新工具与模型，加速机器人未来发展
英伟达（NVIDIA）推出了Omniverse和Cosmos平台下的一系列新工具和AI模型，旨在显著加速先进机器人解决方案的开发和部署。这些创新由最新的NVIDIA RTX PRO服务器和DGX Cloud提供支持，旨在赋能开发者创建物理精确的数字孪生，在模拟中重建真实世界环境，为训练物理AI模型生成合成数据，并构建能够理解物理世界的智能代理。
据英伟达Omniverse和仿真技术副总裁Rev Lebaredian表示，计算机图形和人工智能的融合有望从根本上改变机器人产业。他强调，通过将AI推理与可扩展、物理精确的仿真相结合，英伟达正在实现未来机器人和自动驾驶汽车的创造，这将彻底改变价值数万亿美元的产业。
主要发布内容包括新的NVIDIA Omniverse软件开发工具包（SDK）和库，现已可用于构建和部署工业AI和机器人仿真应用。这些SDK引入了MuJoCo（MJCF）和通用场景描述（OpenUSD）之间的关键数据互操作性，为超过25万MuJoCo机器人学习开发者提供了跨平台的无缝机器人仿真。为进一步增强真实感，新的Omniverse NuRec库和AI模型引入了Omniverse RTX光线追踪3D高斯泼溅技术，这是一种复杂的渲染技术，允许开发者使用传感器数据捕获、重建和模拟3D真实世界。
作为这些进步的补充，开源机器人仿真和学习框架NVIDIA Isaac Sim 5.0和NVIDIA Isaac Lab 2.2现已在GitHub上提供。Isaac Sim现在集成了NuRec神经渲染和新的基于OpenUSD的机器人和传感器模式，帮助开发者弥合仿真与实际性能之间的鸿沟。NuRec的影响已经显现，它已被集成到CARLA（一个拥有超过15万开发者使用的知名开源模拟器）中，并被自动驾驶汽车工具链领导者Foretellix采纳，Foretellix正利用NuRec、NVIDIA Omniverse Sensor RTX和Cosmos Transfer来增强其物理精确的合成数据生成。数据引擎专家Voxel51的FiftyOne（福特和保时捷等公司都在使用）也支持NuRec，以简化数据准备。亚马逊设备与服务、波士顿动力、Figure AI、Hexagon、RAI Institute、Lightwheel和Skild AI等主要参与者已经采用Omniverse库、Isaac Sim和Isaac Lab来加速其AI机器人开发。
除了仿真，英伟达的Cosmos世界基础模型（WFMs）下载量已超过200万次，使开发者能够使用各种提示大规模生成多样化的机器人训练数据。在SIGGRAPH大会上发布的新模型有望在合成数据生成速度、准确性、语言支持和控制方面取得显著改进。值得注意的是，即将发布的Cosmos Transfer-2将简化提示并加速从3D仿真场景或空间控制输入创建逼真的合成数据。Cosmos Transfer的精简版进一步提高了速度，将70步的蒸馏过程缩短至一步，使模型能够在NVIDIA RTX PRO服务器上以空前速度运行。Lightwheel、Moon Surgical和Skild AI等公司已经在使用Cosmos Transfer，通过大规模模拟各种条件来加速物理AI训练。
在世界理解方面，NVIDIA Cosmos Reason带来了重大突破，这是一个新的开放且可定制的70亿参数推理视觉语言模型（VLM），专为物理AI和机器人设计。与之前擅长物体识别但在多步任务或歧义方面表现不佳的VLM不同，Cosmos Reason允许机器人和视觉AI代理更像人类一样进行推理，利用先验知识、物理理解和常识来解释和行动于真实世界。其应用范围包括：数据整理和标注，实现大规模数据集的自动化高质量准备；机器人规划和推理，作为机器人视觉语言动作（VLA）模型中深思熟虑决策的智能核心；以及视频分析AI代理，用于从大量视频数据中提取洞察并执行根本原因分析。英伟达自己的机器人和DRIVE团队正在使用Cosmos Reason进行数据整理、过滤、标注和VLA训练后处理，而优步（Uber）则用它来标注和说明自动驾驶汽车训练数据。麦格纳（Magna）正在将其Cosmos Reason集成到其城市配送平台中，以帮助自动驾驶汽车更快地适应新的城市环境。此外，VAST Data、Milestone Systems和Linker Vision正在采用Cosmos Reason来自动化交通监控、增强安全性和改善城市和工业环境中的视觉检测。
为了支持这些高要求的工作负载，英伟达还宣布了新的AI基础设施。NVIDIA RTX PRO Blackwell服务器为每个机器人开发任务提供统一架构，从训练和合成数据生成到机器人学习和仿真。此外，NVIDIA DGX Cloud现已在Microsoft Azure Marketplace上提供，为Omniverse开发者提供了一个完全托管的平台，简化了从云端大规模流式传输基于OpenUSD和NVIDIA RTX的应用程序，从而最大限度地减少了基础设施编排和管理负担。埃森哲（Accenture）和海克斯康（Hexagon）是首批采用该平台的行业领导者。
为了进一步培养开发者生态系统，英伟达正在启动一个OpenUSD课程和认证计划，以满足对USD专业知识日益增长的需求，并得到了AOUSD成员和行业领导者的支持。他们还与Lightwheel进行了开源合作，将机器人策略训练和评估框架集成到NVIDIA Isaac Lab中，其中包括并行强化学习能力、基准测试以及用于机器人操作和运动的仿真就绪资产。