NVIDIA、Omniverse AI新ツールとモデルでロボット開発を加速

NVIDIAは、OmniverseおよびCosmosプラットフォームの下で、高度なロボティクスソリューションの開発と展開を大幅に加速するために設計された、一連の新しいツールとAIモデルを発表しました。これらのイノベーションは、最新のNVIDIA RTX PROサーバーとDGX Cloudによって強化されており、開発者が物理的に正確なデジタルツインを作成し、シミュレーション内で現実世界の環境を再構築し、物理AIモデルのトレーニング用の合成データを生成し、物理世界を理解できるインテリジェントなエージェントを構築することを可能にすることを目指しています。

NVIDIAのOmniverseおよびシミュレーション技術担当副社長であるRev Lebaredian氏によると、コンピューターグラフィックスと人工知能の融合は、ロボティクス産業を根本的に変革する態勢が整っているとのことです。彼は、AI推論とスケーラブルで物理的に正確なシミュレーションを組み合わせることで、NVIDIAが将来のロボットと自動運転車の作成を可能にし、数兆ドル規模の産業に革命をもたらすと強調しました。

主要な発表の中には、産業用AIおよびロボティクスシミュレーションアプリケーションの構築と展開に利用できるようになった新しいNVIDIA Omniverseソフトウェア開発キット（SDK）とライブラリが含まれています。これらのSDKは、MuJoCo（MJCF）とUniversal Scene Description（OpenUSD）間の重要なデータ相互運用性を導入し、25万人以上のMuJoCoロボット学習開発者向けにプラットフォームを超えたシームレスなロボットシミュレーションを可能にします。リアリズムをさらに高めるため、新しいOmniverse NuRecライブラリとAIモデルは、Omniverse RTXレイトレース3Dガウシアンスプラッティングを導入しています。これは、開発者がセンサーデータを使用して現実世界を3Dでキャプチャ、再構築、シミュレートできる洗練されたレンダリング技術です。

これらの進歩を補完するものとして、オープンソースのロボットシミュレーションおよび学習フレームワークであるNVIDIA Isaac Sim 5.0とNVIDIA Isaac Lab 2.2がGitHubで利用可能になりました。Isaac Simは現在、NuRecニューラルレンダリングと新しいOpenUSDベースのロボットおよびセンサーのスキーマを統合しており、開発者がシミュレーションと現実世界のパフォーマンス間の困難なギャップを埋めるのに役立ちます。NuRecの影響はすでに現れており、15万人以上の開発者が利用する著名なオープンソースシミュレーターであるCARLAへの統合や、自動運転車ツールチェーンのリーダーであるForetellixによる採用が進んでいます。Foretellixは、NuRec、NVIDIA Omniverse Sensor RTX、Cosmos Transferを活用して、物理的に正確な合成データ生成を強化しています。FordやPorscheなどの企業が使用するデータエンジン専門企業Voxel51のFiftyOneも、効率的なデータ準備のためにNuRecをサポートしています。Amazon Devices & Services、Boston Dynamics、Figure AI、Hexagon、RAI Institute、Lightwheel、Skild AIなどの主要企業は、AIロボティクス開発を加速するために、すでにOmniverseライブラリ、Isaac Sim、Isaac Labを採用しています。

シミュレーションを超えて、200万回以上のダウンロードを記録しているNVIDIAのCosmos世界基盤モデル（WFMs）は、開発者がさまざまなプロンプトを使用して、ロボット用の多様なトレーニングデータを大規模に生成することを可能にします。SIGGRAPHで発表された新しいモデルは、合成データ生成の速度、精度、言語サポート、および制御において大幅な改善を約束しています。特に、間もなくリリースされるCosmos Transfer-2は、プロンプティングを簡素化し、3Dシミュレーションシーンまたは空間制御入力からフォトリアリスティックな合成データ作成を加速させます。Cosmos Transferの蒸留版はさらに速度を向上させ、70ステップの蒸留プロセスを1ステップに短縮し、NVIDIA RTX PROサーバーで前例のない速度でモデルを実行できるようにします。Lightwheel、Moon Surgical、Skild AIなどの企業は、すでにCosmos Transferを利用して、幅広い条件を大規模にシミュレートすることで、物理AIトレーニングを迅速化しています。

世界理解における重要なブレークスルーは、NVIDIA Cosmos Reasonによってもたらされます。これは、物理AIとロボティクス向けに設計された、新しいオープンでカスタマイズ可能な70億パラメータの推論ビジョン言語モデル（VLM）です。オブジェクト認識には優れていたものの、多段階タスクや曖昧さに苦戦していた以前のVLMとは異なり、Cosmos ReasonはロボットやビジョンAIエージェントが人間のように推論することを可能にし、事前知識、物理理解、常識を活用して現実世界を解釈し、行動します。そのアプリケーションは、データキュレーションとアノテーション（大規模なデータセットの自動化された高品質な準備を可能にする）、ロボットの計画と推論（ロボットのビジョン言語アクション（VLA）モデルにおける意図的な意思決定のインテリジェントな核として機能する）、および大量のビデオデータから洞察を抽出し根本原因分析を実行するためのビデオ分析AIエージェントに及びます。NVIDIA自身のロボティクスおよびDRIVEチームは、データキュレーション、フィルタリング、アノテーション、およびVLAのポストトレーニングにCosmos Reasonを使用しており、Uberは自動運転車のトレーニングデータのアノテーションとキャプション付けにそれを使用しています。Magnaは、Cosmos ReasonをCity Deliveryプラットフォームに統合し、自動運転車が新しい都市環境に迅速に適応するのを支援しています。さらに、VAST Data、Milestone Systems、Linker Visionは、Cosmos Reasonを採用して、交通監視を自動化し、安全性を高め、都市および産業環境の両方で視覚検査を改善しています。

これらの要求の厳しいワークロードをサポートするため、NVIDIAは新しいAIインフラストラクチャも発表しました。NVIDIA RTX PRO Blackwellサーバーは、トレーニングや合成データ生成からロボット学習やシミュレーションまで、あらゆるロボット開発タスクに統一されたアーキテクチャを提供します。さらに、Microsoft Azure Marketplaceで利用可能になったNVIDIA DGX Cloudは、Omniverse開発者に完全に管理されたプラットフォームを提供し、OpenUSDおよびNVIDIA RTXベースのアプリケーションをクラウドから大規模にストリーミングすることを簡素化し、インフラストラクチャのオーケストレーションと管理の負担を最小限に抑えます。AccentureとHexagonは、このプラットフォームを採用した最初の業界リーダーの1つです。

開発者エコシステムをさらに育成するため、NVIDIAはOpenUSDカリキュラムおよび認定プログラムを開始し、AOUSDメンバーと業界リーダーのサポートを得て、USDの専門知識に対する高まる需要に対応しています。また、Lightwheelとのオープンソースコラボレーションにも取り組んでおり、ロボットポリシーのトレーニングおよび評価フレームワークをNVIDIA Isaac Labに統合し、並列強化学習機能、ベンチマーク、およびロボット操作と移動のためのシミュレーション対応アセットを完備しています。