NVIDIAがロボット開発のための仮想世界構築ツールを大幅アップデート＆ロボットに世界を認識させるための視覚言語モデル(VLM)もリリース

NVIDIAはロボット開発や自動運転車などの開発に役立つ仮想世界構築プラットフォーム「Omniverse」を展開しています。新たに、CGに関する国際会議「SIGGRAPH」の開催に合わせて、Omniverseのアップデートが発表されました。

NVIDIA Opens Portals to World of Robotics With New Omniverse Libraries, Cosmos Physical AI Models and AI Computing Infrastructure | NVIDIA Newsroom
https://nvidianews.nvidia.com/news/nvidia-opens-portals-to-world-of-robotics-with-new-omniverse-libraries-cosmos-physical-ai-models-and-ai-computing-infrastructure

Developers Build Fast and Reliable Robot Simulations with NVIDIA Omniverse Libraries | NVIDIA Technical Blog
https://developer.nvidia.com/blog/developers-build-fast-and-reliable-robot-simulations-with-nvidia-omniverse-libraries/

Omniverseは物理演算を適用した3D空間内でロボットや自動運転車のシミュレーションを実施できるプラットフォームです。今回のアップデートでは3D空間の構築手法として「3Dガウススプリッティング」が導入され、開発者が撮影した部屋の写真などを用いて仮想世界を構築できるようになりました。

また、ロボット用の学習フレームワークである「Isaac Sim 5.0」と「Isaac Lab 2.2」も公開されました。3DガウススプリッティングやIsaacを用いたロボットの開発手法は、以下のリンク先で詳しく解説されています。

Announcing General Availability for NVIDIA Isaac Sim 5.0 and NVIDIA Isaac Lab 2.2 | NVIDIA Technical Blog
https://developer.nvidia.com/blog/isaac-sim-and-isaac-lab-are-now-available-for-early-developer-preview/

さらに、物理AIやロボット開発に最適化された視覚言語モデル(VLM)の「Cosmos Reason」もリリースされました。Cosmos Reasonはパラメーター数70億のVLMで、動画を分析して「どの従業員が荷物を運んだか」といった現実世界の事象を推論することができます。

Cosmos ReasonはすでにNVIDIAのロボット研究チームや自動運転車研究チームで利用されているほか、Uberなどの企業もCosmos Reasonを研究開発に役立てているとのこと。Cosmos Reasonの動作は以下のデモサイトでも確認できます。

cosmos-reason1-7b Model by NVIDIA | NVIDIA NIM
https://build.nvidia.com/nvidia/cosmos-reason1-7b