所有移動的事物都將變成自主模式，所有自主的事物都需要先進的即時感知功能。NVIDIA為ROS開發者社群提供一套感知技術。這項計畫對於想把電腦視覺及人工智慧(AI)/機器學習(ML)功能，加入其基於ROS架構的機器人應用程式，將能縮短開發時間並提升執行效能。
NVIDIA與Open Robotics已達成協議，將加速NVIDIA Jetson邊緣AI平台和基於GPU 架構系統上的ROS 2效能，藉由Open Robotics的Ignition Gazebo，與以Omniverse平台為基礎的NVIDIA Isaac Sim間，能流暢地將模擬內容互通有無。
Jetson平台設計旨在為機器人提供高效能、低延遲的作業處理，使其具備靈敏的反應力、安全性及協作能力。Open Robotics 將強化ROS 2，以便在Jetson平台上的GPU和其他處理器間，高效率地管理資料流程和共用記憶體。此舉將能顯著提升必須即時處理來自攝影機、光達等感測器高頻寬資料的應用程式的效能。
除了強化在Jetson平台上部署機器人應用程式的功能外，Open Robotics與NVIDIA正在著手整合Ignition Gazebo與NVIDIA Isaac Sim的計畫。Isaac Sim早以開箱即用的方式支援ROS 1和2，並與Blender和Unreal Engine 4 等熱門應用程式相互串連，創造3D內容生態系。
ROS 開發者連接兩個模擬器，便能在Ignition Gazebo和Isaac Sim間移動機器人和環境，進行大規模的模擬活動。他們還能利用每個模擬器的功能，訓練和測試AI模型合成資料。
用於ROS的Isaac GEM是硬體加速套件，協助ROS開發者在Jetson平台上打造高效能的解決方案。這些GEM著重在提升影像處理輸出量，以及基於DNN 架構的感知模型處理能力，這些模型對機器人專家來說越來越重要。這些軟體套件減少了主機CPU的作業負載，同時大幅提高效能。
Isaac Sim除了能作為機器人模擬器，還能生成合成資料來訓練和測試感知模型。當Isaac Sim生成合成資料集後，便能直接投入NVIDIA TAO AI模型適應平台，讓感知模型去適應機器人的特定工作環境。在從目標環境中收集任何真實資料前，此舉便能確保機器人的感知堆疊在特定工作環境順利開始運作。
機器人專家長期以來對於如何將導航等經典的機器人任務，與AI感知堆疊進行串連和整合而感到苦惱。Isaac Sim可以同時作為機器人和合成資料生成工具，加上精簡的TAO訓練平台整合內容，解決這項困難的工作流程。