輝達談擴增智慧　XR成Physical AI資料入口

「我們正從擴增實境的世界，走進擴增智慧的世界。重點不再是看見另一個現實，而是在現實裡變得更聰明。」輝達（NVIDIA）空間運算與XR副總裁David Chu把這句話放在整套論述的最前面。這位曾任Magic Leap工程副總裁的主管指出，輝達投入加速運算超過30年，這股力量與空間運算的交會點是Physical AI——會看、會推理、也會在實體空間行動的AI系統。他把輝達的做法拆成三條線，每條各自對應一套工具：用數位孿生做更好的決策、讓免持作業接上代理式AI（agentic AI），以及讓XR社群替機器人補上訓練資料。

決策免到場　CloudXR 6串流孿生

第一條線從數位孿生下手。David Chu的說法是，拿數位孿生做決策，品質上限就是孿生本身；CloudXR把模擬與渲染留在GPU伺服器端，再以高保真串流送進頭戴裝置，讓人不必等實體到場就能下判斷。他舉Innoactive、蘋果（Apple）與Autodesk的合作為例：設計團隊戴上Apple Vision Pro，透過CloudXR 6進行汽車設計審查，Innoactive的Halo平台在一台DGX Spark上就地執行，以Nemotron 3 Nano Omni整理出含關鍵決策與待辦事項的會議摘要，並透過Autodesk VRED外掛與MCP伺服器，讓非專業者用自然語言直接修改場景。

David Chu形容，設計師看見皮椅每道縫線、輪胎每條胎紋時「樂壞了」。

在他看來，同一套串流也接得上設計以外的場合。David Chu表示，Cloud XR已整合進超過60家夥伴的企業工作流程，從新思科技（Synopsys）的流體力學模擬、X-Plane的飛行訓練，到鴻海（Foxconn）工廠經理調校產線配置換取良率，都在名單上。串流延遲一旦計入「動作到光子」（motion-to-photon）路徑，配戴舒適度就成了難題，他強調輝達已有解法；輝達並與蘋果合作，把CloudXR做成Xcode內visionOS的預設專案範本，其他裝置則走WebXR。

免持最後一公尺　XR AI接代理

免持作業是David Chu口中合作夥伴反覆抱怨的斷點。無論在實驗室或現場，問題集中在四件事：找資訊、跟著多步驟程序走、驗證成果、收集紀錄供事後分析。這些需求在桌面上已有成熟的代理工具，免持情境卻接不上，他稱之為「最後一公尺」。輝達的答案是XR AI，一套6月中旬進入公開測試的開發框架，把裝置端的影像、聲音與感測資料接上代理後端；開發者可以自帶代理，也能直接用內建的Nemotron與Cosmos模型，並以機密運算確保企業資料不出企業。

他細數的案例橫跨實驗室、工廠與手術室。史丹佛醫學院衍生新創Rana把LabOS代理帶進濕實驗室，免持引導CRISPR基因編輯流程，讓實驗成敗不再被「助理有沒有照規程做」左右；Rana並與眼鏡廠VITURE合作，推出內建XR AI的Helix AI安全眼鏡。西門子（Siemens）則在工業元宇宙實驗室讓工程師戴上輕量眼鏡，開口問代理「PLC為什麼沒有輸入訊號」，就能在產線上免持查修，由一台DGX Spark承擔本機運算。

匹茲堡大學醫學中心（UPMC）把整套堆疊搬進手術室。在David Chu展示的示範影片中，Cosmos Reason2判斷外科醫師視野裡哪些區域絕不能被遮擋，Segment Anything 3畫出遮罩，Foundation Stereo將其轉成公制3D空間位置，再由Nemotron決定虛擬螢幕與生命徵象視窗的擺放，全程在一台DGX Station上執行。他的評語是，這個案例的AI用得節制，反而見功力：虛擬螢幕一旦擺錯位置，擋到的可能就是正在進行的關鍵操作。他也舉Atlantic Studios以XR AI打造的鐵達尼號沉浸式掃描為例，觀眾用語音就能在船艉螺旋槳與救生艇甲板之間移動、即時取得解說。

機器人缺資料　Isaac Teleop補缺口

機器人這條線的起點，是David Chu點出的一個落差：大型語言模型有累積多年的網路文本可以訓練，實體世界沒有對應的資料存量。輝達以DGX訓練、RTX與Omniverse模擬、Jetson部署三種運算平台支撐機器人開發，貫穿其間的是Isaac軟體堆疊；但他強調，練出來的機器人大腦，上限取決於餵進去的資料。他把資料來源畫成一座金字塔：頂層是人透過頭戴裝置、動作捕捉衣與手套即時遙操作（teleoperation）實體機器人，保真度最高，但機器數量有限；中層是進到VR裡操作虛擬機器人產生的合成資料；底層是任何第一人稱視角（egocentric）影片，量最大，也最缺結構。

對應這座金字塔，Isaac Teleop負責前兩層，把XR裝置接進機器人開發平台。David Chu表示，PICO已讓旗下頭戴裝置與動作追蹤器支援Isaac Teleop，包括預告中的新旗艦Project Swan；手部追蹤手套廠Manus也完成整合，手指追蹤資料直通下游的Isaac Lab強化學習、Isaac Sim物理模擬與Isaac ROS部署工具。西門子、鴻海與人形機器人新創Mentee Robotics都已導入；沒有實體機器人的團隊，還能經由字節跳動（ByteDance）的火山引擎登入雲端，直接開始遙操作。

金字塔底層　Ego4Robo萃訊號

金字塔底層則交給開源的Ego4Robo，把手部追蹤、光照估計、場景理解、遮擋處理這些XR社群磨了多年的本事，轉交到機器人開發者手上，從雜訊裡萃取可用訊號。David Chu並預告，今年稍晚Isaac Teleop會加入部署階段的遠端協助功能，機器人在現場卡住時，人類操作員可以即時接手，把它從困境裡解出來。

談到XR社群自身的位置，David Chu的邀請很直接：這些工具全數免費釋出，裝置製造商、解決方案供應商、第一人稱視角資料的演算法開發者與資料提供者，都能接進這個生態系。對XR產業來說，他描繪出的角色變化相當具體——頭戴裝置與眼鏡不再只是消費端的顯示終端，而是Physical AI取得空間感知、企業知識與訓練資料的介面；XR社群累積多年的追蹤、渲染與感知技術，成了機器人學習現實世界的入口。