NVIDIA近日宣布NVIDIA Jetson平台上邊緣人工智慧和機器人技術兩個框架的重大擴展。NVIDIA Isaac ROS機器人框架已經正式推出，接下來將推出Jetson上NVIDIA Metropolis的擴充。
為了加速人工智慧應用在邊緣的開發和部署，NVIDIA還為Jetson開發人員創建了一個生成式人工智慧練習場(Generative AI Playground)，供他們使用最新的開源生成式人工智慧模型。超過120萬開發者和超過10,000名客戶選擇了NVIDIA AI和Jetson平台，其中包括Amazon Web Services、思科、強鹿公司、美敦力、百事公司和西門子。
隨著人工智慧領域的快速發展，解決日益複雜的場景，開發人員在建立邊緣人工智慧應用程式時面臨更長開發週期的挑戰。 對機器人和人工智慧系統重新進行程式設計以滿足不斷變化的環境、生產線和客戶動態的自動化需求需要專業技能，而且非常耗時。
生成式人工智慧提供零樣本學習，即模型能夠識別在之前訓練中未見過的事物的能力，並透過自然語言介面簡化邊緣人工智慧的開發、部署和管理。
生成式人工智慧顯著地提高了人類語言的易用性，以提示和進行模型更改。這些人工智慧模型可以更靈活地檢測、分割、追蹤、搜尋，甚至重新程式設計任何觸手可及的東西。這些特性有助於超越傳統的基於卷積神經網路(Convolutional Neural Network)的模型。
根據ABI Research的資料，生成式人工智慧在2033年將為全球製造業新增105億美元的收入。生成式人工智慧正在將Transformer 模型和大型語言模型的力量帶入幾乎每個產業。如今觸角已伸到接觸邊緣、機器人和物流系統等領域：瑕疵檢測、即時資產追蹤、自主規畫和導航、人機互動等。
NVIDIA嵌入式與邊緣運算部門副總裁Deepu Talla表示，生成式人工智慧更通用、易用、且準確的特性將顯著的加速人工智慧邊緣的部署。Jetson上Metropolis和Isaac框架有史以來最大規模的軟體擴展，結合Transformer模型和生成式人工智慧的強大功能，滿足了這一需求。
NVIDIA Jetson生成式人工智慧練習場為開發人員提供了最佳化的工具和教學，用於部署開源大語言模型(LLM)、擴散模型以互動方式生成令人驚嘆的圖像、視覺語言模型(VLM)和結合了視覺人工智慧和自然語言處理視覺變換器(ViT)提供對場景的全面理解。
開發人員還可以使用NVIDIA TAO工具套件為邊緣創建高效、準確的人工智慧模型。TAO提供了一個低程式碼介面來微調和最佳化視覺人工智慧模型，包括視覺變換器和視覺基礎模型。現在，開發人員可以自訂和微調像是NVIDIA NV-DINOv2等基礎模型或OpenCLIP等公開的模型，用很少的資料建立高度準確的視覺人工智慧模型。TAO現在也另外包括了VisualChangeNet，這是一個基於transformer的瑕疵檢測模型。
NVIDIA Metropolis讓企業更輕鬆、更具成本效益地採用視覺人工智慧驅動的解決方案，以改善關鍵的營運效率和安全問題。這個平台帶來了一系列API和微服務，供開發人員快速開發複雜的基於視覺的應用程式。
包括BMW集團、百事公司、克羅格公司、泰森食品、Infosys和西門子在內的1,000多家公司都正在使用NVIDIA Metropolis開發者工具，透過視覺人工智慧解決物聯網、感測器處理和營運挑戰，而且採用率正在加快。這些工具目前已被那些希望建立視覺人工智慧應用程式的人下載了超過100萬次。
Metropolis API和微服務為了讓開發人員可以快速建置和部署可擴展的視覺人工智慧應用程式，NVIDIA Jetson上擴展後的Metropolis API和微服務將於年底推出。
數百位客戶使用NVIDIA Isaac平台開發跨不同領域的高效能機器人解決方案，包括農業、倉庫自動化、最後一哩運送和服務機器人等。
在ROSCon 2023上，NVIDIA宣布透過新版本的Isaac ROS和Isaac Sim軟體對感知和模擬功能進行重大改進。Isaac ROS基於廣泛採用的開源機器人作業系統(Robot Operating System; ROS)構建，為自動化帶來感知，為移動的事物提供眼睛和耳朵。透過利用GPU加速GEMs的功能(包括視覺慣性里程計、深度感知、3D場景重建、定位和規畫)，機器人開發人員獲得了快速設計適合各種應用機器人解決方案的工具。
最新的Isaac ROS 2.0版本已公開發布，使開發人員能夠利用Jetson創建高效能機器人解決方案並將其推向市場。
開源機器人基金會(Open Source Robotics Foundation)技術長Geoff Biggs表示，ROS不斷成長和發展，為整個機器人社群提供開源軟體。隨此版本一起推出的NVIDIA全新預構建ROS 2軟體套件，將使廣大NVIDIA Jetson開發者社群能夠輕鬆使用ROS 2，加速ROS的成長。
開發可立即上線使用的人工智慧解決方案需要最佳化開發和訓練針對特定用例而定制的人工智慧模型、在平台上導入強大的安全功能、編排應用程式、管理車隊、建立流暢的邊緣到雲的通訊等等。
NVIDIA宣布推出一系列基於Metropolis和Isaac框架的精選AI參考工作流程，使開發人員能夠快速採用整個工作流程，或選擇性地整合這些工作流程中的各個組件，大大減少了開發時間和成本。三個不同的AI工作流程包括：網路影片錄製(NVR)、自動光學檢測(AOI)和自主移動機器人(AMR)。
Tirias Research首席分析師Jim McGregor表示，NVIDIA Jetson擁有廣泛且多樣的使用者基礎和合作夥伴生態系統，已經推動了邊緣機器人和人工智慧的革命。隨著應用需求變得越來越複雜，需要從根本上轉向能夠簡化並加速邊緣部署創建的平台。NVIDIA的這一重大軟體擴展使開發人員能夠獲得新的多感測器模型和生成式人工智慧功能。
NVIDIA宣布推出一系列系統服務，這些服務是每個開發人員在構建邊緣人工智慧解決方案時所需的基礎功能。這些服務將簡化整合Jetson平台與開發人員的工作流程，並免除了從頭開始構建時的繁重任務。
預計於年底前推出的NVIDIA JetPack 6，將使AI開發人員不必全面升級Jetson Linux，就能維持運算領先狀態，大大加快開發時間，並讓他們擺脫Jetson Linux依賴性。JetPack 6還將利用與Linux發行合作夥伴的合作，擴大基於Linux的發行版選項，包括Canonical經最佳化和認證的Ubuntu、Wind River Linux、Concurrent Real-Time Redhawk Linux以及各種基於Yocto的發行版。
Jetson夥伴生態系提供從硬體、人工智慧軟體和應用程式設計服務到感測器、連接和開發者工具的廣泛支援。NVIDIA合作夥伴網路中的這些創新者，為市場上銷售的眾多產品提供組件和子系統方面發揮了關鍵作用。
JetPack軟體的最新版本使Jetson合作夥伴能夠加快上市時間，並使他們能夠擴大客戶群，以採用更多具有更高效能和功能的人工智慧。獨立軟體供應商合作夥伴也將能夠擴大其針對Jetson開發的產品。
NVIDIA將於2023年11月7日上午9點舉行網路研討會，深入探討前文討論的許多主題，包括用於在Jetson上部署LLM和VLM的加速API和量化方法，與使用TensorRT最佳化視覺transformers等。