輝達(NVIDIA)Fleet Command是一種用於在邊緣部署、管理和擴展人工智慧(AI)應用程式的雲端服務,現已新增全球邊緣AI部署的無縫管理功能。
隨著邊緣AI部署規模的不同,企業組織可能擁有數千個獨立的邊緣端點,必須由IT團隊管理,且有時位於偏遠的位置,如石油鑽井平台、氣象儀、分散式零售店或工業設施。NVIDIA Fleet Command為容器調度(Container Orchestration)提供一個簡單的託管平台,讓企業能透過單一的雲端控制台,在數千個分散環境中配置及部署AI應用程式和系統。
Fleet Command提供先進的遠端管理、多執行個體GPU配置,以及來自業界合作單位的工具整合,讓這些工作流程在託管環境中無縫運作。該產品的遠端管理提供存取控制和閒置計時,消除傳統VPN連接帶來的漏洞。
多執行個體GPU(或稱MIG)將NVIDIA GPU分成多個獨立執行個體。MIG已可在Fleet Command上使用,讓管理員可以從Fleet Command使用者介面將應用程式分配給每個執行個體。只要在同一個GPU上執行多個 AI 應用程式,MIG就能讓企業組織調整其部署規模且充分利用其邊緣基礎設施。
全新Fleet Command合作亦幫助企業打造從開發到邊緣部署的無縫工作流程。Domino Data Lab提供企業級MLOps平台,讓資料科學家使用他們偏好的工具、語言和基礎設施,大規模進行協作開發、部署和監控AI模型。Domino平台與Fleet Command的整合提供資料科學和IT團隊單一的記錄系統與一致的工作流程,用於管理部署至邊緣端點的模型。