NVIDIA日前宣布針對旗下人工智慧(AI)推論平台推出重大更新，目前已有Capital One、微軟(Microsoft)、Samsung Medison、西門子能源(Siemens Energy)及Snap等超過25,000個客戶採用此推論平台。
這次的更新內容包含開放原始碼NVIDIA Triton推論伺服器軟體的全新功能，可在所有AI模型及框架上提供跨平台推論，以及可最佳化AI模型的NVIDIA TensorRT，為NVIDIA GPU上的高效能推論提供執行環境(Runtime)。
NVIDIA亦推出NVIDIA A2 Tensor核心GPU，這是一款用於邊緣AI推論的低功耗、小尺寸加速器，其推論效能較CPU高20倍。
NVIDIA副總裁暨加速運算部門總經理Ian Buck表示，NVIDIA的AI推論平台正在推動各個產業的突破性發展，包括醫療、金融服務、零售、製造及超級運算等。無論是提供更智慧的推薦、利用對話式AI推進科學發展。
Triton推論伺服器的更新項目包含：Triton模型分析器、多GPU多節點功能、RAPIDS FIL、Amazon SageMaker整合、支援Arm CPU。Triton在雲端、資料中心、企業邊緣及嵌入式裝置的GPU/CPU上提供AI推論服務。
除了Triton，TensorRT現在也整合TensorFlow和PyTorch，只要一行程式碼，就能提供較在框架內進行推論快上三倍的效能，開發人員將能享受優化的TensorRT功能並大幅簡化工作流程。
NVIDIA TensorRT 8.2版本是最新的軟體開發套件(SDK)，可加速進行高效能、深度學習推論，並在雲端、本地端或邊緣提供高處理量和低延遲的特性。透過全新的最佳化內容，將能即時運行有著數十億個參數的語言模型。