人工智慧(AI)模型百花齊放，帶動物聯網(IoT)朝向智慧物聯網(AIoT)邁進，而隨著AI走進各種裝置和應用場域，雲端資源將難以負荷大規模智慧裝置的運算需求，因此，將訓練完畢的AI模型量化(Quantization)並於邊緣端進行推論作業，成為物聯網智慧化過程中不可避免的一環。Arm最新推出的NPU IP處理器Ethos-U85將協助AI邊緣化進程，首度支援Transformer架構，將生成式AI帶進邊緣端，進一步開啟CPU＋NPU的設計潛能。
「算力」和「能源效率」是物聯網在導入邊緣AI應用所看重的兩項關鍵要素。即使CPU也有機會將效能提升以滿足AI模型所需，其能效表現卻仍不如專為AI應用打造的NPU處理器，兩者協作才能實現更符合物聯網的運算方案。與上一代產品相比，Ethos-U85效能提升四倍、能源效率提高20%，將為工廠自動化、商用監視器和智慧家庭攝影機等需要更高效能的應用提供有力支援。
Ethos-U85的MAC單元可從128個擴展到2,048個(1GHz時脈實現4TOPs)，同時，除了為卷積神經網路(CNN)提供權重乘矩陣，新產品也提供Transformer架構所需要的矩陣乘矩陣乘法，因此可滿足一系列AI應用需求。Arm物聯網事業部亞太區IoT市場資深經理黃晏祥表示，支援採用Transformer架構的AI模型，是Ethos-U85的一大亮點。生成式AI進入邊緣裝置將推動新應用誕生，例如影像識別相關應用便可藉由生成式AI填補圖像的缺失部分。
Arm應用工程總監徐達勇表示，相較於過往單純將工作負載交給CPU處理，結合CPU和NPU進行硬體開發需要考量兩者的工作分配，為不同模型和應用規畫負載分工最優解。為了加速開發速度，Arm同步針對功耗較低的智慧裝置推出完成度達70~80%的參考設計Corstone-320，其採用Cortex-M85和Ethos-U85，適用於語音、音訊、視覺和通用型邊緣AI應用。
自從2020年推出第一代處理器U55，Arm台灣總裁曾志光表示，Ethos-U系列從編譯器(Compiler)開始，一路上已經克服諸多挑戰。奠基於前代產品的經驗和相關資源，Ethos-U85支援與前代Ethos-U產品相同的軟體工具鏈，並且支援TensorFlow Lite和PyTorch等AI框架，確保AI軟體和硬體平台的相容性。藉由大幅提升的運算效能及生態系的軟體工具支援，Ethos-U85將持續探索在邊緣裝置實現AI應用的可能性。