AIoT CEVA Edge AI NPU TinyML

Ceva增添全新TinyML最佳化NPU

2024-07-08
Ceva宣布推出Ceva-NeuPro-Nano NPU,以擴展其Ceva-NeuPro Edge AI NPU產品系列。這些自給自足的高效NPU可為半導體企業和OEM廠商提供所需的功耗、性能和成本效益,以便在用於消費、工業和通用AIoT產品的SoC中整合TinyML模型。

TinyML是指在低功耗、資源受限的設備上部署機器學習模型,進而為物聯網(IoT)增添人工智慧的技術性能。物聯網設備對於高效、專業的人工智慧解決方案的需求日益增加,推動了TinyML市場快速成長。根據研究機構ABI Research預測,到2030年,超過40%的TinyML出貨量將採用專用TinyML硬體,而非由通用MCU驅動。Ceva-NeuPro-Nano NPU解決了TinyML所面臨的特定性能難題,以實現無所不在和經濟實用的人工智慧,廣泛應用於消費和工業物聯網應用中的語音、視覺、預測性維護和健康感知等領域。

新型 Ceva-NeuPro-Nano嵌入式AI NPU架構完全可程式設計,可高效執行神經網路、特徵提取、控制程式碼和DSP程式碼,並支援先進的機器學習資料類型和運算子,包括原生變換器運算、稀疏性加速和快速量化。與需要結合CPU或DSP並且基於AI加速器架構的現有TinyML工作負載處理器解決方案相比,這種最佳化的自給自足架構使得Ceva-NeuPro-Nano NPU具有卓越的能效、更小的矽片尺寸以及更優異的性能。此外,Ceva-NetSqueeze AI壓縮技術可直接處理壓縮模型權重,省去中間的解壓縮階段,這減少了80%的Ceva-NeuPro-Nano NPU記憶體占用,解決了阻礙AIoT處理器廣泛應用的關鍵瓶頸問題。

Ceva副總裁暨感測器和音訊業務部門總經理Chad Lucien表示,Ceva-NeuPro-Nano將TinyML應用整合到低功耗物聯網SoC和MCU中,並且以Ceva的企業策略為基礎,向智慧邊緣設備提供先進的連接、感知和推理能力。Ceva-NeuPro-Nano系列NPU使得更多公司能夠將人工智慧帶入邊緣應用,進而製造具有先進功能集的智慧物聯網設備,為客戶創造更多的價值。

ABI Research產業分析師Paul Schell表示,對於在智慧邊緣物聯網設備上實現人工智慧,Ceva-NeuPro-Nano可以滿足電池供電設備對功耗、性能和成本的要求,實現語音、視覺和感測用例在廣泛終端市場的全天候應用,令人刮目相看。從TWS耳機、耳塞、穿戴式設備和智慧揚聲器到工業感測器、智慧電器、家居自動化設備、攝影鏡頭等,Ceva-NeuPro-Nano可以在能源受限的AIoT設備中實施TinyML。

Ceva-NeuPro-Nano NPU提供兩款配置,包括配備32個int8 MAC的Ceva-NPN32和配備64個int8 MAC的Ceva-NPN64,這兩種配置都借助Ceva-NetSqueeze獲得直接處理壓縮模型權重功能。Ceva-NPN32針對語音、音訊、物品檢測和異常檢測用例的大多數TinyML工作負載進行了高度最佳化;Ceva-NPN64則利用權重稀疏性、更大記憶體頻寬、更多MAC和4位元權重支援提供2倍性能加速,進而提供更強大的性能,在設備上實現更複雜的人工智慧用例,例如物品分類、人臉檢測、語音辨識和健康監測等。

這些NPU隨附完整的人工智慧SDK-Ceva-NeuPro Studio,這是為整個Ceva-NeuPro NPU系列提供一套通用工具的統一人工智慧堆疊,支援包括TensorFlow Lite for Microcontrollers(TFLM)和microTVM(µTVM)的開放式人工智慧框架。

Ceva-NeuPro-Nano主要特性:

  • 靈活且可擴展的NPU架構:完全可程式設計,高效執行神經網路、特徵提取、控制程式碼和DSP程式碼;設計具備可擴展性能,滿足廣泛用例需求(具有每週期最多64個int8 MAC的MAC配置);著眼未來的架構,支援最先進的ML資料類型和運算子(支援4位元至32位元整數、原生變換器運算);利用先進的機制為所有用例提供終極ML性能(稀疏性加速、非線性啟動類型加速、快速量化)
  • 超低記憶體需求邊緣NPU:用於NN運算、特徵提取、控制程式碼和DSP程式碼的高效單核設計,可讓這些運算密集型任務省去配套MCU;利用Ceva-NetSqueez直接處理壓縮模型權重,省去中間的解壓縮階段,最多可減少80%的記憶體占用。
  • 透過創新能源最佳化技術實現超低能耗:自動化的動態能源調整;透過使用權重稀疏性加速對計算進行提煉,大幅降低能耗和頻寬需求。
  • 完備且易於使用的人工智慧SDK:Ceva-NeuPro Studio為所有Ceva-NeuPro NPU (從全新Ceva-NeuPro-Nano到功能強大的Ceva-NeuPro-M)提供统一的人工智慧堆疊,具有簡便的點擊運行使用體驗;加速軟體的開發和部署,縮短產品上市時間;經過最佳化,可與包括TFLM和µTVM在內的開放式人工智慧推論框架協作;Model Zoo包含預訓練和最佳化的TinyML模型,涵蓋語音、視覺和感測用例;靈活適應新的模型、應用和市場需求;全面的最佳化運行時間程序庫和現成的特定應用軟體組合。

Ceva現在已開始提供Ceva-NeuPro-Nano NPU授權許可。

本站使用cookie及相關技術分析來改善使用者體驗。瞭解更多

我知道了!