邊緣AI促MCU設計再進化

人工智慧(AI)正逐步進入各種場域，而因應資料中心面臨龐大壓力，以及裝置應用對於低延遲和高安全的需求，邊緣人工智慧(Edge AI)市場預期將快速成長。施耐德(Schneider Electric)報告顯示運算從中央走向邊緣的趨勢，預測從2023~2028年，邊緣AI工作負載將從5%成長至50%。

邊緣AI裝置通常在體積和功耗上有所局限，相較於高效能高耗電的GPU，MCU躍升成為實現AI性能的關鍵元件。不過，用於支援AI應用的MCU與一般通用型MCU需求迥異，AI可觀的資料量讓傳統MCU設計無論是在記憶體及資安防護，或是運算處理和電力消耗等面向皆面臨挑戰。為了滿足接下來將呈現爆發式成長的邊緣AI應用需求，MCU業者需要重新架構MCU設計，以搶進龐大商機。

記憶體需求大增　硬體防護守護資料安全

在邊緣裝置導入AI功能將為MCU的記憶體容量帶來考驗，Alif Semiconductor亞洲區市場行銷協理陳永章(圖1)表示，AI演算法及機器學習(ML)推論動輒需要1~2個MB，因此需要特別針對邊緣AI規畫充足記憶體空間。例如，Alif的MCU系列產品便提供最大13.5MB的SRAM，並具備5.75MB的非揮發性MRAM，可避免模型在經過電源關斷後的重複下載過程，適合邊緣端的機器學習。

除了記憶體容量，在設計邊緣AI專用的MCU時，也需要確保資料可快速存取，以滿足AI應用運行需求。緊密耦合記憶體(TCM)和L1快取有助運算單元快速取得所需資料，而記憶體的擺放方式也將影響晶片內部的記憶體效能。imec研究表示，許多AI應用能夠受益於高頻寬低延遲的分散式(Distributed)記憶體架構，將資料集(Data Set)放在運算單元附近也是適合某些AI應用的作法(圖2)。

對於儲存在邊緣裝置的資料來說，儘管減少傳輸需求可在一定程度上降低資料被攻擊的風險，導入AI所採用的大量資料使得資安仍是邊緣AI裝置的一大關鍵，例如醫療器材若採用病患資料進行分析判斷，便需要同步確保資料安全。從MCU硬體設計開始將資安防護機制列入考量至關重要。

在MCU上設立具有獨立記憶體、CPU和加密引擎(CE)的封閉單元，能夠降低機密資料被外部存取的機率，陳永章表示，Alif的Isolated Secure Enclave即透過此概念增強防護性，僅能以JTAG或SWD介面存取其中資料。Arm推動的TrustZone技術同樣以隔離概念守護重要資料，然而，若遇到多核心的設計，將出現無法完全限定安全資料存取的問題。為此，Alif將TrustZone再升級，進一步將資料細分，規範不同CPU核心可取用的資源(圖3)。

CPU+NPU算力提升　低功耗確保長時間運行

確保MCU符合資料儲存和安全的需求後，接下來需要考量攸關AI是否能順利移到邊緣的關鍵：算力及功耗。陳永章表示，根據不同應用，邊緣裝置將對MCU產生不同算力要求，依照性能進行分級的產品系列有助業者選擇最適合的解決方案。Alif身為Arm Ethos NPU十一家合作夥伴的其中一員，率先將Ethos-U55加速器納入產品設計，搭配單核、多核MCU，推出Ensemble產品家族，提供業者彈性搭配選用。

算力提升讓MCU能夠執行AI相關運算，不過，對於常以電池供電的邊緣裝置來說，能否在加入AI性能的同時維持低功耗特性，將影響邊緣AI在各場域應用的接受程度。為此，Alif開發出aiPM低功耗技術，將MCU分為不同區域，每個區域具有獨立的電源管理，僅於需要時為特定區域供電，可實現奈安培(nA)耗電等級。

以Alif E7產品為例，其總共分為八個供電區域，並可根據功能分為三類：高性能(HP)、高效率(HE)、Always ON(AON)。AON和HE類型的供電區域需要長期或頻繁開啟，HP則僅於需要進行大量運算時供電，其餘時間進入休眠，藉由減少Stand by造成的能源浪費，維持電池供電裝置的長時間運行特性(圖4)。

硬體/軟體業者合力推動邊緣AI成長加速

硬體架構設計完成，目前可以看到MCU廠商透過和軟體業者合作的方式，將AI應用運行於專為邊緣AI設計的硬體晶片，組合為解決方案加快裝置業者導入速度。舉例來說，Alif和Edge Impulse便合作推出方便業者進行開發的解決方案。結合Edge Impulse的平台，開發人員將可輕鬆採用Ensemble MCU實現機器學習，發揮邊緣裝置的資料智慧。

Market.us報告預測，從2023年開始，邊緣AI市場將以25.9%的年複合成長率(CAGR)於2032年達到1,436億美元。強勁的成長力道象徵潛在商機，預期未來將看到更多MCU廠商加入邊緣AI市場，兼顧AI應用的資料儲存和運算需求推出低功耗方案，加速邊緣裝置智慧化轉型。