人工智慧(AI)和機器學習(ML)是使系統能夠從資料中學習、進行推論，並隨著時間的推移提高其性能的關鍵技術。這些技術通常運用於大型資料中心和功能強大的GPU，但是將它們部署在資源有限的設備(如微控制器MCU)上的情形也逐漸增加。
人工智慧(AI)和機器學習(ML)是使系統能夠從資料中學習、進行推論，並隨著時間的推移提高其性能的關鍵技術。這些技術通常運用於大型資料中心和功能強大的GPU，但是將它們部署在資源有限的設備(如微控制器MCU)上的情形也逐漸增加。
MCU幫助AI/ML在邊緣設備上運行
人工智慧創造的電腦系統可以完成類似人類的任務，比如理解語言、尋找模式和做出決策。而機器學習則是人工智慧的其中一個子集，使用演算法與統計模型，並隨著持續的訓練與學習變得更好，讓機器能夠尋找模式、排序物件，並從示例中預測結果。為使AI和ML能在邊緣設備上運行，MCU發揮了重要的作用。
基於MCU運行的邊緣AI/ML用例包括：
・關鍵字識別：識別特定的單詞或短語(例如語音命令)，而不需要雲端連結。
・感測器融合：結合來自多個感測器的資料，做出比單一感測器解決方案更為明智、全面的決策。
・異常檢測：檢測感測器資料中的異常值或異常模式，可能表明故障，錯誤或威脅，用於預測性維護或品質控制。
・目標檢測：在攝影鏡頭或其他感測器捕獲的圖像或影片中識別和定位感興趣的對象(例如人臉、行人、車輛)。
・手勢識別：在攝影鏡頭或其他感測器捕獲的圖像或影片中解釋人類手勢(如手部動作、面部表情、身體姿勢)，以改善人機互動。
AI/ML在MCU上的挑戰以及TinyML的興起
深度學習模型，特別是深度神經網路(DNN)，已經成為電腦視覺和自然語言處理等複雜任務中不可或缺的一部分。但是它們對於運算的需求極為巨大，日常設備無法負擔，尤其是那些由低功耗MCU供電的設備。但是深度學習模型複雜性的成長是必然的，隨著深度神經網路變得越來越複雜，其規模將會不斷擴大，這使得它們與MCU上有限的運算資源無法相容。
TinyML指的是為了在資源受限的設備上部署，而特地為此優化的機器學習模型和技術。這些設備在邊緣運行、訓練與生成資料，並在本地執行推論。TinyML系統通常運行在低功耗MCU上，對本地節點收集到的資料執行推論判斷。推論是人工智慧模型的關鍵時刻，是測試它對於訓練所學得知識的應用能力。本地推論使MCU能夠直接執行AI模型，在不依賴外部伺服器或雲端服務的情況下做出即時決策。
在AI/ML環境中，本地推論至關重要，原因如下：
・資源限制：許多嵌入式設備，特別是使用電池供電的設備，例如記憶體、處理能力和能源效率等資源較為受限。傳統的通用微控制器由於其受限的處理能力和記憶體、有限的能源資源或缺乏處理器加速能力，而難以有效地執行人工智慧任務。本地推論允許這些資源受限的設備可在不消耗過多功率的情況下執行AI工作，以提高效率和性能。
・用戶體驗增強：如支援人工智慧的電子Cat Flap透過訓練後，能夠區分貓和其他物體，可以只為被授權的貓開門。本地推論經由確保安全性和便利性改善使用者體驗，而不需要使用RFID項圈之類的額外硬體。
・效率和性能：GPU通常用於大規模人工智慧部署，因為它們可以同時執行許多流程，這對於有效的人工智慧訓練至關重要。然而，對於小型嵌入式應用來說，GPU的成本很高，且超出了功率預算。AI優化的MCU具有專門的架構，透過為AI工作負載以提供更好的性能和功率效率來實現平衡。廠商如Silicon Labs提供的新型無線SoC和MCU中已包括一個矩陣向量處理器，作為其AI/ML支援的一部分。這種專門的硬體加速器旨在增強AI/ML演算法或向量數學運算的性能，以縮短推論時間，並以更低的功耗執行相關工作。
綜合以上可得知，邊緣的本地推論可以實現即時決策、減少延遲、增強安全性，使電池供電的設備具有人工智慧功能，並增強用戶體驗，使其成為現代運算系統的關鍵組成部分，同時滿足資源限制下的運算需求。
AI/ML邊緣解決方案
Silicon Lab將AI/ML帶到邊緣，可賦予資源受限的設備如MCU具備更豐富的智慧功能。
針對TinyML的設備進行優化
EFR32xG24、EFR32xG28和EFR32xG26等無線MCU系列產品均結合了78MHz的ARM-M33處理器、無線電、類比性能，以及一個AI/ML硬體加速器，為開發人員提供一個靈活的平台，用於部署邊緣智慧。同時，這些產品還支援廣泛的物聯網無線通訊協定，提供最高的安全性與最佳的RF性能/能效比的組合。
現今的開發人員必須為了邊緣部署AI/ML付出許多精力，EFR32xG24、EFR32xG28和EFR32xG26等系列產品都有專用的AI/ML加速器，可以大幅降低整體設計複雜性，讓開發人員可以快速實現產品原型。獨特的硬體設計在處理複雜的計算時，可提高八倍的推論速度，能源效率則改進六倍。與基於韌體和雲端運算的解決方案相比，可提供更高的性能和效益。硬體加速器則有助於為主要MCU調整時脈頻率，以加快應用程式的運作。
簡化AI/ML開發的工具
建構、測試和部署機器學習所需的演算法工具，以及運行這些演算法的MCU一樣重要。透過與TensorFlow、SensiML和Edge Impulse等TinyML領域的廠商合作，Silicon Labs為初學者和專家提供了多種開發工具的選擇。使用這個AI/ML工具鏈和Simplicity Studio開發環境，開發人員可以自行創建應用程式，並從各種連接的設備中提取資訊，以做出更好的機器學習驅動決策。
Silicon Labs亦提供多種工具和資源來支援ML應用程式，例如：
・ML應用：開發平台支援TinyML模型推論，由TensorFlow Litefor Microcontrollers(TFLM)框架支援。軟體儲存庫包含一組使用ML的嵌入式應用程式。
・機器學習工具套件(MLTK)：這是一個帶有命令列實用程式和腳本的Python包，可為Silicon Labs的嵌入式平台開發機器學習模型。它包括從命令列介面或Python腳本執行機器學習操作的功能，可確認機器學習模型在嵌入式平台上的執行效率，並使用Google TensorFlow訓練機器學習模型。
Silicon Labs還提供了一個TinyML解決方案，作為機器學習工具的一部分。該工具包括TinyML基準測試使用的幾個模型。這些模型可以在GitHub的Silicon Labs頁面上找到，包括異常檢測、圖像分類和關鍵字識別等。
配備有AI/ML的邊緣設備為人類與周圍環境的互動開闢了新的視野，它們以驚人的方式和速度改變了我們的生活。Silicon Labs位於TinyML創新的前線， 將會使這些功能以前所未有的方式，進入低功耗的邊緣設備之中。
(本文作者為芯科科技Silicon Labs產品行銷資深經理)