人工智慧(AI)浪潮持續推進，智慧應用種類也隨著大型語言模型(LLM)、語音轉文字識別(Speech-to-Text)等AI模型的技術演進，日漸豐富。在終端裝置(Endpoint Device)中，微控制器(MCU)扮演為裝置智慧賦能的重要角色。專攻亞閾值功率優化技術(SPOT)的新創公司Ambiq持續加強MCU支援新興AI應用的能力，最新產品將延遲表現提升十倍，同時能源消耗減少約兩倍。
Ambiq人工智慧部門副總Carlos Morales(圖1)表示，基於彈性和成本等因素，目前終端裝置的AI應用主要依舊將運行於MCU。Morales說明，儘管某些AI功能(如HD影像分析)需要採用NPU才能實現，但NPU專為特定神經網路(NN)類型進行優化的特性，將難以跟上快速變化的AI發展。
圖1 Ambiq人工智慧部門副總Carlos Morales表示，基於彈性和成本等因素，目前終端裝置的AI應用主要依舊將運行於MCU。
Morales以Arm的NPU產品Ethos-U55為例，其在進行設計時，並未預料到運行Speech-to-Text等基於Transformer的AI模型需求，因此無法提供支援。在AI應用飛速發展下，等到專門針對特定模型的NPU產品完成兩年的設計週期，市場上可能已經出現新的應用需求，因此，Morales認為，在支援影像分析和智慧音訊等應用的新世代NPU出現以前，MCU將在過渡階段負責支援新興NN應用需求。
為了滿足現有AI應用需求，MCU設計除了考量運算能力，晶片所具備的記憶體容量也是決定可運行AI模型的重要因素。Morales分享，根據Ambiq經驗，大多數終端AI模型可壓縮至100~200KB，若提供額外的運算及記憶體資源，能夠新增其他模型功能，或是改善現有模型的精準度。Morales以該公司第五代MCU的首款產品Apollo510為例，透過與前代產品相比提升十倍的性能，開發者可以選擇為語音增強應用新增辨識說話者的功能，或是對AI模型進行調整，讓語音降噪模型提供更高品質的音訊。
面對Speech-to-Text等需要10~50MB的應用，MCU可藉由外接儲存裝置的方式提供所需記憶體容量。不過，Morales表示，NPU具備同時處理多個乘積累加運算(Multiply-and-accumulate Operation)的平行運算特性，是即時影像分析和即時語音翻譯等應用的關鍵元件，在更注重特定AI性能的市場仍有其必要。為此，Ambiq也同步規畫將其SPOT技術帶進NPU。
AI應用如雨後春筍般冒出，在未來新一代NPU產品推出前，MCU將以相對更彈性的配置支援多元需求，而Ambiq的SPOT技術可藉由降低晶片上的開啟電壓，大幅降低晶片的能源消耗，在同等規格下達成更高性能，進一步拓展MCU性能範疇。未來，在MCU和NPU雙方協力下，預期整體終端AI市場將蓬勃發展，持續迸發出超出意料之外的創新應用。