AI眼鏡作為人機互動平台,正逐步進入大眾市場,但續航時間仍是主要挑戰。低功耗設計是AI眼鏡實用化的關鍵,MCU/DSP/NPU協同架構在多方面進行最佳化,提升續航和語音體驗。
隨著智慧穿戴裝置的快速發展,AI眼鏡作為下一代人機互動的重要平台,正逐步走向大眾市場。不過,受限於設備尺寸和電池容量,當前產品的常規使用電池續航平均在3~4小時。因此,如何進一步提升續航時間,成為AI眼鏡設計中的核心挑戰。
在現有的AI眼鏡架構中,MCU端主要負責對音訊的處理,其中語音監聽與喚醒檢測,以及通話場景下的語音降噪與回聲消除等功能備受關注。除去功能實現外,即時性與低功耗是消費級AI眼鏡設計中必須重點考量的兩個要素。
語音控制與喚醒檢測:系統感知機制
目前AI眼鏡最主要的對話模式是語音控制。整個語音互動過程可分為聽取和處理兩個階段,分別對應於低功耗休眠和高性能活動兩種狀態。基於此,系統形成一個流程:
感知(聽取)→喚醒(進入處理狀態)→判斷(識別喚醒詞)→休眠(返回監聽狀態)(圖1)
圖1 AI眼鏡語音感知流程
聽取階段Voice活動檢測
在低功耗狀態下,系統持續進行音訊採集,並透過語音活動檢測(Voice Activity Detector, VAD)對環境中的Voice活動進行即時監測。一旦檢測到Voice訊號,系統將從休眠狀態喚醒,進入口令識別和處理階段。
這一階段的功耗主要為靜態功耗,即系統處於待機狀態但仍保存基本的感知能力。為了降低功耗,系統需盡可能關閉非必要的供電模組,僅保留關鍵感知單元。
在i.MX RT700平台中,片上系統架構被精細劃分為多個功能區域。基於不同的應用場景,可靈活配置電源開關和時鐘域,以更小的功耗實現功能。這種多域架構設計使得系統在不同應用場景下能夠根據功能需求管理電源,只開啟需要使用的功能區域,進而大幅降低運行功耗(圖2)。
圖2 i.MX RT700系統框架圖
聽取階段可僅保留感知域中的直接記憶體存取(Direct Memory Access, DMA)和PDM麥克風介面(PDM Microphone Interface, MICFIL)以較低的頻率工作。MICFIL包含硬體語音活動偵測器(Hardware Voice Activity Detector, HWVAD)功能,從硬體層面檢測語音活動。
此外,i.MX RT700還配備多種低功耗模式,如表1所示。
表1 i.MX RT700多種低功耗模式配置
語音口令識別
在口令識別過程中,涉及到一些複雜的計算,諸如預處理、雜訊抑制、喚醒詞檢測、語音口令分類的處理。此階段的功耗最佳化設計為高效迅速地完成任務,縮短處理時間。
i.MX RT700配備了HiFi4/HiFi1 DSP,專注於音訊處理,可透過專用音訊指令集+硬體通路持續處理高速資料流程。除此之外,HiFi4 DSP也是一顆性能強勁的通用處理核心,可以運行複雜的任務。
對於深度學習演算法部分,晶片中整合的eIQ Neutron Neural Processing Unit(NPU)提供了強大的運算力支援(約41.6 G),能夠在極短時間內完成複雜模型的推理計算。在典型的機器學習應用場景中,與傳統的Cortex-M33處理器相比,eIQ Neutron NPU在運行模式有極高的推理性能,同時顯著減少了能耗。例如,以典型卷積神經網路,進行用二維卷積運算,NPU的能耗是Cortex-M33的1/106。而對於非深度學習的演算法部分,以及驅動NPU的工作,則由Cadence Tensilica HiFi 4 DSP完成。
這種DSP+NPU的硬體加速架構設計,使i.MX RT700在執行噪音消除、口令識別、喚醒詞檢測等複雜任務時,既具備快速回應能力,又能夠提高系統效能,為AI眼鏡等低功耗設備提供了適合的語音應用架構(圖3)。
圖3 eIQ Neutron NPU在實現高性能推理的同時顯著減低能耗
雙向語音通話
與口令識別類似,雙向語音通話同樣依賴於一系列音訊處理技術以提升通話品質。其中不僅包括雜訊抑制,還涉及回聲消除和自動增益控制等關鍵環節(圖4)。
圖4 雙向語音通話系統架構
相較於傳統的Cortex-M33與NPU的組合架構,DSP與NPU的協同處理在音訊場景中表現更為高效。HiFi4 DSP中包含了音訊處理框架管線(Audio Framework Pipeline),以元件的形式將不同的音訊模組連接在一起,有利於加速頻處理應用程式的開發。這種組合還可以最佳化Audio Pipeline架構,減少Cortex-M33和DSP切換工作量(圖5)。
圖5 DSP與NPU協同處理雙向語音通話的架構
動態負載適配
前面提到的降低功耗策略的精髓在於專業化分工,意即讓更合適的模組去作更擅長的事。與此同時,系統還可藉由動態負載適配機制進一步最佳化效能。
系統可根據任務負載和應用場景動態調整運行頻率與電壓,實現效能最佳化。當處理羽量級任務時,系統優先選擇低功耗的時鐘源,並將頻率降低至合理範圍,同時相應地降低工作電壓,以減少能耗。而在面對高計算需求的複雜任務時,系統則提升頻率和電壓,以確保性能滿足即時處理要求。
除此之外,i.MX RT700晶片內建了PVT感測器(Process Voltage Temperature, PVT),它可以提供一種針對不同晶片動態調壓的方案。晶片在運行過程中會受到製造工藝差異、電壓波動和溫度變化的影響。PVT感測器即時監測這些因素,並透過延遲線結構判斷當前供電電壓是否足以支撐邏輯運算。如果電壓過低,它會觸發警報,提示系統提升電壓;如果條件允許,系統則可以逐步降低電壓,直到找到當前環境下的「最低可用電壓」(圖6)。
圖6 基於PVT感測器的動態調壓方案
藉由這種方式,設備可以在不犧牲性能的前提下,動態調整供電策略,顯著延長電池使用時間。
低功耗設計是AI眼鏡走向實用化的關鍵。i.MX RT700作為恩智浦一款跨界型MCU產品,在架構分區、語音處理能力、效能調度等方面都進行了深度最佳化,為AI設備提供了更長續航、更快回應和更自然的語音體驗,有助於拓展智慧穿戴裝置的應用場景。
(本文作者為恩智浦邊緣處理事業部MCU系統工程師)