人工智慧推論(AI Inferencing)正陸續進入不同場域的智慧裝置，而物聯網的興起也催生出更多AI應用可能。對於智慧裝置來說，功率消耗和運算性能是關鍵的權衡要素，本文將介紹三種主要的能源水準，說明各能源等級所能實現的AI推論應用。
人工智慧推論(AI Inferencing)在日常應用中看起來能夠輕鬆實現無縫運行，但後端的產品開發人員和工程師都知道AI應用有多麼耗電。市場上每一款產品皆在精心計算後，透過折衷方案來滿足能源要求。AI應用在過去一年快速成長[1]，導致整體能源消耗飆升，最近一項研究發現，到2027年，人工智慧產業可能會消耗與荷蘭大小的國家規模相當的能源[2]。
物聯網的興起進一步帶來能源需求，智慧裝置需要對應能源來實現創新應用和持久的電池電量。隨著創新AI應用陸續增加，對於開發人員來說，以高能源效率進行AI推論更加重要。本文將檢視進行AI運算所需要的不同能源水準、不同能源水準的主要應用，以及由低功耗技術推動的AI推論未來。
AI推論的能源水準
AI推論具有三個主要的能源水準，每個級別都代表功率和運算能力之間的權衡。以下將概述三個層級之間的差異，以及在實際場域的應用案例。
皮焦耳(pJ)
皮焦耳(Picojoules, pJ)用於超低功耗裝置中的AI推論，這些裝置執行簡單的AI任務並面臨嚴格的功率限制。它也是能源採集(Energy Harvesting)的最佳選擇，能源採集是從系統環境中捕獲能量並將其轉換為穿戴式裝置、無線感測器網路等可用的電能的過程[3]。然而，由於極低的能源水準，皮焦耳的運算能力有其限制。在皮焦耳能源水準上的物聯網主要應用包括環境監測、工業感測和農業。
環境監測涉及將人工智慧應用於嵌入灌溉系統、管道、水箱、氣象站、海洋應用和工業設備的感測器，這些感測器可以檢測溫度、濕度、水位、洩漏和其他物理特性。感測器蒐集到的資料被送回雲端後，將可追蹤、分析資源的使用和分配方式，並進一步採取行動。
工業應用涉及將人工智慧應用於工業機械中的溫度感測器、熱像儀、超音波感測器、光敏電阻(Photocell)、電感感測器、雷達、視覺相機和運動感測器。借助感測器資料，我們能夠在機器問題發生之前，對其進行預測和預防(圖1)。
圖1 透過AI應用，可在機器問題發生之前對其進行預測和預防
對於農業應用來說，皮焦耳的功率水準涉及將人工智慧應用於放置在土壤或供水系統中的環境感測器。此類感測器收集的資料可協助解決一系列問題，包括作物產量預測、篩選和管理，以及土壤相容性分類和水資源管理。智慧農業的各個方面都有助於滿足不斷成長的人口需求。
奈焦耳(nJ)
奈焦耳(Nanojoules, nJ)是延長電池壽命和減少對持續網際網路連接的需求的最佳選擇，通常用於行動裝置和電池供電裝置的低功耗AI應用，例如智慧型手機或其他攜帶型裝置。此類能源水準在低功耗和足夠的運算能力之間實現了平衡，因此適用於廣泛的應用。雖然能源消耗達到奈焦耳等級的裝置在性能方面可能比皮焦耳等級的裝置更加強大，但在處理高度複雜的人工智慧運算時，仍可能面臨挑戰。在奈焦耳能源水準上，物聯網的主要應用包括穿戴式裝置、智慧家庭和遠端數位健康裝置。
穿戴式裝置監控涉及將人工智慧應用於智慧手表、健身追蹤器等小裝置，以增強娛樂、體育和其他方面的體驗。智慧家庭管理則涉及將人工智慧應用於各種家用裝置，如照明、暖氣、揚聲器等，根據居住者的偏好，透過機器學習調整相應設置。
遠端患者監測也是奈焦耳等級的應用中，正在快速成長的市場，將人工智慧應用於小型健康穿戴式裝置(別針、手表等)，以追蹤患者的生理特徵並提供個人化支援、藥物提醒和洞察分析。隨著相關業者持續尋找能夠提高醫療保健效率的方案，此類用例預計將變得越來越普遍。
微焦耳(μJ)
微焦耳(Microjoules, μJ)適用於可接受適當功率消耗，但仍應盡量降低功耗的應用。此能源水準通常涉及更複雜的AI任務，因此除了延長電池壽命，它們對於減少整體環境影響同樣至關重要。微焦耳用於AI運算已於本地或嵌入式系統中完成的邊緣運算裝置，雖然依舊節能，但所需功率達到微焦耳等級的元件可能不適合具有嚴格功率限制的應用。
在微焦耳能源水準上，物聯網的主要應用包括攝影機監控和汽車增強功能。攝影機監控包括在監控系統、智慧家庭攝影機、運動探測器等中應用人工智慧技術，以追蹤和分析人員、車輛、屬性和事件；汽車增強功能則包括將人工智慧應用於車輛，例如攝影機、儀表板、溫度控制等，為消費者提供新的個人化車內體驗。
低功耗技術如何推動AI推論創新
將人工智慧廣泛應用於各式場域，並將其無縫融入日常生活之中，是我們最終的目標。在轉型過程中，功耗將是工程師需要額外關注的要素。為了實現上述願景，業界致力追求創新且不影響使用者體驗的低功耗技術，以最低功耗實現人工智慧應用。
低功耗技術如Ambiq的亞閾值功耗優化技術(SPOT)平台，將是支援人工智慧應用發展的關鍵。SPOT平台為智慧裝置提供了數倍的能源效率，自2010年以來，Ambiq已幫助超過2.3億台智慧終端裝置實現一次充電可持續使用數天、數周甚至數月的能效表現。隨著人工智慧與我們的生活日漸融合，如Ambiq SPOT平台的低功耗技術，將有助於解決獨特的電源挑戰並拓展開發人員的視野。
(本文作者任職於Ambiq)
參考資料
[1] The state of AI in 2023: Generative AI's breakout year | 2023
[2] Warning AI industry could use as much energy as the Netherlands | 2023
[3] Three Energy-Harvesting Solutions Show Off IoT Power Possibilities | 2024