近年來，在AI軟體及智慧應用的蓬勃發展下，終端AI迎來顯著成長。隨著各類裝置積極納入AI走向智慧化，硬體元件也需要同步升級，而對於注重電池使用時間的終端裝置來說，「功耗」將是主宰終端AI未來性能的關鍵。
終端人工智慧(Endpoint AI)不是新名詞，近年來卻在AI軟體及智慧應用的蓬勃發展下，迎接顯著成長。根據產業研究機構Gartner預測，物聯網終端裝置的半導體市場將從2022~2027年，以12.2%的年複合成長率(CAGR)持續擴大；而AI的高度精確性使其在機器人等垂直場域終端裝置的採用率快速上升，穿戴式及其他智慧應用的普及也推動AI在消費電子終端裝置的發展，整體市場動能可期。
面對各類裝置積極納入AI走向智慧化的趨勢，硬體元件需要同步升級，以滿足多元應用需求。儘管AI通常與運算能力掛勾，對於體積受限且注重電池使用時間的終端裝置來說，「功耗」才是真正主宰終端AI性能的關鍵，如何突破功耗極限成為左右終端AI未來發展的重點因素。
即時/資安需求推動 AI加速進入終端裝置
Ambiq執行長Fumihide Esaka(圖1)表示，AI正在進入各式各樣的應用市場，現在幾乎可以在所有種類的裝置上找到AI的身影。AI能夠為裝置新增智慧功能，無論在垂直場域或消費市場，皆可為既有裝置帶來升級體驗。
圖1 Ambiq執行長Fumihide Esaka表示，AI正在進入各式各樣的應用市場，各種裝置上都能發現AI的身影
在日常生活中，AI正在透過功能及種類日漸豐富的穿戴式裝置創造全新價值。Esaka舉例，尋找走失的阿茲海默症患者時，智慧裝置可在GPS定位之外，藉由動作偵測、心跳數據等其他輔助資料，加速尋人速度。不過，這些應用在使生活更加便利的同時，所收集的大量資料也為使用者帶來資安疑慮。在裝置端進行資料處理的終端AI技術因此更加重要。
此外，對於要求即時性的應用來說，馬上做出判斷及回應至關重要。以醫療場域為例，加入AI功能的穿戴式裝置可用於追蹤住院患者的生命徵象，如心跳和血壓。此類應用簡化複雜的機器連接，提高便利性，卻也因為監測的是關鍵生命徵象，需要在偵測到問題時即時做出判斷，因此需要在裝置端完成AI運算。
功耗決定性能極限 SPOT解鎖終端AI潛力
在裝置端進行AI運算為裝置的功耗帶來挑戰，而功耗表現將決定裝置可實現的性能，以及裝置開發的自由程度。Ambiq身為以亞閾值功率優化技術(Subthreshold Power Optimized Technology, SPOT)發跡的新創公司，持續改良其技術並推出新世代解決方案，為終端裝置功耗降低提供新思路。
眾所周知，晶片由電晶體所組成，透過流經的電壓大小控制其開(1)和關(0)。舉例來說，若電晶體的開啟電壓為1.2V，高過1.2V的電壓將可開啟開關(表示為1)。由於1和0的些微差異將導致截然不同的結果，0和1之間的電壓通常具有顯著差距，如前述的1.2V。Ambiq所採用的SPOT技術則反其道而行，以低至0.3V的電壓代表1，因其低於電晶體的開啟電壓，因此被稱為亞閾值。SPOT技術已出現數十年，然而，極低的開啟電壓將導致電晶體出現不容易管理的特性，因此長期以來未獲得廣泛採用。Ambiq所推出的SPOT平台解決這些挑戰，將SPOT技術推向商業市場。
Esaka表示，由於能源消耗等於電壓的平方，藉由降低所需電壓，晶片能夠大幅降低能源消耗(圖2)。如此一來，終端裝置便可透過降低晶片功耗解鎖性能上限，發揮AI技術的真正潛能。因應終端AI市場快速擴張，Ambiq除了規畫以AI為重的SoC產品Apollo5，目前也正在新加坡開發IP授權的技術分享方案，預計以黑盒(Black Box)形式，讓半導體業者將Ampiq的技術納入其GDS檔案中進行投片(Tape-out)。運用SPOT技術降低裝置功耗，將進一步帶動終端AI市場高速成長。
圖2 SPOT技術降低能源消耗 (圖片來源：Ambiq)
生成式AI探索終端應用 未來功率需求只高不低
ChatGPT引爆的生成式AI熱潮，近期也開始逐漸延燒至終端裝置，藉由在地運算降低對雲端及通訊網路的依賴。例如，高通(Qualcomm)和Meta針對裝置端大型語言模型(LLM)應用進行合作，而輕量型LLM的研發也陸續出現新進展，TinyChat便是為了在裝置端部署LLM所開發的輕量系統。
生成式AI將進一步豐富終端裝置的功能，未來終端AI可完成的任務越來越多元，將同步提高對於硬體元件的性能要求。更高性能也代表所需功率提升，在終端裝置加速導入AI實現複雜功能的趨勢下，SPOT等有助降低功耗的技術將扮演重要角色，重新定義終端AI的性能極限。