加入人工智慧(AI)功能的智慧裝置正在改變我們的日常生活。若將AI模型運行於裝置端，能夠獨立於雲端進行資料收集和運算處理，提供更高的隱私安全並降低回應延遲，進而打造更佳使用體驗，是極具潛力的物聯網裝置發展方向。
在一個由互連技術主導的時代，互連裝置正徹底改變我們和智慧裝置互動的方式。將人工智慧(AI)和運算整合到本地物聯網(IoT)上，這種整合通常稱為本地裝置AI(Local Device AI)或終端AI(Endpoint AI)運算，是一種越來越流行的架構，能夠獨立於雲端有效地收集和處理資料。預計未來十年，物聯網和智慧裝置的採用量將從151億增加到346億[1]，終端AI有望增強這些裝置的聰明程度。
由開發人員將AI演算法和模型直接部署在本地裝置(例如感測器或物聯網裝置)之上，在本地收集和處理資料，此類裝置端智慧和機器學習(ML)功能的融合為解鎖新使用行為和應用提供了新的基礎。本文將探討終端AI的複雜性，包括其優勢、挑戰以及在各種地方實現智慧裝置的光明前景。
在本地裝置上運算的好處
這種與傳統雲端運算不同的方式使得智慧更接近資料源，進而提供了許多優勢。
增強隱私和資料安全性
在本地裝置上實作AI，可讓使用者對自身資料具有更高的控制程度。在本地端處理敏感資訊可以減輕隱私疑慮，並降低資料暴露給外部網路的可能性。透過將AI遷移到本地裝置，負責維護客戶個人身分資訊(PII)安全的組織可以得到更好的保護。
在裝置上處理資料，可避免資料暴露給雲端服務供應商或其他第三方的伺服器，可以在資料保護方面更有效地符合當地和國際法規規範。在本地裝置實作AI降低了資料外洩(Data Breach)和未經授權存取(Unauthorized Access)的相關風險，為需要更高安全性的應用提供可靠穩定的解決方案。
高效的處理速度
在雲端運行AI在運算及回應速度上具有相應缺點。以OpenAI用於構建ChatGPT的GPT-3語言模型為例，此類模型需要龐大的運算能力來進行處理，因此OpenAI必須啟動流量管理策略(如排隊系統和減慢查詢速度)以應對ChatGPT推出後激增的需求激增[2]。此事件凸顯了運算能力如何成為瓶頸，限制了人工智慧模型的進步。
在本地裝置運行AI，去中心化的資料處理代表裝置可以即時生成洞察，與將資料發送到雲端進行處理並取得回應相比，延遲顯著降低。應用將可受益於更快的回應時間，支援即時決策，尤其是在自動駕駛汽車或智慧家庭裝置等關鍵場景中。
使用者體驗更佳
減少延遲和提高處理速度提供無縫且回應迅速的使用者體驗，可實現即時回饋，提高使用者滿意度和投入程度。終端AI可以在本地處理和分析使用者資料，以創建個人化體驗，而無須依賴集中式伺服器[3]。
前述特性使得終端AI能夠提供更具回應性和客製化的服務，例如針對購物清單、健身應用程式和餐飲推薦等案例的個人化推薦和內容傳遞(Content Delivery)。這種類型的個人化人工智慧可以更有效地吸引使用者，透過他們感興趣的內容和體驗，提高使用者的參與度。
減少對雲端的依賴
雖然雲端在收集和處理資料方面具有性能強大，卻同時容易受到駭客攻擊或服務中斷等威脅，並且在網際網路存取受限的地區可能無法使用[4]。使用終端AI裝置來減少對雲端的依賴不僅可以提高其性能，還可以避免裝置受到外部威脅，也提高了裝置在網際網路連接受限情況下的適應能力，對於偏遠地區或網路存取不穩定環境中的應用而言尤其重要。
技術演進克服AI運行挑戰
部分障礙的存在，可能會限制終端AI的發展潛力。這些障礙包括硬體限制、記憶體要求和電源限制。AI模型，尤其是深度學習模型，通常需要大量的記憶體資源。本地裝置的處理資源通常受到限制，為資源密集型AI演算法帶來挑戰。人工智慧運算也十分耗電，將影響本地裝置的電池壽命。
行動裝置在運算資源、記憶體、儲存和功耗方面受到更多限制。因此，運行於裝置端的AI模型需要比運行於伺服器的模型小得多，可能會降低其性能表現[5]。在功能和資源消耗之間取得平衡，是設計AI裝置的關鍵挑戰。
儘管存在上述挑戰，硬體設計和優化技術的不斷進步也正在穩步克服這些障礙。邊緣運算和高能效處理器等技術為更高效的本地裝置AI實施鋪平了道路。例如，Ambiq即憑藉其超低功耗半導體解決方案，成功幫助智慧裝置在終端執行AI等複雜的推理任務。該公司的亞閾值功耗優化技術(SPOT)平台協助解決了智慧裝置製造商在開發複雜且耗電的功能時所遇到的功耗限制，讓裝置擁有一次充電即可使用數天、數周或數月的電池續航時間。
在本地物聯網裝置運行人工智慧和運算處理將帶來諸多優勢，提供更好的隱私、安全性、速度和使用者體驗。隨著技術進步克服相關挑戰，在本地裝置部署人工智慧的前景值得期待，開啟將智慧裝置無縫整合至日常生活的全新時代。
(本文作者任職於Ambiq)
資料來源
[1] https://www.techopedia.com/definition/edge-ai (October 7, 2023)
[2] https://techmonitor.ai/technology/ai-and-automation/chatgpt-ai-compute-power (March 17, 2023)
[3] https://www.qualcomm.com/news/onq/2023/10/getting-personal-with-on-device-ai (October 11, 2023)
[4] https://www.scirp.org/journal/paperinformation?paperid=121972 (December 2022)
[5] https://developers.google.com/learn/topics/on-device-ml/learn-more (2024)