截至現今，如果物聯網(Internet of Things, IoT)未能積極進一步智慧化，它的全部應用潛力將很難完整得到實現。人工智慧(Artificial Intelligence, AI)在物聯網中的運用包括家庭、車用、生活中如購物、工廠生產等方面，充分融合才能發揮其最大潛力。因此，人工智慧結合物聯網的AIoT正在興起，而AIoT不僅須要收集數據，還須要在網路邊緣進行運算處理並做出關鍵的決策。
截至現今，如果物聯網(Internet of Things, IoT)未能積極進一步智慧化，它的全部應用潛力將很難完整得到實現。人工智慧(Artificial Intelligence, AI)在物聯網中的運用包括家庭、車用、生活中如購物、工廠生產等方面，充分融合才能發揮其最大潛力。因此，人工智慧結合物聯網的AIoT正在興起，而AIoT不僅須要收集數據，還須要在網路邊緣進行運算處理並做出關鍵的決策。
透過將人工智慧應用於物聯網，我們可以開發將智能融入物理世界的系統，設備將不再須要使用雲端來獲得解釋數據的處理能力。許多數據必須在現場實時完成解釋，這對許多應用來說都是必不可少的，例如，自動駕駛的車輛不能等著依靠蜂巢式網路來告訴它燈是紅色還是綠色的。
專用處理器提升邊緣運算效率
邊緣設備需要什麼才能進行本地處理？關鍵是提前分析處理要求，使用專用處理器實現最高效率。由於大多數物聯網設備都是電池供電的，因此必須仔細評估總能量需求，並且只使用最小、最有效的處理器。
通常，通用的中央處理單元(CPU)不是邊緣數據收集及處理的理想選擇。CPU雖然有著運行操作系統並控制其它若干系統功能的重要性，但它們在許多數據密集型任務中的效率並不高；圖形處理單元(GPU)在圖形處理方面比CPU更有效率。專用數位訊號處理器(DSP)可以在降低功耗需求的同時，透過以客製的數據路徑處理音頻、語音、像素、通訊等，實現精確的數據寬度及處理要求。這就是為什麼專業處理器已經開發多年的原因。透過網路連接到通用CPU，會衍生延遲及網路可用性的問題。AIoT可通過現場處理來消除這兩個問題。
AIoT主要功能：訓練/推理
AIoT有兩個主要功能：訓練及推理。幾乎所有的訓練都是在數據中心的大型CPU內，以32位元浮點數據完成的。由於IoT設備通常不用於訓練，日益增長的訓練及智慧運算需求，需要大型Server Farm(通常是雲端數據中心)的支援。
AIoT處理器通常使用推理來評估雲端訓練的新數據。推理通常在網路邊緣通過行動電池供電設備，以被顯著壓縮的數據實現快速回應及最低功率預算。此類推理處理器，經修剪、稀疏及量化等技術而變得很高效。例如，將精準度降到8位元並使用大量8位元MAC進行視覺及人工智慧處理時，我們發現了出色的結果；有一些新的應用程式甚至可降至8位元到4位元甚至更低；減少所需的位元數可節省記憶體、記憶體頻寬及功耗。
大部分必須處理的數據都是像素的形式。創新的視覺應用正在AIoT上取得重大成就；這並不意味著所有傳統的相機操作功能。雷達、光學雷達及超聲波正在成為汽車自動駕駛(ADAS)中更重要的應用。設備上的類神經網路推理應用程序涵蓋自動駕駛汽車、ADAS、監視系統、機器人、無人機、擴增實境/虛擬實境、智慧手機、智慧家庭及其它物聯網應用，而這項創新技術正在超越視覺影像，納入音頻的應用。
隨著越來越多的設備成為Always-on的監聽設備，此類設備須即刻處理其收到的訊息。專用處理器可執行Always-on的監聽，並啟動系統執行更多的推理，而不是在每次聽到文字時都進入雲端。人工智慧可用於檢測邊緣的音頻事件，然後執行某些操作，甚至將訊息傳遞回雲端或其它系統。例如，槍聲探測器可在智能城市應用中，通過Always-on監聽，在識別聲音後與雲系統進行通訊；或者，在車輛中，緊急車輛上的警報器可在汽車監視器截取視覺之前聽到警報器。音頻處理器還可在具有不同聲學效果的各種大小房間中，用於增強其聆聽體驗。
AIoT複雜/高效軟體基礎架構
沒有任何處理器可以成為所有應用程序的最佳選擇。這也是為何市面上可以看到多種AIoT處理器的原因，例如Cadence即推出一系列Tensilica處理器，其中某些是針對音頻、語音、視覺、通訊及超低功耗DSP進行優化的處理器。
此外，單一處理器可能還不夠用，這就是為什麼此類創新的推理處理器，為了可以在不返回雲的情況下提供實時分析大量數據所需的評估，而必須具備可伸展性的重要因素。
在AIoT中使用的深度類神經網路，需要目前正在開發中的複雜、高效的軟體基礎架構。類似Caffe、TensorFlow及TensorFlow Lite等框架很受歡迎。
類神經網路編譯器在擷取此類框架的輸出後，將其映射到DSP及深度神經網路加速器(DNA)處理器上，執行若干優化並生成設備的特定代碼。例如，Tensilica DNA AI處理器IP，即利用類神經網路中的稀疏性(Sparsity)並同時對類神經網路進行優化以增加其稀疏性，提升性能與功率效率。
AIoT的創新具有很大利益。工研院產業經濟與趨勢研究中心(IEK)預計，AIoT將為台灣的半導體、通訊、電子元件、智慧車輛、智慧機械、綠色能源、農業技術、生物技術及醫療保健帶來巨大商機。憑藉這種巨大的潛力，Cadence期待能夠在此一重大變革中為產業貢獻，持續將創新的產品推向市場。
(本文作者為Cadence Tensilica物聯網產品總監)