網路邊緣裝置和新興應用可將大量原始資料轉化為即時決策參考。本文介紹整合現成的人工智慧(AI)/機器學習(ML)工具、IP核心、硬體平台、參考設計以及客製化設計服務，如何協助將網路邊緣裝置和應用快速推向市場。
由於網路邊緣裝置數量激增，產生不斷成長的串流資料，這些裝置包括自駕車、物聯網裝置、消費性電子產品，甚至是筆記型電腦和個人電腦。根據多項估算，截至2025年，運行中的物聯網裝置將達到數百億個。這些裝置以連續串流資料的形式向雲端發送資料，傳輸速率也千差萬別。整體而言，這些裝置將產生大量原始資料，且資料量將隨著時間的推移不斷增加。
安全攝影機、自駕車和PC中的攝影機會生成高速率、高解析度的影片串流。物聯網裝置則生成中等速率的資料，匯集到大型串流資料中。測量溫度、壓力、位置、光照水平等多種其他類型的物聯網感測器，會產生低速率串流資料，但此類感測器的數量很快地將會達到數十億。因此，即使是這些低速率串流資料也可以在進入雲端之前，匯集成更大且更高速率的串流資料。
5G無線網路和其他高速網路技術的興起，包括微型基地台(Picocell)、長距離物聯網網路，如LoRaWAN，以及全球聯網衛星網路，如SpaceX不斷擴展的星鏈寬頻網路和Swarm Technologies基於衛星的物聯網網路，提供更廣泛且更快速的雲端存取，這些通訊和網路技術加速網路邊緣運算裝置和新興應用的發展。
網路邊緣裝置和應用包括自駕車、機器人、自動化生產、遠端監控、供應鏈和物流系統，以及保障公共和私人安全的視訊監控。市場對這些網路邊緣系統的需求快速成長，因為它們可以提高效率、降低營運成本並改善使用者體驗。但無論建設多少無線/有線通訊基礎設施，巨量的資料排山倒海而來，都可能壓垮或堵塞這些通往雲端的資料管道。
網路邊緣運算潛力龐大
這些趨勢表明現今需要盡量在網路邊緣資料產生的地方進行更多的處理，以減少傳輸到雲端的資料量。物聯網和其他聯網裝置的爆發式成長是推動新的網路邊緣裝置開發的主要動力，這也進一步刺激新應用的開發，進而將原始資料轉換為有用且可操作的資訊，支援快速決策及反應。
在網路邊緣運算發展的早期階段，企業主要關注在將資料遠距離傳輸到資料中心的成本問題。網路邊緣應用最初的一大特色是需要存取儲存在雲端和連接到雲端的其他電腦中的資料。這些早期應用通常不是即時應用，數百毫秒甚至數秒的回應時間都是可以接受的。然而，隨著物聯網裝置的發展以及對網路邊緣即時處理、分析和回應的需求不斷成長，推動網路邊緣技術的發展，以及更大的設計挑戰。
圖1 網路邊緣運算的趨勢
網路邊緣處理使運算和資料儲存越來越接近收集資料的裝置端，而不是遠在數千里外的資料中心進行分析與決策。網路邊緣的即時應用不容許高延遲，因此處理、分析和決策必須轉移到裝置本身，這些裝置包括自駕車、物聯網感測器、安全攝影機、智慧型手機、筆記型電腦和個人電腦等，因此網路邊緣運算的潛力龐大。
雲端無法包攬巨量資料
智慧型手機和物聯網裝置的指數級成長推動網路邊緣運算的發展，這些裝置無所不在，必須連接到網路才能向雲端發送/接收資訊，如攝影機等物聯網裝置，在執行過程中會生成大量資料。
其他物聯網裝置，如溫度感測器，則會生成少量資料，但由於這樣的感測器數量可達數十億，為雲端帶來極大的負擔。因此，基於網路邊緣的處理勢在必行，不僅可以節省雲端的網路通訊成本和儲存成本，也能避免雲端資料通路與處理的負荷過重。
網路邊緣產品和應用的開發人員越來越頻繁地採用人工智慧/機器學習(AI/ML)演算法來匹配和識別複雜的模式，以幫助分析資料並依此做出決策。事實上，AI/ML技術的使用大幅成長，其演算法被視為高效處理原始資料的必備手段，因為它們可以識別出傳統的運算程式難以解析和複雜、多維度的資料模式。一些特定的AI/ML應用包括偵測、識別、人員或物件的辨認及計數；資產/存貨追蹤、環境感測、聲音和語音偵測和識別、系統健康監測和維護調度等。
許多可以利用AI/ML功能的網路邊緣應用，需要在極其嚴苛的功耗限制下執行。這些廣泛分布的裝置通常是以電池供電。此類應用在各種網路邊緣環境中比比皆是，包括工廠、農場、辦公大樓、零售店面、醫院、倉庫、街道和住宅。隨著數量增加，這些裝置需要在僅充一次電或者僅依靠收集和儲存能量的情況下執行較長時間，甚至可能是數個月或數年。
因此，許多裝置需要在大部分時間裡處於睡眠或休眠狀態，在裝置處於非活動狀態時，大部分電路應處於低功耗待機模式，並會在需要時啟動裝置。在此類應用中，以超低功耗執行的基礎電路系統必須保持待命，等待事件啟動，再根據需求為裝置的其餘部分供電。
低功耗FPGA實現AI/ML
對AI/ML演算法實現的需求似乎與低功耗網路邊緣裝置設計的要求相互衝突。然而，這兩種複雜的設計要求其實並不矛盾。有公司如萊迪思最新的FPGA，以低功耗、小尺寸、高效能的CertusPro-NX系列元件，滿足低功耗網路邊緣裝置的眾多設計要求客製化。這些FPGA可以支援多個感測器、顯示器、高解析度影片、網路連結和網路邊緣AI/ML處理，同時，提供現成的AI/ML工具、IP核心、硬體平台、參考設計和演示以及客製化設計服務，有助於設計團隊開發新的網路邊緣裝置，並將其快速推向市場。
圖2 sensAI Studio設計環境加速端對端的AI/ML模型訓練、驗證和編譯。
該解決方案整合可加速端對端的AI/ML模型訓練、驗證和編譯，並新增sensAI Studio設計環境，這是一種基於圖形使用者介面(GUI)的工具，以幫助開發人員快速建構機器學習應用。
該解決方案包括更新的神經網路編譯器，還相容其他廣泛使用的機器學習平台，包括最新版本的Caffe、Keras、TensorFlow和TensorFlow Lite。其IP核心包括三種類型的卷積神經網路(CNN)加速器：CNN、CNN Plus和CNN Compact，以及一個CNN協同處理器引擎。CNN IP核心讓開發人員能使用其他人發布的各類CNN，如Mobilenet v1/v2、Resent、SSD和VGG，或者根據需要客製化CNN模型。
該產品CNN加速器利用萊迪思FPGA的並行處理能力、分散式記憶體和DSP資源，簡化低功耗AI設計。加速器核心利用FPGA的可程式化邏輯，實現低功耗神經網路，包括極其高效的二值化神經網路(BNN)，能以毫瓦級低功耗實現CNN。
使用AI常見與潛在網路邊緣應用
使用AI/ML演算法提高眾多網路邊緣裝置，例如自主機器人、環境控制和影像安全攝影機等裝置的效能具有明顯優勢，而其他類型的網路邊緣裝置也可以從中受益，例如PC和筆記型電腦。有廠商利用多重模式、智慧感測器融合和AI/ML技術，不斷提升PC/筆記型電腦使用者的體驗，並降低筆記型電腦的執行功耗，在某些應用中，電池壽命最高提升28%。
圖3 sensAI解決方案整合可開發基於萊迪思FPGA的AI/ML裝置。
裝置特效發揮潛在價值
PC和筆記型電腦在24小時內的使用情況差異很大，一般是在白天工作時間集中使用。然而，即使是在工作時間也會有進入休息狀態的時候，例如人們偶爾會休息、中午也會用餐，通常在這些時候會讓電腦保持執行狀態，確保不會關閉已開啟的應用。
將AI/ML分析和決策與電腦現有的感測器，如攝影機和麥克風互相結合，實現智慧感測器融合，能讓PC或筆記型電腦感知周圍環境，進而決定何時關閉顯示器和CPU，以及何時應該為它們重新供電。
存在偵測最簡單的用途是在周圍無人時關閉電腦。當使用者長時間離開螢幕時，注意力追蹤功能可以調暗電腦螢幕並啟動低功耗模式。扮演智慧感測器中心的低功耗、小尺寸FPGA可以接收來自電腦感測器的輸入，再根據情況決定為哪些元件供電。
解決隱私和安全問題
同樣，這些功能也可以增強電腦的隱私和安全性。電腦的內建會議攝影機可用於監控使用者的背景，偵測是否有人從使用者的肩膀後面窺視。如果電腦被設定為保護隱私，當授權使用者背後有人疑似在偷窺電腦螢幕時，它會彈出警告提醒使用者，甚至自動調暗螢幕。需要注意的是，使用這些解決方案時，所有推論資料都保存在FPGA本地，僅將中繼資料傳遞給SoC，可進一步增強隱私並提高安全性。
優化使用者體驗
AI/ML功能也可以優化電腦使用者的整體體驗。例如基於AI/ML的臉部取景功能，可以利用內建視訊會議攝影機的較高解析度，裁剪和聚焦使用者的影像，為視訊會議提供較好的畫面。在會議期間，與會者移動的同時仍可持續成為影像焦點。同樣地，手勢識別可以為筆記型電腦、PC或任何其他支援影片的物聯網裝置增加非接觸式操作功能。
有效延長電池壽命
許多公司現在明確表示要保障員工的健康，基於AI/ML的感知功能，可以透過彈出式提醒和其他措施幫助避免重複受壓傷害，並利用電腦的影像感測器確保員工有實際採納休息建議。
AI/ML應用也可用於偵測使用者的姿勢，這可能是造成重複受壓傷害的另一個因素。這些利用感測器主動回饋的特色可以用來開發健康應用，這明顯優於企業目前使用的簡單定時提醒，能夠有效應對壓力相關的工作傷害。
這些透過AI/ML實現的所有功能都可以幫助供應商打造出對企業買家更具吸引力的PC和筆記型電腦，這些功能都可以透過sensAI 4.1解決方案集合和萊迪思低功耗FPGA的特色來實現。
這種FPGA的使用方式超越長期以來FPGA開發的標誌性功能：感測器連結和融合，並且基於成熟的AI/ML演算法，新增分析感測器訊號和制定決策功能。AI/ML的加入讓FPGA成為低功耗系統控制器，可管理系統功能、增強使用者體驗，透過降低整體系統執行功耗大幅延長電池壽命。
數十億個網路邊緣裝置龐大市場蓄勢待發
網路邊緣應用是一個極具潛力的目標市場，根據多方面的估算，全球廣泛的地區及領域，需要數百億個網路邊緣裝置，以滿足大量的市場需求， 有廠商如萊迪思的sensAI 4.1解決方案是一種網路邊緣應用的創新開發工具，整合低功耗、小尺寸FPGA優勢，瞄準網路邊緣應用和市場，協助系統開發人員開發各種靈活且特殊應用、基於FPGA的AI/ML推論解決方案。
(本文作者為萊迪思市場行銷總監)