作為一項跨市場、跨領域的技術，嵌入式視覺具備即時圖像辨識和分析、可程式化設計平台再利用、具有可擴展性的感測器融合、最高每瓦效能、單晶片安全保障等五大優勢，在先進駕駛輔助系統(ADAS)、機器視覺、監控、無人機、醫療、專業影音影片、顯示器等領域得到廣泛使用，特別是在引入人工智慧(AI)和機器學習功能之後，使用者在技術更新換代方面的需求變得比以往更加迫切。
嵌入式視覺的「三個里程碑」
顧問公司BDTI的聯合創始人菲爾・拉普斯利(Phil Lapsley)曾撰文表示，當一項技術實現三大里程碑時，就代表該技術已經為從星星之火變為燎原之勢做好準備：首先，它具備完成重要任務的技術可行性；其次，它的成本足夠低廉來實現這些任務；第三也是最重要的是，非專業人員用它來建構產品也非常容易。
對嵌入式視覺來說，過往做法是依靠外部晶片和預寫硬體互聯，導致機器視覺發展緩慢。但現在，摩爾定律、市場經濟學、特定領域的架構創新，以及深度神經網路的出現，讓前兩個里程碑得以實現。
例如借助可程式化設計技術，原本從攝影機獲取資料訊息到系統做出最終決策的複雜過程變得愈發簡單，具有可程式化設計邏輯的系統單晶片(SoC)可創建功耗更低、效率更高的資料路徑，使機器能夠做出更高階的決策。同時，也大大簡化並降低整個系統的開發難度與成本。
更重要的是，幾乎每個月都有新的處理器出現，其價格、功率和效能都不同，而且通常採用專門的體系架構來提升電腦視覺和神經網路推論任務的效能。
第三個里程碑「易用性」比較麻煩，實現它是個難題。不過，在過去幾年中這種狀況發生改變，主要有兩大原因：首先，高品質、支援良好的視覺工具和視覺庫廣泛可用，讓開發人員不再需要從頭開始建構嵌入式視覺系統。而且大多數開發人員已不再設計神經網路，相反地，他們更願意選擇一個免費現成的神經網路，針對特定任務對其進行訓練。其次，專門用於簡化創建嵌入式視覺和邊緣AI系統設計過程的工具也越來越多。
嵌入式視覺開發的瓶頸被一個個的攻破，根據調研機構Allied Market Research的資料顯示，2019年全球機器視覺系統市場規模為297億美元，到2027年預計將達到749億美元，年均複合成長率(CAGR)高達11.3%。
三代mVision發展歷程
作為低功耗嵌入式視覺領域具有風向指標性的萊迪思(Lattice) mVision系統解決方案集合，從2020年推出的1.0版本開始，就以其高度靈活、小型模組化的特點，成為許多嵌入式視覺應用的首選。
整體來說，mVision使用模組化硬體平台、IP建構模組、易於使用的現場可編程閘陣列(FPGA)設計工具、參考設計和示範以及客製化設計服務網路，提供客製化的效能和靈活的介面互連(MIPI CSI-2、LVDS、PCIe、GigE)，並專為智慧工廠、機器視覺、智慧城市和智慧家居應用中的低功耗(150mW~1W)、小尺寸封裝(2.5mm×2.5mm/10mm×10mm)設計進行優化，能應對感測器互連、橋接、聚合以及圖像訊號處理等各類設計挑戰。
mVision 1.0
2020年3月推出的mVision 1.0解決方案，主要是為需要快速建構原型系統的消費類嵌入式視覺設計人員而準備。其影片介面平台(VIP)支援嵌入式視覺應用中常用的各種影片和I/O介面(包括MIPI、LVDS、DisplayPort、HDMI、USB等)，支援包括CrossLink、ECP5和基於Nexus技術平台的CrossLink-NX FPGA。VIP透過簡單的插拔即可輕鬆地實現輸入和輸出板互連，兩個60接腳的高速板對板連接器用以減少物理連線，確保設計工程師可以重複使用現有經過驗證的軟硬體建構模組。
為了強化「易用性」特點，mVision中也包含各類即時可用的IP核心，可用於連接MIPI和LVDS圖像感測器、ISP、通用連接標準(例如USB、Gb乙太網路)以及高解析度多媒體介面HDMI、DisplayPort、GigE Vision等顯示標準。同時，Lattice Diamond和Lattice Radiant這兩款方便使用的FPGA設計工具則可以自動處理許多常見的設計任務，進而加速和簡化FPGA的程式化設計。
為進一步加速系統開發，mVision也為常見的嵌入式視覺應用提供完整的參考設計(包括感測器橋接、感測器聚合和影像處理)和客製化設計服務，使用者無論是開發單獨的功能設計模組，還是需要轉鑰式(Turnkey)解決方案，都能快速實現。
mVision 2.0
在一年後的2021年3月，在mVision 1.0的基礎上，全新的mVision 2.0問世了。該方案最顯著的變化之一，是增加對工業和汽車系統中使用的主流新型圖像感測器的支援，以及全新圖像訊號處理(ISP) IP核心和參考設計，幫助開發人員設計網路邊緣智慧視覺應用。此外，2.0版本也支援Lattice Propel設計環境，可簡化使用嵌入式RISC-V處理器的視覺系統開發(圖1)。
圖1 mVision 2.0功能示意圖
與消費級嵌入式視覺方案不同，應用於工業、汽車和醫療領域的嵌入式視覺方案既要求低功耗、小尺寸，還對幀率準確度要求極為嚴苛，不允許丟幀現象發生。因此，mVision 2.0增加全新的開發板，除了原有的CrossLink、CrossLink-NX、ECP5外，也包括支援工業和醫療應用的主流圖像感測器索尼(Sony) IMX464/IMX568和安森美半導體(ON Semiconductor)的AR0234CS，開發人員可透過I2C、SPI或其他介面配置和操作攝影機感測器。
以往的感測器產品都自帶ISP驅動，但隨著感測器複雜度的增加、解析度的提升，感測器廠商很難調動一款受眾面很廣的驅動，因此往往不再提供ISP驅動，多數只提供感測或原始資料，這些工作逐漸被轉移給方案開發者。此次增加專門的ISP，用戶拓展mVision解決方案的選擇，可以幫助使用者在產品設計中快速部署嵌入式視覺等應用提供便利(圖2)。
圖2 增加專門的ISP，便於快速部署嵌入式視覺等應用
以全新的mVision ISP參考設計為例，它包括嵌入式視覺開發套件(EVDK)和感測器橋接板。其中，EVDK中又包含CrossLink圖像介面協定(VIP)輸入橋接板、ECP5 VIP處理器板和HDMI VIP輸出橋接板。
完整的ISP參考設計可以擷取圖像感測器資料、轉換介面、實現ISP管線、最後在HDMI顯示器上顯示影片。具體而言，ECP5元件從CrossLink元件上接收並行的感測器輸入RAW原始圖像，經過ISP管線的轉換和處理後，將轉換後的影片透過HDMI發送到顯示器，顯示即時圖像。
支援Propel設計環境與RISC-V架構也是mVision 2.0的核心特色。Propel是一款為低功耗、小尺寸FPGA加速使用在基於嵌入式處理器開發的設計環境。該工具包括一套完整的圖形和命令列工具，可創建、分析、編譯和除錯基於FPGA的處理器系統的硬體和軟體設計。
而新增對RISC-V架構的支援，其主要目的，一是希望透過使用C語言而非RTL語言的方式簡化整個方案的配置；二是RISC-V作為開源方案，得到大多數使用者的支持。未來，也計畫在其他元件上逐步提供RISC-V軟核心支援。
mVision 3.0
對於剛剛推出的mVision 3.0來說，其最主要的更新是在介面橋接支援方面提供更多的選擇，包括：SLVS-EC轉MIPI橋接；MIPI CSI-2轉LVDS，新增支援RAW14；SubLVDS轉MIPI CSI-2，新增支援RAW14；MIPI轉PCIe橋接，從而在更廣泛的嵌入式視覺應用中帶來更高的準確性和靈活性。
以MIPI CSI-2轉LVDS為例，熟悉介面領域的人士都比較清楚，目前消費市場上的大多數圖像感測器和應用處理器(AP)主要使用MIPI CSI-2作為視訊訊號介面，OpenLDI LVDS作為顯示介面的主要前身，在某些領域也仍然很受歡迎。當某些情況下設備間出現無法直連的情況時，介面或格式轉換就有其用武之地。
圖3展示MIPI CSI-2轉LVDS的流程。當進行MIPI DSI/CSI-2和OpenLDI LVDS介面橋接時，CertusPro-NX平台會將接收到的DSI或CSI-2 MIPI資料，在LVDS上轉換為OpenLDI格式。MIPI RX模組也可以透過使用通用DDR模組(D-PHY軟IP)的軟巨集(Soft Macro)實現，而LVDS TX模組則透過使用通用DDR模組的軟巨集實現。
圖3 MIPI CSI-2轉LVDS的流程
而在SubLVDS轉MIPI CSI-2示意圖(圖4)中，基於SubLVDS到MIPI CSI-2圖像感測器介面橋接參考設計，成功解決採用SubLVDS輸出的圖像感測器和採用CSI-2介面的ISP/AP之間的不匹配問題。
圖4 在SubLVDS轉MIPI CSI-2示意圖
此外，基於CertusPro-NX FPGA(可用於最新的嵌入式視覺應用)，兩款全新開發平台CertusPro-NX Versa開發板和Trenz TEL003 PCIe開發板也即將推出，預計於2022年上半年問世。
CertusPro-NX是2021年6月推出的第四款基於Nexus技術平台的產品，在功耗設計、系統頻寬、邊緣處理、可靠性、封裝多樣性等多個方面具有進一步提升。與競品相比，CertusPro-NX最大的特點在於不僅功耗效率得到大幅提高，也在最小的封裝尺寸中提供最高頻寬，且是同類產品中唯一支援LPDDR4外部記憶體的FPGA產品，能夠很好地滿足智慧系統中的資料協同處理、5G通訊基礎設施中的高頻寬訊號橋接，以及ADAS系統中的感測器介面橋接等創新應用需要。
FPGA脫穎而出 客製化最佳硬體架構
坦白來說，嵌入式機器視覺硬體解決方案不止FPGA一種。然而，隨著先進工藝節點設計定案(Tape-Out)成本越來越高，系統廠商對於選用何種硬體方案往往非常謹慎，加上嵌入式機器學習演算法本身就處於高速發展階段，這將使得以靈活性為核心優勢的FPGA元件脫穎而出。這代表硬體或系統廠商可以根據自身演算法和應用的需求，利用FPGA低成本、低風險地客製化設計最佳硬體架構，進而實現非常高的效能和非常好的效能比。
(本文作者為萊迪思市場行銷總監)