FPGA將成為實現智慧安全監控應用的關鍵零組件。隨監視器畫面解析度愈來愈高，監控應用已逐漸從單純監視影像轉向可辨識人、事、物變化的智慧分析，而此一智慧監控應用亦須複雜的影像演算法輔助，促使具備高速運算能力的FPGA成為舉足輕重的必備元件。
不斷升高的安全問題迫使各國政府和機構在監控和安全設備上須投入鉅資，進而刺激影像及視訊處理領域的技術持續創新，且徹底改變視訊監控產業的生態。
未來視訊監控應用不光是只局限在保全應用，包括銀行、交通、教育、零售、醫療保健，遊戲和其他領域，皆將大量使用具備智慧分析與高解析度監視設備。
監視畫面邁向高解析度 智慧監控應用順勢興起
視訊監控已經從類比等級的標準解析度監視器和VCR轉變成超高畫素的高解析度(HD)監視器，數位影像監控系統(DVR)也從透過乙太網進行影音串流的IP網路監視器，轉變成以雲端計算為基礎的網路視訊錄影機(NVR)。
隨著畫面解析度變高，監視器或錄影機在連續錄製的影像中即可做視覺搜尋與智慧分析，透過發生的事件進行記錄，直接從錄製的影像中完成自動搜尋或發送警訊等應用。
事實上，先進的保安、監控設備與影像感測器技術和半導體影像訊號處理功能息息相關，包括監視器架構，感測器介面/感測器橋接器、影像訊號處理、高動態範圍(HDR)處理和視訊分析。
本文將詳細介紹監視器系統結構，藉此分析現有的技術挑戰與因應對策，並提供系統工程師更佳的解決方案，實現高效能智慧監控系統，提升產品市場競爭力。
快速轉換高畫質影像 FPGA元件角色吃重
監視器是由影像感測器、影像訊號處理器和輸出介面所組成。除了這些功能之外，監視器還可涵蓋影像壓縮或視訊分析功能，圖1為現場可編程閘陣列(FPGA)元件導入高畫素網路監視器的實例。
 |
| 圖1 FPGA導入監視器模組架構圖。 |
通常影像訊號處理器(ISP)有一個或多個影像感測器介面。最常見的影像感測器是互補式金屬氧化物半導體(CMOS)感測器。較低的解析度和較低的畫面播放速率感測器可以透過平行介面連接到ISP；更高解析度和更高畫面播放速率的影像感測器則須透過高速的介面才能滿足需求，包括MIPI、AptinaHiSPi或sub-LVDS介面等，而低成本的ISP通常只支援一個平行介面，因此，感測器橋接功能須能轉換MIPI、HiSPi sub-LVDS訊號至平行介面，而低成本的FPGA就可被用來執行此轉換的任務。
 |
| 圖2 FPGA感測器介面橋接應用 |
從圖2中可看到FPGA被用來轉換來自兩個HiSPi感測器訊號到一個並行格式中，接著再透過數位訊號處理器(DSP)進行後續處理。
ISP通常是藉由多個影像處理演算法組成，對於即將要接收的串流視訊，就以集束管線的形式執行影像增強和轉換功能。影像管線能以軟體的形式導入電腦、FPGA或數位訊號處理器(DSP)中，並在這些裝置上執行，也可以被當作一個擁有特定應用的標準產品(ASSP)。
 |
| 圖3 ISP導入FPGA架構示意圖。 |
圖3說明一個典型的影像處理流程。最初從CMOS影像感測器接收到原始的感測器資料在線性化之後，根據與它們相鄰的畫素值校正有缺陷的感測器畫素。在典型的影像感測器中，提供了一個灰度影像(Grey Image)，這個影像可透過Bayer濾波器(De-bayering)轉換成紅、綠和藍色。彩色校正矩陣(CCM)則可接著用來消除紅色、綠色和藍色畫素之間的色度干擾。
監視器模組的各種技術可自動調整曝光時間，彌補不斷變化的光照情況。例如，高動態範圍(HDR)演算法可進一步改善影像的亮、暗區域對比度；自動白平衡(AWB)則可根據場景中的一個白色參考點對所有顏色進行調整；雜訊消除器可修正在顏色相對均勻色塊區域中隨機出現的明顯錯誤顏色。雜訊雖會隨著溫度和曝光時間增大，但下一步驟的伽瑪校正則可重新分配原本監視器的色調級數，調整到就感知上更和諧，也更適合人眼觀看的標準，藉此將得到的位元深度(Bit Depth)做最有效率使用。
此外，重疊功能可讓文字和圖形在影像的頂部重疊，藉此顯示功能表或監視器設定。額外的功能模組也可根據特定的需求進行添加。這些需求可以是H.1264或JPEG等壓縮演算法，或是動作偵測、物件偵測和人臉辨識等智慧影像分析。
亮度是影響影像品質的重要因素。根據亮度的環境條件，場景的部分區域可能會太暗，而有些區域則會太亮，監視人員在這些區域往往容易看不到細節。遺漏的細節在安全監控應用中可能非常重要，而這些細節或許就會是需要智慧安全監控系統做出關鍵決策的地方。
高效能FPGA加持 HDR演算法效能升級
動態範圍表示影像的最亮點到相同影像最暗點之間的比率。人的眼睛能夠看到這兩個區域中的細節，但大多數影像感測器的動態範圍有所限制，也無法捕捉到相同影像在這兩個區域中的細節。為了讓細節在高對比區域中被顯示，就須擷取在同一區域中具有不同曝光時間的多個影像；要擷取明亮區域需要一段短時間的曝光，而截取暗區域則需要較長的曝光時間。
具有不同曝光時間的影像可以被組合成一個影像，也因此提高了影像的動態範圍。如圖4所示，不同曝光時間的場景擷取和影像的整合稱之為HDR處理程序，也被稱為寬動態範圍(WDR)處理。HDR處理、全域和局部的色調映射演算法被用來建立單一影像，讓延伸的動態範圍在相同影像的高對比區域中可顯示出細節。動態範圍通常以dB表示，優質的HDR影像動態範圍大於或等於90dB。
 |
| 圖4 HDR處理實例 |
儘管HDR演算法有很強的處理功能，但是遇到使用較高畫面播放速率的高畫素感測器情況下，HDR演算法需要很強的運算能力晶片才能發揮，而現成的ISP往往無法達成，因此透過FPGA元件可導入複雜、大量資源的演算法，且相同的FPGA元件也可被用來導入額外的影像處理演算法。
圖5是導入Panasonic MN34041影像感測器的HDR示意圖。具有不同曝光時間的兩個1,080p幀(Frame)以每秒60幀(fps)的速度被擷取。透過線路緩衝器傳遞一個幀，這兩個被擷取的幀將被同步化。同步後，兩幀即被組合成為每秒30幀的1,080p幀。在上述的例子中，感測器介面、線路緩衝控制器、幀合成器和色調映射演算法皆被導入於一個FPGA中。經處理過後的幀接著被傳遞到ISP，用於進一步的處理作業。
 |
| 圖5 以FPGA為基礎的感測器介面橋接和HDR處理過程 |
實現智慧監控應用 自動化視訊分析扮要角
視訊分析(VA)具有能夠自動分析視訊的功能，用來偵測並判定所發生的事件。視訊分析的應用領域非常廣泛，包括保安監控、汽車、交通控制、以及零售。動態偵測是現下最受歡迎的視訊分析演算法，這些演算法可在相對固定背景中進行動作偵測。目前已有智慧視訊分析套件供應商針對以FPGA為基礎的HDR-60監視器開發工具開發出一套完整的分析套件，可做為智慧安全監視器的產品設計。該套件包括智慧視訊動作偵測、智慧侵入偵測，以及監視器破壞偵測。
智慧視訊動作偵測可以區分動物和人，必要時會發送警訊。當有人打開一扇門或進入受限制的空間時，智慧侵入偵測會發出警訊。而監視器破壞功能，如果監視器被移動、阻擋或受碰撞而失焦，將會發出警訊並採取相應的行動。
圖6為以乙太網圖形控制介面為基礎的HDR-60監視器開發工具視訊分析圖示。圖片中粗線為計數器的示意，使用者能夠在螢幕的水平、垂直或對角線位置上定位粗線的位置，若一個物件穿過這條線，此物件從某位置移動到新位置的動作就會被計數，此功能可用來計算人們進入或退出某個位置的數目，適用於零售商業用途。
 |
| 圖6 視頻分析示意圖 |
圖6中細線方框則表示一個受限制的區域，系統可對細線方框的大小和位置進行程式設計，以滿足特定應用需求。一旦物件進入此區域，就會被系統偵測到，物件進入細線方框區域時就會觸發警訊，自動偵測和警訊機制可取代成本較高的影像監控。在圖6中未顯示的第三個功能是監視器破壞偵測，當監視器被遮蓋或移動時，警訊也會隨之發送。
隨著市場對高解析度的影像感測器需求持續成長，如HDR和智慧視訊分析影像感測器的先進影像訊號處理演算法整合，開闢了創新的監控應用，透過FPGA元件能同時連結多個高解析度影像感測器介面，以全景或平鋪(Tiled Format)的格式進行處理，並在同一晶片上執行HDR和智慧視訊分析演算法，讓FPGA元件成為此應用的理想選擇。
(本文作者為萊迪思策略行銷經理)