隨著邊緣端智慧化程度持續提升，影像感測器作為蒐集全面資料的關鍵元素，除了需要提供高解析度資料，更需要進一步降低功耗，以便將智慧化趨勢普及至更多裝置應用。
在更快的連接速度、更高的自動化程度和更聰明的系統推動下，工業4.0加快了視覺技術在製造業的應用，並將智慧化引進過往簡單的資料蒐集系統中。上一代視覺系統(Vision System)負責捕捉影像，將其打包以進行傳輸，並為後續進行處理的FPGA、ASIC或昂貴系統單晶片(SoC)等元件提供影像資料。如今，工業5.0更進一步，在整個資料路徑中融入人工智慧(AI)與機器學習(ML)，並實現了大規模客製化。攝影機已變得更加智慧，具備在應用層級處理影像資料的能力，僅輸出用於決策的詮釋資料(Metadata)。
工業4.0和5.0兩代之間的一項關鍵發展，是在邊緣端發生的變化。我們的世界本質上以類比影像為主，許多日常生活的電子與機電(EEM)系統都是由各類感知輸入所驅動。視覺(光)、溫度(熱)、音訊(聲音)、距離與位置、壓力(觸碰)，系統邊緣端的電子感測器採集這些物理輸入，並將其轉化為處理後的資料，以實現智慧化並進行決策。工業4.0為這些感測器帶來智慧化和高效運作的需求，如今，非工業及商業應用領域的眾多感測器不斷發展，逐漸發展為符合工業自動化流程和標準的增強版本。
在大規模採用感測器的同時，業界也正在推動更低功耗、更多電池驅動的智慧化裝置廣泛應用。功耗為視覺系統帶來了不同的挑戰，而影像感測器如何以創新的方法解決這些挑戰，同時提供卓越的性能，將成為視覺系統創造差異化的要素。
智慧邊緣的影像感測挑戰
視覺感測已成為在邊緣端採集資料的重要方法。收集到的影像資料能夠用於快速且高效的決策制定，例如，如果沒有視覺感測器，場景中的物體需要無數個特定的感測器來傳達場景的構成，將產生大量資料並需要龐大的處理作業，或許還得依賴運氣，場域才能得到真實呈現。另一方面，在一個高效的系統中，影像能夠在一幀資料中傳達場景中的所有資訊。
這種簡便的資料表現形式使影像感測器得以加速發展，為智慧手機等消費類行動產品提供支援，帶來超過100百萬像素(MP)的解析度，並獲得硬體和軟體支援，為靜態影像和影片串流提供卓越的細節與特性。由於行動產品主要提供娛樂和個人應用服務，因此目標和前面提到的決策制定應用略有不同。不過，用於汽車、工業和商業應用的視覺系統服務於高度以目標為導向的需求，許多系統使用(感測器)輸出的資料進行基於機器的決策，並要求在解析度、影格速率(Frame Rate)和功耗之間達到精準平衡。
智慧邊緣的重要性日益增強，這些應用必須適應不同使用案例的需求。現在，許多應用都需要更高的解析度和更出色的整體性能，以輔助電腦視覺、機器視覺和自動化決策系統。很多情況下，會希望能取得更豐富的細節，這些細節有助於減少錯誤決策。隨著解析度提高，影像感測器中的像素數量也會增加，相應地，感測器向影像訊號處理器(ISP)或SoC提供的影像資料量也會增加(圖1)。感測器產生的大量影像資料以及ISP/SoC對這些資料的處理作業將導致高功耗，進而為視覺系統設計帶來巨大負擔。
圖1 影像感測器產生的資料隨解析度和影格速率指數成長
現在，設計人員需要應對高功率電子元件帶來的高功率傳輸、功耗和系統物料清單(BOM)成本等問題。降低功耗是大勢所趨，而在降低功耗之餘，由於大多數視覺系統仰賴對流氣流來對系統進行散熱，散熱管理也是一項重要挑戰。影像感測器對熱高度敏感，如果並未選擇適當設計並有效管理上述要素，就會產出不可靠的視覺系統。
量子效率為關鍵指標 高品質影像降低TCO
影像感測器的量子效率(QE)是指光電二極體最大限度地將入射光子轉換為電子的能力(圖2)。眾所周知，QE越高，影像亮度越佳。更高的QE值在弱光條件下非常重要，通常透過使用更大的像素尺寸或在場景中添加可見光或不可見光來實現。無論哪種方法都會增加視覺系統必須滿足的成本、功耗和空間需求，並可能會根據影像感測器的性能和場景條件呈指數級成長。
圖2 不同波長下，可比較像素尺寸的歸一化(Normalized)量子效率曲線
在不可見光照明情況下，這樣的情況尤其嚴重。不可見光照明通常採用紅外發光二極體(IR LED)，其產生的光波長為850nm和940nm。這些波長能被影像感測器探測到，但人眼無法察覺。在業界中，這通常被稱為主動照明(Active Illumination)。 紅外發光二極體將產生功耗、占用大量空間，並顯著增加系統BOM成本。一款在近紅外(NIR)光譜中具有高量子效率的影像感測器能夠在不犧牲影像品質的前提下，減少其使用數量、降低光照強度以及總體BOM成本。
確保影像感測器像素提供的高QE不會受到資料路徑其他部分雜訊的影響十分重要，雜訊影響將可能降低整體影像品質。舉例來說，如果像素結構沒有足夠的像素間隔離，像素間串擾(Crosstalk)就會降低調變傳遞函數(MTF)和影像物件的對比度/清晰度，最終影響影像品質。另一個可能造成損害的因素是讀出電路性能不佳導致的高讀取雜訊。
影像品質不佳將替ISP/SoC帶來不必要的負擔，使其需要處理更多的資料，進而降低視覺系統的整體影格速率，或者需要以更高的時鐘頻率運行以維持相同的端到端時序。在前一種情況下，視覺系統的效率會大大降低，而無論哪種情況，系統最終都會產生更多的功耗。為了應對處理負擔，可能需要採用配備更先進資源的ISP/SoC，進一步增加總體BOM成本。
優秀的影像輸出品質能夠緩解上述種種不足，降低視覺系統的總體擁有成本(TCO)。
次級採樣/縮放/喚醒技術助攻 低功耗影像感測器推動邊緣智慧升級(1)
次級採樣/縮放/喚醒技術助攻 低功耗影像感測器推動邊緣智慧升級(2)