FPGA MPSoC 機器視覺 工業攝影機 自動化 Xilinx

技術趨勢推升元件要求 工業攝影機強化支援機器視覺

2021-08-05
工業市場和醫療市場上的各類視覺應用,都期待攝影機的尺寸、速度、智慧性和功耗水準能獲得改善,特別是工業應用還對安全性、擴展溫度效能和生命週期,有著更額外的要求。本文將探討機器視覺、工廠自動化和機器人技術等應用中的部分此類需求。

 

工業攝影機製造商一直都面臨著設計出更小尺寸產品的挑戰。機器視覺攝影機與消費型攝影機解決方案不同,尤其是工廠自動化攝影機必須符合嚴格的成套標準和要求。這些要求主要包括低光源下的表現、為達高速生產/回應所需的高幀率需求、對鏡頭和感測器的優異光學品質要求,以及適合工業應用的防水性和其他特定具長期可靠性的需求。此外,機器視覺系統也常須支援複雜的工業通訊標準,如時間敏感網路(Time-Sensitive Networking, TSN)、GigE Vision和CoaXPress等。

機器視覺對攝影機要求嚴苛

機器視覺攝影機應用,常要求使用比消費型應用更大、效能更高的元件。例如影像感測器的大小——不同於畫素解析度——是直接與攝影機的光量成正比,因此更大的感測器通常可提供更優異的影像品質。另一方面,高解析度感測器也會產生更精細的影像,同時需要更高的幀率才能加快影像擷取速度,進而加快生產線或機器人的運作速度。這樣高解析度和更快速的感測器能產生高畫素資料速率,進一步提升影像處理流程的作業負載(圖1)。

圖1  賽靈思SmartCamera+示範平台

除了感測、處理和優化影像之外,攝影機還必須支援機器視覺攝影機常用的高速介面,如GigE Vision、USB3 Vision、CoaXPress、Camera Link和Camera Link HS等(圖2),也必須在頻寬、纜線長度、成本和複雜性之間進行權衡取捨。與普通消費型產品相比,工業攝影機還必須符合更嚴格的安全性和可靠性標準(表1)。例如,大多數工業攝影機都提供至少三年保固期(不過一般使用時間能長於三年)、能在寬溫範圍下運作(通常為-40到+85°C),且須通過多家工業標準機構的認證,如ISO、TUV、RoHS和CE等。

圖2  各種攝影機相關介面標準

此外,工業攝影機用戶也提出越來越多功能安全和網路安全要求,尤其當這些攝影機已成為複雜網路系統的一部分,且有人員在系統中工作的時候。

攝影機的光學元件,即鏡頭系統,也對攝影機的大小極具影響力。其類似於感測器,較大的鏡頭一般能為攝影機系統擷取更多的光,而採用更高品質的鏡頭材料和更複雜的光學設計也能達到這個效果。選擇鏡頭時需要考慮的其他因素還包含光圈、焦距、具體的鏡頭安裝相容性、波長需求,以及與選擇的影像感測器的匹配性。

這些需求與普通消費型手機相機鏡頭有很大差別。例如,許多消費者都傾向於每兩年更換新手機,因此手機相機鏡頭使用壽命明顯較短。為將成本控制在手機總物料清單(Bill of Materials, BOM)的可接受占比之內,相機成本嚴格受限。儘管智慧型手機的發展終結了上世紀90年代的最小尺寸手機競賽,但製造商仍面臨著繼續保持手機相機(感測器和光學元件)輕薄的壓力。

除了成本、尺寸和使用壽命,消費型攝影機的其他要求也不同於工業攝影機。最重要的是能夠獲取「高畫質」影像,至少對普通的手機使用者而言是如此,並且可能要考量人眼的特定偏好,例如應該擷取最精準的色彩或是讓用戶的自拍照更好看。

工業攝影機尺寸功耗受限

攝影機在工廠中的典型使用模式是機器視覺攝影機,負責檢查在自動化生產線上通過的產品。不過如今的工廠對效能、速度、安全與保障提出了更高的要求。現代工業攝影機必須在不加大尺寸、不增加功耗或成本的情況下滿足這些功能。機器學習(ML)正越來越被工廠廣泛使用,因此攝影機必須能夠部署經過訓練的機器學習模型,進而比人工更快、更準確地自動分類、檢測或細分物件的特性(如圖3)。攝影機能檢查食品飲料、幫助機器人選取和疊放包裝箱、確保正確地為藥物貼上標籤,以及在廢棄物管理設施內分類回收再利用的物料。

圖3  YantraVision開發的棉花雜質分類系統

機器視覺攝影機也被逐漸用於工廠外的用途。工業攝影機是能實現包裹快遞、旅店服務、倉儲管理、建築、農業、清潔和許多其他應用所使用的自主移動型機器人(Autonomous Mobile Robot, AMR)的主要技術,如圖4。毋庸置疑,AMR作為移動型系統,對低功耗和尺寸有嚴格的要求。即使在工廠內,機器人也必須與工作人員密切協作運行,而使機器視覺攝影機的尺寸和功耗受到限制。

圖4  VineScout 葡萄園監測機器人

影像處理亦面對創新壓力

機器視覺攝影機如同消費型攝影機一樣,解析度也在不斷提升。索尼(Sony)的高階機器視覺影像感測器的解析度現在可達到2,500萬和3,100萬畫素;佳能(Canon)則推出一款2.5億畫素的工業影像感測器。在感測器的類型和擷取的光資料方面也持續創新。傳統攝影機採用以矽為基礎的CMOS技術,用紅、綠、藍(RGB)畫素優化可見光成像。但是在許多應用中,其他類型的感測器能提供更優異、更強大的功能。例如偏光(Polarization)感測器能「看穿」水和倒影,短波紅外線(Short-wave Infrared, SWIR)感測器能偵測和透視特定材料(如圖5),而熱感測器能擷取溫度資料而非可見光資料。由於Covid-19帶來的篩檢需求,溫度測量應用近期備受關注。

圖5  可見光與SWIR檢查的對比

如今對攝影機的要求已遠不止於將感測器資料處理成可見或可用的影像。機器學習正被越來越多地運用於打造智慧工廠和AI系統。它們經過快速訓練後,能夠判斷產品是否符合品質標準,或者經過再次訓練後,能組合成新設計的產品。儘管網路攝影機肯定可以使用雲端資源來進行儲存和影像分析,但基於頻寬、安全和延遲等現實考量也要求在邊緣完成影像處理和機器學習,例如在智慧AI攝影機中。

這不僅需要創新的攝影機感測器,也需要創新的影像處理流程。標準的影像訊號處理器(Image Signal Processor, ISP)通常針對傳統的RGB CMOS感測器進行優化,尤其是為大量應用進行優化,例如消費型手機、無人機、平板電腦等。而正如前文所介紹,工業應用則代表大量不同的使用案例和技術,雖然存在特定的標準(如MIPI、GigE Vision和PCI Express等介面標準),但對攝影機的要求可能大相徑庭。

InFO封裝Zynq UltraScale+

儘管自我調適運算元件如多重處理器系統單晶片(MPSoC)提供的運算效能和靈活應變性獲得工業攝影機開發人員的青睞,但在過去一般採用具數百個針腳的較大尺寸封裝。例如,在初始版本中,Zynq UltraScale+ ZU2CG/EG和ZU3CG/EG等MPSoC的最小封裝尺寸是484針腳、間距0.8mm的19×19mm覆晶(Flip-chip)球閘陣列(Ball Grid Array, BGA)。

如今這兩款MPSoC現在已具備採用較小尺寸的封裝。藉由台積電(TSMC)的整合扇出型(Integrated Fan-Out, InFO)封裝技術,在不減少I/O或影響效能的前提下,大幅縮小封裝尺寸至9.5×16mm。InFO封裝消除了傳統晶片規模封裝(Chip Scale Packaging, CSP)的基板,實現更小、更薄的高密度互連封裝。

在InFO封裝中,Zynq MPSoC僅占用不到一半的電路板空間,而且厚度也顯著減少,從2.41mm減少到0.644mm。鑒於工業應用要求的某些新外形尺寸,所有尺寸(長、寬、高)都至關重要。這兩款元件的InFO封裝版本比最初版本尺寸縮小60%、厚度減少70%(如圖6)。

圖6  InFO封裝的Zynq UltraScale+元件

類似InFO這樣的高晶片面積與封裝面積比(Die Area-to-package Area Ratio, DPR)的封裝要求縮小錫球間距,因而需要印刷電路板(Printed Circuit Board, PCB)提供相容能力。對於使用InFO的設計而言,產業常規作法是採用以邊緣連結(Edge Bonding)的高密度互連(High Density Interconnect, HDI)PCB或環繞封裝的板級底部填充(Underfill),以提供極為顯著的優勢。InFO在小外形尺寸封裝中可提供最優秀的熱效能,同時藉由節省面積和實現出色的運算密度以降低產品的總成本。

此外,廠商新提供的ZU1型號進一步縮小封裝尺寸並降低功耗。另外,ZU1也為現有的該兩款元件帶來了可遷移的封裝選項。這意味著工程師既可選擇最大的可擴展性(既有非InFO封裝設計),又可選擇最小的尺寸(表2)。

微型化元件縮小體積不減效能

位於加拿大的Richmond Lucid Vision Labs推出一種名為Triton Edge的工業機器視覺攝影機,便是以緊湊型工業產品中InFO封裝的Zynq MPSoC為基礎。為了滿足29×44×45mm的尺寸要求,需要最小巧、最高效的元件。該公司的工程師設計出了一種創新的柔剛(Flex-rigid)板架構,能將大量的元件封裝在緊湊的IP67攝影機外殼中。參見圖7。

圖7  採用InFO封裝元件的Triton Edge攝影機

Triton Edge的柔剛板設計結合此系統單晶片的InFO封裝,能夠提供更進階的攝影機控制與客製化,同時保持攝影機輕便小巧的外形尺寸。OEM業者不必依賴攝影機製造商的SDK,也無需在主機PC上開發和執行編碼,藉由創建含AI推論在內的客製化FPGA影像處理流程,就能在攝影機上開發自己的IP。

除了緊湊型攝影機,InFO封裝的MPSoC也適用於任何同時需要自我調適運算能力和小巧尺寸的應用,包括可攜式醫療設備、手持測試設備、軍用雷達等。

新款InFO封裝的微型化Zynq UltraScale+ MPSoC,可給予視覺、醫療和工業系統的設備製造商更佳的效能功耗比,為緊湊型外形尺寸攝影機提供智慧、解析度和速度,超越以往1080p乃至720p解析度和30fps的限制。這些新產品可實現包括客製化影像處理、應用專用加速和AI加速以及工業級生命週期、可靠性、安全性在內的廣泛工業效能。採用台積電InFO封裝的微型化MPSoC,能進一步幫助工業攝影機製造商拓展客製化影像處理、AI加速和其他靈活應變功能的應用,使之融入最小巧的攝影機和其他緊湊型工業產品。

(本文由Xilinx提供)

 

本站使用cookie及相關技術分析來改善使用者體驗。瞭解更多

我知道了!