如果請嵌入式視訊系統設計工程師談談產品設計過程中有哪些很難對付的挑戰,可能大多數都會認為是快速且不斷發展的I/O介面。行動應用處理器的大幅進步、低價影像感測器和顯示器的快速普及,以及MIPI標準介面的廣泛採用,在過去幾年裡徹底改變了嵌入式系統設計。現在,行動平台是創新的主戰場,不僅是在智慧手機和平板電腦領域,數位單眼相機、無人機、虛擬實境(VR)系統、醫療設備和工業顯示領域也是如此。理想的情況是系統中的每個元件都可以直接連接到應用處理器,但對於目前新興的視訊市場來說並非總能如願。經常發生的情況是處理器介面的類型或數量不適配系統中的圖像感測器或螢幕。
VR和3D視訊應用設計工程師不斷尋求更高的效能。例如,怎樣才能快速又經濟地從單個輸入接收信號,並傳輸到兩個螢幕?抑或是無人機設計工程師在思考如何實現接收多個攝影鏡頭的輸入,並以精確同步的方式將各幅畫面合併為尺寸更大的單幅圖像幀?可惜的是選擇非常有限,並且現有的方案也是性能有限,功耗高、尺寸大。
對於目前的嵌入式視訊系統,設計工程師需要的是高性能、低功耗、緊湊的介面橋接解決方案,能夠大幅提高設計靈活性和實現設計創新,解決上述的連接問題。理想的橋接解決方案要能夠轉換攝像鏡頭、螢幕和處理器之間不相容的介面,將多個視訊流輸入合併成單個介面輸出,或是將視訊流拆分為多個輸出。並且,還要能夠支援各種新興和傳統的介面。最後,該解決方案還要在不違反嚴格的功耗和尺寸預算的情況下提供高水準的性能。
為了解決上述問題,業界也有廠商推出了可程式化的介面橋接解決方案,可支援行動影像感測器和螢幕採用的協定,例如萊迪思推出的CrossLink,其強調具有現場可編程閘陣列(FPGA)的靈活性、快速的產品上市時程以及特定應用標準產品(ASSP)的功耗和功能優化特性,CrossLink元件可實現低成本視訊界面橋接應用,提供高頻寬、低功耗以及小尺寸。上述優勢使其可應用於虛擬實境頭盔、無人機、數位單眼相機、智慧手機、平板電腦以及穿戴式設備等應用。
該元件支援12Gbit/s的速率。MIPI D-PHY橋接解決方案為了提供設計工程師最大的靈活性,同時支援多種介面和協定,包括MIPID-PHY、MIPI CSI-2、MIPI DSI以及傳統介面和協定,如CMOS、RGB、MIPI DPI、MIPI DBI、SubLVDS、SLVS、LVDS和OpenLDI。
同時,CrossLink也為消費性電子應用進行了優化。在多種使用情境下,其工作功耗小於100mW,並且為具有內置睡眠模式的可編程橋接解決方案。這款小尺寸元件封裝尺寸約6mm2。並且結合FPGA的靈活性和ASSP的性能,可為視訊技術提供最佳支援。
為了提供可客製化的橋接解決方案,CrossLink元件包含帶有多個物理介面的移動FPGA。每個CrossLink具備最多兩個嵌入式MIPI D-PHY硬核,每個硬核具備最多四條資料通道以及一條時鐘線,以支援傳輸和接收功能。相鄰的FPGA具備5936個LUT、180Kbit的RAM以及47Kbit的分散式RAM。這些FPGA資源足以支援各類視訊功能,包括多工、合併、多路解複用、仲裁、拆分、資料轉換以及自訂協定設計。使用兩個D-PHY時的資料速率最高為每條1.5Gbit/s,使用可編程差分I/O時的速率最高為每條1.2Gbit/s。
CrossLink元件還添加了15個可編程差分I/O、通用輸入輸出(GPIO)資源、10KHz和48MHz振盪器和鎖相迴路(PLL)、兩個用於系統功能的使用者I2C嵌入式硬核以及I2C/串列周邊介面(SPI)元件配置。
開發支援
在開發資源部分,萊迪思為開發工程師提供Lattice Diamond、FPGA設計和驗證軟體,以及Power Estimator工具和產品手冊。並提供來自Clarity Design的免費IP,支援各類顯示和攝影應用介面(表1)。
|
表1 Clarity Design支援顯示和攝影應用介面IP |
基礎的CrossLink開發套件包含一塊同步多重存取(SMA)開發板和孔徑為0.1英寸的開發板,便於連接各種影像感測器、螢幕和應用處理器。使用者還可以購買額外的開發板。Raspberry Pi開發板支援兩個攝影鏡頭連接到Raspberry Pi電路板。
MIPI CSI-2影像感測器應用
市場上新興應用不斷湧現,其中許多都需要一個攝影鏡頭聚合器作為中心來管理多個MIPI CSI-2影像感測器。針對這些應用,設計工程師可能需要將多個影像感測器輸入合併成單幅更大的圖像幀,以及在多個影像感測器之間多工或是在虛擬通道的影像感測器之間進行仲裁。舉個例子,為了創造景深感覺或者是增強實境系統,就必須使用橋接解決方案以合併多個MIPI CSI-2攝影鏡頭輸入為單個更大的影像幀輸出。CrossLink解決方案能夠使設計工程師同時連接到多個MIPI CSI-2影像感測器(圖1)。
|
圖1 多個CSI-2橋接適用於攝影鏡頭應用 |
然而,要建立能夠將多個CSI-2攝影鏡頭輸入合併為單個更大的影像幀輸出的橋接,需要解決一些不常見的挑戰。該橋接必須以最小的延遲,在同一時刻精確捕捉到每個影像感測器。隨後它必須將各個感測器輸入的影像合併成單幅更大的影像幀,並以更快的視訊流發送出去。感測器不僅必須以最小的延遲保持同步——需要通用引腳控制,還需要共用時脈域。在許多情況下,各影像感測器也需要獨立的上電時序。上述的每個功能都需要額外的I/O用於針對特定應用進行設定。
工業感應器到行動處理器
在數位單眼相機、監控和無人機等應用中,設計工程師將工業影像感測器橋接到行動應用處理器。這些應用中的許多工業影像感測器能夠提供優良的性能,但採用的還是最初由感測器製造商開發的傳統專用介面。
該領域中構建嵌入式應用的設計工程師通常需要利用主流行動應用處理器提供的創新技術。為了做到這一點,他們需要將影像感測器專用介面,橋接至目前大多數行動應用處理器採用的移動MIPI CSI-2影像感應器介面。憑藉CrossLink元件的可編程架構,開發工程師得以構建緊湊、高性能、低功耗的介面橋接,將上述專用介面橋接至MIPI CSI-2(圖2)。
|
圖2 SubLVDS到MIPI CSI-2圖像感測器橋接 |
MIPI DSI介面擴展
第三類主要的CrossLink應用是MIPI DSI介面擴展。目前,VR頭盔和行動機上盒設計工程師常常需要將來自單個MIPI DSI介面的輸入視訊拆分為兩條視訊流,並以一半的頻寬通過兩個MIPI DSI介面輸出。如果應用處理器僅有一個DSI介面或其中一個DSI介面正用於其他功能,這時設計工程師該如何實現上述類型的應用呢?
方案之一是使用CrossLink元件作為單MIPI DSI到雙MIPI DSI的橋接。如(圖3)所示,該元件支援兩個高清顯示或一個QHD螢幕,I/O速率最高為每通道1.5Gbit/s。該元件的工作功耗通常比類似的ASSP或特定應用積體電路(ASIC)低25%至50%。
|
圖3 使用CrossLink元件作為單MIPI DSI到雙MIPI DSI的橋接 |
將工業顯示器連接到行動應用處理器
許多工業顯示器廠商想要節省成本,但是發現要將採用OpenLDI、LVDS或專用介面的顯示器橋接到行動應用處理器非常困難。典型的應用涵蓋人機界面(HMI)、智慧顯示器以及智慧家庭系統等(圖4)。設計者該如何利用最新一代的行動應用處理器提供的優勢,同時繼續使用原先的顯示器呢?
|
圖4 MIPI DSI到OpenLDI LVDS顯示器介面橋接 |
在這種情況下,HMI解決方案、智慧顯示器或智慧家庭應用的開發工程師可使用CrossLink解決方案將OpenLDI、LVDS或專用介面橋接至MIPI CSI-2,並且支援的速率最高為每個PHY 6Gbit/s。
嵌入式視訊系統市場的前景一片光明。從VR和3D視訊到全新的監控系統、智慧家庭、高級醫療設備以及工業系統,各種全新應用不斷在這個市場湧現。而這些應用成功的關鍵之一在於工程師能夠持續改進其性能和功能。
(本文作者任職於萊迪思)