為追求更好的使用體驗，廠商紛紛投入虛擬實境與擴增實境產品的開發，尤其頭戴式顯示裝置更是目前最熱門的話題。市面上已經陸續發展出新穎的技術，但唯有高度整合，打通彼此相容及互連的瓶頸，才能提供消費者真正沉浸式的使用體驗。
隨著消費性電子市場快速發展，科技進步造就大量創新，使得新產品不斷出現(圖1)。在過去10年中，智慧型手機、平板裝置以及電子書推陳出新，此趨勢也將持續發展。而目前虛擬實境(VR)與擴增實境(AR)技術快速興起，尤其是頭戴式顯示裝置(HMD)引起業界廣泛參與，包括傳統硬體製造商與社群網路公司。
 |
| 圖1 隨著消費性電子市場蓬勃發展，新產品不斷出現。 |
新市場的競爭非常激烈，客戶對於尺寸、速率、成本、功耗以及上市進程的要求越來越高。可實現標準和協定橋接、連接不同元件的工具，可協助設計工程師避免受到設計的限制，選擇最符合設計目標的產品，而非由介面決定設計。
許多技術必須整合才能提供沉浸式的VR/AR體驗。硬體方面而言，VR領域中許多創新都集中於頭戴式顯示裝置與控制器，使用者穿戴這些設備即可實現VR體驗。高效能、低功耗現場可編程閘陣列(FPGA)以及特定應用標準產品(ASSP)能夠提供上述應用所需的設計靈活性。設計工程師毋須為每項功能開發專用晶片，可大幅降低所需時間、成本以及資源。
各類技術紛紛出爐 VR市場一片榮景
虛擬實境(VR)是指以人造的虛擬內容代替呈現在眼前的真實影像，VR主要著重於使用者的視覺和聽覺(觸覺回饋也是另一個新興的發展領域)。為實現沉浸式VR體驗，必須為使用者的各種感官訂製相關功能。因此，VR應用通常會搭配具有配套耳機的頭盔或密封護目眼鏡，這些設備通常稱為HMD。
然而，由於HMD不僅僅是顯示器，此名稱並無法代表HMD。許多VR硬體技術開發中心致力於該領域，不過依據處理器/設備驅動以及供電方式的不同，HMD可分成許多以下不同的類型：
個人電腦(PC)/有線式主控台VR頭盔中，HMD主要作為顯示器，PC/主控台則提供所有處理資源，例如Oculus Rift、宏達電(HTC)Vive以及索尼(Sony)Playstation VR。
行動式VR頭盔中，智慧型手機會置入於頭盔，作為顯示器與處理引擎。控制器則置入於套件或隨頭盔提供。行動式頭盔具有低成本、簡易操作以及推廣優勢，為目前最受歡迎的VR HMD，例如三星(Samsung) Gear VR與Google DayDream View。
行動AIO(All-In-One)VR頭盔中，HMD整合處理器、顯示器以及電池，為一體化整合式的獨立VR設備。由於經由電池供電且具備板載處理器，毋須連接任何其他設備，例如Deepoon AIO VR。許多公司正著手展示設計原型，例如Oculus Santa Cruz與英特爾(Intel)Project Alloy。
以智慧型手機為核心的HMD中，處理資源與電力皆由智慧型手機提供，進一步驅動HMD顯示器，例如透過通用序列匯流排(USB)Type-C連接的樂金(LG) 360 VR。
即使以PC/主控台為基礎的HMD具有更高效能，可提供最佳VR體驗，仍必須顧慮配套纜線與安全隱憂。行動式HMD允許使用者不受纜線束縛，然而在處理器效能有限的情況下，影像內容通常局限於簡單的遊戲與非正式的360度影像。TPCAST為中國北京供應商，推出適用於HTC Vive的無線升級套件，為基於HMD VR系統最佳的無線解決方案。為滿足低延遲、高頻寬無線影像傳輸的需求，TPCAST影像解決方案採用萊迪思多款FPGA和ASSP，實現近乎零延遲且穩定的非視距(Non-line of Sight, NLOS)VR無線影像傳輸，同時支援高達2,160×1,200 90Hz解析度。
頭戴式顯示裝置繁多的類型也成為新市場挑戰之一。許多產品型號投入市場進行測試，然而FPGA仍占據最佳產品的寶座。FPGA的靈活性在不斷發展的硬體市場扮演重要角色，尤其是VR/AR領域，FPGA已證實能夠在感測器聚合、影像顯示橋接以及互連方面實現關鍵作用。
感測器提供數據 追蹤正確手勢/位置
眩暈為VR體驗須克服的主要問題之一。真實世界的即時互動已將人們的身體變成十分靈敏的「現實探測器」。當呈現於眼前的內容不符合預期，使用者就會產生眩暈。例如，站在玻璃橋上往下俯看，由於觸覺與平衡感傳遞腳下有堅固基礎的訊息，但視覺上卻傳遞相反訊息。
VR試圖以虛擬內容代替現實，使用者的真實動作和虛擬投影之間若存在延遲或不匹配皆會導致VR眩暈。因此，VR引擎須要快速、準確地定位使用者的頭部動作，並將該資料傳遞至處理器，以產生適當且正確的影像。手勢與位置追蹤感測器則用於追蹤使用者頭部、手部以及身體動作。相關的解決方案皆必須考慮可攜性、準確性以及成本。
加速計為最簡單的追蹤行動方式，可嵌入至HMD，為類似於手機的技術。該系統成本低。然而，由於缺乏準確性，無法創造出身臨其境的沉浸式VR體驗。
紅外線感測器能直接檢測壁掛式雷射或自使用者身體、控制器或HMD上反射回來的脈衝。例如，使用Valve StreamVR 3D追蹤技術的HTC Vive，即使用此感應器陣列追蹤系統(圖2)。該系統相較於加速計，具有較高的準確性，但只允許追蹤感測器或反射點位置，受限於HMD和使用者手持的控制器。
 |
| 圖2 感應器陣列可追蹤使用者頭部位置與動作，以創造使用者完美體驗。 |
此類型應用允許不斷獲取使用者位置，例如Kinect或Leap Motion等一類三維(3D)或多攝影鏡頭陣列應用。Kinect系統設計主要用來取得使用者全身動作，而Leap Motion設備主要獲取使用者手勢。攝影鏡頭感測器陣列的優勢在於可以追蹤全身動作，而無須自訂動作獲取套件或反射點，然而此類型系統需要較多頻寬與處理能力以進行分析。
以上的解決方案，目前的使用實例如下所述：
以更準確追蹤動作，通常需搭載感測器陣列。然而，許多微控制器(MCU)不具有足夠輸入輸出(I/O)，且不具備支援同步資料獲取的架構。另一方面，萊迪思(Lattice) iCE40系列等FPGA針對低功耗、小尺寸以及低成本應用進行優化，不僅可同步資料獲取，設計工程師更可決定是否要在FPGA(可能需要更大的FPGA)中直接執行空間處理，或使用FPGA為獲取的資料添加時間戳記，再透過微控制器進一步處理。
此系統能夠獲取比加速計或FPGA系統更多資料。FPGA具有更強效能，如全新CrossLink元件，可聚合來自多個攝影鏡頭資料。視覺追蹤應用方面，CrossLink能夠連接多個攝影鏡頭介面，並同時抽樣和聚合多個影像串流至影像處理器，因此，影像處理器通常因介面有限或介面不相容而產生無法直接連接的問題。
某些應用中，會需要整合度更高的手勢追蹤解決方案(圖3)。例如，iCE40系列為聚合多個攝影鏡頭、實現低延遲手勢追蹤演算法(如色度校正、深度映射以及空間計算)的理想解決方案。
 |
| 圖3 使用同步感測器中心的手勢追蹤應用 |
顯示器多元發展 提供真實VR體驗
VR/AR領域中，螢幕顯示內容的標準模式已被顛覆，不斷測試新方法以提供最真實的體驗。高解析度與低延遲的特性最令人嚮往，尤其是2~3吋的顯示器，近距離呈現於使用者眼前時，高解析度尤其重要。高更新率與低延遲為避免VR眩暈最為關鍵的核心因素。若使用者轉頭時，該動作的影像反映出現延遲情況，使用者就會注意到此情況並產生困惑。因此，降低延遲和提高更新率有助於提升整體虛擬體驗，使頭部動作的位置資料可立刻呈現使用者眼前的影像內容，且不會出現抖動或延遲。
真實VR體驗的關鍵是向不同使用者展示不同圖像並創造3D視覺。VR顯示橋接通常包括將單一影像串流分別傳輸至不同使用者的顯示器，或自兩個攝影鏡頭獲取資料並將其合併成單一影像串流。
目前，影像顯示器的使用實例包括以下幾種：
行動應用處理器(AP)經常用於VR頭盔。傳統應用處理器通常僅具備單一行動產業處理器介面(MIPI)顯示器串列介面(Display Serial Interface, DSI)輸出。為驅動分離的左眼與右眼顯示器，來自應用處理器的單一MIPI DSI輸出可連接至FPGA影像橋接應用，再將其分別傳輸至顯示器(圖4)。
 |
| 圖4 擴增實境與專用HMD應用 |
由於VR/AR市場仍處於起步階段，供應商正積極尋找最佳的顯示解決方案。某些AR系統可使用為高階數位單眼反光相機設計的高畫素電子取景器(ELV)微顯示器。然而，這些顯示器通常使用與應用處理器MIPI DSI不相容的介面，例如紅綠藍(RGB)或低電壓差動訊號(LVDS)。而FPGA影像橋接，例如CrossLink，則能夠連接兩個不相容的介面。
在VR應用中，許多應用處理器皆缺少輸入常用外部影像源介面，例如高解析度多媒體介面(HDMI)。此情況下，影像橋接可將這些最常見的輸入橋接至MIPI相機串列介面規格2.0(CSI-2)。
隨著內容需求不斷增加，帶動360度圖像和影像解決方案的發展，市場發展自專用專業設備擴展到低成本手機配件。顯而易見的是VR使用者能夠獲取的沉浸式內容將大幅增加。然而，目前應用處理器可能缺乏足夠的MIPI CSI-2輸入，或缺乏支援應用多個攝影鏡頭所需的介面。影像橋接可將來自多個攝影鏡頭的MIPI CSI-2影像串流合併為單一MIPI CSI-2影像串流，並傳輸到應用處理器；上述影像橋接也可將LVDS、可調節低電壓訊號(SLVS)、RGB等其他攝影鏡頭介面橋接至MIPI CSI-2。
尋求連結便利性 提升沉浸式體驗
許多VR顯示器會連接到外部設備。目前，仍仰賴PC處理能力創造真正身臨其境沉浸式的體驗。一般情況下，影像連接標準(如HDMI)適用於此應用，因其提供高音訊/影像頻寬以及極低延遲，同時支援3∼5米(m)長電纜。然而，某些情況下，尤其是行動裝置，透過USB Type-C實現影像、資料以及供電連接具有高便利性。
不久的未來，無線影像將提供現有市場前所未有的替代方案。移除纜線後，使用者就能擁有更多自由移動的空間，大幅增強VR體驗。以下所描述的就是這方面的使用實例。
HDMI為VR領域中應用於影像連接的標準，其速度、高頻寬、超低延遲以及廣泛市場接受度使其成為理想選擇。
HDMI為最常見的影像連接標準，然而標準HDMI電纜十分笨重。此外，HMD需要電池供電並將感測器資料傳遞至主處理單元。針對上述情況，支援行動高畫質連結(MHL)或DisplayPort的USB Type-C解決方案可以透過單一輕巧纜線實現影像、資料以及電力傳輸。
無線影像連接搭配電池供電的HMD使用時，能夠為使用者提供最大的自由移動空間。WirelessHD的卓越技術能夠實現HDMI高頻寬和低延遲的高速傳輸數位影像。TPCAST無線VR套件，採用WirelessHD技術，適用於HTC Vive。
FPGA/ASSP推助力 VR開發邁大步
在快速發展的新興市場中，FPGA一直以來都是產品開發的關鍵。隨著製造商先後進入VR市場，高效能、低功耗FPGA和ASSP可在開發和互連VR應用、感測器資料聚合與分析、3D影像無縫播放，以及互連HMD與電腦方面發揮關鍵作用。隨著VR市場不斷發展和漸趨成熟，FPGA將繼續發揮作用，為設計工程師提供實現最佳VR體驗所需的靈活性。
(本文作者為萊迪思資深業務開發經理；原文曾刊載於Embedded.com)