Apple的Vision Pro再度引爆市場對於虛實整合應用的討論，虛實整合設備成為市場進入元宇宙世代的關鍵設備。AR/VR/MR裝置的開發需要完整的數位內容、光學引擎、眼睛控制、高速傳輸與物理模擬等技術支撐，以實現元宇宙藍圖。
蘋果(Apple)推出的頭戴式裝置Vision Pro，再度引爆市場對於元宇宙的討論，擴增實境(AR)、虛擬實境(VR)及混合實境(MR)相關的技術也備受矚目。頭戴式裝置與智慧眼鏡的普及，除了需要豐富的數位內容支撐，硬體的光學技術，需要克服尺寸、功耗、亮度與畫質的多重挑戰，並且需要良好的眼睛控制與系統整合技術，方能實現市場引頸期盼的元宇宙藍圖。
AI實現元宇宙擬真角色
市場對於元宇宙的討論熱度，在蘋果推出Vision Pro之後再度發酵。光禾感知科技執行長王友光(圖1)指出，市場對於元宇宙話題關注度的變化，是新興市場必經的進程。元宇宙應用勢必隨著技術與載具的進步，改變人與環境互動的方式。2022年市場上大量出現在線上3D空間舉辦的活動，但是每一場線上活動不一定都能成功留住用戶的目光。
圖1 光禾感知科技執行長王友光表示，宇宙應用將隨著技術與載具的進步，改變人機互動模式
未來的演出活動可能多數在虛擬環境中進行，演出的藝人也可能是虛擬角色。尤其在大型語言模型出現後，虛擬環境中的人物由AI賦予靈魂，可以即時與用戶互動。因此光禾感知透過AIGC技術建立虛擬人物，成功為電視台打造虛擬主播。虛擬主播在新聞畫面中即是高度模擬真人的角色，可以自動播報新聞內容。
5G高頻寬/低延遲助力AR傳輸
元宇宙藍圖的實踐，除了豐富的內容，也需要通訊技術的支援。5G高頻寬、低延遲且低功耗的特性，有助於提高AR應用的流暢度。SIMCom LTE A & 5G產品總監陳奕斌(圖2)指出，5G的大頻寬可以支援高幀率與高分辨率的圖片、影像傳輸，並且確保資訊傳輸的可靠性。在低延遲的通訊技術支援下，有助於AR內容即時與用戶互動。例如遊戲的玩家在邊緣端操控AR裝置，雲端馬上開啟相應的應用程式，便需要採用5G技術。
圖2 SIMCom LTE A & 5G產品總監陳奕斌說明，5G的大頻寬可確保傳輸可靠性
考量到目前無線AR裝置多數使用Wi-Fi傳輸，5G則有利於AR裝置在戶外及用戶移動中的傳輸需求，可以避免部分地點的Wi-Fi可能覆蓋程度不足的問題。甚至未來在沒有地面基地台覆蓋的區域，AR裝置的通訊都需要使用5G。面對在無線裝置多元的通訊需求，最終選用何種通訊技術，仍要依照實際的應用情境，選用適合的通訊技術。
眼球追蹤實現智慧控制
在AR裝置的控制方面，目前市場上常見的是手勢及語音控制，而未來眼睛控制也將受到廣泛採用。見臻科技執行長簡韶逸(圖3)說明，AR技術就是擴充使用者的視覺能力，基於現實中看到的資訊，再加上其他虛擬資訊，協助使用者的生活更便利。未來這些虛擬資訊都會由AI生成，因此AR與AI會成為高度結合的技術，AR便會成為AI協作的最佳載具。
圖3 見臻科技執行長簡韶逸指出，眼睛是跨越虛實的感官，因此成為AR裝置的最佳控制方式
AR裝置作為顯示資訊的載體，現階段的控制方式對使用者而言還不夠方便。當數位裝置進入元宇宙應用，AR/VR頭盔及智慧眼鏡等穿戴式裝置，都讓使用者沉浸其中，接收3D的資訊，並整合現實與虛擬世界。相較手勢與語音控制需要相互切換，眼睛則可以跨越虛實，因此是虛實整合應用裝置的最佳控制方式。例如見臻已經以眼球追蹤技術為基礎，提供以眼睛控制虛實整合裝置的商用解決方案。
MicroLED成AR普及關鍵
微型顯示器即是實現AR智慧眼鏡的關鍵技術之一，錼創科技先進技術開發處副處長吳志凌(圖4)認為，5~10年後，AR眼鏡的終極目標就是外觀跟一般的眼鏡相同。對於消費性市場而言，輕巧且美觀的產品設計，將提升使用者長期配戴AR裝置的意願。在技術上採用Micro-LED配合波導作為AR裝置的顯示技術，除了可縮小顯示器的尺寸，也能符合AR眼鏡顯示器的其他關鍵需求。
圖4 錼創科技先進技術開發處副處長吳志凌認為，未來AR裝置能否普及的關鍵在於輕量化的顯示技術
AR眼鏡所需的顯示技術除了尺寸小，也需要提供足夠的視野(FOV)。視野越大，智慧眼鏡可以顯示的範圍越大，顯示出來的資訊也不會擋到使用者原本的視野範圍。其次，AR顯示器的關鍵是PPD(Pixel Per Degree)，顯示器需要具備足夠的像素密度，以確保用戶在螢幕上不會看到顆粒感。第三點則是Eyebox，為了讓畫面顯示在使用者眼睛所見最清晰的距離，顯示器若是達到寬度25mm及寬高度20mm的尺寸較為理想。最後一個關鍵則是顯示器的對比度，考量AR眼鏡在戶外的使用情境，顯示器需要具備足夠的亮度，才能確保眼鏡在戶外強光下清楚顯示資訊。
MR技術研發多管齊下
AR/VR的應用將是次世代的顯學，國立中央大學光電系講座教授孫慶成(圖5)認為，10年後每個人都會配戴MR裝置，實現真正的虛實整合。MR眼鏡將會成為主導科技發展的重要因素之一，待MR技術成熟，便會取代VR應用，因此技術研發的目標要專注在MR眼鏡。
圖5 國立中央大學光電系講座教授孫慶成預期，10年後每個人都會配戴MR裝置，實現真正的虛實整合
因此孫慶成與多所大專院校的專家組成MR研究小組，投入全像顯示MR眼鏡、背景光可調的液晶技術、MR眼鏡色彩管理、3D場域建模，以及高速資料串流等主題的研究。該團隊的研究範圍即涵蓋MR眼鏡所需的鏡片設計、3D建模，以及數據傳輸三大關鍵技術，並發布多項專利。
多物理模擬助力智慧眼鏡系統整合
AV、VR及MR的產品設計，其中一個技術關鍵在於系統整合。安矽思(Ansys)科技亞太區技術經理Kam Chow(圖6)從系統的角度分析工作流程(Workflow)，包含光學引擎、影像辨識、像素尺寸等，都涉及複雜的多物理模擬。以光學引擎為例，其效能、在不同角度觀看的色差，加上光柵與波導結合的效果，都需要從工作流程中切入，進行設計自動化與優化。
圖6 安矽思科技亞太區技術經理Kam Chow解釋，MR眼鏡在系統層級需要進行詳細的多物理模擬
在5~10年後的未來，可能人人都會配戴輕量的智慧眼鏡，實現實體世界與數位世界的資訊整合。頭戴式裝置與智慧眼鏡都需要面對光學技術挑戰，系統整合層面則需要經過嚴密的多物理分析，確保智慧眼鏡在系統層級的效能與功能是否正常。面對元宇宙商機，業界廠商持續從多元面向切入，一路過關斬將，期望實現虛實整合廣泛應用的未來。