混合實境(MR)應用多元，能夠以身歷其境的方式呈現複雜資訊，無論在消費者娛樂範疇，或是醫療、工業場域，MR系統都能帶來前所未有的沉浸式體驗。MR裝置需要處理大量感測器資料的需求也帶動硬體挑戰，此外，作為載體的頭戴式裝置也需要盡可能降低人體負擔。
以尖端硬體及軟體技術為基礎打造而成的擴增實境(AR)及虛擬實境(VR)系統，將複雜的數位資訊轉換為使用者可以藉由視覺、聽覺或觸覺更有效理解的東西，而非只能依照傳統方式，透過頁面或螢幕來呈現。在這個正迅速成長的領域，開發人員在AR應用中將虛擬物體放置在使用者的真實世界裡，在VR或者統稱為混合實境(MR)的真實到虛擬連續體的任何組合應用中，將使用者置於虛擬世界中[1]。
MR運用人類感官傳遞資訊
MR應用善用人類感官系統的高資訊頻寬，為娛樂、學習或專業活動提供高沉浸式的選擇。據研究估計[2]，人類視覺每秒可達550GB以上的速率，聽覺每秒達到1.4Mbps。手掌上則有近70,000個壓力點，一隻手掌的觸覺回應就相當於以超過190Mbps的速率運作，延遲只有21毫秒。
利用這些途徑，MR應用的複雜資訊能夠更有效地到達大腦認知中心，將資訊以熟悉的情境傳遞，以利使用者更輕鬆地與自己的環境或需求進行連結。根據研究人員[3]的說法，使用AR「書籍」的學生表現出的閱讀理解及記憶力，比使用傳統學習素材的學生更高。
關鍵技術推動MR沉浸式體驗
為了無縫打造虛擬物體或完整環境，MR系統需要處理高流量的資料流(通常來自不同感測器)。幸運的是，由於MR應用的核心與部分產業最活躍的應用領域彼此通用，適合MR開發人員選擇的子系統方案也因此與日俱增。這些應用包括機器學習(ML)電腦視覺、機器人定位法和汽車先進駕駛輔助系統(ADAS)。
ML電腦視覺及迅速發展的ML模型開發滿足了MR在使用者真實世界環境中檢測與辨識物體的關鍵要求。無獨有偶，精確判定這些物體與使用者相對距離的能力則運用了距離測量技術，包括攝影機、超音波、雷射、雷射雷達和雷達等，這些技術經過改進之後，可用於ADAS碰撞偵測、建築自動化等。最後，機器人技術與建圖系統使用的同步定位及建圖(SLAM)等技術，讓MR系統能夠建立詳細的「地圖」，將真實世界的物體放置在相對於彼此及使用者的正確位置、視角和方向。
上述技術皆為MR系統未來發展的基礎。儘管VR系統以虛擬世界為重，卻依舊需要這張地圖來確保沉浸在虛擬世界的使用者，在物理環境移動時的人身安全也獲得保障。相對於AR應用，MR系統使用其地圖以使用者認為自然的位置、方向和相對大小呈現視覺物體。這種高階能力甚至允許虛擬物體遮住後方的真實世界物體，並允許虛擬物體被觀察者和虛擬物體之間的物理實體所遮擋。
MR應用類別決定硬體需求
MR應用的各種功能，受到感測器輔助及硬體處理能力的限制。這些應用至少需要仰賴高解析度攝影機和雷射探測與測距(LiDAR)的精密測量等功能，例如高階智慧型手機和行動裝置所提供的功能。事實證明，這些裝置提供的AR行動應用程式成效卓著，能夠讓使用者透過將行動裝置的攝影機對準建築物或標誌，閱讀建築物的虛擬標籤或翻譯顯示器上的標誌。
隨著頭戴式顯示器(HMD)納入消費型VR和專業型MR應用程式，在封裝和性能方面的硬體設計變得更加複雜。儘管支援各類複雜系統的基本技術仍相同，不過頭戴式裝置在從消費型VR娛樂式裝置搖身成為醫療、建築和工業營運等專業型應用的 MR頭戴裝置時，資料處理要求將急遽增加。
對於這些專業系統的硬體基礎而言，硬體設計人員通常需要納入專門的高性能處理途徑。儘管MR途徑在概念上類似於視覺運算處理器(VPU)，但兩者大相逕庭，因為MR應用程式通常需要處理來自各種感測器更大量的資料，並且速度更快、資料種類更多。例如，在HoloLense MR系統中，Microsoft使用專為處理此類複雜處理工作量而打造的客製化全像處理器來解決資料量問題。
生理限制影響MR系統設計
除了性能要求極高，HMD MR系統應用面臨的挑戰也更為嚴峻。開發人員提供的硬體方案必須具備所需的感測與處理性能，同時須符合尺寸、重量和功率(SWaP)的限制條件。
事實上，由於人體結構並不適合長時間佩戴型HMD，與硬體或軟體功能相比，SWaP的特性對MR長期普及率的限制可能更大。從事航空人為因素研究及近來研究MR HMD系統的研究人員，便記錄了HMD重量與平衡問題導致使用者疲勞[4]及頭頸[5]肌肉骨骼系統壓力變大的問題。
肌肉骨骼的限制之外，人類視覺系統的性質可能會使部分使用者難以使用HMD型MR應用程式，這是因為在HMD中檢視三維空間(3D)圖片時，會遇到視覺輻輳調節衝突(VAC)。在現實世界中，我們的雙眼會聚焦的一個物體上，兩隻眼睛的水晶體加以調節，看到的畫面才會清晰。相較之下，HMD利用立體效果建立3D畫面，因此物體聚焦到圖片前景或背景與調節物的距離不會相同，可能導致使用者更加疲勞、頭痛，甚至噁心，也就是所謂的虛擬實境症[6]。此外，由於擔心對視覺運動系統發育有長期影響，健康專家警告兒童切勿長時間配戴HMD。
先進MR系統以多種支援技術為基礎，可以大幅改進資訊傳遞方式，以更直覺的方式向使用者提供複雜的資料。對於MR系統的開發人員來說，AR/VR/MR應用的獨特需求構成重大挑戰，不僅滿足高資料流通量多模態感測器資料所需的處理性能要求，更要推出能夠減少使用者生理負擔的HMD系統設計。
(本文作者為貿澤電子特約作家)
資料來源
[1] van Krevelen, D., & Poelman, R. (2010). A Survey of Augmented Reality Technologies, Applications and Limitations. International Journal of Virtual Reality, 9(2), 1–20. https://doi.org/10.20870/IJVR.2010.9.2.2767
[2] Kim, T. & Park, S. (2020). "Equivalent Data Information of Sensory and Motor Signals in the Human Body," in IEEE Access, vol. 8, pp. 69661-69670, https://doi.org/10.1109/ACCESS.2020.2986511
[3] Bursali, H. & Yilmaz, R. M. (2019). Effect of augmented reality applications on secondary school students' reading comprehension and learning permanency. Comput. Hum. Behav. 95, C (Jun 2019), 126–135. https://doi.org/10.1016/j.chb.2019.01.035
[4] Ito K., Tada M., Ujike H., & Hyodo K. (2021) Effects of the Weight and Balance of Head-Mounted Displays on Physical Load. Applied Sciences. 11(15):6802. https://doi.org/10.3390/app11156802
[5] Knight, J. F., & Baber, C. (2007). Effect of head-mounted displays on posture. Human factors, 49(5), 797–807. https://doi.org/10.1518/001872007X230172
[6] Chang, E., Kim, H.T., & Yoo, B. (2020). Virtual Reality Sickness: A Review of Causes and Measurements. International Journal of Human–Computer Interaction, 36, 1658 - 1682. https://10.1080/10447318.2020.1778351