空間運算技術正改變虛擬與現實的互動方式,創造沉浸式體驗,並應用於AR、VR和MR等領域。隨著硬體、軟體和AI技術進步,空間運算迅速發展,拓展互動邊界。在虛擬空間中,手與控制器位置的追蹤增加沉浸感,此外,這項技術也廣泛應用於觸控顯示器、精確追蹤裝置、輸入裝置、模擬工具等領域。
空間運算正在徹底改變現實世界與虛擬世界的互動方式,創造出虛擬與現實無縫融合的沉浸式體驗。這項技術橫跨擴增實境(AR)、虛擬實境(VR)和混合實境(MR),提升生產力並有望應用於設計、教育、醫療和娛樂等廣泛領域。硬體、軟體和人工智慧不斷進步,空間運算技術也隨之迅速發展,拓展互動沉浸世界的邊界,帶來更具互動性、身臨其境的體驗。
在虛擬空間中,若想增加沉浸感,追蹤使用者的手與控制器位置相當重要。除了空間運算外,這種位置追蹤技術也可以應用於其他多種應用,例如觸控感應顯示器(3D顯示器、筆記型電腦、平板電腦)、AR相關的精確追蹤裝置(手鐲、戒指、手表)、電腦相關輸入裝置(滑鼠、觸控板)、模擬工具(手術刀、觸控筆)、動作捕捉等。
3D空間中位置追蹤至關重要
位置追蹤是在虛擬空間中互動的基礎,感測物件目標的位置和移動方向。準確的感測可使裝置正確識別使用者動作,由此確保現實世界的物體與虛擬空間正確融合,創建無縫且穩定的使用者體驗。如果無法準確感測位置和移動方向,現實世界的物體和使用者的動作識別將無法與虛擬空間正確匹配,進而影響虛擬實境沉浸體驗。
傳統的位置追蹤技術
有幾種技術現用於實現空間互動時的位置追蹤,以下是這些技術的基本概述(表1)。
光學手部追蹤使用攝影機來識別手的位置和形狀,由裝置的攝影機進行,不需要額外的感測器。然而,由於從攝影機獲得的資訊是平面圖像,深度的距離和位置的推測準確度較差。此外,它很容易受到光學環境的影響,例如陽光等環境光、背景顏色、對比度等,精度都會受到影響。
光學標記追蹤使用攝影機捕捉LED等標記位置和配置,是一種常見的位置追蹤技術,可以實現比上述光學手部追蹤更佳的精度。然而,追蹤需要很多標記,限制了硬體設計。此外,與光學手部追蹤一樣,它也容易受到光學環境的影響。
慣性追蹤使用加速度感測器和陀螺儀(有時還會使用磁力計)來測量運動,該技術可以使裝置小型化、耗電量更低。然而,慣性感測器無法單獨估算位置,需要初始位置進行校準。此外,慣性感測器會受到漂移和偏差的影響,導致準確性較差。
除了上述位置追蹤技術外,還有其他技術,例如光學追蹤和帶基站的磁性追蹤等。但這些技術的裝置較大、成本相對較高,目前難以普及。
新的位置追蹤技術
結合超音波、光學和慣性技術的新式位置追蹤技術,具備小型、高準確性、經濟實惠和實用性高的特點,可解決傳統追蹤技術的局限性。新技術與配備攝影機、麥克風與通訊連接的裝置兼容,例如延展實境(XR)裝置。
此外,新技術可以支援多種裝置,包括傳統控制器或是需要進一步小型化的裝置,是空間運算和使用者介面的理想技術。新技術也可以解決傳統位置追蹤技術的問題,同時實現小型、低耗電量和高精度。在不久的將來,3D空間模擬、培訓、設計、創意、遊戲與虛擬製作等領域,皆能受益於採用新追蹤技術的裝置而蓬勃發展。例如,Sensoryx的Maliang Magic Pencil便是光學、慣性力和超音波智慧融合的體現,實現了小型化和高準確性等特點,開啟位置追蹤的全新可能。融合多項追蹤技術的方案將讓使用者能夠精確地進入空間運算領域。
超音波追蹤優點多
超音波位置追蹤利用飛時測距(ToF)技術原理來確定物體的距離和深度。此技術具有以下關鍵優勢。
.準確度高:可以準確測量與物體之間的距離和位置。
.尺寸小:換能器(Transducer)尺寸小,有助於實現裝置小型化。
.功耗低:需要的功率小,適合用於電池驅動的裝置。
.堅固性:即便是在陽光直射等光學環境下,都能一直維持優良性能。
.低負載:位置推測需要的資訊量較少,能以較低的運算處理應對。
透過多個超音波換能器及其獲得的距離資訊,可以精確推測物體位置,如圖1所示。
超音波技術具有許多優點,可以實現更出眾的使用者體驗。舉例來說,未來空間運算與介面裝置勢必需要進一步小型化,而超音波追蹤技術可與當前裝置具備兼容性,直接使用現有麥克風接收低頻超聲波,不需要額外安裝接收器,有助於優化設計、進一步實現小型化。
此外,傳統的光學技術需要很多的標記來保障精度,導致產品的尺寸或形狀無法完全符合使用者或設計師的期望。超音波技術可以使用單個感測器測量距離,因此能夠應用於筆、戒指、手表等小型裝置,同時實現較高的定位精度。
另一方面,傳統光學技術通常無法用於低運算能力或電池驅動的裝置。超音波追蹤技術則可在確保精度的同時,以低負載、低功耗運行,因此適用於運算處理性能有限的裝置。
超音波位置追蹤加值未來裝置
智慧眼鏡(Smart Glasses)是利用超音波技術進行空間運算和使用者介面應用的示例之一。這些裝置配備多個麥克風,以準確感測音訊及周圍環境,而未來的裝置設計勢必也得考慮戶外使用情境,利用這些麥克風,即使在多種光學環境下,超音波也可以實現高精度追蹤,並且不需要光學參照物。
除了智慧眼鏡,超音波技術也有助於各式追蹤裝置的發展。整體來說,超音波技術將開拓空間運算和使用者介面的無限可能。例如,村田製作所正在開發的壓電式微機電超音波換能器(piezoelectric MEMS Ultrasonic Transducer, pMUT)(圖2),便具有以下特點及優勢。
.維持高聲壓、尺寸小:進一步小型化,實現設計性和功能性兼具的小型裝置。
.能源效率佳:其低功耗特性加強便攜式,適用於電池驅動的裝置。
.低頻率:由pMUT發射的超音波可以被MEMS麥克風接收,由此減少裝置側的接收元件數量。
.寬視野範圍(Field of View)指向性:可以減少感測死角並減少發射器數量,實現廣泛的感測覆蓋範圍。
(本文由村田製作所提供)