雖然擴增實境(AR)技術已行之有年，但真正開始備受矚目在2016年寶可夢GO (Pokémon GO)的推出，應用基本上僅是簡單的將寶可夢加疊在相機輸出的影像上，未來若希望讓AR廣泛應用於不同領域，須加強系統單晶片(SoC)功能，擴增其應用範圍。
擴增實境(AR)的應用已經出現好幾年了。在本文中，不會探討AR的定義─它可以是混合實境、延伸實境、或是利用疊加圖形來增強「實境」的任何一種形式。早在90年代初期，消費者在觀賞美式足球聯盟(NFL)比賽時就已經體驗過一種AR的應用，就是喜歡看到有進攻的起始線和十碼線以人工的方法疊加在螢幕上。多年來，AR經歷了緩慢的演進，從那時候一直進展到今天消費者所想像的AR，例如Google Glass和寶可夢GO(Pokémon GO)。
對消費者來說，2012年發表的Google Glass或許代表著頭戴式AR革命的起點。但它並不是一項空前的成功，反而在消費者的腦中種下了許多疑惑。究竟它的外型尺寸應該如何？能執行哪些應用？電池壽命如何？同時，它也帶來了對隱私權的強烈疑慮，一直到今天，這許多問題仍然尚未有答案。
滿足三大設計要求 AR應用指日可待
在2016年Pokémon GO的推出，大概是「傻瓜型」AR的最佳範例，以非常簡單的方式，將寶可夢怪物疊加在相機輸入的影像上。它並不理解它面前的場景，而且字體也沒有根據場景大小來進行縮放。此外，它們也不知道光照、所以並沒有試圖來為陰影或反射效果建立模型。由於不理解場景的內容，所以怪物可能是站在水面上、在車頂上、或是場景中的任何一個位置。
如果AR要真正能取得成功，並推動最新的許多真實世界的應用，像是在手術室中輔助手術的進行、建築物的視覺化顯示、車內抬頭顯示幕(HUD)以及其他許多的應用，那麼就需要大幅提升用來驅動這類應用的SoC的功能，如此才有可能實現以上所提的應用(表1)。
設計者需要AR系統具備分析場景的功能，並能夠根據物體的相對位置來正確繪製，此外，還需要理解場景中的物體是什麼，以及場景的光照條件，最後，再將人工(「擴增」)的物體放到場景之前。
光達/視覺處理加持 確認AR場景內物體位置
想要決定場景中物體的位置，有一種方式是利用光達(Lidar)系統這類的傳統方法，透過對目標物體投射雷射光線，來量測與目標物體之間的距離。或是，可以改採視覺處理技術，利用來自單一相機的輸入影像。若採用繪圖處理器(GPU)，像是許多AR用SoC中會內建的GPU IP核心，便能利用稀疏特徵點的匹配(Sparse Feature Point Matching)這類的技巧來實現場景的3D影像重建。
沉浸式AR體驗不僅需要知道場景中物體的相對位置，還需要知道這些物體到底是什麼。舉例來說，如果設計者正在設計一套醫療用AR系統，醫生會希望場景分析能知道醫生在手術室中看到的是什麼。或許，AR會突顯某個器官上有可能是癌症的可疑斑點。目前，場景認知領域已取得了快速的進展，有許多是透過深度學習，或是神經網路系統來實現的。與場景定位(Scene Localisation)一樣，神經網路(例如卷積神經網路(Convolutional Neural Network, CNN))，也能在GPU IP上執行，或是可依需求的增加而採用專用的硬體來執行。今天，只要能夠提供足夠的訓練資料，CNN就能夠被訓練用來辨識應用程式所要求的任何東西。
了解光照不可少 AR技術邁大步
最後，如果設計者要將繪圖物體真實地放置在真實世界的場景中，就得瞭解場景的光照。除非設計者能正確地為物體上的陰影和反射效果建立模型，否則場景中放置的物體就會看起來不真實。傳統用來理解場景光照的方式是放置一個3D標示器(Marker)，然後量測由已知物體所投射出的陰影。但由於此方法往往是不切實際的，因此在相關供應商，如Imagination正積極地研究一些方法，希望能夠無需在場景中放置3D標示器就能理解場景的光照。
一旦設計者理解了場景、物體的相對位置、以及光照之後，設計者需要產生圖形以疊加在場景之上。傳統的光柵式(Raster)技術能夠建立基本的疊加影像。對某些應用來說，此功能或許已經足夠。但是，在真正的真實場景中，設計者將需要用到光線追蹤技術。基本上，光線追蹤技術可對光線的物理現象進行建模，以確保場景中的每個畫素都能以真實的反射、折射以及細微的光照效果來正確地「塗色」，才能產生栩栩如生的結果。此技術在高階電影與電視節目中已經使用了數十年之久，可帶來令人驚豔的電腦合成影像(CGI)效果。
物體必須以高準確度來建模，才能使場景的AR畫面接近真實世界的樣貌。使用光線追蹤技術能確保陰影能被正確地建模、鏡頭變形(Lens Distortion)能輕鬆地被修正，並精準地呈現光線反射。
加強硬體效能 AR踏入真實世界在望
當設計者著手開發下一代的AR裝置時，顯然地，為了實現這些令人驚豔的應用程式，將要求SoC具備極高的處理能力。這類SoC的矽智財技術選用─包括CPU與GPU，扮演了極重要的角色，以確保能夠取得最高的每微瓦效能以及最高的單位面積效能。對於想要提供真正能改變生活的AR應用程式的產業來說，需要特別為AR打造新型的SoC。唯有如此，才能看到所需的效能躍升，而不再只是利用普通行動應用處理器的SoC。
(本文作者為Imagination PowerVR產品與技術行銷資深總監)