有效處理成像作業　GPU創新數位家庭視訊體驗

這個轉變代表數位家庭產業鏈將面臨一些主要挑戰，從服務供應商、有線電視機上盒製造商及軟硬體供應商都將受到影響。本文說明為何圖形化使用者介面(GUI)對於提升新一代家庭視訊體驗如此重要，並說明在這個趨勢下所需的軟硬體支援。

最後，將檢視安謀國際(ARM)及合作夥伴共同開發的最新技術，這些技術可協助落實2010年後嶄新的數位家庭生活。

數位電視邁向高畫質

目前市面上推出的電視新品幾乎都支援解析度達1,920×1,080的高畫質。由於全球各地即將停止類比電視訊號，機上盒的銷售量因而大增。

螢幕解析度的提升，意味各畫素32位元的輸出及位元速率均大幅提升，且1,080p高畫質螢幕將有60Mbit/幀以上的需求，但對於圖形子系統而言，即使是處理簡單的圖形轉換或使用者介面效果，都是一大難題。

除了全新高畫質頻道和藍光DVD播放的高畫質內容在電視台播送的影像外，消費者也有觀賞高畫質內容的需求，這些訊號須要被轉換為高解析度品質。

IPTV帶來聯網新體驗

思科(Cisco)預測，2012年網際網路使用量將為2008年的七十五倍，其中有線電視及網路電視(IPTV)為刺激成長的主因。

YouTube等網站的視訊使用量激增，促使有線電視業者引進網路服務，使得IPTV更加流行。到2010年，消費者可望能選擇大量電視節目及付費頻道、預錄資料、網頁內容等，甚至可以將自己的視訊影片或相片及個人化內容上傳至網路。更舒適便利的網路瀏覽體驗不久後將成真。

無限量內容的提供對於個人化內容是一大挑戰，例如偏好內容的呈現，根據存取便利性加以編排，或者讓定向廣告更醒目、具吸引力且易於存取。

想要更舒適便利的網路瀏覽體驗，其中一個主要技術難題，在於使用者介面如何以清晰、動人且直覺的形式吸引消費者瀏覽內容和廣告，這將是各種家庭網路瀏覽裝置解決方案成功的關鍵。

HDTV使用者介面令人驚豔

電視的使用者介面將就此改變的實例不勝枚舉。例如，當消費者花大錢購買全新的高畫質家庭多媒體系統，卻發現節目導覽之類的使用者介面(圖1)和2009年沒有什麼差異時，消費者需求仍不足以被滿足。

圖1　典型的節目選單

如此的使用者介面將無法管理消費者未來大量接觸的內容，而且也不適用於互動式或可供下載應用的程式。更糟的是，將無法完全運用現今許多裝置內建的技術。消費者的個人化內容呈現十分重要，這些功能將協助他們輕鬆存取包括偏好的電視節目、預錄影片、網際網路資料及影片，甚至是家庭自拍影片和相片。

節目導覽頁面已逐漸演變成消費者可自行設定的「首頁」，因此提供廣告業者大範圍、高頻次傳送訊息的新契機。再者，透過簡易且生動的介面吸引消費者目光，確實相當重要。

圖2　使用者主頁上的個人化桌面工具

基礎資料庫的資料收集須被呈現，但資料呈現的方式須經過縝密設計。個人化的桌面工具(Widget)也可用來清楚呈現畫面資訊，同時協助消費者自行配置畫面(圖2)。只要讓視窗融合透明度，使置底的視窗完全呈現，就可達到賞心悅目的效果，同時讓畫面更易於瀏覽。以下將說明如何將攝影與天氣預報的個人化桌面工具與消費者「首頁畫面」的廣告作搭配結合。

如上所述，呈現大量資料的方式可用來呈現內容總覽，然而，進階的使用者介面也必須能順暢地放大/縮小操控物件或應用程式(圖3)。

圖3　轉換效果可將新資料移至前景

對於消費者而言，使用者介面真正的重要性在於可靠性。使用者介面必須以一致且直覺的方式符合消費者預期，並迅速取得所需內容，而最重要的是必須使用簡易。

除此之外，另一項重要考量為使用者介面必須非常吸引人。這已成為聚集消費者目光的關鍵。消費者能夠在運動、新聞及其他播送節目看到3D轉場效果。已有許多消費性裝置提供3D使用者介面，包括從最新款的手機到可攜式導航裝置、印表機、相機及數位相框。加入調整大小、偏斜、傾斜和縮放等效果，加強相片或專輯搜尋視覺效果，都可以創造如遊戲般的生動內容瀏覽體驗。由於經過最佳化設計的使用者介面開始在數位家庭裝置中被大量採用，使用者介面效果將比以往更為顯著。

機上盒效能提升

數位家庭中，數位電視、機上盒和其他裝置的功能逐漸增加，而且多媒體已成為桌上型電腦的必備功能。目前有許多關鍵元件正相互整合，以提升進階多媒體功能。晶片製程不斷進化，達到前所未有的高效能、低功耗與低成本。多工處理的中央處理器(CPU)能夠達到1,000DMIPS以上，並內建晶片快取和浮點支援。各種消費性裝置正逐漸採用繪圖處理器(GPU)以呈現3D效果，並使視訊和圖形進一步結合(圖4)。

圖4　HDTV 3D使用者介面範例

持續減少的記憶體成本，快閃記憶體及隨機存取記憶體(RAM)供應的增加，使得高容量儲存裝置更符合成本效益，並得以大量生產。同時，隨著通用序列匯流排(USB)2.0的採用，透過MoCA、HPNA V3以及HomePlug AV進行的高速家用網路，以及數位生活網路聯盟(DLNA)相容軟體堆疊，本機連線輸出量也提高，因此有助於數位家庭從不同裝置存取視訊及網路內容。

GPU異軍突起

高畫質電視(HDTV)須處理的畫素量指的是需要GPU的成像作業。例如，從標準畫質480i轉換成1,080p HDTV後，簡單的2D位元塊傳輸需要大約十倍的CPU週期及記憶體存取。

此外，消費者對於高畫質螢幕的期望愈高，便須處理愈多畫素，其中包括重整高品質影像、多層次透明度、全螢幕反鋸齒及進階視覺效果，如景深、映像(Reflection)、衍射(Diffraction)等。

傳統的嵌入式CPU並不適合這些應用，而傳統的2D繪圖處理器不足以因應不停演變的功能需求。以下提及的使用者介面則是運用一種稱為OpenGL ES 3D的圖像標準功能。

Open GL ES是嵌入式圖形的低階應用程式介面(API)，功能介於軟體應用程式與硬體圖像引擎之間。此使用者介面只需要約一百到兩百個三角形，用於灰階負載影像、映像、文字及背景。然而，對於每秒三十格影像的1,080p HDTV而言，則最低需要120MPix/s原始畫素填充速率，其中至少有50%是二次或三次線性過濾紋理資料(Bi- or Tri-linear Filtered Texture Data)。因此，需要每秒處理360M次24位元畫素(表示最低1.1GB/s)及理論上最低的3.2GFLOPS才能進行過濾作業(不包括透明度/混合)。

換句話說，若要進行以上作業，使用CPU或現有2D繪圖處理器，並不符合成本效益，甚至不切實際。其實，只要部署GPU即可進行這類作業，例如ARM Mali系列的GPU，即可執行高效率的三次線性過濾，而且內建的專屬快取可將材質頻寬(Texture Bandwidth)使用量降至最低。Mali也能夠執行二次線性過濾，完全不會造成效能降低。另外，也可運用Alpha混合來支援額外的材質提取及混合，以便上例達到映像效果。一般會將3D轉場效果套用於以下頁面轉場效果中的視訊串流(圖5)，不過會產生一項難題。

圖5　3D使用者介面之視覺效果

GPU一般可處理RGB格式的資料，而視訊解碼器通常會產生更有效運用記憶體和頻寬的YUV資料。從YUV轉換為RGB格式會占用許多頻寬，也因此耗用電源及CPU週期。

圖6　GPU轉換頁面效果應用於影片串流

GPU可提供YUV資料的硬體支援，然而，須要支援的YUV格式有多種不同的類型。另一種較彈性的方法是運用Mali之類新一代GPU的可程式特性，撰寫高效率的畫素片斷著色器程式(Fragment Shader Program)，在GPU上以每畫素二至三個週期將YUV轉換為RGB格式，包括對比、亮度及彩度的控制(圖6)。如此一來，GPU即可直接讀取YUV資料，發揮於2D和3D效果，完全不需要任何個別轉換。

如果運用可程式3D圖形硬體的新一代OpenGL ES 2.0使用者介面，即需YUV色域轉換，將視訊資料輸入圖形管線。此使用者介面效果也包括即時調整對比、亮度及彩度、衍射與景深/模糊效果(圖7)。

圖7　使用者介面之進階GPU運用

一如以往，所有這類的作業能夠藉由GPU有效處理，如Mali的畫素片斷著色器。雙核心Mali-400 MP的每一個週期可執行多次著色器作業，同時可執行紋理過濾、混合、反鋸齒及其他作業。

圖8　典型電視遊戲產生之放射狀模糊UI效果

其他更引人注目的視覺效果，可運用極快的畫素速率達到絕佳的轉場效果，將使用者介面與其他同類型的解決方案作區隔。例如，徑向模糊轉場(Radial Blur Transition)是高階遊戲中常用的效果，而且在不同的影像處理套件中相當常見，很容易就能夠將十倍HDTV畫素加入上例中(圖8)。

數位家庭後勢可期

數位家庭可用的無限量內容與加大的高畫質螢幕尺寸相結合後，更加突顯使用者介面的重要性，且已成為影響消費者購買的主因。從個人化及簡化的豐富內容存取，到應用酷炫轉場效果，2010年數位家庭的使用者體驗將非常重要。圖形處理器將在此轉變中扮演關鍵角色，而且需要以低於一般桌上型電腦一百倍的功耗達到每秒1G畫素的效能。

可喜的是，目前此技術已可供運用，且晶片廠和原始設備製造商(OEM)已經將Mali-200和Mali-400MP等進階GPU設計應用於大量STB及數位電視(DTV)當中。

為了吸引消費者的目光，目前各廠商已經進入備戰狀態，對於期待視覺感受出現革命性創新的消費者而言，這是天大的好消息，大量植入於數位家庭裝置內的GPU，將能在2010年，甚至未來實現數位家庭的生活型態。

(本文作者依序為安謀國際市場開發協理、思科服務供應商視訊技術部門資深產品經理)