手機視覺饗宴登場 剖析視訊功能手機系統設計架構

數位相機訴求更高解析度、動態攝影要求具有SDTV視訊的捕捉能力，兩者對鏡頭的光學品質及變焦(Zoom)能力非常要求；在寬頻連結方面，透過GPRS、EDGE、3G、HSDPA或Wi-Fi等寬頻系統，讓手機能進行VoIP、視訊電視或線上遊戲等功能；此外，DVB-H、T-DMB或Media FLO等技術紛紛出爐，促使行動電視(Mobile TV)數位廣播服務也將實現。  

多媒體手機已是大勢所趨，其中又以視訊功能為發展的焦點所在。對智慧型手機(Sartphone)說，視訊已是必備的功能；對大眾市場的功能手機(Feature Phone)來說，視訊功能也讓它更具行銷上的加值優勢。  

視訊手機面臨設計挑戰  

手機的視訊應用很多，包括攝影(Camcorder)、媒體播放(Media Player)、行動電視、視訊電話(Video Telephony)等，要提供這些應用功能，除了鏡頭、感測器、處理器、記憶體和顯示器等硬體系統的配備外，不可或缺的核心技術即在於對聲音、視訊內容的壓縮與解壓縮處理技術。  

在視訊壓縮技術方面，今日主要的格式包括MPEG-4、H.264、H.263和VC-1等；在音訊方面，則有AMR-NB、AAC、WMA、MP3等。這些格式都分別有其應用領域，例如視訊電話須支援H.263或H.264格式，媒體播放器則須對各種格式都能支援。在視訊壓縮格式中最受重視的無疑是H.264，除了可支援廣泛的應用外，更具有在有限頻寬中提供更高品質、更大容量視訊內容的技術優勢，這對於3G所訴求的互動電視、新聞或運動視訊短片等殺手級應用來說，正是最佳的選擇。  

因此，要達成手機的視訊功能，開發者面臨的挑戰包括：要能支援多重的視訊及音訊格式，以提供豐富的應用功能；要支援更高的解析度和傳輸、處理速度，以提升用戶的視聽感受經驗；在應用處理負荷增加下，仍能保持或延長電池的使用壽命。為克服這些挑戰，在設計上有必要採取更先進的軟、硬技術與系統架構。  

考量視訊功能的架構規畫  

就手機的多媒體平台來看，目前市場上存在多種解決方案。在上文「設計智慧型手機系統」中已指出，隨著多模/多系統的通訊處理與多媒體應用處理的日趨複雜化，手機系統已走向數據機處理單元(Modem Processing Unit, MPU)與應用處理單元(Application Processing Unit, APU)的分離架構，如此一來，兩者皆能隨各自的市場需求或技術演進發展，系統業者也能依自己的定位來搭配。  

不過，在應用處理器的部分，市場上仍有不同的作法，有人採用單一的ARM核心處理所有的工作，也有人採用ARM加DSP的雙核心架構，也就是將控制與訊號處理工作分流，由ARM的RISC核心進行主要控制工作，大量的訊號加、解碼工作則交給DSP執行。當工作量不大時，此類架構還能滿足需求，但當多媒體任務更繁重時，就顯得力有未逮。這時，應用處理平台中會考慮加入專屬的加速器來提升處理效能。  

由於規格複雜度不同，不同的視訊壓縮格式，需要的運算資源也不同；此外，編碼(Encode)又比解碼(Decode)耗用更大的運算資源。以MPEG-4為例，雙核平台或許能以軟體滿足Decode需求，但若要進行Encode，採用軟體作法可能就會對系統造成極大的負荷。  

此外，在影像的輸出品質上，顯示器提供的視訊品質，例如15 fps或30 fps的VGA或CIF，對應用處理平台的運算資源需求都不同。若要以單一處理器來提供30 fps的VGA畫質視訊，可能得用到GHz等級的處理器才跑得動，不過，這在手機的環境下顯然是行不通的，因為此方案的耗電太驚人，散熱也難以處理。  

因此，在應用處理平台中加入專屬功能加速器的分散式處理架構，已成為視訊/多媒體手機的重要發展方向。此架構讓系統能以更低的時脈頻率執行複雜的多媒體工作，並能降低主處理器的負荷。以Nomadik平台為例，即在ARM926EJ-S的主處理器核心外，搭配多顆可程式智慧加速器來來分擔在音訊和視訊上的前、後處理任務。在任務執行中，這些智慧加速器能獨立且同時運作，進而讓系統能在低耗電的條件下達成需求的應用功能表現。  

架構分散式智慧加速器  

以Nomadik的例子看智慧加速器的分散式架構，包含智慧性視訊加速器(Smart Video Accelerator)、智慧音訊加速器(Smart Audio Accelerator)、多媒體訊號處理器(MMDSP)、加速功能硬體(Acceleration Hardware)等處理單元，這些加速器在產生圖像、錄影、播放節目和雙向影音通訊時，展現極低的耗電量，所提供處理動力和記憶體頻寬，足以驅動1024x1024電漿螢幕；此外，這些複雜的加速器能獨立地與區域DMA和記憶體資源一起工作，讓主處理器能在同一時間中更專注於處理應用功能，或進入省電狀態來延長電池壽命。  

在視訊處理的部分，視訊加速器能針對MPEG-4的編解碼提供30 fps的CIF畫質、24 fps的VGA畫質和384Kbps的傳輸率，也具備圖像前/後處理能力，如(圖1)。此外，Nomadik以48Kbyte的on-chip SRAM支援VGA視訊編碼，可用在視訊訊框的抓取和搜尋視窗的儲存，外部的記憶體則被用於其餘視訊功能的處理。此一作法降低記憶處理的延遲，讓效能可以大幅提升，同時也為改善I/O和匯流排的設計，能進一步降低耗電；此外，在成本上也因晶片尺寸的縮小而降低。  

音訊加速器則是一個完全以C語言加以程式化的MMDSP核心，如(圖2)，此核心採用採用超長指令集(Very Long Instruction Word, VLIW)架構，每個指令執行為一個循環，而且完全是由C語言撰寫的程式，適用於與媒體內容相關的處理以及協定、負載平衡和多工架構等用途。此一音訊加速器能夠對包括AAC、MP3、MPEG-1、MPEG-2、MIDI、Dolby Digital等廣泛的數位音訊格式進行加碼或解碼，也支援SRS、WOW等3D音訊環繞效果。  

至於低頻率、處理需要大量MIPS像素計算的硬體線路運算器，當與MMDSP協同工作時，則能進一步降低系統的耗電，讓系統能達成更繁重的處理工作。此硬體執行的工作包括動作估計(Motion Estimation)、編碼轉換(Transform Coding)、變數長度解碼(Variable Length Decoding)、圖像過濾(Image Filtering)和色彩轉換(Color Conversion)等等。  

低耗電設計  

對於視訊功能的處理而言，往往對系統造成不小的耗電負荷。就SIA在2002年更新發表的技術發展藍圖來分析，最大電池供電力與容量平均每年成長10-15%，但手機系統的電力需求卻是以每年35-40%的需求比例成長中，其中又以多媒體應用為耗電量成長的主因。在此情況下，系統耗電量與電池供電的鴻溝只會不斷地擴大。  

如此一來，唯有提出完善的系統架構與電源管理策略，才能跨越此一設計難題。在行動產品的耗電上，主要來自於電流洩漏、電壓上升，和時脈頻率的提升，目前的情況是電流洩漏的情況隨著製程縮小而更嚴重，而處理器頻率及電壓也不斷在增加，這都會縮短電池的使用壽命。  

要降低耗電，就須針對此三點對症下藥。例如盡可能避開對高時脈速度的需求來節省能源，或採用新的演算法和具電力效率的指令集，以及在ARM處理器中以Java加速器來為編碼提供更高的執行效率；針對資料壓縮和影像縮放要能有效地使用晶片上的頻寬；此外，採用積極的電源管理策略，關掉晶片上非活動的區域，讓CPU盡可能地保持在省電模式狀態。  

以Nomadik的作法為例，分散式運算架構中獨立的智慧加速器能大幅降低如主機CPU的系統資源負荷，例如採用雙層指令快取的音訊加速器，當進行MP3解碼時，能降低大約60%的外部記憶體接取需求和耗電量；而對一個15 fps的QCIF視訊流解壓縮時，只需用到0.2 MIPS，這只占了CPU資源的0.07%。  

此外，指令集架構(Instruction Set Architectures)的使用也是個關鍵，例如主機CPU使用子字(sub-word)運算和高程式碼密度的16位元Thumb格式，而MMDSP則用來執行能源效率高的VLIW指令。專為動作估計、位元速率控制(Bit-rate Control)和影像穩定性(Image Stabilization)開發的演算法(Algorithm)，則能進一步降低運算需求、記憶容量及記憶頻寬。  

當然，積極的電源管理是降低耗電的一大關鍵。多媒體平台應讓主CPU盡可能處於預備中(Idle)、低時脈(Doze)和接近靜態(Sleep)等省電模式中。為了降低靜態電流的洩漏問題，整個Nomadik晶片除了RTC和PMU外，都可以處於不供電狀態，但在少於千分之三秒內就能被叫醒。此外，可採用時脈閘控(Clock-gating)和運算元隔離(Operand Isolation)來關掉晶片中非運作的部分。  

除了以上方式，多媒體平台也能從最基礎的設計方法學、矽製程技術和封裝技術改善耗電量。以製程技術而言，降低每個電路閘耗電(Power-per-gate)是一個關鍵性技術驅動力，由於耗電量隨電壓的平方而增加，採用低電壓能有效降低電路閘的耗電。善用高臨限電壓(High-Vt)及低臨限電壓(Low-Vt)電晶體也是一項有用的策略，例如高臨限電壓電晶體能藉由降低Off-State的洩漏來延長電池的壽命和待機時間。  

視訊後處理仍待改善  

本文對視訊功能手機的系統需求提出分散式處理的智慧加速器架構與低耗電設計等因應措施。在視訊解碼後的影像呈現，仍有不少後處理(Post-processing)工作，包括塊狀雜訊過濾(De-blocking Filter)、色階強化(Dithering)、明度與反差(Brightness and Contrast)、透明混合處理(Alpha Blending)、旋轉(Rotation)、裁切(Cropping)、光罩(Masking)、格放(Scaling)、子母畫面(Picture in Picture)等，對多媒體手機而言改善空間仍大。  

此外，由於視訊服務往往涉及安全性問題，因此，手機系統也須針對行動商務(M-commerce)、身分認證(Authentication)和數位版權管理(DRM)等應用部署安全保障架構，這與終端本身記憶體的作法及通訊系統的認證機制息息相關，例如可用專屬的安全模組記憶體儲存保密性的資料。  

為確保在不同終端設備與電信系統中能流暢傳遞視訊內容，多媒體手機的開發也須做到互操作性測試(Interoperability Test, IOT)。針對聲音、視訊及串流格式的一致性，目前有IMTC(International Multimedia Teleconferencing Consortium)、MPEG IF和ISMA(Internet Streaming Media Alliance)等國際組織推動，這些非營利組織之間也有密切的合作關係，在開放性的精神下，讓多媒體服務能更快速地進入每個人的行動生活當中。  

(作者為意法半導體亞太區通訊及行動多媒體事業部資深技術行銷工程師，聯絡方式：vincent.chiang@st.com)  

(詳細圖表請見新通訊61期3月號)