資料減半傳輸加速　VVC影像壓縮助攻即時視訊

多功能影像編碼(Versatile Video Coding, VVC)是國際電信聯盟電信標準化部門(ITU-T)和國際標準化組織/國際電工委員會(ISO/IEC)聯合制定的國際影像編碼標準。與前代高效率影像編碼(HEVC)相比，VVC編解碼器能夠在保證相同影像品質的情況下，縮減影片資料大小約50%。在網路影片流量不斷成長的時代，影片壓縮變得越來越重要。隨著使用生成式AI製作影像內容的浪潮即將到來，同時影像內容製作和消費的節奏不斷加快，減少多媒體內容的位元數仍是一個重要問題。

讓我們來看看那些使VVC區別於當前所部署的影像編解碼器的基礎創新，並以高通技術公司(Qualcomm Technologies)為例，說明業界為了打造充滿活力的VVC生態系統所做出的努力。

最佳化影像編碼滿足應用需求

除了顯著降低資料大小之外，在視訊會議、螢幕共享和全景影片等特定影像場景中，VVC編解碼器還推出了多種特別實用的智慧工具。

視訊會議

COVID-19疫情對人們的工作方式帶來深遠的影響，人們對遠距辦公工具(尤其是視訊會議軟體)的需求顯著增加，視訊通話已成為個人和專業用途中重要的通訊方式。

在視訊通話中，將持續監測兩端的網路頻寬，並依此調整入站和出站的影片品質，使影片資料適應可用頻寬。對於以前的影像編解碼器，比如高效率影像編碼(HEVC)和先進影像編碼(AVC)，當影片解析度發生變化以適應可用網路頻寬時，伺服器需要發送一種特殊類型的幀，稱為「即時解碼刷新(Instantaneous Decoder Refresh, IDR)」幀。這將中斷時間預測(Temporal Prediction)，代表無法引用來自先前幀和後續幀的資料進行估算。

VVC提供稱為「參考圖像重新採樣(RPR)」的特殊功能，可以彌補當前這一代影像編解碼器的不足。在解碼時，RPR能夠改變影片的解析度，而無需IDR幀。這能夠避免大量IDR幀造成資料量快速增加，進而實現更流暢的視訊通話體驗，不會出現停頓(圖1)。

螢幕共享

螢幕共享在團隊合作中越來越受到歡迎，尤其是在遠距辦公的時代。藉由螢幕共享功能，團隊成員可以輕鬆展示他們的工作並即時進行項目合作。螢幕共享使用需求不斷成長，與攝影機生成內容一起被渲染、混合或疊加的影像資料的使用需求也隨之成長。

從一開始，VVC就是一種旨在支援對螢幕共享內容進行編碼的編解碼器。VVC編解碼器包括五個主要的與螢幕內容編碼相關的底層工具：變換跳過殘差編碼(TSRC)、基於區塊的差異化脈衝編碼調變(BDPCM)、幀內區塊複製(IBC)、自適應顏色變換(ACT)和調色盤模式。

透過減少需要傳輸的資料量，這些工具幫助提升編碼螢幕內容的色彩準確度和整體資料效率。以前的影像編解碼器增加了一些螢幕編碼改進特性，但不夠高效，且並未受到所有終端的支援。相比之下，由VVC定義的螢幕共享內容編碼工具在主設定檔(Main Profile)中被默認支援，並且應該在大多數支援VVC的裝置上皆可使用。

相較於其他影像編解碼器所展現的高效率，VVC將會是那些擁有全部或部分螢幕共享內容應用的主流選擇(圖2)。

全景影片

全景影片已超越傳統影片的被動接收模式，提供更高程度的沉浸感和互動感。此項革命性技術能夠讓使用者與特定場景或環境互動，在虛擬空間中感受到參與感和臨場感。虛擬實境(VR)是已在我們日常生活中落地實現沉浸式技術的一個範例，在娛樂領域之外，對數位醫療、數位教育和文化遺產展示等重要經濟領域皆帶來影響。

VVC為全景影片導入智慧工具：提取與合併位元流、子圖像、虛擬邊界和水平環繞動態補償。全景影片通常需要以時間同步的方式同時處理多個基本位元流。採用先前的影像編解碼器，每個基本位元流需要實例化一個影像編解碼器實例。然而，位元流的提取與合併定義了一種在壓縮狀態下拼接和剪裁影片的方式，影片應用所需的基本位元流數和在終端上運行所需的影像解碼器實例數能夠分開運作。

子圖像是VVC中推出的全新圖像分區方案，為矩形編碼區域，獨立於鄰近區域進行編碼，因此可被提取。一個子圖像可以對應到一個感興趣的區域，例如消費者透過VR頭戴式裝置所看到的區域。基於使用者視線方向，能夠支援優先處理並向頭戴式裝置發送更高保真度的子圖像。

在360度影片中，當我們將其轉換為2D呈現時，某些投影(例如立方體貼圖(Cubemaps))的非對齊面邊界可能出現不連續點。透過在邊緣禁止使用迴圈過濾器，可以減少失真(Artifacts)。藉由VVC，我們能在水平或垂直虛擬邊界控制迴圈過濾器，虛擬邊界的配置也會在位元串中進行標記和傳輸(圖3)。

環繞動態補償可使用來自圖像右側的像素值，在水平環繞方向上進行預測，因此可支援從圖像左側邊界之外開始執行動態補償，反之亦然。這項全新的靈活功能有助於運用等距柱狀投影格式的全景影片進行編碼。

智慧型手機VVC：推動生態系向前發展

20多年來，高通技術公司持續在影片技術發展歷程中擔任重要角色，所研發的技術改變了影像內容在智慧型手機、平板電腦、PC、電視和其他終端上被拍攝、傳輸和消費的方式。這些創新在更低頻寬和儲存空間需求的基礎上，實現了更高的影片品質。這些技術發明的影響力不僅限於行動生態系，對更加廣泛的領域也有所助益。由高通技術公司協助推動的影像技術，包括影像編解碼器、串流協定(Streaming Protocol)和多媒體檔案格式都在業界獲得廣泛採用。與HEVC一樣，高通技術公司也是VVC標準的主要貢獻者。

VVC在生態系的發展動能強勁，目前已經被加入DVB核心規範(Digital Video Broadcasting Project/國際數位視訊廣播組織)，廣播和寬頻應用影像編碼的核心規格。巴西數位電視廣播技術標準ISDB-T International(又稱SBTVD)也採用VVC作為主要影像編解碼器，預計其他廣播標準也將相繼採用該影像編碼標準。

高通已經開始與生態系統中的夥伴合作，近日，高通攜手騰訊，在整合Adreno GPU的Snapdragon 8 Gen 2行動平台上對其VVC軟體解碼器進行最佳化。該預商用原型實現了超過30%的效能提升，能夠穩定且即時流暢地播放4K 10-bit 60幀率(FPS)的超高畫質VVC內容。2023年7月28日~31日，2023年中國國際數碼互動娛樂展覽會(ChinaJoy 2023)於上海舉辦，高通首次演示了這款優化過後的影像解碼器，此類經優化的軟體解碼器將有助於加速在影像內容服務中採用VVC編解碼器。

(本文作者為高通技術公司產品管理總監)