虛擬現(xiàn)實視頻處理與傳輸技術

董振江，張東卓，黃成，劉海軍

（中興通訊股份有限公司，江蘇 南京 210012）

虛擬現(xiàn)實視頻處理與傳輸技術

董振江，張東卓，黃成，劉海軍

（中興通訊股份有限公司，江蘇 南京 210012）

虛擬現(xiàn)實（VR）是當前視頻領域研究熱點。介紹了VR視頻內容制作以及終端顯示技術現(xiàn)狀，分析了基于用戶視點的VR視頻處理關鍵技術，最后探討了VR視頻傳輸模式及其對承載網絡的需求。

虛擬現(xiàn)實；虛擬現(xiàn)實視頻；投影；區(qū)域封裝；基于視點視頻編碼；全景視頻傳輸

1 引言

虛擬現(xiàn)實（virtual reality，VR）因其沉浸感（immersion）、交互性（interaction）和構想性（imagination）為人們帶來了更好的視覺體驗。而VR視頻需要經過內容制作、編碼壓縮、網絡傳輸、終端顯示等多個環(huán)節(jié)。本文將對這些環(huán)節(jié)進行介紹，并分析基于用戶視點的 VR視頻處理與傳輸關鍵技術，最后探討 VR視頻業(yè)務對承載網絡的需求。

2 VR視頻內容

VR內容形態(tài)上包括 VR視頻和 VR CG（computer graphic，計算機圖形）兩大類，前者主要是通過攝像機拍攝并生成全景（panorama）視頻（單目或雙目），后者主要是通過計算機圖形生成三維模型。本文主要討論前者。

2.1 VR視頻制作

VR視頻生成的方式有兩種：一種是用攝像機拍攝；另一種是采用CG技術3D建模生成視頻。

攝像機拍攝 VR視頻，需要用全景攝像機即多鏡頭攝像機拍攝各個方向的圖像內容并進行圖像拼接。目前市場上全景攝像機的鏡頭（含鏡頭后面的成像設備等）數(shù)量從兩個到十幾個不等。如果要生成雙目全景視頻，則每個方向上至少覆蓋兩個鏡頭。而有些全景攝像機還配置了激光雷達等深度測量設備。要生成分辨率更高的 VR視頻，則需要更高分辨率的攝像機或者更多攝像機鏡頭。如何降低高分辨率全景相機的成本也是未來VR高質量視頻內容進行市場普及的一個重點問題。由VR CG生成的視頻則類似于3D動畫的VR版本，與全景拍攝相比，其最大的優(yōu)勢是節(jié)奏控制和調度方便，尤其是輔以各種貼圖、渲染和光效，其視覺效果經常可以以假亂真。在未來，VR視頻內容如六自由度視頻和自由視點視頻，可能需要攝像機拍攝和 CG建模兩種技術手段的融合使用。

2.1.1 三自由度VR視頻

（1）單目全景視頻

拍攝和拼合出來的畫面是一個球面，球面電影就是一種單目全景（只是缺少下面一小部分），目前在網絡中多數(shù)VR視頻是單目全景，即左右雙眼看到的內容是一致的。這種全景視頻的一個缺陷就是沒有立體感，對事物的距離感體驗有缺失。

（2）雙目全景視頻

雙目全景視頻利用雙目視差原理，在 VR頭盔的左右雙眼中呈現(xiàn)具有一定視角差的影像，原理上與3D電影別無二致。只是在雙目全景視頻的生成過程中，可以通過并列雙鏡頭攝像機拍攝生成，也可以通過具有深度信息的單鏡頭攝像機拍攝并通過深度計算呈現(xiàn)左右眼視差。

（3）VR180視頻

日前，YouTube和微軟聯(lián)合推出了一種的全新的視頻格式，名為VR180，其相當于全景視頻的前面一半，且全景的頂部和底部也進行了消減，可在 VR HMD或普通電視/PC屏幕或移動端收看。VR180只保留最核心局域，尤其適合觀看現(xiàn)場直播類的 VR內容如賽場、演唱會、會議、談話節(jié)目等。但是VR180無法替代需要更強沉浸感的全景/VR視頻。VR180可降低拍攝成本，拍攝簡便，減少侵權風險，后期或即時制作更便捷，降低VR內容門檻，促進UGC產生。同時，VR180同等分辨率下要求網絡帶寬低，終端計算能力低，終端可獲得性高，促進了大屏VR業(yè)務發(fā)展。

總體來看，VR180是現(xiàn)階段技術水平限制性的明智務實的折中，將促進VR內容產生。

2.1.2 六自由度VR視頻

自由度（degrees-of-freedom，DoF）表示物體的可移動維度，目前多數(shù)VR HMD和VR視頻只支持三自由度，即在特定觀察位置，實現(xiàn)頭部方位角旋轉（yaw）、俯仰角旋轉（pitch）和搖擺旋轉（roll）。六自由度是在三自由度的基礎上，加上觀看位置的空間變動：X、Y、Z。

六自由度視頻生成有如下3種方式：光場相機記錄、3D模型、空間捕捉。

六自由度如果用光場相機（多個相機組成的矩陣）記錄，則流量暴增（對多角度的視頻壓縮也是一個巨大的挑戰(zhàn)），且自由觀看的移動范圍有限。3D模型中的六自由度，類似于3D游戲中主觀視點和視角的變動，實際上屬于VR CG范圍而不是VR視頻范圍，也實現(xiàn)了自由視點。所謂空間捕捉方式，是前兩種手段的一種融合。在攝像機拍攝同時通過激光雷達掃描生成四周環(huán)境的3D模型，之后進行貼圖。可以一定程度上更方便快捷地生成六自由度視頻，但它生成的環(huán)境模型基于一個視點，所以3D環(huán)境模型和物體模型有一定的偏差。

盡管六自由度還處于起步階段，但 VR發(fā)展到六自由度是更高沉浸感的未來必然方向。

2.2 VR視頻顯示

對于單目全景視頻還有平面顯示、環(huán)幕顯示和球幕顯示方式，但 VR視頻顯示的絕對主力是VR頭盔（head mounted display，HMD）?？傮w看來，VR視頻顯示方面需要優(yōu)化演進的包括如下幾個領域：視聽效果，包括顯示分辨率、視場角等；VR HMD的顯示計算能力；更好的佩戴舒適性和移動性。

2.2.1 顯示分辨率

目前 VR HMD最主要的短板在于顯示分辨率。VR HMD顯示分辨率的更準確定義不是像素數(shù)，而是單位角度的像素數(shù)（pixel per degree，PPD）。PPD的定義是每度視角有多少個像素。根據(jù)人眼的識別能力，視力1.0對應的PPD是60，即每度視角里有60個像素點，能達到60PPD的VR HMD將是一個比較理想的顯示分辨率。而目前主流VR HMD產品的PPD參數(shù)在10～15內，對應的頭盔屏幕分辨率為2K左右，距離理想效果的要求還有較大的差距。目前已經有幾款4K分辨率的頭盔上市，預計2018年將會進入20PPD的階段。預計VR頭盔顯示分辨率的演進見表1。

表1 VR HMD商用階段現(xiàn)狀和預測

2.2.2 視場角

FOV（field of view）角度是VR HMD與平面視頻不同的另一個重要參數(shù)，它表示了帶上 VR HMD后，人眼可以看到VR內容的范圍。人的雙眼在水平范圍的FOV可以達到200°，而目前主流商用VR HMD的FOV為96°～120°，距離完全沉浸還有較大的距離。當然人眼在水平60°范圍之外的視覺敏感性很低，這些范圍并不需要很高的顯示分辨率，可以通過光學處理，用較少的顯示像素覆蓋較大的人眼余光視角范圍，在提升沉浸感的同時提高顯示效率。

2.2.3 VR HMD的顯示計算能力

VR視頻顯示需要VR HMD對壓縮視頻進行解壓、球面投影、渲染等工作，需要一定的顯示計算力。即需要GPU（用于外接式VR頭盔）或者相應的處理器（VR一體機或手機式VR頭盔）。而目前VR頭盔分辨率顯示的瓶頸就是VR HMD的顯示計算力。尤其是隨著 VR視頻分辨率的提升，圖像顯示計算量呈指數(shù)增長，這一方面需要集成電路芯片領域持續(xù)地提升計算力降低單位計算能力成本，另一方面也需要 VR領域圖形算法的持續(xù)優(yōu)化，以降低VR圖像生成的計算量。

VR視頻比起VR CG，在顯示計算力方面的需求較小，因此VR一體機和移動式VR頭盔也會有較好的顯示效果。VR一體機在成本和效果之間有一個較好的平衡，未來預計 VR一體機將是VR視頻的主流觀看平臺。

2.3 VR視頻體驗

從用戶體驗來講，VR視頻內容與平面視頻相比，有更強的沉浸性、交互性和構想性。但 VR視頻由于節(jié)奏、調度、鏡頭語言與平面視頻有很大差別，因此 VR視頻的題材范圍差異也很大。VR視頻并不適合所有的題材，其適合如下內容：VR體育直播/大型活動直播，VR成人視頻點播/直播，VR動畫影視（相當于VR版本的動畫片），VR旅游/房產視頻點播/直播，VR綜藝節(jié)目、談話節(jié)目、真人秀，對話推進的VR情景影視，UGC VR游戲/漫游轉錄的VR視頻點播/直播。

（1）沉浸感

VR視頻的主觀視角的沉浸感是最主要的特性，比如說體育比賽的 VR直播，在拍攝的技術手段提升后，可能會在每個車手、球員身上設置VR拍攝設備，這樣可以讓觀眾“靈魂附體”于自己喜愛的車手、球員身上，從其主觀角度觀看甚至參與比賽，以達到更強烈的沉浸感?；蛘呦瘛哆@個男人來自地球》這種依靠對話推進的電影，如果通過 VR拍攝，讓觀眾以其中一員的身份參與電影中，甚至可以通過交互選擇影響結局，那也將是一種全新的觀影體驗。

（2）交互性

VR視頻的交互性也是相對平面視頻更有吸引力的特性，通過眼控、聲音、手勢、嗅覺和外置交互設備等都可以加持 VR視頻的觀影體驗，錦上添花。

（3）移動性

目前VR HMD的佩戴舒適性并不太好，時間稍長就會出現(xiàn)頭頸疲勞、緊箍感明顯和重量不均衡等不適感。隨著人機工程的進一步研究，元器件體積的進一步縮小，在這個方面有較大的提升空間。另一方面，目前顯示效果最好的外接式 VR頭盔需要和主機之間有一根 HDMI（high definition multimedia interface）或 USB（universal serial bus）的連接線以提供高速視頻數(shù)據(jù)傳輸，在一定程度上影響移動性。而采用WiGig等高速低時延無線聯(lián)網技術將剪掉VR頭盔的“辮子”，給外接式VR HMD更好的靈活性。相對于VR一體機來說，這種方案相當于將顯示計算能力從頭盔中抽離出來，由PC、主機、手機等完成，從而降低頭盔的發(fā)熱量重量等。總的來說，這是一個平衡的選擇過程，在某些應用場景有更大的吸引力。

圖1 VR視頻處理流程

3 VR視頻處理

典型的虛擬現(xiàn)實處理流程如圖1所示。在虛擬現(xiàn)實內容制作階段，現(xiàn)實物理世界的聲音—視覺場景是由一組攝像機或者一個帶有多個攝像頭和傳感器的攝像設備以及音頻傳感器錄制而成。設備的輸出是一組數(shù)字視頻和音頻信號。攝像頭通?？梢垣@取設備中心周圍所有方向的內容，故名全景視頻或者360°視頻。

其中，音頻可以通過不同的麥克風配置來獲取，可以用不同格式存儲，包括基于通道信號、靜態(tài)或動態(tài)（在3D場景中移動）對象信號以及基于場景的信號。在一個虛擬現(xiàn)實應用中，揚聲器陣列的信號通過沉浸式音頻渲染程序處理后被量化，然后通過耳機呈現(xiàn)給用戶。

對于虛擬現(xiàn)實視頻而言，同一時刻的 VR視頻圖像經過拼接、投影映射成一個封裝幀，如圖2所示。

圖2 虛擬現(xiàn)實圖像拼接、映射和基于區(qū)域封裝

與傳統(tǒng)視頻相比，虛擬現(xiàn)實視頻的獨特特征在于通常僅顯示對應于當前視點（即用戶當前觀看區(qū)域）的全景視頻中的部分視頻?？梢岳迷撎卣鳎捎靡朁c相關虛擬現(xiàn)實視頻處理技術，包括：視點相關投影映射技術、基于視點的區(qū)域封裝技術以及基于視點的視頻編碼技術，在保證為用戶提供相同視頻分辨率/質量的條件下，減少視頻傳輸帶寬需求，或者降低視頻解碼復雜度，從而改善虛擬現(xiàn)實視頻系統(tǒng)整體性能。

3.1 投影映射

輸入圖像經過拼接后投影到一個三維投影結構上，例如一個單位球體或者正六面方體。投影結構上的圖像數(shù)據(jù)將被進一步地排布到一個二維平面的投影幀[1]。

ERP（equirectangular projection，等角投影）是目前VR視頻主流投影格式，如圖3所示。

圖3 ERP投影格式

ERP投影類似于地球球面展開成地圖，將球面展開為平面矩形，所以也被稱為經緯圖展開。這種方式簡單并已經普遍使用，但其缺點也是明顯的：球面赤道部分投影展開后失真小，而兩極部分緯度越高，失真越大。同時引入了過多的無效像素，球面展開成ERP后，面積即像素數(shù)增加了57%，從而降低了傳輸效率。

PSP（platonic solid projection，正多面體投影）是業(yè)界關注的新方向，具有失真小、壓縮效率高的特點。正多面體投影將球體以球心為中心向外劃分為多個球面區(qū)域，并投影到多面體某個面上，正多面體可以是四面體、立方體、金字塔、十二面體和二十面體等，具體見表2。由于每個球面區(qū)域單獨投影，因此失真較小。對于面數(shù)多的方案，其總面積增加也較小，例如正二十面面體投影方案的總面積只有球面面積的 1.21倍。同時，正多面體投影格式有利于實現(xiàn)基于視點VR視頻傳輸方案，傳輸部分“面”的視頻圖像，或者對于不同“面”提供不同的分辨率，這樣可以降低傳輸帶寬需求。

表2 正多面體投影格式

對于單目虛擬現(xiàn)實視頻，同一時刻的輸入圖像拼接后生成一個投影幀，用來代表一個視場。對于雙目立體虛擬現(xiàn)實視頻，同一時刻的輸入圖像拼接后生成的一個投影幀代表兩個視場：左眼和右眼。兩個視場可以映射到相同的封裝幀，并基于傳統(tǒng)2D視頻編碼器進行編碼?；蛘咄队皵?shù)據(jù)幀的不同視場可以被映射到各自的封裝幀。左視場或者右視場的封裝幀序列可以被單獨編碼，或基于多視點編碼技術進行左右視場預測編碼。

3.2 區(qū)域封裝

基于區(qū)域封裝是對投影后形成的投影幀進行重新映射，生成一個或多個封裝幀的過程。投影幀中不同的投影區(qū)域按照不同的采樣率以及旋轉（90°、180°、270°）、鏡像（水平）等轉換操作，被映射至封裝幀中對應的封裝區(qū)域。例如，CMP（cube map projection，正六面體投影）中可以針對立方體某個面按照更高的分辨率進行采樣，并將6個面映射到同一封裝幀，如圖4所示。

圖4 基于區(qū)域封裝示例

針對同一內容源，可以多次執(zhí)行上述虛擬現(xiàn)實圖像拼接、投影和基于區(qū)域封裝處理，以創(chuàng)建相同虛擬現(xiàn)實內容的不同版本。類似地，針對相同的投影圖像幀多次執(zhí)行基于區(qū)域封裝處理，可以創(chuàng)建用于編碼的多個封裝幀圖像序列。

3.3 基于視點編碼

不同于傳統(tǒng)視頻編碼方案，VR視頻內容在編碼之前可以被分割成子圖像序列或者運動約束瓦片集合。 以前者為例，每個子圖像序列覆蓋全景視頻內容空間區(qū)域的子集，彼此獨立地編碼為單層比特流，其中，同一子圖像序列可被編碼為多個不同碼率的比特流。

每個子圖像比特流作為獨立的軌道被封裝在一個視頻文件中用于流式傳輸。接收方基于視點朝向等元數(shù)據(jù)選擇要傳輸?shù)囊曨l軌道，接收方通常會接收覆蓋全方位區(qū)域的視頻軌道，其中對應當前視點區(qū)域的視頻軌道質量或分辨率應高于不可見區(qū)域的視頻軌道。

每個子圖像比特率必須使用獨立解碼器進行解碼。為了減少用于解碼對應當前視點子圖像比特流所需視頻解碼器的數(shù)量，VR視頻中劃分的子圖像之間可以具有重疊區(qū)域。如圖5所示，子圖像1由區(qū)域A和B組成，子圖像2由B區(qū)和C區(qū)組成，子圖像3由C和D區(qū)組成，子圖像4由D區(qū)和E區(qū)組成。子圖像5由E和A區(qū)組成，子圖像6由區(qū)域F組成，子圖像7由區(qū)域G組成。

圖5 基于視點圖像編碼示例

該方案中使用1個子圖像即可渲染出靠近赤道的任何視點區(qū)域，當用戶視點靠近南北極時最多再需要解碼1個子圖像，從而可以預先知道解碼當前視點所需的最多解碼器

4 全景視頻傳輸

4.1 傳輸模式

FOV 是虛擬現(xiàn)實視頻或者全景視頻（omnidirectional video）的基本屬性，虛擬現(xiàn)實視頻可以具有預先確定的主視場（primary FOV），主視場內的視頻質量（分辨率）高于周圍視頻質量。此外，虛擬現(xiàn)實視頻還可以劃分成為具有預先確定輔助視場（supplemental FOV）的分塊視頻，低分辨率的虛擬現(xiàn)實全景視頻結合高分辨率的分塊視頻，可以在預先確定的視場范圍內獲得較高的視頻質量[2]。

（1）視點獨立全景視頻傳輸

在視點獨立全景視頻傳輸模式（簡稱為基本傳輸模式）下，虛擬現(xiàn)實視頻中不存在預先確定的主視場?？蛻舳讼蚍掌髡埱螳@取無差別的全景視頻文件，當用戶視角發(fā)生變化時，所有的處理都在終端完成。

（2）視點自適應全景視頻傳輸

在主視場視點自適應傳輸模式（簡稱為FOV傳輸模式）下，虛擬現(xiàn)實視頻中存在預先確定的主視場。當用戶視角變化量大于特定閾值時，客戶端確定當前用戶視角并根據(jù)用戶視角與視頻文件的對應關系，向服務器請求獲取對應于用戶當前視點的全景視頻文件。

在輔助場視點自適應傳輸模式下（簡稱為混合傳輸模式），虛擬現(xiàn)實視頻中存在預先確定的輔助視場?？蛻舳讼蚍掌髡埱螳@取無差別的全景視頻文件，當用戶視角變化量大于特定閾值時，客戶端確定當前用戶視角并根據(jù)用戶視角與視頻文件的對應關系，向服務器請求獲取對應于用戶當前視點的輔助視頻文件。

類似地，在分塊傳輸模式下，客戶端確定當前用戶視角并根據(jù)用戶視角與視頻文件的對應關系，向服務器請求獲取對應于用戶當前視點的分塊視頻文件。

4.2 網絡需求

根據(jù)各種VR視頻類型的特點，可以定性分析出其對網絡的需求，包括網絡存儲分發(fā)、網絡計算需求、網絡帶寬需求、網絡時延需求等，具體見表3。

表3 各種類型VR視頻對網絡的需求

對于帶寬需求最高的全景視頻，可以定性估算一下其各個階段具體的網絡帶寬和時延需求，見表4。

表4 VR視頻商用階段現(xiàn)狀和網絡需求預測

可見商用階段 VR視頻對網絡帶寬需求非常高。這里如果采用視點自適應視頻傳輸模式，其帶寬需求將大幅度降低（具體比例由具體傳輸模式的設定會有較大不同）。而多面體投影模式的不同面給予不同分辨率也同樣可以降低帶寬需求。當然這需要采集用戶的視角方向信息，和全景傳輸模式相比，對網絡時延有更高的要求。

5 結束語

本文對 VR視頻內容制作、終端顯示環(huán)節(jié)技術現(xiàn)狀進行了介紹，分析了基于用戶視點的 VR視頻處理關鍵技術，最后探討VR視頻傳輸模式及其對承載網絡的需求。

隨著各方面支撐技術的持續(xù)發(fā)展，預期VR視頻將不斷向著更高的分辨率、更廣的視場角、更高效的編碼壓縮與實時傳輸方向發(fā)展演進。未來市場上將會出現(xiàn)越來越多更平民化的成本、更友好的沉浸體驗、更豐富精彩的VR視頻業(yè)務與應用，進而影響并豐富人們生產生活的各個方面。

[1]YU M, LAKSHMAN H, GIROD B. A framework to evaluate omnidirectional video coding schemes[C]//2015 IEEE International Symposium on Mixed and Augmented Reality, September 29-October. 3, 2015, Fukuoka, Japan. New Jersey: IEEE Press, 2015: 31-36.

[2]CORBILLON X, DEVLIC A, SIMON G, et al. Viewport-adaptive navigable 360-degree video delivery[C]//ACM Multimedia Systems 2016 & NOSSDAV, MoVid, and MMVE, May 10-13, 2016, Klagenfurt, Austria. New York: ACM Press, 2016.

Technology of virtual reality video processing and streaming

DONG Zhenjiang, ZHANG Dongzhuo, HUANG Cheng, LIU Haijun
ZTE Corporation, Nanjing 210012, China

Virtual reality is a hot topic in the field of video. The current situation of VR video content production and VR video display technology was introduced, and the key technologies of viewport dependent VR video processing were analyzed. Finally, the mechanisms of VR video streaming and corresponding network requirements were discussed.

virtual reality, virtual reality video, projection, region-wise packing, viewport dependent video coding, omnidirectional video streaming

TN919.8

A

10.11959/j.issn.1000?0801.2017244

董振江（1970?），男，中興通訊股份有限公司研究員級高級工程師、云計算及IT研究院副院長，中國人工智能學會常務理事，中國計算機學會服務計算常務委員，主要研究方向為人工智能、AR/VR、媒體分析與處理等。

張東卓（1974?），中興通訊股份有限公司資深架構師，主要研究方向為虛擬現(xiàn)實和增強現(xiàn)實。

黃成（1978?），男，中興通訊股份有限公司高級系統(tǒng)工程師，主要研究方向為視頻傳輸與多媒體通信系統(tǒng)。

劉海軍（1970?），男，中興通訊股份有限公司預研項目經理，主要研究方向為智能家居業(yè)務與技術，包括視頻業(yè)務、人機交互技術、人工智能應用。

2017?07?15；

2017?08?02