VR 全景視頻時(shí)空切片傳輸?shù)牧髁吭u估與建模

韓圣千，婁函，王君來

（北京航空航天大學(xué)電子信息工程學(xué)院，北京 100191）

0 引言

虛擬現(xiàn)實(shí)（VR,virtual reality）全景視頻被認(rèn)為是未來移動通信系統(tǒng)高帶寬需求的主要應(yīng)用場景之一[1-2]。為了滿足良好的用戶觀看體驗(yàn)，VR 全景視頻具有很高的畫質(zhì)要求，對未來移動通信系統(tǒng)的傳輸性能提出了嚴(yán)峻挑戰(zhàn)[3]。

基于時(shí)空切片的VR 全景視頻傳輸是一種減輕通信系統(tǒng)傳輸壓力的有效手段之一[4]。圖1 給出了VR全景視頻時(shí)空切片傳輸示意，其中，空間切塊參數(shù)t=3，時(shí)間分段長度d=3。其基本思想如下。1) 在空間維，考慮到用戶只會觀看全景畫面的一部分，而未被觀看的部分可以不傳輸，為此將每幀畫面空間切分為視頻塊（Tile），然后根據(jù)用戶當(dāng)前的視點(diǎn)，只傳輸視域（FoV,field of vision）范圍內(nèi)的切塊[5]。2) 在時(shí)間維，為了適應(yīng)通信系統(tǒng)傳輸速率的動態(tài)變化，視頻通常被切分為多個(gè)視頻段，每一段進(jìn)行獨(dú)立的壓縮編碼，作為一個(gè)獨(dú)立單元進(jìn)行傳輸，例如基于HTTP的動態(tài)自適應(yīng)流（DASH,dynamic adaptive streaming over HTTP）技術(shù)。基于時(shí)空切片傳輸，系統(tǒng)只需在每個(gè)時(shí)間分段里傳輸視域范圍內(nèi)的空間切塊，可以大大減輕系統(tǒng)傳輸負(fù)擔(dān)[6]。

針對空間切塊傳輸，文獻(xiàn)[7]研究了切塊數(shù)量對畫面質(zhì)量的影響，比較了不同切塊數(shù)量下的畫面峰值信噪比（PSNR,peak signal to noise ratio）。文獻(xiàn)[8]觀察到用戶在觀看VR 視頻時(shí)很少關(guān)注畫面的上方和下方，提出了非均勻空間切塊方式，結(jié)果表明非均勻空間切塊可以節(jié)省更多的帶寬，但會降低視頻壓縮的性能。文獻(xiàn)[9]基于觀眾對視頻畫面不同區(qū)域的訪問概率以及畫面內(nèi)容，提出了一種自適應(yīng)空間切塊方式，可以有效降低系統(tǒng)的帶寬需求，但實(shí)現(xiàn)復(fù)雜度較高。文獻(xiàn)[10]考慮用戶視點(diǎn)的非理想預(yù)測，評估了空間切塊傳輸相對于非切塊傳輸對視角內(nèi)PSNR的提升作用。針對時(shí)間分段傳輸，文獻(xiàn)[11]研究了在給定壓縮編碼率條件下，時(shí)間分段的長度對全景視頻畫面質(zhì)量的影響。文獻(xiàn)[12]針對空間切塊傳輸，對每個(gè)時(shí)間分段的視頻編碼率進(jìn)行了優(yōu)化。文獻(xiàn)[13]在每個(gè)時(shí)間分段內(nèi)為視點(diǎn)中心和邊緣的空間切塊設(shè)置不同的視頻編碼率，從而降低傳輸流量。針對傳統(tǒng)二維視頻，文獻(xiàn)[14-15]研究了在給定時(shí)間分段方式時(shí)如何根據(jù)通信條件的動態(tài)變化來自適應(yīng)地選擇每個(gè)分段的視頻質(zhì)量。

現(xiàn)有文獻(xiàn)在研究時(shí)空切片傳輸方式如何影響VR 全景視頻傳輸流量時(shí)，主要考慮了傳輸畫面減少帶來的流量節(jié)省[16-17]。然而，空間切塊和時(shí)間分段的方式對傳輸流量有著復(fù)雜的影響。首先，空間切塊并不一定越多越好。一方面，切塊數(shù)量越多，實(shí)際傳輸?shù)漠嬅婷娣e越小，這有利于節(jié)省流量；另一方面，每個(gè)空間切塊都是獨(dú)立壓縮編碼的，畫面切分得越小，則利用畫面空間相關(guān)性進(jìn)行視頻壓縮的效率越低，導(dǎo)致每個(gè)切塊的壓縮率下降。綜合考慮兩方面因素可知，增加切塊數(shù)量并不一定導(dǎo)致傳輸流量下降。其次，時(shí)間分段也不一定越長越好。一方面，分段越長，則利用畫面時(shí)間相關(guān)性進(jìn)行視頻壓縮的效率越高，有利于降低視頻傳輸流量；另一方面，對于時(shí)空切片傳輸而言，增加時(shí)間分段長度可能會導(dǎo)致傳輸更多的切塊，從而增加傳輸流量。例如，在圖1 中，每個(gè)時(shí)間分段長度包含3 幀畫面，如果用戶在觀看整個(gè)分段時(shí)視點(diǎn)保持不變，如時(shí)間分段1，則只需傳輸FoV 包含的{4,5,7,8}這4 個(gè)空間切塊即可；但是如果用戶在觀看過程中發(fā)生了頭動，如時(shí)間分段 2，則此時(shí)需要傳輸{4,5,6,7,8,9}這6 個(gè)空間切塊。時(shí)間分段越長，那么用戶在一個(gè)時(shí)間分段內(nèi)發(fā)生頭動的概率越大，可見時(shí)間分段長度并不一定越大越好。

圖1 VR 全景視頻時(shí)空切片傳輸示意

為了分析和刻畫VR 全景視頻的傳輸流量需求與時(shí)空切片方式之間的復(fù)雜關(guān)系，首先，基于實(shí)際的VR 全景視頻觀看數(shù)據(jù)集，通過仿真來分析和評估時(shí)空切片方式對傳輸流量需求的影響。然后，基于仿真結(jié)果，對傳輸流量需求進(jìn)行統(tǒng)計(jì)建模，建立統(tǒng)計(jì)模型參數(shù)與時(shí)空切片方式之間的函數(shù)關(guān)系。最后，基于建立的模型，提出一種時(shí)空切片方式的優(yōu)化方法，最小化VR 全景視頻的傳輸流量。仿真結(jié)果表明，基于所建立的模型得到的時(shí)空切片方式可以獲得接近最優(yōu)的性能。

1 VR 全景視頻的傳輸流量需求評估

本文采用開源VR 全景視頻觀看數(shù)據(jù)集進(jìn)行仿真分析，文獻(xiàn)[18]對相關(guān)數(shù)據(jù)集進(jìn)行了總結(jié)和對比。通過比較各個(gè)數(shù)據(jù)集的規(guī)模（定義為用戶數(shù)×視頻數(shù)×?xí)r間長度），本文選用其中規(guī)模較大的數(shù)據(jù)集[19]。該數(shù)據(jù)集在各研究中得到廣泛應(yīng)用，例如文獻(xiàn)[20]使用該數(shù)據(jù)集進(jìn)行VR 用戶的頭動和視點(diǎn)預(yù)測；文獻(xiàn)[21]利用該數(shù)據(jù)集中不同用戶觀看相同視頻的頭動相關(guān)性來預(yù)測用戶視點(diǎn)；文獻(xiàn)[22]基于該數(shù)據(jù)集分析了不同用戶觀看視頻時(shí)的頭動相關(guān)性，并對提出的頭動預(yù)測方法進(jìn)行了性能評估；文獻(xiàn)[23]采用該數(shù)據(jù)集對提出的基于深度強(qiáng)化學(xué)習(xí)的全景視頻傳輸策略進(jìn)行訓(xùn)練和用戶體驗(yàn)質(zhì)量（QoE,quality of experience）評估；文獻(xiàn)[24]提取該數(shù)據(jù)集中的用戶頭動信息來訓(xùn)練神經(jīng)網(wǎng)絡(luò)預(yù)測用戶視點(diǎn)。

該數(shù)據(jù)集包含3 個(gè)表演類視頻（編號1、4、7）、3 個(gè)運(yùn)動類視頻（編號2、5、8）、一個(gè)電影類視頻（編號3）和2 個(gè)紀(jì)錄類視頻（編號6、9）。所有視頻均未進(jìn)行時(shí)空切片，投影方式為等距柱狀投影（ERP,equi-rectangular projection），分辨率為2 560 像素×1 440 像素，幀率為30 幀/秒，視頻時(shí)長范圍為120～160 s。每個(gè)視頻包含48 個(gè)用戶的觀看頭動記錄，每條記錄由時(shí)間戳、描述頭盔顯示設(shè)備旋轉(zhuǎn)的四元數(shù)，以及描述頭盔顯示設(shè)備平移的空間坐標(biāo)等元素組成。

為了評估傳輸流量，需要對數(shù)據(jù)集中的VR 全景視頻進(jìn)行時(shí)空切片，然后對每個(gè)時(shí)空視頻塊進(jìn)行壓縮編碼，并在此基礎(chǔ)上引入用戶頭動數(shù)據(jù)，最終獲得在任意給定時(shí)空切片方式下的實(shí)際傳輸流量數(shù)據(jù)。為此，本文采用FFmpeg的裁剪（Crop）功能[25]來實(shí)現(xiàn)畫面的空間切塊。當(dāng)空間切塊參數(shù)為t時(shí)，畫面橫向和縱向分別被等分為t塊，得到總切塊數(shù)為t2。視頻的時(shí)間分段采用H264 編碼器來實(shí)現(xiàn)，當(dāng)分段長度為d幀時(shí)，則指定H264 編碼器[26]的畫面組（GoP,group of picture）參數(shù)為其中，對于VR 全景視頻，為了降低解碼時(shí)延，在進(jìn)行壓縮編碼時(shí)通常不采用B 幀，而只采用I 幀和P 幀，因此每個(gè)GoP 由一個(gè)I 幀和d? 1個(gè)P 幀組成。完成編碼的時(shí)空視頻塊經(jīng)過MP4 Dash 工具[27]處理后，轉(zhuǎn)換為流媒體格式進(jìn)行存儲。對于用戶觀看每個(gè)視頻的視點(diǎn)數(shù)據(jù)，采用數(shù)據(jù)集中頭盔顯示設(shè)備的四元數(shù)換算得到。首先，由數(shù)據(jù)集的四元數(shù)換算為空間三維坐標(biāo)系中的用戶視點(diǎn)方向向量；然后，根據(jù)ERP 格式全景視頻的映射規(guī)則得到平面二維坐標(biāo)系中的用戶視點(diǎn)坐標(biāo)。最后，根據(jù)所得的視點(diǎn)坐標(biāo)，從畫面中提取對應(yīng)的空間切塊，用于后續(xù)的仿真評估。

1.1 空間切塊對全景視頻壓縮率的影響

如前文所述，增加空間切塊數(shù)量會減小每個(gè)切塊畫面的大小，導(dǎo)致利用畫面空間相關(guān)性進(jìn)行視頻壓縮的效率降低。對于任一視頻，給定空間切塊參數(shù)t，分別設(shè)置時(shí)間分段長度d為30 幀，對該視頻進(jìn)行時(shí)空切片并進(jìn)行壓縮編碼，得到壓縮后的視頻大小。計(jì)算該視頻在30 幀分段長度d下的視頻大小的均值，記為Qt。表1 給出了運(yùn)動類和表演類視頻切塊后（t>1）視頻大小相對于未切塊（t=1）視頻大小的增長百分比，即

從表1 可知，切塊后視頻的大小相對于未切塊視頻均有不同程度的增加。當(dāng)切塊參數(shù)為t=6時(shí)，視頻大小增幅最高接近12%。可以發(fā)現(xiàn)，隨著切塊數(shù)的增加，視頻大小并非單調(diào)增加。這是因?yàn)椴煌那袎K數(shù)下，每個(gè)空間切塊包含的畫面內(nèi)容會發(fā)生變化。例如，t=4時(shí)的切塊畫面不一定包含在t=3時(shí)的切塊畫面里。但是，由于t=4時(shí)的切塊是對t=2時(shí)的切塊的二等分，可知t=4時(shí)的切塊畫面一定包含在t=2時(shí)的切塊畫面里，導(dǎo)致t=4時(shí)的視頻大小一定比t=2時(shí)大。同理，t=6時(shí)的視頻大小一定比t=3時(shí)大。

表1 切塊視頻相對于未切塊視頻大小的增長百分比

1.2 時(shí)間分段對視頻壓縮率和頭動次數(shù)的影響

通過分析圖1 可知，增大時(shí)間分段有助于提高視頻的壓縮效率。圖2 給出了不同時(shí)間分段長度（即GoP 長度）的歸一化視頻大小，其中歸一化因子是分段長度為1 幀時(shí)的視頻大小。從圖2 中可以看出，隨著分段長度的增加，視頻的壓縮率首先會快速提升，然后逐漸放緩。

圖2 不同時(shí)間分段長度的歸一化視頻大小

時(shí)間分段長度增加的另一方面影響是增加用戶在觀看一個(gè)分段過程中發(fā)生頭動的概率，進(jìn)而導(dǎo)致需要傳輸?shù)目臻g切塊增多。圖3 對此進(jìn)行了評估。首先，在評估中，頭動發(fā)生的定義是用戶在1 ms內(nèi)視點(diǎn)偏移大于1°。在此定義下，給定時(shí)間分段長度，針對每個(gè)視頻包含的所有時(shí)間分段，提取對應(yīng)的48 個(gè)用戶的觀看頭動記錄，分別統(tǒng)計(jì)所有分段內(nèi)頭動發(fā)生的次數(shù)，進(jìn)而計(jì)算頭動次數(shù)的均值并作為該視頻在當(dāng)前分段長度下的頭動次數(shù)。

圖3 不同時(shí)間分段長度內(nèi)的平均頭動次數(shù)

從圖3 可以看出，對于所有的視頻，一個(gè)時(shí)間分段內(nèi)的平均頭動次數(shù)隨著時(shí)間分段長度的增加線性增長，說明需要傳輸?shù)目臻g切塊數(shù)隨著時(shí)間分段長度的增加相應(yīng)增長。對于表演類視頻，用戶視點(diǎn)主要集中在舞臺上的表演，用戶發(fā)生頭動的頻次較少。相比而言，用戶在觀看運(yùn)動類視頻時(shí)，由于拍攝畫面切換得更加頻繁，用戶頭動次數(shù)明顯增多。

1.3 時(shí)空切片下全景視頻傳輸流量的評估

從以上的評估分析可以看出，空間切塊雖然可以減少傳輸?shù)漠嬅鎯?nèi)容（僅傳輸視域內(nèi)的畫面），但會導(dǎo)致視頻壓縮效率降低，而增大時(shí)間分段長度雖然可以提高視頻壓縮效率，但同時(shí)也會增加需要傳輸?shù)目臻g切塊數(shù)。下面對全景視頻在時(shí)空切片模式下的傳輸流量進(jìn)行仿真評估。

考慮到用戶在觀看不同類型的視頻時(shí)具有不同的頭動響應(yīng)，而用戶頭動直接影響時(shí)空切片模式下傳輸?shù)那衅瑪?shù)量，因此在仿真中使用4 個(gè)不同類型的視頻，即運(yùn)動類視頻2、表演類視頻7、電影類視頻3和紀(jì)錄類視頻6。

圖4 給出了數(shù)據(jù)集中48 個(gè)用戶在觀看運(yùn)動類視頻2 時(shí)，視頻采用不同的空間切塊參數(shù)（t=1～11）和不同的時(shí)間分段長度（d=1～60）進(jìn)行時(shí)空切片時(shí)的平均傳輸流量。從圖4 中可知，隨著t的增加，傳輸流量并非一致增加。這與第1.1 節(jié)的分析一致，說明當(dāng)t較小時(shí)，空間切塊帶來的傳輸畫面減少起主導(dǎo)作用，而當(dāng)t較大時(shí)，空間切塊導(dǎo)致的壓縮率下降起主導(dǎo)作用。對于時(shí)間分段，可以看出當(dāng)空間切塊參數(shù)較大（如t≥ 2）時(shí)，傳輸流量隨著時(shí)間分段長度的增加先下降后上升。這是因?yàn)楫?dāng)分段較短時(shí)，分段長度對壓縮率的影響顯著，如圖2 所示；而當(dāng)分段較長時(shí)，分段長度增加導(dǎo)致的傳輸切塊數(shù)增多的影響起主導(dǎo)作用。從圖4 中可以看出，運(yùn)動類視頻2 在t=10，d=11時(shí)可以獲得最低的平均傳輸流量，相比于未進(jìn)行時(shí)空切片（t=1,d=1）的傳輸流量節(jié)省77.1%。

圖4 運(yùn)動類視頻2的平均傳輸流量

圖5 給出了表演類視頻7的平均傳輸流量。根據(jù)對圖3的分析結(jié)果，用戶在觀看表演類視頻時(shí)的頭動頻率低于運(yùn)動類視頻。這直接導(dǎo)致在給定時(shí)間分段長度內(nèi)，表演類視頻需要傳輸更少的空間切塊，帶來比表演類視頻更低的傳輸流量。從圖5 中可以看出，表演類視頻在t=10，d=27時(shí)可以獲得最低的平均傳輸流量，相比于未進(jìn)行時(shí)空切片（t=1,d=1）的傳輸流量節(jié)省90.5%。

圖5 表演類視頻7的平均傳輸流量

圖6和圖7 給出了電影類視頻3和紀(jì)錄類視頻6的平均傳輸流量，從圖6和圖7 中可以看出與表演類和運(yùn)動類視頻相似的規(guī)律，即t和d并非越大越好。例如，紀(jì)錄類視頻6的最優(yōu)時(shí)空切片參數(shù)是t=9，d=17。

圖6 電影類視頻3的平均傳輸流量

圖7 紀(jì)錄類視頻6的平均傳輸流量

2 時(shí)空切片傳輸下的流量建模

基于1.3 節(jié)的傳輸流量仿真評估，本節(jié)研究全景視頻時(shí)空切片傳輸模式下的流量統(tǒng)計(jì)建模。傳輸流量的建模對象是實(shí)際傳輸給用戶的視角范圍內(nèi)的時(shí)空切塊大小，例如圖1 左上方的視頻幀只需傳輸4、5、7、8 切塊?？梢杂^察到，傳輸?shù)那袎K總大小與2 個(gè)因素有關(guān)，一是完整視頻的大小，二是傳輸給用戶的視角內(nèi)切塊大小占完整視頻的比例；兩者的乘積即實(shí)際傳輸給用戶的業(yè)務(wù)流量?；谶@一觀察，下面采用2 個(gè)步驟進(jìn)行建模。首先，針對不同的空間切塊數(shù)量和時(shí)間分段長度，對壓縮編碼之后的完整視頻文件大小進(jìn)行建模。其次，針對不同的空間切塊數(shù)量和時(shí)間分段長度，根據(jù)用戶的頭動數(shù)據(jù)，得到用戶在實(shí)際觀看過程中視域范圍內(nèi)的切塊大小占完整視頻文件大小的比例，并對比例進(jìn)行統(tǒng)計(jì)建模。最后，把完整視頻文件大小的模型與視域內(nèi)切塊大小占比的模型相乘，即可得到實(shí)際傳輸給用戶的視頻切塊大小的模型，即傳輸流量模型。

需要說明的是，根據(jù)1.3 節(jié)的評估結(jié)果，不同類型的視頻具有不同的用戶頭動規(guī)律以及不同的最優(yōu)時(shí)空切片方式，因此在進(jìn)行傳輸流量建模時(shí)有必要針對每類視頻單獨(dú)進(jìn)行建模。本節(jié)提出的傳輸流量建模方法適用于任意類型的視頻，在應(yīng)用時(shí)只需根據(jù)不同類型視頻的流量樣本數(shù)據(jù)擬合出對應(yīng)的模型參數(shù)。為了評估提出的建模方法的合理性，本節(jié)將以運(yùn)動類視頻（其數(shù)據(jù)集規(guī)模大）為例對模型的準(zhǔn)確性進(jìn)行評估。

2.1 視頻大小建模

考慮數(shù)據(jù)集中的某一類視頻，在上述仿真過程中已經(jīng)采用了不同的時(shí)空切片方式對這些視頻進(jìn)行了切分、編碼、存儲，由此可以得到任一時(shí)空切片方式下I 幀和P 幀的平均大小。這里的平均是指對所有同類視頻的所有I 幀或所有P 幀進(jìn)行平均。

其中，L表示視頻包含的總幀數(shù)表示視頻包含的時(shí)間分段數(shù)表示I-P 幀平均壓縮比，定義為

其中，系數(shù)p0和p1可以由現(xiàn)有的線性擬合算法得到。表2 給出了運(yùn)動類視頻的擬合系數(shù)。

圖8 不同時(shí)空切片方式運(yùn)動類視頻的平均壓縮比

表2 運(yùn)動類視頻的擬合系數(shù)

將式(3)代入式(1)，可得視頻的平均大小為

表3 不同空間切塊參數(shù)下I 幀平均大小

表3 不同空間切塊參數(shù)下I 幀平均大小

為了驗(yàn)證所建立模型的準(zhǔn)確性，圖9 比較了式(4)中括號部分的理論計(jì)算結(jié)果和實(shí)際仿真結(jié)果。括號部分可以理解為歸一化平均視頻大小，其中歸一化因子是即當(dāng)所有幀均為I 幀時(shí)的視頻大小。從圖9 中可以看出，對于所有的切塊參數(shù)t，當(dāng)分段長度d較大時(shí)（例如d>15），由式(4)得到的計(jì)算結(jié)果與仿真結(jié)果很接近，說明了模型的有效性。

圖9 歸一化視頻平均大小的模型準(zhǔn)確性

2.2 傳輸?shù)那袎K大小占比建模

在前述仿真中，通過引入用戶的頭動數(shù)據(jù)，得到了在任一時(shí)空切片方式下，用戶在觀看每個(gè)視頻時(shí)，在每個(gè)時(shí)間分段內(nèi)傳輸?shù)囊曈騼?nèi)空間切塊的大小。由此，可以得到任一用戶在觀看所有同類視頻時(shí)，傳輸?shù)目臻g切塊大小與視頻文件總大小之間的平均比例，記為η(t,d)，可以表示為

其中，V表示同類視頻的個(gè)數(shù)表示視頻v的第i個(gè)時(shí)間分段內(nèi)第j個(gè)空間切塊是否位于用戶的視域內(nèi)，Sv,ij表示視頻v的第i個(gè)時(shí)間分段內(nèi)第j個(gè)空間切塊的大小，因此等號右側(cè)分子項(xiàng)表示需要傳輸給用戶的視域內(nèi)所有切塊的總大小，分母項(xiàng)表示視頻文件的總大小。

圖10和圖11 給出了數(shù)據(jù)集中48 個(gè)用戶的平均傳輸比例η(t,d)的頻率直方圖和擬合結(jié)果，其中前者固定d=15而考慮不同的t，后者固定t=3而考慮不同的d。從圖10和圖11 中可以看出，η(t,d)的統(tǒng)計(jì)分布接近正態(tài)分布。因此，采用如下的正態(tài)分布對η(t,d)進(jìn)行建模

圖10 傳輸比例 η(t,d)的頻率直方圖和擬合結(jié)果（d=15）

圖11 傳輸比例 η(t,d)的頻率直方圖和擬合結(jié)果（t=3）

其中，均值和方差均與時(shí)空切片方式有關(guān)。

為了刻畫均值和標(biāo)準(zhǔn)差與時(shí)空切片方式的函數(shù)關(guān)系，針對t和d的不同取值，通過正態(tài)分布擬合找到對應(yīng)的均值和標(biāo)準(zhǔn)差。均值擬合結(jié)果如圖12所示，標(biāo)準(zhǔn)差擬合結(jié)果如圖13 所示。其中，黑點(diǎn)代表數(shù)據(jù)集的仿真結(jié)果，曲面代表擬合結(jié)果。

圖12 均值擬合結(jié)果

圖13 標(biāo)準(zhǔn)差擬合結(jié)果

通過對圖12和圖13 進(jìn)行二維函數(shù)擬合，得到均值和標(biāo)準(zhǔn)差與時(shí)空切片方式可以近似表示為

式(9)～式(12)中的擬合系數(shù)可以使用MATLAB曲線擬合工具得到，具體內(nèi)容如表2 所示。

將式(7)和式(8)代入式(6)，可以得到傳輸比例η(t,d)的統(tǒng)計(jì)分布。從圖10和圖11 中可以看出，所建立的統(tǒng)計(jì)模型的擬合結(jié)果與頻率直方圖之間具有較高的匹配度，驗(yàn)證了模型的準(zhǔn)確性。

將視頻平均大小模型式(4)和切塊大小占比模型式(6)相乘，最終得到時(shí)空切片模式下全景視頻傳輸流量的統(tǒng)計(jì)模型。

本文采用統(tǒng)計(jì)建模方法建立了所有用戶觀看所有同類視頻時(shí)的傳輸流量模型?？紤]到近期深度學(xué)習(xí)在VR 全景視頻的用戶頭動和視點(diǎn)預(yù)測[28]、QoE建模[29]、傳輸策略優(yōu)化[30]等方面的成功應(yīng)用，未來本文將研究基于深度學(xué)習(xí)的傳輸流量建模方法，采用神經(jīng)網(wǎng)絡(luò)挖掘用戶的視頻觀看偏好和視頻畫面內(nèi)容的特征，有望更加準(zhǔn)確地預(yù)測特定用戶在觀看特定視頻時(shí)的傳輸流量。

3 基于傳輸流量模型的時(shí)空切片優(yōu)化

本節(jié)考慮一個(gè)未進(jìn)行時(shí)空切片的VR 全景視頻，研究如何利用建立的傳輸流量統(tǒng)計(jì)模型，對其時(shí)空切片方式（即空間切塊參數(shù)t和時(shí)間分段長度d）進(jìn)行優(yōu)化。

3.1 時(shí)空切片方式優(yōu)化

根據(jù)待切分視頻的類別，找到對應(yīng)類別或接近類別的傳輸流量模型參數(shù)。在“流量建模”和“時(shí)空切片優(yōu)化”過程中需要已知視頻類別，其中前者可直接從數(shù)據(jù)集中獲取視頻類別，而后者通?？梢詮囊曨l的元數(shù)據(jù)中獲取，例如典型視頻網(wǎng)站在發(fā)布視頻或用戶在上傳視頻時(shí)通常會被要求標(biāo)注類型等信息。如果待切分視頻是未經(jīng)壓縮的原始視頻，則可以直接使用已建立的同類視頻模型。如果待切分視頻已經(jīng)在未進(jìn)行空間切塊（t=1）的情況下進(jìn)行了壓縮編碼，則可以統(tǒng)計(jì)出當(dāng)前視頻的I-P 幀壓縮比，記為W。據(jù)此，可以對統(tǒng)計(jì)模型中的I-P 幀平均壓縮比進(jìn)行修正，以確保當(dāng)t=1時(shí)等于W。修正后的可以表示為

將式(13)代入式(1)，可得待切分視頻在時(shí)空切片后的大小進(jìn)而乘以傳輸?shù)那袎K大小占比η(t,d)，可得用戶觀看該視頻時(shí)需要傳輸?shù)牧髁繚M足如下正態(tài)分布

為了區(qū)分空間切塊參數(shù)t和時(shí)間分段長度d的影響，將式(1)給出的表示為

從式(16)和式(17)可以看出，首先，空間切塊參數(shù)t對模型參數(shù)有著復(fù)雜的影響，體現(xiàn)在等多個(gè)函數(shù)上；然后，在給定空間切塊參數(shù)t時(shí)，時(shí)間分段長度d與模型參數(shù)的關(guān)系式相對簡單，均值和標(biāo)準(zhǔn)差都具有的形式，其中系數(shù)θ1～θ3可由式(16)和式(17)得到；最后，均值和標(biāo)準(zhǔn)差都與空間切塊參數(shù)t和時(shí)間分段長度d的交叉項(xiàng)有關(guān)（即式(16)和式(17)等號右側(cè)的前兩項(xiàng)），因此它們對模型參數(shù)的影響不是簡單的疊加，而存在相互耦合的關(guān)系。

對于隨機(jī)傳輸流量T(t,d)，其置信度為ρ∈ [ 0,1]的上界（記為Tρ(t,d)），定義為

其中，φ(ρ)是標(biāo)準(zhǔn)正態(tài)分布的ρ分位點(diǎn)，其數(shù)值可以通過查表或數(shù)值計(jì)算等方式得到。

將式(16)和式(17)代入式(19)，并進(jìn)行同類項(xiàng)合并，則Tρ(t,d)可以表示為

其中，tmax和dmax是系統(tǒng)允許的空間切塊和時(shí)間分段數(shù)的最大值。

由于Tρ(t,d)與優(yōu)化變量t的關(guān)系式很復(fù)雜，同時(shí)考慮到空間切塊參數(shù)t的取值范圍一般不會太大，因此可以采用遍歷的方式對t進(jìn)行搜索尋優(yōu)。對于任意給定的參數(shù)t，下面計(jì)算最優(yōu)的參數(shù)d。

由式(20)可得Tρ(t,d)關(guān)于參數(shù)d的二階導(dǎo)數(shù)為其正負(fù)號在定義域 1≤d≤dmax內(nèi)只與系數(shù)Δ1(t)有關(guān)。下面針對Δ1(t)，分3 種情況討論參數(shù)d的最優(yōu)解。

1)Δ1(t)=0。此時(shí)是d的單調(diào)函數(shù)。如果Δ2(t) ≥ 0，則d的最優(yōu)解為1，否則為dmax。

綜上所述，可以采用內(nèi)外嵌套方法來求解優(yōu)化問題式(21)。在外層，對空間切塊參數(shù)t進(jìn)行遍歷搜索；在內(nèi)層，針對給定的外層參數(shù)t，采用上述優(yōu)化方法直接計(jì)算參數(shù)d的最優(yōu)值，進(jìn)而得到在當(dāng)前外層參數(shù)t下的函數(shù)值，用于遍歷尋優(yōu)。

3.2 仿真結(jié)果

本節(jié)對所提出的時(shí)空切片優(yōu)化方法的性能進(jìn)行評估，采用第2 節(jié)提出的建模方法，分別使用數(shù)據(jù)集中的運(yùn)動類視頻和表演類視頻來建立傳輸流量統(tǒng)計(jì)模型，針對四類視頻分別進(jìn)行性能評估，包括運(yùn)動類視頻2、電影類視頻3、紀(jì)錄類視頻6和表演類視頻7。評估中，令tmax=11，dmax=60；置信度選擇為ρ=0.9，通過數(shù)值計(jì)算可得 分位點(diǎn)φ(ρ)=1.28。

為了評估由模型優(yōu)化得到的時(shí)空切片方式與實(shí)際最優(yōu)方式的差距，本節(jié)通過仿真得到待切分視頻的最優(yōu)切片方式。具體地，首先，把待切分視頻分別按照t=1,2,…,11，d=1,2,…,60的配置進(jìn)行切片和壓縮編碼；然后，導(dǎo)入用戶的頭動數(shù)據(jù)，獲得每一種切片配置下48 個(gè)用戶觀看時(shí)的傳輸流量；最后，繪制48 個(gè)用戶的傳輸流量的累積分布函數(shù)曲線，找到ρ=0.9時(shí)的分位點(diǎn)，即Tρ(t,d)。通過遍歷所有的t和d組合，找到使Tρ(t,d)最小的最優(yōu)時(shí)空切片方式。最終得到運(yùn)動類視頻2的最優(yōu)方式是t=10，d=11；電影類視頻3的最優(yōu)方式是t=10，d=15；紀(jì)錄類視頻6的最優(yōu)方式是t=9，d=15；表演類視頻7的最優(yōu)方式是t=10、d=27。

在圖14 中，本節(jié)采用基于運(yùn)動類視頻類建立傳輸流量統(tǒng)計(jì)模型，使用所提出的優(yōu)化方法求解問題式(21)，得到使目標(biāo)函數(shù)最小的時(shí)空切片方式為t=10，d=14。圖14 中虛線給出了4 個(gè)視頻在模型優(yōu)化方式下的歸一化傳輸流量的累積概率分布，實(shí)線給出了4 個(gè)視頻通過仿真搜索得到的最優(yōu)切片方式的結(jié)果。可以看出，對于運(yùn)動類視頻2和電影類視頻3，模型優(yōu)化的結(jié)果與仿真搜索的最優(yōu)結(jié)果很接近。這是因?yàn)楸疚氖褂昧擞蛇\(yùn)動類視頻建立的傳輸流量統(tǒng)計(jì)模型，而電影類視頻與運(yùn)動類視頻具有類似的用戶頭動規(guī)律。對于紀(jì)錄類視頻6和表演類視頻7，由于其視頻類型與傳輸流量統(tǒng)計(jì)模型失配，可以看出模型優(yōu)化的結(jié)果與仿真搜索的最優(yōu)結(jié)果存在一定的差距。表演類視頻7的差距比較明顯，其原因是用戶在觀看表演類視頻時(shí)，視線主要集中在舞臺上的表演，發(fā)生頭動的頻次較少，這與觀看運(yùn)動類視頻時(shí)的頭動規(guī)律差別很大，如圖3 所示。這一結(jié)果說明對于用戶頭動規(guī)律差別較大的視頻類型有必要進(jìn)行單獨(dú)的傳輸流量統(tǒng)計(jì)建模。

圖14 基于運(yùn)動類視頻模型優(yōu)化的時(shí)空切片方式的性能

在圖15 中，本節(jié)采用表演類視頻來建立傳輸流量統(tǒng)計(jì)模型，進(jìn)而基于此模型求解優(yōu)化問題式(21)，得到使目標(biāo)函數(shù)最小的時(shí)空切片方式為t=10，d=24。通過對比圖14和圖15 中的表演類視頻7，可以看出模型優(yōu)化的結(jié)果與仿真搜索的最優(yōu)結(jié)果之間的差距減小。其他3 類視頻由于與傳輸流量模型失配，導(dǎo)致模型優(yōu)化的結(jié)果與仿真搜索的最優(yōu)結(jié)果之間的差距變大。

圖15 基于表演類視頻模型優(yōu)化的時(shí)空切片方式的性能

4 結(jié)束語

本文針對VR 全景視頻傳輸，研究了時(shí)空切片方式對傳輸流量的影響。首先，基于實(shí)際的VR 全景視頻觀看數(shù)據(jù)集，通過仿真分析了空間切塊數(shù)量和時(shí)間分段長度對視頻大小的影響，并通過引入用戶觀看頭動數(shù)據(jù)，評估了時(shí)空切片方式對全景視頻傳輸流量的影響。然后，基于仿真數(shù)據(jù)，對時(shí)空切片模式下的傳輸流量進(jìn)行了統(tǒng)計(jì)建模，結(jié)果表明傳輸流量服從正態(tài)分布，并建立了均值和標(biāo)準(zhǔn)差與時(shí)空切片方式之間的函數(shù)關(guān)系。最后，基于所建立的統(tǒng)計(jì)模型，提出了一種時(shí)空切片方式的嵌套優(yōu)化方法，外層對空間切塊數(shù)量進(jìn)行遍歷尋優(yōu)，內(nèi)層可直接計(jì)算最優(yōu)的時(shí)間分段長度。評估結(jié)果表明，通過對不同類型的視頻分別進(jìn)行傳輸流量統(tǒng)計(jì)建模，基于所建立的流量模型優(yōu)化得到的時(shí)空切片方式與通過仿真搜索得到的最優(yōu)切片方式性能接近。