基于對(duì)比敏感度的DASH客戶端碼率選擇算法研究

張新有 王元?jiǎng)?邢煥來 王紅剛

?

基于對(duì)比敏感度的DASH客戶端碼率選擇算法研究

張新有*①王元?jiǎng)注傩蠠▉恝偻跫t剛②

①(西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院 成都 611756)②(ECE Department, University of Massachusetts, Dartmouth, MA 02747, USA)

基于帶寬估算的碼率選擇算法具有帶寬利用率高的優(yōu)點(diǎn)，但是同時(shí)也存在容易受網(wǎng)絡(luò)波動(dòng)影響造成計(jì)算出的目標(biāo)碼率出現(xiàn)瞬時(shí)峰值而造成帶寬浪費(fèi)的問題。針對(duì)于此，該文提出一種基于人眼對(duì)比敏感度特征的碼率選擇算法，在客戶端利用人眼對(duì)比敏感度模型計(jì)算當(dāng)前觀看條件下人眼截止空間頻率，選擇服務(wù)器中和截止空間頻率差的絕對(duì)值最小視頻分片對(duì)應(yīng)的碼率作為目標(biāo)碼率。和基于帶寬估算選擇目標(biāo)碼率的方法進(jìn)行對(duì)比實(shí)驗(yàn)，測(cè)試二者在不同視角內(nèi)計(jì)算的目標(biāo)碼率，得到兩者的碼率計(jì)算結(jié)果階梯圖。實(shí)驗(yàn)結(jié)果表明，在視角為5o到15o情況下，所提方法較帶寬估計(jì)方法在確保視頻效果前提下能夠有效節(jié)約帶寬。

對(duì)比敏感度；截止空間頻率；DASH(Dynamic Adaptive Streaming over Http)；碼率選擇

1 引言

采用HTTP作為視頻流傳輸協(xié)議的DASH (Dynamic Adaptive Streaming over Http)系統(tǒng)具有部署方便、容易穿越NAT的特點(diǎn)[1]。典型的DASH系統(tǒng)由服務(wù)器和客戶端組成。服務(wù)器提供不同碼率的視頻分片以及媒體信息描述文件(Media Presentation Description, MPD)，客戶端通過MPD文件向服務(wù)器申請(qǐng)相應(yīng)碼率的視頻分片播放。碼率選擇是DASH系統(tǒng)的核心。怎樣在不降低用戶體驗(yàn)的前提下選擇低碼率視頻分片，從而減少網(wǎng)絡(luò)帶寬占用一直是研究的熱點(diǎn)。

本篇文章組織如下：第2節(jié)給出了本文研究的相關(guān)概念；第3節(jié)提出使用CSF進(jìn)行計(jì)算的理論依據(jù)和本文提出的具體方法，并進(jìn)行相關(guān)公式的推導(dǎo)；第4節(jié)給出了實(shí)驗(yàn)條件和結(jié)果。論文的結(jié)論部分對(duì)本文方法進(jìn)行了總結(jié)，給出了一般結(jié)論，分析了存在的問題。

2 相關(guān)概念

2.1 視覺空間頻率與對(duì)比度

在視覺研究中，空間頻率是指單位視角內(nèi)做正弦變化光柵的周期數(shù)(圖1)，單位是周/度(cycles per degree, cpd)。式(1)給出了空間頻率的計(jì)算方法[9]。表示觀察者離光柵的距離，代表光柵的像素個(gè)數(shù)，代表屏幕像素密度，單位是ppi(pixels per inch)。需要說明的是在實(shí)際應(yīng)用中很少直接采用此公式計(jì)算產(chǎn)生視覺刺激圖像的空間頻率，而是使用擬合的CSF數(shù)學(xué)模型進(jìn)行計(jì)算，詳見3.3節(jié)。

圖1 空間頻率概念

人眼對(duì)于亮度強(qiáng)度變化的響應(yīng)是非線性的，人眼視覺系統(tǒng)的響應(yīng)更主要依賴于相對(duì)于背景亮度的局部變化，而不是絕對(duì)亮度值，在圖像研究中使用對(duì)比度來對(duì)這種亮度變化進(jìn)行測(cè)量。在本文中，使用式(2)的Michelson的對(duì)比度計(jì)算公式[9]計(jì)算圖像的對(duì)比度。其中和分別表示產(chǎn)生視覺刺激圖像的最大亮度和最小亮度值。對(duì)比敏感度定義為恰可分辨最小對(duì)比度值的倒數(shù)。

2.2 CSF

對(duì)比敏感度隨空間頻率變化的曲線稱為CSF曲線，圖2顯示了Barten的CSF模型曲線?？v軸表示對(duì)比敏感度，其值越大表明對(duì)人眼的視覺刺激效果越強(qiáng)。橫軸表示空間頻率，正常人在空間頻率為4cpd左右視覺刺激達(dá)到最高，60cpd左右時(shí)將不再產(chǎn)生視覺刺激。在取得最大對(duì)比敏感度值的空間頻率稱為人眼截止頻率，高于人眼截止頻率并不會(huì)增加觀察者的視覺效應(yīng)。

圖2 Barten CSF模型曲線

人眼截止頻率和觀看的客觀條件(例如：視角、光照)參數(shù)有關(guān)，在不同的條件下人眼截止頻率不同。同樣地，對(duì)于不同碼率的視頻分片其視頻幀的空間頻率也不相同。因此，通過計(jì)算當(dāng)前觀看環(huán)境下的人眼截止頻率和服務(wù)器中待選擇視頻分片的空間頻率的關(guān)系可以得到最適合當(dāng)前條件下的視頻分片。

3 基于對(duì)比敏感度碼率選擇算法描述

3.1 算法過程

圖3顯示了本文設(shè)計(jì)的客戶端進(jìn)行目標(biāo)碼率的計(jì)算過程?？蛻舳送ㄟ^收集用戶當(dāng)前的環(huán)境參數(shù)(光照、視角)計(jì)算出在此條件下的人眼截止頻率，和服務(wù)器中提前計(jì)算出的可選擇空間頻率進(jìn)行比較，從而選擇出最適合當(dāng)前觀看條件的視頻分片?？紤]一個(gè)簡(jiǎn)單的例子，假設(shè)MPD文件中可選擇視頻分片碼率包含4 Mbps和2 Mbps兩種并且通過帶寬估計(jì)方法計(jì)算的目標(biāo)碼率為4 Mbps。若在當(dāng)前觀看場(chǎng)景參數(shù)下計(jì)算出的人眼截止頻率為3.0 cpd, 4 Mbps和2 Mbps碼率的視頻分片計(jì)算出的空間頻率分別為2.68 cpd和2.83 cpd，按照選擇和3.0 cpd差的絕對(duì)值最小者作為目標(biāo)碼率的原則，因此本文算法計(jì)算結(jié)果為2 Mbps。上述情景中，在產(chǎn)生相同的視覺效果的前提下本文方法申請(qǐng)低碼率的視頻分片節(jié)約了網(wǎng)絡(luò)帶寬。下文將詳細(xì)敘述客戶端各個(gè)算法模塊的工作過程。

圖3 客戶端碼率選擇過程

3.2 參數(shù)采集

通過使用客戶端的傳感器(例如攝像頭，距離傳感器等)可以得到用戶到客戶端顯示器的距離和客戶端的亮度信息。通過收集到的信息計(jì)算得出視角參數(shù)，見式(3)。代表視角，是客戶端顯示器的寬度，為用戶到顯示器的距離。不推薦采用人眼跟蹤的方式進(jìn)行視角計(jì)算，因?yàn)樵谠黾涌蛻舳说挠?jì)算量同時(shí)降低了用戶使用體驗(yàn)。

3.3 截止頻率計(jì)算

3.4待選擇頻率計(jì)算

文獻(xiàn)[6]中所有計(jì)算在服務(wù)器端完成，由于采用在線計(jì)算的視頻的空間頻率方式，因此當(dāng)申請(qǐng)視頻流的客戶端數(shù)量增加，會(huì)給服務(wù)器帶來較大計(jì)算壓力。本文中采用在服務(wù)器端離線計(jì)算的方式計(jì)算視頻分片的空間頻率。MPD文件中[U2] ，供客戶端決策時(shí)使用。求取圖片的空間頻率的具體操作步驟如圖4所示。

圖4 計(jì)算視頻分片的空間頻率過程

在步驟(a)~步驟(b)中提取出視頻分片的第1幀圖片后將此圖片轉(zhuǎn)換到線性空間并提取亮度通道(例如LAB空間的L通道)。

在步驟(c)中計(jì)算每個(gè)像素的局部對(duì)比度，由于人眼視覺中存在偏心率，選用較大的區(qū)域會(huì)降低計(jì)算的準(zhǔn)確度，因此本文中對(duì)于每個(gè)像素點(diǎn)采用5個(gè)像素的鄰域進(jìn)行計(jì)算，在得到局部最大亮度值和最小亮度值后使用式(2)計(jì)算出此像素點(diǎn)的對(duì)比度。需要注意的是當(dāng)對(duì)于對(duì)比度為0，表明此像素點(diǎn)局部的亮度信號(hào)是均勻的，對(duì)視覺并無激勵(lì)作用，將其舍棄。

步驟(d)中高斯低通濾波器能夠平滑可視區(qū)域，本文中使用的濾波器過濾模板選擇大小范圍在3~8, sigma在1.6~5之間。

步驟(e)~步驟(f)中，對(duì)比敏感度為過濾后的對(duì)比度的倒數(shù)。在求出對(duì)比敏感度后使用式(7)計(jì)算圖片的空間頻率[6]，其中表示圖片中每個(gè)像素點(diǎn)的對(duì)比敏感度。

3.5 空間頻率選擇和碼率映射

4 實(shí)驗(yàn)結(jié)果與分析

4.1 DASH實(shí)驗(yàn)系統(tǒng)和相關(guān)參數(shù)

為了驗(yàn)證方法的有效性，本文搭建了最小DASH實(shí)驗(yàn)系統(tǒng)，如圖5所示。DASH視頻分片服務(wù)器用于提供不同碼率的視頻分片和MPD文件，使用HTTP 1.1協(xié)議進(jìn)行分片傳輸。在產(chǎn)生分片前使用SVT標(biāo)準(zhǔn)測(cè)試序列[16]生成不同碼率和分辨率的視頻，具體參數(shù)見表1和表2。使用文獻(xiàn)[17]中開源DASH分片生成工具DASHEncoder產(chǎn)生視頻分片。根據(jù)文獻(xiàn)[15]設(shè)定視頻切片的時(shí)間間隔為3 s。在完成視頻切片后按照第3節(jié)所述計(jì)算出每個(gè)視頻分片的空間頻率作為待選擇頻率寫入到MPD文件中。

表1測(cè)試視頻序列使用的碼率和分辨率

碼率(Mbps)分辨率 1.20352×288 1.60640×360 2.00720×576 2.25960×540 4.501280×720 8.001920×1080

表2測(cè)試視頻序列

視頻序列名稱幀率格式 Sun Flower[16]25H264 Duck Take Off[16]25H264 Cross Old Town[16]25H264

使用文獻(xiàn)[18]提出的碼率切換算法和本文進(jìn)行對(duì)比實(shí)驗(yàn)。文獻(xiàn)[18]的方法中使用了“平滑”流量算法，見式(10)。是上一次下載分片時(shí)測(cè)得的帶寬，是在迭代過程中上一次估計(jì)的帶寬，為當(dāng)前估計(jì)的帶寬。是權(quán)重值，代表對(duì)歷史流量估計(jì)的依賴程度，分為固定和變化權(quán)重兩種方式，本文采用后者。變化權(quán)重的方法中使用了函數(shù)來歸一化瞬時(shí)估計(jì)誤差以及過濾的值，和是函數(shù)的參數(shù)，根據(jù)文獻(xiàn)[18]，本文設(shè)置其值分別為,。

圖5 最小DASH實(shí)驗(yàn)系統(tǒng)

4.2 實(shí)驗(yàn)結(jié)果及分析

由式(6)計(jì)算出了在亮度為150 cd/m2的條件下，用戶觀看角度從5o到30o變化時(shí)截止頻率的變化，見圖6所示?？梢钥闯?，隨著用戶視角增加，截止頻率逐步減小，且在視角為15o左右減小的速率開始不斷降低。根據(jù)式(3)可知用戶視角和觀看距離以及屏幕大小有關(guān)，本文中由于顯示屏幕的寬度固定，因此在圖6中，視角的增加代表用戶觀看距離的減小。由人眼視覺系統(tǒng)特性可知，人眼對(duì)于近處的物體分辨能力大于較遠(yuǎn)物體，因此不需要太強(qiáng)的視覺刺激就可以產(chǎn)生相同的視覺效應(yīng)。隨著觀看距離的減少，所需要的亮度變化也逐漸減小，空間頻率也隨之降低。

圖7和圖8是本文方法和文獻(xiàn)[18]的方法(Bandwidth Estimate)播放表2中的3個(gè)測(cè)試序列的對(duì)比實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)中測(cè)試了每個(gè)視頻序列分別在網(wǎng)絡(luò)帶寬為4 Mbps和10 Mbps的表現(xiàn)。由圖7和圖8可以看出帶寬估計(jì)的方法其計(jì)算出的目標(biāo)碼率大小基本保持在帶寬上限附近。這是因?yàn)閹捁烙?jì)的方法只與網(wǎng)絡(luò)的質(zhì)量有關(guān)，由于測(cè)試的最小DASH系統(tǒng)處于局域網(wǎng)內(nèi)網(wǎng)絡(luò)波動(dòng)較小，因此其值相對(duì)穩(wěn)定。對(duì)于基于本文方法，從單個(gè)測(cè)試視頻序列來看，隨著用戶視角不斷增加，客戶端申請(qǐng)的視頻碼率也逐漸增加，這是由于視角增加代表用戶與屏幕距離減小，用戶眼睛分辨能力增加，因此需要申請(qǐng)較高碼率的視頻流。在視角在[5o，15o]范圍內(nèi)時(shí)，本文的方法比基于帶寬估計(jì)的方法節(jié)省帶寬，因?yàn)榇藭r(shí)用戶距離屏幕較遠(yuǎn)，對(duì)于細(xì)節(jié)分辨能力較弱，不需要申請(qǐng)高碼率的視頻流就可以達(dá)到相應(yīng)的視覺效應(yīng)。但是需要注意的是，這種優(yōu)勢(shì)在用戶觀看視角達(dá)到15o左右將失去，由圖6可知，在用戶視角在15o左右時(shí)截止頻率減小速率降低，意味著在視角大于15o后截止頻率保持在高碼率視頻的頻率區(qū)間內(nèi)，因此客戶端計(jì)算出的目標(biāo)碼率基本落在此區(qū)間。從圖中可以看出在視角為15o時(shí)本文方法已經(jīng)不再具有節(jié)約帶寬的特點(diǎn)，這是因?yàn)楸疚挠?jì)算目標(biāo)碼率的方法和帶寬無關(guān)，在不考慮帶寬上限的前提下目標(biāo)碼率只與人眼的視覺特征有關(guān)，因此在申請(qǐng)的碼率達(dá)到網(wǎng)絡(luò)帶寬上限后，目標(biāo)碼率應(yīng)該由網(wǎng)絡(luò)帶寬來決定而不是人眼對(duì)比敏感度。

5 結(jié)束語(yǔ)

本文通過考慮客戶端觀看環(huán)境參數(shù)計(jì)算DASH系統(tǒng)的目標(biāo)碼率。實(shí)驗(yàn)證明此方法在用戶觀看視角范圍在[5o, 15o]時(shí)能夠不降低用戶觀看體驗(yàn)的前提下，有效節(jié)約帶寬。但是由于沒有考慮網(wǎng)絡(luò)信道的實(shí)際容量，借助文獻(xiàn)[19]的思想，在確保用戶體驗(yàn)質(zhì)量(QoE)情況下，當(dāng)帶寬有限時(shí)，如何確保用戶視頻連續(xù)性和和視頻保真是下一步的研究方向。

圖6 亮度150 cd/m2下人眼截止頻率???圖7 4 Mbps帶寬下實(shí)驗(yàn)對(duì)比結(jié)果???圖8 10 Mbps帶寬下實(shí)驗(yàn)對(duì)比結(jié)果

[1] LUCA De Cicco and SAVERIO Mascolo. An adaptive video streaming control system: Modeling, validation and performance evaluation[J]./, 2013, 22(2): 526-539. doi: 10.1109/TNET.2013. 2253797.

[2] SAAMER A, NARAYaANASWAMY S, BEGEN A C,. An experimental evaluation of rate-adaptive video players[U5] HTTP[J].:, 2012, 27(4): 271-287. doi: 10.1016/j.image.2011.10.003.

[3] RAN Yongyi, SHI Youkang, YANG Enzhong,. Dynamic resource allocation for video transcoding with QoS guaranteeing in cloud-based DASH system[C]. IEEE GlobeCom Workshops, (GC Wkshps), Austin, 2014: 144-149.

[4] TIAN Guibin and LIU Yong. Towards agile and smooth video adaptation in dynamic HTTP streaming[J]., 2015, 9(11): 1-14.[U6] 10.1109/ TNET.2015.2464700.

[5] REZNIK Y A. User-adaptive mobile video streaming using MPEG-DASH[C]. SPIE Optical Engineering+Applications. International Society for Optics and Photonics, San Diego, 2013: 88560J-88560J-5.

[6] VANAM R and REZNIK Y A. Perceptual pre-processing filter for user-adaptive coding and delivery of visual information[C]. IEEE Picture Coding Symposium (PCS), San Jose, 2013: 426-429.

[7] VANAM R, KEROFAKY L J, and REZNIK Y A. Perceptual pre-processing filter for adaptive video on demand content delivery[C]. IEEE International Conference on Image Processing (ICIP), Paris, 2014: 2537-2541.

[8] CHEN Wei, MA Liangping, STERNBERG G,. User-aware DASH over Wi-Fi[C]. International Conference on Computing, Networking and Communications (ICNC), Garden Grove, 2015: 749-753.

[9] KEROFAKY L, VANAM R, and REZNIK Y. Adapting objective video quality metrics to ambient lighting[C]. Seventh International Workshop on Quality of Multimedia Experience (QoMEX), Pylos-Nestoras, 2015: 1-6.

[10] NILL N B. A visual model weighted cosine transform for image compression and quality assessment[J]., 1985, 33(6): 551-557. doi: 10.1109/TCOM. 985.1096337.

[11] SCHULZE T J. Procedure for calculating the resolution of electro-optical systems[C]. International Society for Optics and Photonics, San Diego-DL Tentative, 1990: 317-327.

[12] WU Yiyan and COLL D C. Multilevel block truncation coding using a minimax error criterion for high-fidelity compression of digital images[J]., 1993, 41(8): 1179-1191. doi: 10.1109/26. 231961.

[13] DALY S J. Visible differences predictor: an algorithm for the assessment of image fidelity[C]. SPIE/IS&T 1992 Symposium on Electronic Imaging: Science and Technology, Cambridge, MA, 1992: 2-15.

[14] BARTEN P G J. Formula for the contrast sensitivity of the human eye[J]., 2003, 5294: 231-238. doi: 10.1117/12. 537476.

[15] REZNIK Y A and VANAM R. Improving coding and delivery of video by exploiting the oblique effect[C]. IEEE Global Conference on Signal and Information Processing (GlobalSIP), Austin, 2013: 775-778.

[16] The SVT high definition multi format test set[EB/OL]. ftp://vqeg.its.bldrdoc.gov/HDTV/SVT Multiformat/.2006. 2.

[17] MUELLER C, LEDERER S, POECHER J,. Demo paper: Libdash-an open source software library for the mpeg-dash standard[C]. IEEE International Conference on Multimedia and Expo Workshops (ICMEW), San Jose, 2013: 1-2.

[18] THANG T C, HO Q D, KANG J W,. Adaptive streaming of audiovisual content using MPEG DASH[J]., 2012, 58(1): 78-85. doi: 10.1109/ TCE.2012.6170058.

[19] SEYEDEBRAHIMI M, PENG Xiaohong, and BAILEY C. Client QoE-oriented segment selection for DASH[C]. IEEE International Conference on Computer and Information Technology,Liverpool, 2015: 1663-1668.

Rate Selection Algorithm of DASH Client Based on Contrast Sensitivity

ZHANG Xinyou①WANG Yuanxun①XING Huanlai①WANG Honggang②

①(,,611756,)②(,,02747,)

One significant advantage of rate selection algorithms based on bandwidth estimation is the high bandwidth utilization rate. They are, however, vulnerable to network bandwidth fluctuations, leading to appearance of rate instantaneous peak value and hence wasting unnecessary bandwidth consumption. To tackle the problem above, this paper proposes a novel rate selection algorithm based on the contrast sensitivity of human eyes, where in the client eyes cutoff spatial frequency under the current viewing conditions is calculated by using the human contrast sensitivity model. The algorithm selects the rate of video fragment which has the minimum absolute difference value to the spatial frequency computed, stored in server as the target rate. Compared with those methods for calculating the target rate based on bandwidth estimation and testing target rate in different angles, the proposed method gets the ladder diagrams of rate calculation of both methods. Experimental results demonstrate that the proposed algorithm is able to save a considerable amount of bandwidth without the loss of video quality, with viewing angle from 5o to 15o.

Contrast sensitivity; Cutoff spatial frequency; Dynamic Adaptive Streaming over Http (DASH); Rate selection

TP391

A

1009-5896(2016)11-2826-06

10.11999/JEIT160150

2016-02-02；改回日期：2016-07-29；

2016-09-30

張新有xyzhang@swjtu.edu.cn

國(guó)家自然科學(xué)基金(61401374)

The National Natural Science Foundation of China (61401374)

張新有： 男，1971年生，副教授，主要研究方向?yàn)橛?jì)算機(jī)網(wǎng)絡(luò)、MANET、嵌入式系統(tǒng).

王元?jiǎng)祝?男，1988年生，碩士生，研究方向?yàn)榫W(wǎng)絡(luò)應(yīng)用技術(shù)與嵌入式系統(tǒng).

邢煥來： 男，1984年生，副教授，主要研究方向?yàn)橛?jì)算機(jī)網(wǎng)絡(luò)、SDN、無線網(wǎng)絡(luò).

王紅剛： 男，1974年生，副教授，主要研究方向?yàn)闊o線網(wǎng)絡(luò)、社交網(wǎng)絡(luò).