基于視敏度的Q-STAR模型參數(shù)預(yù)測(cè)*

杜 麟，田 暢，吳澤民，張兆豐，胡 磊，張 磊

(中國(guó)人民解放軍理工大學(xué) 通信工程學(xué)院，江蘇 南京 210007)

基于視敏度的Q-STAR模型參數(shù)預(yù)測(cè)*

杜 麟，田 暢，吳澤民，張兆豐，胡 磊，張 磊

(中國(guó)人民解放軍理工大學(xué) 通信工程學(xué)院，江蘇 南京 210007)

Q-STAR模型是現(xiàn)有的客觀視頻質(zhì)量評(píng)價(jià)中最接近主觀得分的模型，但是在解碼端難以從丟包解碼后的YUV視頻序列中提取與編碼端相一致的運(yùn)動(dòng)矢量信息，從而影響模型參數(shù)的預(yù)測(cè)。針對(duì)該問(wèn)題，提出了基于視敏度信息的模型參數(shù)預(yù)測(cè)方法，從YUV視頻序列中提取時(shí)間域和空間域視敏度特征，并結(jié)合Q-STAR模型中提取的特征進(jìn)行預(yù)測(cè)。通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，使用視敏度信息代替原有的運(yùn)動(dòng)矢量信息進(jìn)行預(yù)測(cè)，所得模型參數(shù)值與Q-STAR基本相符，并且計(jì)算更為簡(jiǎn)單。

視頻傳輸質(zhì)量保障；主觀感知；參數(shù)預(yù)測(cè)；視敏度信息

0 引言

視頻傳輸質(zhì)量保障的最終目的是保障接收端視頻的服務(wù)質(zhì)量，首先需要建立與人的主觀感受相一致的視頻質(zhì)量評(píng)價(jià)模型。近年來(lái)，越來(lái)越多的研究著力于建立符合人眼視覺(jué)感知特性的評(píng)價(jià)指標(biāo)[1-2]。常見(jiàn)的方法是對(duì)主觀評(píng)價(jià)結(jié)果進(jìn)行分析，并建立相應(yīng)的模型使得評(píng)價(jià)的結(jié)果逼近真實(shí)主觀評(píng)價(jià)的結(jié)果。文獻(xiàn)[3-4]首先從時(shí)間域和質(zhì)量域出發(fā)，分別研究了幀率以及量化步長(zhǎng)對(duì)主觀感知和碼率的影響，隨后在文獻(xiàn)[5]中加入分辨率對(duì)主觀感受的影響，并提出了聯(lián)合模型Q-STAR。文獻(xiàn)[6]中提出用視敏度評(píng)估視頻質(zhì)量，用相鄰的視頻幀之間像素之差表示時(shí)間信息，用源視頻與測(cè)試視頻的時(shí)間信息差異表示視頻的損傷，并通過(guò)回歸樹的方法估計(jì)主觀得分。

本文從YUV視頻序列中提取時(shí)間域和空間域視敏度信息作為新的特征值，并進(jìn)行模型參數(shù)的預(yù)測(cè)。

1 Q-STAR模型

文獻(xiàn)[5]從質(zhì)量域、時(shí)間域以及空間域三個(gè)方向出發(fā)，分別研究了量化步長(zhǎng)、幀率以及分辨率對(duì)視頻主觀感知質(zhì)量的影響，從而得到了聯(lián)合的視頻主觀感知模型Q-STAR，模型的計(jì)算表達(dá)式以及參數(shù)預(yù)測(cè)如下所示：

(1)

(2)

(3)

(4)

使用Q-STAR模型對(duì)6個(gè)視頻序列(city、crew、harbour、soccer、garden和foreman)進(jìn)行參數(shù)預(yù)測(cè)。圖1為6個(gè)視頻序列的簡(jiǎn)圖。預(yù)測(cè)的結(jié)果如表1所示。表2表示用最小二乘擬合對(duì)主觀得分進(jìn)行擬合得到的模型參數(shù)值，將該數(shù)值作為模型參數(shù)預(yù)測(cè)的真實(shí)值，用于評(píng)價(jià)參數(shù)預(yù)測(cè)的好壞。(表格中視頻序列取前兩個(gè)字母表示)。

圖1 6個(gè)測(cè)試序列從左至右，從上至下一次為city、crew、harbour、soccer、garden和foreman

cicrhasogafoMSEαq誤差7．454．299．176．3710．764．380．20-0．22-0．480．060．08-0．190．246＾αs誤差3．684．073．854．555．115．560．160-0．7300．28-0．380．360αf誤差3．993．352．762．152．953．690．110．26-0．07-0．080．15-0．110．144

表2 模型參數(shù)最小二乘擬合結(jié)果

對(duì)表1中的結(jié)果進(jìn)行分析可以發(fā)現(xiàn)，對(duì)于運(yùn)動(dòng)劇烈和場(chǎng)景復(fù)雜的視頻序列來(lái)說(shuō)，Q-STAR模型參數(shù)的預(yù)測(cè)存在較大的誤差，分析原因在于模型參數(shù)的預(yù)測(cè)中使用了特征σDFD，而σDFD是基于運(yùn)動(dòng)估計(jì)的相鄰兩幀之間幀差均值的標(biāo)準(zhǔn)差。對(duì)于運(yùn)動(dòng)劇烈和場(chǎng)景復(fù)雜的視頻序列來(lái)說(shuō)，運(yùn)動(dòng)矢量信息以及殘差信息遠(yuǎn)大于其他的視頻序列，難以進(jìn)行準(zhǔn)確的運(yùn)動(dòng)估計(jì)，運(yùn)動(dòng)估計(jì)的不準(zhǔn)確性導(dǎo)致運(yùn)動(dòng)補(bǔ)償之后的誤差增大，使得特征σDFD計(jì)算不準(zhǔn)確，從而造成模型參數(shù)預(yù)測(cè)的誤差。另一方面，運(yùn)動(dòng)矢量信息需要從264碼流中提取，無(wú)法直接從YUV視頻序列中得到，在視頻傳輸過(guò)程中如果發(fā)生丟包，解碼后的視頻能難得到有效的運(yùn)動(dòng)矢量信息，因此，該預(yù)測(cè)只能用于編碼端或者是無(wú)丟包條件下的視頻質(zhì)量評(píng)價(jià)。為了解決以上問(wèn)題，本文提出了一種基于視敏度的參數(shù)預(yù)測(cè)方法。

2 視敏度

文獻(xiàn)[6]將視敏度[7-8]定義為視頻的感知質(zhì)量，并給出了一種在線計(jì)算視敏度的方法。視敏度是最基本的人眼視覺(jué)系統(tǒng)(Human Visual System，HVS)視覺(jué)處理機(jī)制，它表征了HVS對(duì)不同頻率視覺(jué)信號(hào)的響應(yīng)強(qiáng)度，主要有時(shí)域?qū)Ρ让舾卸群涂沼驅(qū)Ρ让舾卸取?/p>

時(shí)域?qū)Ρ让舾卸戎饕从沉艘曨l序列受幀率的影響，表現(xiàn)在視頻序列的連貫性上，體現(xiàn)了幀與幀之間的差別。圖2分別表示同一視頻在幀率為3.75、7.5、15以及30時(shí)相同位置連續(xù)的5幀。從圖2可以看出幀率越大，幀與幀之間的差別較小，視頻序列的連貫性越好；而幀率越小，幀與幀之間差別較大，造成視頻序列的不連貫，出現(xiàn)“跳躍”的現(xiàn)象。

圖2 SOCCER序列在4種幀率下的對(duì)比

用時(shí)域信息Ti表示時(shí)域?qū)Ρ让舾卸?，Ti的計(jì)算表達(dá)式如下：

(5)

(6)

(7)

其中H和W分別代表視頻的高度和寬度；c代表顏色深度；Fn(i,j)代表視頻第n幀圖像中位于位置(i,j)的像素值；N代表視頻的幀數(shù)。

空域?qū)Ρ让舾卸戎饕芊直媛视绊懀w現(xiàn)在視頻序列的尺寸上，圖3分別表示了同一視頻在兩種分辨率下相同位置的幀。從圖3中可以看出分辨率越大，人眼的主觀感受越好；分辨率越小，越容易造成主觀感受的下降。

圖3 SOCCER序列在兩種分辨率下的對(duì)比

用空域信息Si表示空域?qū)Ρ让舾卸?，Si的計(jì)算表達(dá)式如下：

|Fn(i,j+1)-Fn(i,j)|)

(8)

(9)

(10)

為了解決模型參數(shù)預(yù)測(cè)中運(yùn)動(dòng)矢量信息的問(wèn)題，分別計(jì)算了源視頻時(shí)域信息Tio以及空域信息Sio和測(cè)試視頻的時(shí)域信息Tit以及空域信息Sit，并把時(shí)域信息和空域信息的變化DTi和DSi作為新的特征，特征計(jì)算如下：

(11)

3 模型參數(shù)預(yù)測(cè)

表3 視頻特征描述

從6個(gè)視頻序列中選取5個(gè)用于訓(xùn)練，剩下一個(gè)視頻序列用于測(cè)試，求取預(yù)測(cè)結(jié)果與最小二乘擬合值之間的誤差，通過(guò)誤差大小進(jìn)行特征組合的選取，表4表示了不同個(gè)數(shù)特征組合下最佳的特征組合以及其最小誤差。

表4 特征組合選取

通過(guò)表4可以看出，當(dāng)K=4時(shí)誤差最小，而K=3時(shí)的誤差與K=4時(shí)僅相差0.013，因此，選擇DTi、η(μFD,σ)和Gm三種特征進(jìn)行模型參數(shù)的預(yù)測(cè)，預(yù)測(cè)方程如式(12)所示。

(12)

4 實(shí)驗(yàn)結(jié)果

表5 本文提出的方法預(yù)測(cè)結(jié)果

5 結(jié)論

[1] 蔣剛毅, 朱亞培, 郁梅, 等. 基于感知的視頻編碼方法綜述[J]. 電子與信息學(xué)報(bào), 2013, 35(2): 474-483.

[2] LEE J, EBRAHIMI T. Perceptual video compression: a survey[J]. IEEE Journal of Selected Topics in Signal Processing, 2012, 6(6): 684-697.

[3] OU Y F, MA Z, LIU T, et al. Perceptual quality assessment of video considering both frame rate and quantization artifacts[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2011, 21(3): 286-298.

[4] MA Z, XU M, OU Y F, et al. Modeling of rate and perceptual quality of compressed video as functions of frame rate and quantization stepsize and its applications[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2012, 22(5): 671-682.

[5] OU Y F, XUE Y, WANG Y. Q-STAR: a perceptual video quality model considering impact of spatial, temporal, and amplitude resolutions[J]. IEEE Transactions on Image Processing, 2014, 23(6): 2473-2486.

[6] BAIK E, PANDE A, STOVER C, MOHAPATRA P. Video acuity assessment in mobile devices[C]. 2015 IEEE Conference in Computer Communications (INFOCOM), HONG KONG, 2015: 1-9.

[7] LIN W, KUO C C J. Perceptual visual quality metrics: a survey[J]. Journal of Visual Communication & Image Representation, 2011, 22(4):297-312.

[8] BALACHANDRAN A, SEKAR V, AKELLA A, et al. Developing a predictive model of quality of experience for internet video[J]. ACM SIGCOMM Computer Communication Review, 2013, 43(4): 339-350.

[9] LI C, XIONG H, WU D. Delay-rate-distortion optimized rate control for end-to-end video communication over wireless channels[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2015, 25(10):1665-1681.

The parameters prediction of Q-STAR model based on video acuity

Du Lin，Tian Chang，Wu Zemin， Zhang Zhaofeng， Hu Lei， Zhang Lei

(College of Communications Engineering, PLA University of Science and Technology, Nanjing 210007, China)

Q-STAR is now the best model whose objective evaluation is close to the real subjective scores. But in the decoding end, it’s difficult to extract the same information of motion vector from YUV sequences with packet loss, which influences the prediction of model parameters. In order to solve this problem, a new model parameters prediction method was proposed based on video acuity. Firstly, it extracts video acuity features of time domain and space domain from the sequence, and then predicts the model parameters with the features extracted in the Q-STAR. Experimental results demonstrate the new prediction method is close to the old prediction and makes the calculation easy.

video transmission quality metric; subjective perception; parameter prediction; video acuity

國(guó)家自然科學(xué)基金(61501509)

TN919.85

A

10.19358/j.issn.1674- 7720.2017.01.013

杜麟，田暢，吳澤民，等. 基于視敏度的Q-STAR模型參數(shù)預(yù)測(cè)[J].微型機(jī)與應(yīng)用，2017,36(1)：40-43.

2016-09-30)

杜麟(1992-)，男，碩士，主要研究方向：視頻傳輸保障。

田暢(1963-)，通信作者，男，博士，教授，主要研究方向：數(shù)據(jù)鏈系統(tǒng)與信息感知。E-mail：tianchang_cce@163.com。

吳澤民(1973-)，男，博士，副教授，主要研究方向：信息融合。