一種基于時(shí)空域結(jié)構(gòu)的立體視頻質(zhì)量評(píng)價(jià)方法

車慧麗，郁 梅,2，陳 芬，彭宗舉

(1.寧波大學(xué) 信息科學(xué)與工程學(xué)院，浙江 寧波315211；2.南京大學(xué) 計(jì)算機(jī)軟件新技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，南京210093)

一種基于時(shí)空域結(jié)構(gòu)的立體視頻質(zhì)量評(píng)價(jià)方法

車慧麗1，郁 梅1,2，陳 芬1，彭宗舉1

(1.寧波大學(xué) 信息科學(xué)與工程學(xué)院，浙江 寧波315211；2.南京大學(xué) 計(jì)算機(jī)軟件新技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，南京210093)

如何準(zhǔn)確有效的評(píng)價(jià)立體視頻質(zhì)量對(duì)于視頻通信系統(tǒng)的發(fā)展有著重要的作用。本文著重于從單視點(diǎn)相鄰幀中提取的結(jié)構(gòu)信息相關(guān)性提出了一種立體視頻質(zhì)量評(píng)估方法?？沼蛱荻葘?duì)空域失真和時(shí)域局部失真同樣敏感，對(duì)于立體視頻的左右視點(diǎn)，首先結(jié)合時(shí)空域梯度特征和對(duì)圖像質(zhì)量評(píng)價(jià)有顯著影響的顏色特征，得到單視點(diǎn)視頻的時(shí)空域結(jié)構(gòu)相似度。在時(shí)空域質(zhì)量融合階段，時(shí)空域局部質(zhì)量首先通過空域融合得到單視點(diǎn)幀級(jí)質(zhì)量值，然后再利用左右視點(diǎn)能量比率圖加權(quán)的方法將同一時(shí)刻左右視點(diǎn)之間的質(zhì)量值融合為立體視頻單幀質(zhì)量值。最后考慮人眼不對(duì)稱追蹤效應(yīng)進(jìn)行單幀質(zhì)量融合得到最終的立體視頻質(zhì)量。在NAMA3DS1-COSPAD1數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)表明該方法可以準(zhǔn)確預(yù)測(cè)立體視頻質(zhì)量且時(shí)間復(fù)雜度非常低。

視頻質(zhì)量評(píng)價(jià)；時(shí)空域信息；質(zhì)量融合；時(shí)域效應(yīng)

0 引言

隨著3D顯示技術(shù)的快速發(fā)展，3D視頻已經(jīng)進(jìn)入到公眾的娛樂生活中。相比于傳統(tǒng)的2D視頻，3D視頻包含附加的信息并且兩只眼睛可以在同一時(shí)刻觀看不同的圖像，通過雙目融合，兩個(gè)視點(diǎn)合成為一幅圖像并且在人類視覺系統(tǒng)中產(chǎn)生立體深度感[1]。在3D視頻的獲取、編碼、傳輸和顯示的過程中左右視點(diǎn)就會(huì)產(chǎn)生不同類型和不同程度的失真，人類視覺系統(tǒng)就會(huì)感受到不同的質(zhì)量感。因此，如何有效的評(píng)價(jià)3D視頻的質(zhì)量是一個(gè)值得探索的重要問題。

由于人是視頻圖像的最終接受者和使用者，最精確和最可靠的質(zhì)量評(píng)價(jià)方法就是采用視頻觀看者所給出的分?jǐn)?shù)，也就是所謂的主觀質(zhì)量評(píng)價(jià)方法[2]。但是該方法費(fèi)時(shí)費(fèi)力并且不能嵌入到實(shí)時(shí)應(yīng)用系統(tǒng)中。為了彌補(bǔ)主觀質(zhì)量評(píng)價(jià)方法的不足，在實(shí)際中我們通常采用客觀評(píng)價(jià)方法，也就是利用定量的數(shù)學(xué)模型來估計(jì)視頻質(zhì)量，這個(gè)方法要解決的關(guān)鍵問題是客觀評(píng)價(jià)值與人類主觀感受一致。

目前，立體圖像和立體視頻的質(zhì)量評(píng)價(jià)模型主要可以分為兩個(gè)類型，第一個(gè)類型是用戶體驗(yàn)質(zhì)量的評(píng)價(jià)。在文獻(xiàn)[3]中，Xing L等考慮到談話節(jié)目的級(jí)別，攝像機(jī)基線和場(chǎng)景內(nèi)容，提出了一種客觀評(píng)價(jià)方法。在文獻(xiàn)[4]中，MittalA等從視差圖和空間圖像中提取簡(jiǎn)單的統(tǒng)計(jì)特性并利用主成分分析法和前向特征選擇的方法來選擇與主觀評(píng)價(jià)值相一致的特征用來評(píng)價(jià)用戶體驗(yàn)質(zhì)量。第二種類型就是度量由于壓縮或編碼而造成的失真度。文獻(xiàn)[5]介紹了一種針對(duì)JPEG編碼失真的立體無參考立體視頻質(zhì)量評(píng)價(jià)方法。文獻(xiàn)[6]將像素劃分為邊緣、紋理和平滑區(qū)域，然后利用傳統(tǒng)2D圖像質(zhì)量評(píng)價(jià)方法(IQMs)來得到每個(gè)區(qū)域的質(zhì)量值并賦予不同的權(quán)重值，最后采用將兩個(gè)視點(diǎn)質(zhì)量值進(jìn)行平均?？紤]到雙目空間靈敏度，Wang[7]等提出了一種立體圖像質(zhì)量評(píng)價(jià)方法，該算法利用圖像對(duì)中每個(gè)像素點(diǎn)的JND值作為雙目空間靈敏度并將其用作IQMs中的權(quán)重值。Jin[8]等在視點(diǎn)間找到相似塊構(gòu)造3D數(shù)組，對(duì)每個(gè)3D數(shù)組應(yīng)用3D-DCT變換后計(jì)算原始圖像塊和失真圖像塊變換系數(shù)的均方誤差。雖然這些評(píng)價(jià)方法與人類主觀評(píng)價(jià)值相一致，但是并沒有將相鄰幀的運(yùn)動(dòng)信息考慮進(jìn)去并且依賴于比較耗時(shí)的立體匹配，因此不能應(yīng)用于實(shí)時(shí)系統(tǒng)中。

一個(gè)好的立體視頻質(zhì)量評(píng)價(jià)算法不但要有較高的預(yù)測(cè)準(zhǔn)確性，對(duì)時(shí)空域失真都敏感，還要有盡可能低的算法復(fù)雜度，對(duì)高清視頻序列進(jìn)行實(shí)時(shí)處理。本文提出了一種基于時(shí)空域結(jié)構(gòu)的全參考立體視頻質(zhì)量評(píng)價(jià)方法。首先，受SSIM的啟發(fā)，我們假設(shè)人類視覺系統(tǒng)(Human Visual System，HVS)高度自適應(yīng)的從運(yùn)動(dòng)場(chǎng)景中提取時(shí)空域結(jié)構(gòu)信息，將整個(gè)立體視頻左右視點(diǎn)的視頻序列看作兩個(gè)靜態(tài)的三維矩陣，通過時(shí)空域梯度幅值和顏色信息兩個(gè)特征計(jì)算時(shí)空域結(jié)構(gòu)相似度，分別得到左右視點(diǎn)視頻序列的時(shí)空域局部質(zhì)量矩陣；然后，再將整個(gè)立體視頻左右視點(diǎn)看作動(dòng)態(tài)的時(shí)間序列，先通過空域融合方法分別得到左右視點(diǎn)中每幀的質(zhì)量，再利用左右視點(diǎn)單幀圖像能量比率圖加權(quán)的方法將左右視點(diǎn)中同一時(shí)刻的質(zhì)量值加權(quán)得到評(píng)價(jià)值，最后模擬HVS中不對(duì)稱追蹤效應(yīng)對(duì)每幀的質(zhì)量進(jìn)行時(shí)域加權(quán)，得到最終的立體視頻序列客觀質(zhì)量。

1 基于時(shí)空域結(jié)構(gòu)的立體視頻質(zhì)量評(píng)價(jià)方法

本文算法通過時(shí)空域結(jié)構(gòu)相似度和時(shí)空域局部質(zhì)量融合分別計(jì)算單視點(diǎn)視頻序列的質(zhì)量，同時(shí)考慮視頻的時(shí)域失真和空域失真。對(duì)得到的左右視點(diǎn)質(zhì)量值采用能量比率圖能量加權(quán)方法得到立體視頻質(zhì)量值，使得該方法對(duì)各類型的編碼失真和傳輸失真都有很好的評(píng)價(jià)性能，同時(shí)避開了非常耗時(shí)的運(yùn)動(dòng)估計(jì)，降低了立體視頻質(zhì)量評(píng)價(jià)復(fù)雜度。圖1是本文提出算法的流程框圖。

圖1 基于時(shí)空域結(jié)構(gòu)的立體視頻質(zhì)量評(píng)價(jià)方法框圖Fig.1Diagram of the spatio-temporal structural-based stereoscopic video quality metric

1.1 時(shí)空域結(jié)構(gòu)相似度

許多圖像質(zhì)量評(píng)價(jià)算法都表明梯度可以有效提取圖像的結(jié)構(gòu)信息，這啟發(fā)我們選擇梯度作為我們方法中的一個(gè)特征，同時(shí)檢測(cè)原始和失真視頻的空域結(jié)構(gòu)信息差異和時(shí)域運(yùn)動(dòng)信息差異。在本文中，用3D Prewitt算子計(jì)算視頻序列的梯度幅值。本文中使用的3D Prewitt算子的三個(gè)模板的權(quán)值系數(shù)如圖2所示。

圖23 D Prewitt算子的三個(gè)方向模板Fig.2Three masks of the 3D Prewitt operator

以左視點(diǎn)視頻序列為例，原始和失真視頻的亮度分量分別記為Yr和Yd，視頻的空域分辨力為W×H，視頻序列共有F幀，將整個(gè)視頻的亮度分量看作H×W×F的三維矩陣，與3D Prewitt算子進(jìn)行三維卷積，計(jì)算原始視頻的梯度幅值Gr和失真視頻的梯度幅值Gd:

其中：符號(hào)·表示矩陣的數(shù)量乘積運(yùn)算，c1是正常數(shù)。顏色信息的失真同樣會(huì)影響視頻的質(zhì)量，在視頻壓縮過程中，色度分量通常采用與亮度分量一樣的編碼方式，這使得顏色失真對(duì)視頻質(zhì)量有顯著影響，因此在視頻質(zhì)量評(píng)價(jià)算法中，顏色失真也是需要考慮的一個(gè)重要因素。因此計(jì)算色度分量的相似度作為顏色相似度。原始和失真視頻的兩個(gè)色度分量分別記為Ur，Vr和Ud，Vd，顏色相似度矩陣Csim為

其中：c2，c3都是正常數(shù)。本文中c1，c2和c3都用于防止分式無意義并微調(diào)各特征的靈敏度。結(jié)合梯度相似度和顏色相似度得到原始和失真視頻序列的時(shí)空域結(jié)構(gòu)相似度，即時(shí)空域局部質(zhì)量矩陣QLS為

其中：λ是大于0的參數(shù)，用于調(diào)整顏色分量的權(quán)重，本文中λ=3，用于強(qiáng)調(diào)顏色信息失真較嚴(yán)重區(qū)域?qū)σ曨l質(zhì)量的影響。

1.2 空域質(zhì)量融合

在許多圖像質(zhì)量評(píng)價(jià)中，通常用平均融合方法進(jìn)行局部質(zhì)量的融合，本文采用更加高效的標(biāo)準(zhǔn)差融合法將幀級(jí)局部質(zhì)量融合成幀質(zhì)量。以左視點(diǎn)視頻序列為例，時(shí)空域局部質(zhì)量矩陣QLS中每個(gè)像素點(diǎn)的局部質(zhì)量值記為QLS(x，y，t)，其中，則左視點(diǎn)視頻序列中每幀的質(zhì)量值Qframe_l(t)為

用同樣的方法，可以計(jì)算出右視點(diǎn)視頻序列中每一幀的質(zhì)量值Qframe_r(t)。這里需要注意，與平均融合方法相反，標(biāo)準(zhǔn)差融合得到的值越小，表示該幀的質(zhì)量越好。

1.3 左右視點(diǎn)質(zhì)量融合

(Ir,l,Ir,r)和(Id,l,Id,r)分別表示原始和失真立體視頻中的左右視點(diǎn)單幀圖像，首先通過計(jì)算局部方差來得到每幅圖像的局部能量圖，即從原始和失真圖像中的每個(gè)空間點(diǎn)處提取局部圖像塊的方差，用標(biāo)準(zhǔn)差為1.5的11×11大小的中心對(duì)稱高斯加權(quán)函數(shù)，歸一化為單位權(quán)重，得到的能量圖表示為(Er,l，Er,r)，(Ed,l，Ed,r)。

原始立體圖像對(duì)有最好的質(zhì)量，這就是雙目融合；當(dāng)至少一個(gè)單視點(diǎn)圖像在某些空間位置失真時(shí)，可能會(huì)影響來自兩個(gè)視點(diǎn)之間圖像結(jié)構(gòu)的一致性，產(chǎn)生雙目競(jìng)爭(zhēng)。在兩個(gè)視點(diǎn)之間計(jì)算局部能量比率圖：

能量比率圖提供了有用的局部雙目競(jìng)爭(zhēng)信息，這可以結(jié)合單視點(diǎn)圖像的質(zhì)量用來預(yù)測(cè)3D圖像質(zhì)量。高能量的圖像區(qū)域包含更多的信息，如果視覺感知的終極目標(biāo)是從視覺場(chǎng)景中高效提取有用信息，那么高能量區(qū)域更可能引起關(guān)注，所以有更高權(quán)重。為了強(qiáng)調(diào)在雙目競(jìng)爭(zhēng)中高能量圖像區(qū)域的重要性，采用能量加權(quán)法[9]：

立體視頻單幀的質(zhì)量值可表示為

1.4 時(shí)域質(zhì)量融合

根據(jù)HVS中的視覺特性，人眼對(duì)連續(xù)視頻幀質(zhì)量變化存在不對(duì)稱感知，即對(duì)質(zhì)量降低比對(duì)質(zhì)量提高更加敏感。因此，本文采用不對(duì)稱感知模型[10]中的低通函數(shù)對(duì)每幀視頻質(zhì)量分進(jìn)行預(yù)處理，求得中間結(jié)果。這個(gè)特性可以通過不對(duì)稱的質(zhì)量上升和下降權(quán)重實(shí)現(xiàn)，最終的視頻序列的客觀質(zhì)量值：

其中：QLP(1)=Qframe(1)，α和β分別表示質(zhì)量上升和下降時(shí)的權(quán)重，并滿足條件α<β，其值之間的差異性體現(xiàn)了人眼不對(duì)稱感知特性，即人眼對(duì)質(zhì)量降低比質(zhì)量提高更加敏感。

2 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證該算法的有效性，使用法國(guó)南特大學(xué)提供的NAMA3DS1-COSPAD1立體視頻數(shù)據(jù)庫(kù)(以下簡(jiǎn)稱NAMA3D數(shù)據(jù)庫(kù))[11]進(jìn)行測(cè)試。該對(duì)稱高清立體視頻數(shù)據(jù)庫(kù)包括10對(duì)未經(jīng)壓縮的高質(zhì)量自然場(chǎng)景參考立體視頻序列對(duì)(分辨率為1 920×1 080，幀率為25 f/s)，同時(shí)，NAMA3D數(shù)據(jù)庫(kù)中還包含5種(H.264壓縮失真、JPEG2000壓縮失真、圖像下采樣、圖像銳化、下采樣和銳化復(fù)合失真)失真類型共100對(duì)失真立體視頻序列對(duì)。

2.1 參數(shù)選擇

本文有六個(gè)參數(shù)需要確定其取值。c1、c2、c3和λ具體的取值是采用遍歷的方式進(jìn)行粗調(diào)，由于視頻的數(shù)據(jù)量較大，本文采用的是在該視頻庫(kù)中選取一個(gè)子集進(jìn)行遍歷，該子集包含3個(gè)原始視頻和其對(duì)應(yīng)的30個(gè)失真視頻，經(jīng)過遍歷選取使斯皮爾曼秩相關(guān)系數(shù)(Spearman Rank Order Correlation Coefficient，SROCC)值達(dá)到最大的c1、c2、c3和λ。本文中這四個(gè)參數(shù)的取值分別為c1=90，c2=c3=300，λ=3。

圖3 參數(shù)α，β與SROCC的關(guān)系Fig.3The relationship ofα，βand SROCC

2.2 性能比較

為了定量分析該立體視頻質(zhì)量評(píng)價(jià)方法，文中根據(jù)視頻質(zhì)量專家(VQEG)Phase I test報(bào)告，采用文獻(xiàn)[12]中介紹的Logistic函數(shù)將各客觀評(píng)價(jià)算法評(píng)價(jià)結(jié)果非線性回歸到主觀評(píng)價(jià)結(jié)果(DMOS)空間，然后采用秩相關(guān)系數(shù)(SROCC)標(biāo)準(zhǔn)來衡量各評(píng)價(jià)算法的性能，用來測(cè)定客觀評(píng)價(jià)算法結(jié)果相對(duì)主觀評(píng)價(jià)結(jié)果的單調(diào)性。

將本文中提出的評(píng)價(jià)方法和7種著名的質(zhì)量評(píng)價(jià)算法，包括4種全參考圖像質(zhì)量評(píng)價(jià)算法：PSNR、SSIM[13]、VIF[14]、MS-SSIM[15]和3種全參考視頻質(zhì)量評(píng)價(jià)算法：VQM[16]、RVQM[17]、PARMENIA[18]，在NAMA3D數(shù)據(jù)庫(kù)上進(jìn)行評(píng)價(jià)性能的比較，四種圖像質(zhì)量評(píng)價(jià)方法通過簡(jiǎn)單的幀質(zhì)量平均加權(quán)用于視頻質(zhì)量評(píng)價(jià)中，實(shí)驗(yàn)結(jié)果如表1所示。由表可知，在所有的失真類型中，表1中的所有方法對(duì)于JPEG2K失真視頻的評(píng)價(jià)值都是最高的，多種失真類型的復(fù)合增加了評(píng)價(jià)的難度，所以表1中的方法對(duì)于復(fù)合失真視頻的評(píng)價(jià)值都不高。本文提出的方法對(duì)NAMA3D數(shù)據(jù)庫(kù)整體失真視頻的評(píng)價(jià)效果要優(yōu)于對(duì)比算法，特別是對(duì)于JPEG2K失真類型，其SROCC可達(dá)到0.94，而對(duì)于H.264壓縮失真類型，其評(píng)價(jià)性能稍遜于VQM和VIF，VQM利用統(tǒng)計(jì)學(xué)原理模擬實(shí)際的人眼視覺系統(tǒng)并提取人眼可以感知的多種圖像特征值，雖然本文的方法只考慮了亮度、色度和時(shí)空域結(jié)構(gòu)信息，但SROCC值也可達(dá)到0.83，表明本文算法對(duì)于該失真類型也是有效的。本文所提出的方法對(duì)下采樣、銳化及其復(fù)合失真視頻的評(píng)價(jià)值要高于其對(duì)比算法，證明本文提出的方法還是比較符合人眼視覺感知的。

2.3 復(fù)雜度對(duì)比

表1 各種評(píng)價(jià)方法在NAMA3D數(shù)據(jù)庫(kù)不同失真類型上的SROCC值Table 1SROCC results of different assessment metrics on NAMA3D database for separate degradation types

為了比較本文提出的算法與其他7種經(jīng)典的質(zhì)量評(píng)價(jià)算法的復(fù)雜度，對(duì)NAMA3D數(shù)據(jù)庫(kù)中一個(gè)1 920 ×1 080的400幀的視頻序列進(jìn)行測(cè)試。7種經(jīng)典算法均由Matlab實(shí)現(xiàn)，代碼均來自原作者，我們提出的方法也用Matlab實(shí)現(xiàn)，沒有經(jīng)過任何優(yōu)化。實(shí)驗(yàn)在ALIENWARE筆記本(Intel(R)Core(TM)i7-4900 CPU @2.80GHz,32GRAM，Windows764-bit, MATLAB?R2012b)上進(jìn)行，其結(jié)果如圖4。顯而易見，本文提出的算法復(fù)雜度較低，運(yùn)行時(shí)間僅是PSNR的5倍，和MS-SSIM相當(dāng)，與其評(píng)價(jià)性能相當(dāng)?shù)腣IF的時(shí)間復(fù)雜度是本文提出方法的6倍。

圖4 文中各方法的運(yùn)行時(shí)間比較(包括左右視點(diǎn))Fig.4Timing(both left and right)for all mentioned objective measures)

3 結(jié)論

本文通過結(jié)合時(shí)空域結(jié)構(gòu)信息，提出了一種簡(jiǎn)單高效的立體視頻質(zhì)量評(píng)價(jià)方法。首先通過時(shí)空域梯度同時(shí)檢測(cè)空域失真和時(shí)域失真，結(jié)合顏色信息計(jì)算時(shí)空域結(jié)構(gòu)相似度，然后通過空域融合分別得到立體視頻左右視點(diǎn)的幀級(jí)質(zhì)量，在左右視點(diǎn)質(zhì)量的融合過程中，通過計(jì)算左右視點(diǎn)單幀圖像的能量比率圖作為權(quán)重值，得到立體視頻單幀質(zhì)量值，考慮不對(duì)稱追蹤效應(yīng)進(jìn)行時(shí)域融合得到立體視頻的質(zhì)量。在公開的視頻數(shù)據(jù)庫(kù)NAMA3D上的實(shí)驗(yàn)結(jié)果表明，本文提出的方法達(dá)到了較高的評(píng)價(jià)性能和較低的時(shí)間復(fù)雜度。

[1]HAN Yi，YUAN Zhenhui，Gabriel-Miro Muntean.An innovative no-reference metric for real-time 3D stereoscopic video quality assessment[J].IEEE Transactions on Broadcasting(S0018-9316)，2016，99：1-10.

[2]YU Mei，ZHENG Kaihui，JIANG Gangyi，et al.Binocular perception based reduced-reference stereo video quality assessment method[J].Journal of Visual Communication and Image Representation(S1047-3203)，2016，38：246-255.

[3]XING Liyuan，YOU Junyong，Touradj Ebrahimi.A perceptual quality metric for stereoscopic crosstalk perception[C]//IEEE International Conference on Image Processing，Hong Kong，China，Sept 26-29，2010：4033-4036.

[4]Mittal A，MoorthyA K，Ghosh J，et al.Algorithmic assessment of 3D quality of experience for images and videos[C]//Digital Signal Processing Workshop and IEEE Signal Processing Education Workshop，Sedona，USA，Jan 4-7，2011：338-343.

[5]Sazzad Z M P，Yamanaka S，Kawayokeita Y，et al.Stereoscopic image quality prediction[C]//First International Workshop on Quality of Multimedia Experience QOMEX，San Diego，CA，July 29-31，2013：180-185.

[6]MAO Xiangying，YU Mei，WANG Xu，et al.Stereoscopic image quality assessment model with three-component weighted structure similarity[C]//International Conference on Audio Language and Image Processing，Shanghai，China，Nov 23-25，2010：1175-1179.

[7]WANG Xu，Sam Kwong，ZHANG Yun.Considering binocular spatial sensitivity in stereoscopic image quality assessment[C]// IEEE Visual Communications and Image Processing(VCIP)，Tainan，China，Nov 6-9，2011：1-4.

[8]JIN Lina，Atanas Boev，Atanas Gotchev，et al.3D-DCT based perceptual quality assessment of stereo video[C]//IEEE International Conference on Image Processing，Brussels，Belgium，Sept 11-14，2011：2521-2524.

[9]WANG Jiheng，ZENG Kai，WANG Shiqi，et al.Quality prediction of asymmetrically distorted stereoscopic 3D images[J]. IEEE Transactions on Image Processing(S1057-7149)，2015，24(2)：3400-3414.

[10]Masry M，Hemami S S，Sermadevi Y.A scalable wavelet-based video distortion metric and applications[J].IEEE Transactions on Circuits&Systems for Video Technology(S1051-8215)，2006，16(2)：260-273.

[11]Urvoy M，Barkowsky M，Cousseau R，et al.NAMA3DS1-COSPAD1：Subjective video quality assessment database on coding conditions introducing freely available high quality 3D stereoscopic sequences[C]//IEEE on Fourth International Workshop Quality of Multimedia Experience(QoMEX)，Yarra Valley，Australia，July 5-7，2012：109-114.

[12]Hamid Rahim S，Alan Conrad B，Gustavo D V.An information fidelity criterion for image quality assessment using natural scene statistics[J].IEEE Transactions on Image Processing(S1057-7149)，2005，14(12)：2117-2128.

[13]WANG Zhou，Alan Conrad B，Hamid Rahim S，et al.Image quality assessment:from error visibility to structural similarity[J]. IEEE Transactions on Image Processing(S1057-7149)，2004，13(4)：600-612.

[14]Sheikh H R，Alan C Bovik.Image information and visual quality[J].IEEE Transactions on Image Processing(S1057-7149)，2006，15(2)：430-444.

[15]WANG Zhou，Simoncelli E P，Alan C Bovik.Multiscale structural similarity for image quality assessment[C]//The Thirty-SeventhAsilomar Conference on Signals Systems and Computers，Asilomar，Nov 9-12，2003：1398-1402.

[16]Pinson M H，Wolf S.A new standardized method for objectively measuring video quality[J].IEEE Transactions on Broadcasting(S0018-9316)，2004，50(3)：312-322.

[17]Dumic E，Grgic S.Reduced video quality measure based on 3d steerable wavelet transform and modified structural similarity index[C]//Proceedings of the 55th International Symposium ELMAR，Zadar，Sept 25-27，2013：65-69.

[18]Jiménez Bermejo D.High definition video quality assessment metric built upon full reference ratios[D].Madrid:Universidad Politecnica De Madrid，2012.

Spatio-temporal Structural-based Stereoscopic Video Quality Metric

CHE Huili1，YU Mei1,2，CHEN Fen1，PENG Zongju1
(1.Faculty of Information Science and Engineering,Ningbo University,Ningbo315211,Zhejiang,China;2.National Key Lab of Software New Technology,Nanjing University,Nanjing210093,China)

How to evaluate the stereoscopic video quality accurately and effectively plays an important role for the development of video communication system.We propose a stereoscopic video quality assessment method which focuses on the structure information extracted from adjacent frames of single view.Spatio-temporal structural information is sensitive to both spatial distortions and temporal distortions.For two views of stereoscopic video,we firstly calculate spatio-temporal structure based local quality according to spatio-temporal gradient characteristic and chrominance information,and these local quality scores are integrated to obtain frame level scores for single view.Then,we use energy ratio map of two views as weight values to fuse the two view scores into single frame score.Finally,all the frame level scores are combined via asymmetric tracking effect.Experiments on NAMA3DS1-COSPAD1 database demonstrate that the proposed method achieves highly competitive prediction accuracy and delivers very low computational complexity.

stereoscopic video quality assessment;spatial-temporal information;quality fusion;temporal effects

TP391

A

10.3969/j.issn.1003-501X.2016.11.013

1003-501X(2016)11-0082-06

2016-04-28；

2016-06-08

國(guó)家自然科學(xué)基金(61271270)；浙江省自然科學(xué)基金(LY15F010005)

車慧麗(1991-)，女(漢族)，山東菏澤人。碩士研究生，主要研究工作是3D視頻處理與質(zhì)量評(píng)價(jià)。E-mail:blesschehuili@126.com。

郁梅(1968-)，女(漢族)，江蘇無錫人。教授，主要研究工作是多媒體信號(hào)處理與通信。E-mail:yumei2@126.com。