亮度優(yōu)化立體視頻視覺(jué)舒適度評(píng)價(jià)

王曉燕，王世剛，姜秀紅，趙曉琳

(吉林大學(xué) 通信工程學(xué)院，吉林 長(zhǎng)春 130012)

?

亮度優(yōu)化立體視頻視覺(jué)舒適度評(píng)價(jià)

王曉燕，王世剛*，姜秀紅，趙曉琳

(吉林大學(xué) 通信工程學(xué)院，吉林 長(zhǎng)春 130012)

摘要：結(jié)合立體視頻幀左右視圖的灰度圖，采用魯棒性算法與軟剪刀算法相結(jié)合的“畫(huà)筆”方案來(lái)提取立體視頻幀的前景區(qū)域，合成視差圖并提取水平視差，計(jì)算深度視差；根據(jù)主觀評(píng)價(jià)結(jié)果建立視差深度—視覺(jué)舒適度模型，再結(jié)合亮度對(duì)視覺(jué)舒適度的評(píng)價(jià)模型進(jìn)行優(yōu)化，使模型的評(píng)分更接近人類視覺(jué)系統(tǒng)的評(píng)分；結(jié)合人類主觀評(píng)價(jià)實(shí)驗(yàn)的結(jié)果，用逆向代入法求出模型的系數(shù)確定模型，最終實(shí)現(xiàn)基于人類視覺(jué)系統(tǒng)特性的對(duì)立體視頻視覺(jué)舒適度的評(píng)價(jià)。實(shí)驗(yàn)結(jié)果表明：通過(guò)視覺(jué)舒適度模型計(jì)算得到的結(jié)果與人類主觀評(píng)價(jià)結(jié)果之間的誤差率不超過(guò)5%，其中大部分視頻誤差率不超過(guò)1%。說(shuō)明評(píng)價(jià)模型更符合人類主觀感知結(jié)果的立體視頻視覺(jué)舒適度，模型評(píng)分更接近人類視覺(jué)系統(tǒng)特性的主觀實(shí)驗(yàn)評(píng)分，這為立體視頻舒適度的評(píng)價(jià)提供了參考。

關(guān)鍵詞:立體視頻；視覺(jué)舒適度；亮度；深度視差

1引言

隨著多媒體技術(shù)和互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，3D立體視頻技術(shù)正在不斷地趨于成熟，與傳統(tǒng)的普通視頻相比，它可以清晰地重現(xiàn)客觀世界的景象信息，突出場(chǎng)景的層次感和景象的真實(shí)性，使觀眾獲得更加強(qiáng)烈的臨場(chǎng)感和視覺(jué)沖擊，越來(lái)越多的3D視頻應(yīng)用正在改變著人們的生活[1-4]。2012年，我國(guó)立體視頻電視試驗(yàn)頻道開(kāi)播，這將我國(guó)立體視頻的產(chǎn)業(yè)帶入了一個(gè)全新的發(fā)展階段。頻道開(kāi)播三年多，通過(guò)各界多方參與，積累了諸多寶貴經(jīng)驗(yàn)，為我國(guó)探索發(fā)展3D電視業(yè)務(wù)，提升我國(guó)電視發(fā)展水平發(fā)揮了重要作用。與此同時(shí)，3D電視產(chǎn)業(yè)經(jīng)過(guò)多年的發(fā)展，仍然受到節(jié)目?jī)?nèi)容、運(yùn)營(yíng)模式、人才儲(chǔ)備、技術(shù)標(biāo)準(zhǔn)、技術(shù)應(yīng)用等諸多問(wèn)題的影響與制約，尚未形成良性的產(chǎn)業(yè)鏈條。當(dāng)前，中國(guó)的立體視頻源產(chǎn)業(yè)正處于發(fā)展的重要階段，如何才能促進(jìn)我國(guó)3D電視產(chǎn)業(yè)進(jìn)行持續(xù)而健康的發(fā)展，已經(jīng)成為立體視頻行業(yè)關(guān)注的重要問(wèn)題。但是由于立體視頻技術(shù)自身的不完善性以及對(duì)觀影環(huán)境的要求苛刻，導(dǎo)致了人們?cè)谟^看立體視頻時(shí)經(jīng)常會(huì)出現(xiàn)一些視覺(jué)不適癥狀，如頭暈、眼花，嚴(yán)重時(shí)甚至?xí)杏X(jué)惡心，導(dǎo)致嘔吐等癥狀[5]。

對(duì)立體視頻視覺(jué)舒適度的研究已經(jīng)有將近20年的歷史，通過(guò)對(duì)立體圖像進(jìn)行的大量主觀評(píng)價(jià)實(shí)驗(yàn)，結(jié)合所得實(shí)驗(yàn)結(jié)果，得出了以下結(jié)論：引起人眼視覺(jué)不舒適的原因有很多，其中包括圖像的亮度、飽和度、色度等，而且如果圖像中對(duì)象的深度視差過(guò)大也會(huì)導(dǎo)致立體視頻的視覺(jué)舒適度下降。國(guó)外學(xué)者也對(duì)影響立體圖像舒適度的各種誘因進(jìn)行了探索[6-9]，其中Kooi通過(guò)實(shí)驗(yàn)對(duì)有可能造成雙目立體圖像舒適度的影響因素進(jìn)行了系統(tǒng)的研究[10]，其中包括對(duì)視差、亮度、色度、對(duì)比度、串?dāng)_等的研究。

國(guó)內(nèi)學(xué)者李小方證實(shí)了亮度和顏色差異過(guò)大的左右視圖會(huì)在人眼中產(chǎn)生不匹配的視差圖像[2]。天津大學(xué)楊蕾定性研究了影響雙目立體成像系統(tǒng)顯示效果的四種因素，即亮度、色度、對(duì)比度和分辨率[3]。

國(guó)際標(biāo)準(zhǔn)化組織 ISO 于2000年發(fā)布了IWA3:Image safety，該份文件關(guān)于立體圖像/視頻的相關(guān)安全性明確闡述了當(dāng)視圖紋理特性差異過(guò)大，視覺(jué)生理健康會(huì)受到較為嚴(yán)重的影響，長(zhǎng)久積累將會(huì)出現(xiàn)相關(guān)的并發(fā)癥狀，該標(biāo)準(zhǔn)還涉及包括觀看、內(nèi)容制作、顯示設(shè)備制造等3D產(chǎn)業(yè)的各個(gè)環(huán)節(jié)[11]，為了實(shí)現(xiàn)保證觀影者獲得較好視覺(jué)觀測(cè)體驗(yàn)，應(yīng)該保證立體顯示技術(shù)的各個(gè)環(huán)節(jié)都是基于該標(biāo)準(zhǔn)完成實(shí)施的，這是保證最佳觀影效果的基本要求。

觀看立體視頻的視覺(jué)舒適度已經(jīng)直接關(guān)系到了觀影者的生理健康，這是制約立體產(chǎn)品發(fā)展的一個(gè)主要因素，這一觀點(diǎn)正逐漸被立體視頻用戶廣泛認(rèn)同。而立體視頻是由一幅一幅的圖像組成，所以對(duì)圖像視覺(jué)舒適度評(píng)價(jià)是對(duì)立體視頻視覺(jué)舒適度評(píng)價(jià)的基礎(chǔ)[12]。到目前為止，國(guó)際上對(duì)立體視頻視覺(jué)舒適度的評(píng)價(jià)暫時(shí)還沒(méi)有制定統(tǒng)一的標(biāo)準(zhǔn)，因此，研究立體視頻視覺(jué)舒適度的影響因素顯得尤為重要，而如何建立一個(gè)基于人類視覺(jué)系統(tǒng)的立體視頻視覺(jué)舒適度評(píng)價(jià)模型具有重要的意義。

2主觀實(shí)驗(yàn)評(píng)價(jià)準(zhǔn)備

2.1　主觀實(shí)驗(yàn)設(shè)備標(biāo)定

本次實(shí)驗(yàn)是在NVIDIA 3D Vision顯示平臺(tái)下進(jìn)行的，其中放映設(shè)備采用Sony VPL-HW30ES立體視頻投影儀。該投影儀較為廣泛地應(yīng)用于家庭影院播放、視頻質(zhì)量觀測(cè)、醫(yī)療景象分析等領(lǐng)域，可以快捷地完成立體視頻的播放工作，且具有立體成像效果顯著、色彩逼真、清晰度高，層次感強(qiáng)等優(yōu)點(diǎn)。

2.2　實(shí)驗(yàn)人員標(biāo)定

對(duì)于觀測(cè)人員的選用，為了保證其觀測(cè)結(jié)果的合理性與有效性，需要對(duì)一系列影響因素予以限定以保證實(shí)驗(yàn)可以正常進(jìn)行，其中包括年齡、性別、視力、有無(wú)視覺(jué)方面的生理疾病、有無(wú)觀測(cè)立體視頻的經(jīng)驗(yàn)等[11]。這里根據(jù)是否具有立體視頻主觀評(píng)價(jià)經(jīng)驗(yàn)對(duì)觀測(cè)者予以區(qū)分，其中有觀測(cè)經(jīng)驗(yàn)的專家被試者可以在全面感受畫(huà)質(zhì)的同時(shí)，利用心里尺度準(zhǔn)確地對(duì)視頻進(jìn)行主觀評(píng)價(jià)，而非專家被試者由于缺少相關(guān)經(jīng)驗(yàn)，需要事先安排一系列的培訓(xùn)，以保證可以得到較為合理準(zhǔn)確的評(píng)判結(jié)果。

本次實(shí)驗(yàn)選用雙目視覺(jué)以及生理正常的觀測(cè)人員，其中視覺(jué)正常包括：裸視或佩戴眼鏡矯正視力達(dá)到1.0，并且觀測(cè)人員沒(méi)有對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生影響的視覺(jué)方面生理疾病。被試者共20人(有立體視頻觀測(cè)經(jīng)驗(yàn)，佩戴主動(dòng)快門式眼鏡無(wú)不良反應(yīng)且能夠正確透徹地理解評(píng)判標(biāo)準(zhǔn)，評(píng)分過(guò)程中不帶有主觀傾向性的專業(yè)人士作為觀測(cè)者)，年齡為20~35歲，其中男性12人，女性8人；有觀測(cè)經(jīng)驗(yàn)的專家被試者10人，培訓(xùn)后有觀測(cè)經(jīng)驗(yàn)的非專家被試者10人[11]。

2.3　實(shí)驗(yàn)片源及場(chǎng)景的標(biāo)定

在觀測(cè)過(guò)程中，立體屏幕擺放高度設(shè)定為1.2 m，經(jīng)測(cè)試發(fā)現(xiàn)，觀測(cè)者在距離3倍屏幕高度的位置處[10]，可以獲得較好的立體觀測(cè)效果，且不易產(chǎn)生視覺(jué)不舒適的感覺(jué)。所以本次實(shí)驗(yàn)讓觀測(cè)者坐在距離立體屏幕3.6 m處完成對(duì)立體視頻的觀看。實(shí)驗(yàn)中播放的立體視頻序列采用國(guó)際視頻組織發(fā)布的標(biāo)準(zhǔn)視頻序列，以保證實(shí)驗(yàn)結(jié)果具備普遍適用性，且設(shè)定播放間隔為20 s，防止觀測(cè)者長(zhǎng)時(shí)間觀看視頻產(chǎn)生主觀因素的誤差。

瞳孔可以根據(jù)外界入射光的強(qiáng)弱調(diào)節(jié)其自身大小，使映射到視網(wǎng)膜上的光通量盡可能適中[13]。在不同的亮度環(huán)境下，人眼對(duì)于同一實(shí)際亮度所產(chǎn)生的相對(duì)亮度感覺(jué)是存在差異的，同時(shí)人眼在弱光環(huán)境下對(duì)亮度信息的感知更為敏感，所以本實(shí)驗(yàn)采用全遮光式實(shí)驗(yàn)環(huán)境，以保證外界亮度環(huán)境一致，也使實(shí)驗(yàn)更具準(zhǔn)確性。

2.4　主觀評(píng)分標(biāo)準(zhǔn)

依據(jù)ITU(International Telecommunication Union)對(duì)電視視頻質(zhì)量主觀評(píng)價(jià)推薦的準(zhǔn)則[14]，可將立體圖像舒適度評(píng)分歸為分5個(gè)等級(jí)，本實(shí)驗(yàn)為了提高實(shí)驗(yàn)數(shù)據(jù)的準(zhǔn)確性，采取百分制打分，然后將分?jǐn)?shù)按比例規(guī)范化為5分制，這樣可使評(píng)分的精度達(dá)到0.1，并且4分以下數(shù)據(jù)為不可用數(shù)據(jù)，將其排除。具體舒適等級(jí)描述以及評(píng)分標(biāo)準(zhǔn)由表1給出。

表1　舒適度等級(jí)描述以及評(píng)分標(biāo)準(zhǔn)

3系統(tǒng)模型的建立

3.1　立體成像的原理

人們之所以能看到立體圖像，是因?yàn)榱Ⅲw圖像是由視差圖構(gòu)成。所謂視差圖，是由兩個(gè)具有同樣參數(shù)的相機(jī)按照一定距離進(jìn)行放置，同時(shí)對(duì)同一場(chǎng)景進(jìn)行拍攝得到的，這樣的兩幅圖像叫做視差圖。在具備一定條件時(shí),人眼只能接受一定范圍內(nèi)的視差,這一范圍為人眼的融合范圍。左右視圖中存在差異的圖像紋理在大腦皮層中被融合起來(lái)，形成中央眼視圖中穩(wěn)定存在的部分，如圖1所示。觀看平面視頻時(shí)左右眼的圖像完全相同，雙目圖像自然地被融合起來(lái)，雙目對(duì)不同視覺(jué)信號(hào)的融合作用處于限制狀態(tài)；而觀看立體視頻時(shí)，左右視圖存在的某些較弱的差異能夠在雙目融合和雙目抑制的作用下被弱化甚至被掩蔽。

圖1　左右眼圖像經(jīng)視覺(jué)系統(tǒng)融合后形成“中央眼”圖像的示意圖 Fig.1　Cyclopean eye with binocular fusion and binocular suppression

在人們生活的世界中，視覺(jué)輻輳效應(yīng)與視覺(jué)焦點(diǎn)調(diào)節(jié)是一致的。在觀看立體圖像時(shí),若視差圖的視差大小在視覺(jué)融合范圍內(nèi),雖然輻輳和焦點(diǎn)調(diào)節(jié)不一致,大腦仍可以把視差圖自動(dòng)融合成一幅立體圖像,所以在立體顯示器上能看到一幅具有深度感的立體圖像，如圖2所示。

圖2　視差的大小在融合范圍內(nèi) Fig.2　Binocular fusion

但是，如果視差圖的視差大小不在人眼融合范圍內(nèi),人們就無(wú)法將視差圖自動(dòng)融合成一幅立體圖像,看到的就是一幅不清晰的串?dāng)_圖像，從而產(chǎn)生嚴(yán)重視疲勞，如圖3所示。

圖3　視差的大小在融合范圍外 Fig.3　Binocular suppression

3.2　前景區(qū)域提取

所謂前景，即為“距離觀察者近的部分”，或?yàn)殓R頭中位于前沿或靠近前沿的主體，一般為人或物。對(duì)于一幅圖像中的前景區(qū)域與背景區(qū)域兩個(gè)相鄰區(qū)域的邊緣來(lái)說(shuō)，前景區(qū)域邊緣往往有明確的形狀，而背景區(qū)域與前景區(qū)域相鄰的邊緣一般沒(méi)有明確的形狀，好像是被前景遮掩了。除此之外，前景區(qū)域看起來(lái)比背景區(qū)域更接近觀看者，這個(gè)過(guò)程是人類感知的過(guò)程，稱之為前景區(qū)域與背景區(qū)域的感知。

首先，選取進(jìn)行實(shí)驗(yàn)的四段視頻序列中任意幀左、右兩幅匹配視圖，求出其標(biāo)準(zhǔn)視差圖，然后用GBVS顯著性檢測(cè)算法對(duì)圖像進(jìn)行顯著性區(qū)域提取。該方法利用標(biāo)準(zhǔn)技術(shù)從一幅圖像中提取出一系列的特性，如強(qiáng)度、方向、顏色和對(duì)比度等以形成低階特征圖，然后定義在不同特征圖譜下的馬爾科夫鏈，然后將圖像上均衡分布的區(qū)域作為活動(dòng)的和顯著性區(qū)域。

然后，通過(guò)自己的雙眼去確定通過(guò)計(jì)算機(jī)對(duì)顯著性區(qū)域(前景區(qū)域)進(jìn)行的估計(jì)與基于人類視覺(jué)系統(tǒng)對(duì)人類感知到的前進(jìn)區(qū)域是否一致。下一步，對(duì)前景區(qū)域進(jìn)行提取，這是唯一需要用戶輸入的步驟。為了可以盡快提取到前景區(qū)域，又減少工作量，這一步采用魯棒性前景提取算法與軟剪刀方法相結(jié)合的前景提取方法，稱為“畫(huà)筆”方案。在這一方案中，只需在圖像的前景區(qū)域部分用鼠標(biāo)隨意畫(huà)幾筆，每畫(huà)一筆，系統(tǒng)就會(huì)根據(jù)畫(huà)筆痕跡把屬于前景區(qū)域的部分找出來(lái)；再在圖像的背景區(qū)域部分畫(huà)幾筆，每畫(huà)一筆，系統(tǒng)會(huì)自動(dòng)把屬于背景的區(qū)域的部分找出來(lái)，然后進(jìn)行大片的背景區(qū)域刪除。

圖4　前景區(qū)域提取 Fig.4　Extracting of foreground image

3.3　前景區(qū)域深度視差

視差分為交叉視差(即負(fù)視差、凸出于屏幕)和非交叉視差(即正視差、凹進(jìn)于屏幕)，交叉視差時(shí)水平視差為負(fù)，非交叉視差時(shí)水平視差為正，為了計(jì)算方便，文中的ds為水平視差的絕對(duì)值。

如圖4實(shí)驗(yàn)數(shù)據(jù)所示，水平屏幕視差ds與感知深度d的關(guān)系是非線性的，當(dāng)水平屏幕時(shí)差ds趨于W(屏幕寬度)時(shí)，曲線變得平直；當(dāng)水平屏幕視差趨于s(兩眼視距)時(shí)，曲線值急升，這可能導(dǎo)致錯(cuò)誤的觀眾感知深度，但可以看出當(dāng)水平屏幕視差ds趨近于0附近時(shí)，曲線可近似化為線性。文中視頻均為國(guó)際視頻組織發(fā)布的標(biāo)準(zhǔn)序列，水平視差趨近于0，所以可以將水平視差與深度視差近似看作線性關(guān)系。

圖5　深度感知與水平視差的關(guān)系 Fig.5　Relationship between ds and d

(1)

式中：L為實(shí)驗(yàn)場(chǎng)景中觀測(cè)者與屏幕間的觀測(cè)距離(為屏幕高度H的3倍)，s為兩眼視距(為65 mm)，在忽略掉垂直視差的情況下，ds為視差圖的水平視差絕對(duì)值。

3.4　前景區(qū)域亮度

亮度是指圖片的明暗程度，是顏色性質(zhì)的一種。在Lab色彩空間中，亮度是人類主觀明亮感覺(jué)的一種反映。根據(jù)人眼視覺(jué)機(jī)制，人眼感知的主觀亮度和實(shí)際的客觀亮度并非完全相同，但是有一定的對(duì)應(yīng)關(guān)系。

人眼能夠感覺(jué)的亮度范圍極寬，從千分之幾尼特到幾百萬(wàn)尼特。通常，人類視覺(jué)能分辨的圖像灰度等級(jí)約為26，灰度級(jí)分為0~255共256級(jí)，本文用圖像的灰度級(jí)來(lái)表示圖像的亮度。實(shí)驗(yàn)使用MATLAB 2010a處理前景區(qū)域圖像，將選取進(jìn)行實(shí)驗(yàn)的四段視頻序列中任意幀左、右兩幅匹配視差圖的前景區(qū)域進(jìn)行從RGB顏色空間到Y(jié)UV顏色空間的轉(zhuǎn)換,然后分別提取出左右視圖中前景與背景區(qū)域的圖像亮度。

3.5　立體視頻舒適度的評(píng)價(jià)模型的建立

首先將主觀評(píng)價(jià)的實(shí)驗(yàn)結(jié)果填入縱坐標(biāo)為人類主觀評(píng)價(jià)得分MOS、橫坐標(biāo)為立體對(duì)象凸出或凹入屏幕的視差深度d的坐標(biāo)系中，將標(biāo)注點(diǎn)連成光滑曲線，得到對(duì)應(yīng)的函數(shù)。將坐標(biāo)系中光滑曲線上的觀測(cè)點(diǎn)所對(duì)應(yīng)的當(dāng)前幀左、右兩幅匹配視圖，求出其標(biāo)準(zhǔn)視差圖，再用軟剪刀方法和魯棒性前景提取方法相結(jié)合的方法分別處理左、右視圖，得到各自的前景區(qū)域和背景區(qū)域。

將前景區(qū)域進(jìn)行分割、提取，計(jì)算出視差深度d，再對(duì)前景區(qū)域與背景區(qū)域分別進(jìn)行亮度信息提取，得到前景區(qū)域亮度l1，背景亮度l2。定義縱坐標(biāo)為人類主觀評(píng)價(jià)得分MOS與對(duì)應(yīng)函數(shù)vc值的差值δ，橫坐標(biāo)分別為前景區(qū)域亮度與背景區(qū)域亮度的坐標(biāo)系，將標(biāo)注點(diǎn)連成光滑曲線，得到相應(yīng)的函數(shù)。根據(jù)視覺(jué)深度d與人類視覺(jué)系統(tǒng)特性的函數(shù)的關(guān)系和通過(guò)亮度補(bǔ)償對(duì)人類主觀視覺(jué)評(píng)分影響的關(guān)系，得到立體視頻視覺(jué)舒適度評(píng)分的數(shù)學(xué)表達(dá)式：

S=vc+E=a1d3+a2d2+a3d+

(2)

其中，

(3)

(4)

式中：S為綜合視覺(jué)舒適度評(píng)分，vc為視覺(jué)舒適度評(píng)分，E為亮度補(bǔ)償?shù)梅?，a,b,c,σ為特征參數(shù)，d為視差深度，l1為前景區(qū)域的亮度，l2為背景區(qū)域的亮度；σ賦值為0.75，通過(guò)逆向代入法求出模型的系數(shù)分別求出a1、a2、a3、a4；b1、b2、b3；c1、c2、c3。從而實(shí)現(xiàn)對(duì)立體視頻視覺(jué)舒適度進(jìn)行自適應(yīng)評(píng)價(jià)。

4實(shí)驗(yàn)數(shù)據(jù)及分析

舒適度評(píng)價(jià)模型評(píng)分由兩部分組成，其中，vc是基于深度視差的視覺(jué)舒適度評(píng)分，從20名觀測(cè)人員對(duì)11段國(guó)際標(biāo)準(zhǔn)視頻序列評(píng)分中，隨機(jī)選取其中4段視頻的評(píng)分，分別求出20個(gè)評(píng)分結(jié)果的平均值作為vc值，確定其深度視差d后，通過(guò)逆向代入法求得a1、a2、a3、a4后的表達(dá)式為：

vc=103(5.7625d3-8.0670d2+

(5)

隨機(jī)選取3段視頻，將評(píng)分結(jié)果的vc平均值與用模型求得的vc值進(jìn)行作差，得到的值作為E值,確定其前景區(qū)域的亮度l1后，用逆向代入法求得b1、b2、b3；同理，確定背景區(qū)域的亮度l2后 ，求得c1、c2、c3。求得亮度補(bǔ)償數(shù)學(xué)表達(dá)式為：

(6)

通過(guò)逆向代入法求得的評(píng)價(jià)模型各個(gè)系數(shù)后，確定了本文的評(píng)價(jià)模型表達(dá)式為：

S=103(5.7625d3-8.0670d2+3.7510d-

(7)

為驗(yàn)證本文所提算法的有效性，實(shí)驗(yàn)選用11段國(guó)際視頻組織提供的分辨率大小為320 pixel×240 pixel，幀刷新頻率為30 frame/s，且未經(jīng)壓縮處理過(guò)的標(biāo)準(zhǔn)視頻序列作為測(cè)試樣本，每段視頻序列時(shí)間控制在8~15 s之間，以方便利用舒適度模型進(jìn)行計(jì)算，同時(shí)安排被測(cè)者對(duì)這11段立體視頻序列進(jìn)行主觀評(píng)價(jià)，將評(píng)價(jià)結(jié)果記錄下來(lái)，與舒適度模型求得的視覺(jué)舒適度S進(jìn)行比較，并計(jì)算其誤差率。以下視頻序列均選自國(guó)際視頻組織發(fā)布的標(biāo)準(zhǔn)序列，實(shí)驗(yàn)結(jié)果如表2所示。

表2　11段標(biāo)準(zhǔn)視頻序列舒適度評(píng)價(jià)結(jié)果

對(duì)上表結(jié)果進(jìn)行分析可以發(fā)現(xiàn)，利用本文所提出的視覺(jué)舒適度模型S計(jì)算出的舒適度評(píng)分結(jié)果與人類主觀評(píng)價(jià)結(jié)果基本相同。還可以看出，通過(guò)視覺(jué)舒適度模型計(jì)算得到的S值與人類主觀評(píng)價(jià)結(jié)果之間的誤差率不超過(guò)5%，其中有8段誤差率不超過(guò)1%。其中第8段視頻的模型評(píng)分與主觀評(píng)分差異較大，對(duì)其分析原因，可能是該段視頻的清晰度較差，圖像的分辨率較低等因素造成的，這對(duì)視覺(jué)舒適度模型的評(píng)分造成了一定的影響。實(shí)驗(yàn)結(jié)果能夠很好地反映立體視頻的舒適度，為立體視頻舒適度的主客觀評(píng)價(jià)提供了依據(jù)。

5結(jié)論

本文首先建立了視差深度—視覺(jué)舒適度模型，再結(jié)合亮度對(duì)視覺(jué)舒適度的評(píng)價(jià)模型進(jìn)行優(yōu)化，使模型的評(píng)分更接近人類視覺(jué)系統(tǒng)的評(píng)分；結(jié)合人類主觀評(píng)價(jià)實(shí)驗(yàn)的結(jié)果，用逆向代入法求出模型的系數(shù)確定模型，最終實(shí)現(xiàn)基于人類視覺(jué)系統(tǒng)特性的對(duì)立體視頻視覺(jué)舒適度的評(píng)價(jià)。本文在研究深度視差對(duì)舒適度評(píng)價(jià)影響的同時(shí)，又考慮了亮度因素對(duì)立體視頻視覺(jué)舒適度的影響，對(duì)前人視覺(jué)舒適度評(píng)價(jià)模型進(jìn)行了優(yōu)化。本文也提出了用魯棒性算法與軟剪刀算法相結(jié)合的“畫(huà)筆”方案來(lái)提取圖像的前景區(qū)域，大大減少了工作量。實(shí)驗(yàn)結(jié)果表明，評(píng)價(jià)模型更符合人類主觀感知結(jié)果的立體視頻視覺(jué)舒適度，模型評(píng)分更接近人類視覺(jué)系統(tǒng)特性的主觀實(shí)驗(yàn)評(píng)分。

參考文獻(xiàn)：

[1]JIN L，BOEV A，GOTCHEV A，etal.. 3D-DCT based perceptual quality assessment of stereo video[C]. 2011 18th IEEE International Conference on Image Processing(ICIP),Brussels,Belgium,11-14 Sept.,2011.

[2]李小方，王瓊?cè)A.自由立體顯示器觀看視疲勞[J].液晶與顯示，2008，23(4)：464-466.

LI X F,WANG Q H. Free stereoscopic display watch visual fatigue[J].ChineseJ.LiquidCrystalsandDisplays，2008，23(4):464-466 (in Chinese)

[3]楊蕾.多視點(diǎn)、靜止立體圖像處理的理論分析及實(shí)驗(yàn)研究[D].天津:天津大學(xué),2007:125-127.

YANG L. Theoretical analysis and experimental research on still multi-view auto-stereo image processing[D]. Tianjin:Tianjin University,2007:125-127.(in Chinese)

[4]LI J,BARKOWSKY M,LE CALLET P. The influence of relative disparity and planar motion velocity on visual discomfort of stereoscopic videos[C]. 2011 Third International Workshop on Quality of Multimedia Experience (QoMEX),Mechelen,Belgium,7-9 Sept.,2011.

[5]王小雨,王世剛,呂源治.基于特征區(qū)域分割的立體視頻視覺(jué)舒適度評(píng)價(jià)方法[J].光電子技術(shù)，2014(2)：87-90.

WANG X Y,WANG SH G,LV Y ZH. Evaluation of visual comfort for stereoscopic video based on region segmentation[J].PhotoElectronicTechnique,2014(2)：87-90.(in Chinese)

[6]WANG X Y,WANG S G. Evaluation of visual comfort for stereoscopic video based on region segmentation[C]. Proceedings of 3rd International Conference on Multimedia Technology (ICMT-13),Guangzhou,China,Dec. 2013:805-813.

[7]臧艷軍,李素梅,衛(wèi)津津,等.影響立體圖像舒適度的亮度范圍測(cè)定[J].電子測(cè)量技術(shù),2012(2):59-64.

ZANG Y J,LI S M,WEI J J,etal.. Affect the brightness of the stereoscopic image comfort range measurement[J].ElectronicMeasurementTechnology,2012(2):59-64.(in Chinese)

[8]DE SILVA D V S X,FERNANDO W A C,WORRALL S T,etal.. Just noticeable difference in depth model for stereoscopic 3D displays[C]. 2010 IEEE International Conference on Multimedia and Expo(ICME),Suntec City,Singapore,19-23 July 2010.

[9]ROGMANS S,DUMONT M,LAFRUIT G,etal.. Biological-aware stereoscopic rendering in free viewpoint technology using GPU computing[C].3DTV-Conference: The True Vision - Capture,Transmission and Display of 3D Video (3DTV-CON),Tampere,Finland,7-9,June 2010.

[10]KOOI F L,TOET A. Visual comfort of binocular and 3D displays[J].Display,2004,25(2-3):99-108.

[11]ISO IWA3. Image safety: Reducing the incidence of undesirable biomedical effects caused by visual image sequences[S]. Recommendation,2005.

[12]MAALOUF A,LARABI M C. CYCLOP:A stereo color image quality assessment metric[C]. 2011 IEEE International Conference on Acoustics,Speech and Signal Processing(ICASSP),Prague,Czech Republic,22-27 May,2011.

[13]KIM D,SOHN K. Visual fatigue prediction for stereoscopic image[J].IEEE,2011,21(2):231-236.

[14]ITU. Methodology for the subjective assessment of the quality of television pictures[S]. Recommendation BT 500-11,2002.

王曉燕(1988—)，女，山東煙臺(tái)人，碩士研究生，2011年于長(zhǎng)春工業(yè)大學(xué)獲得學(xué)士學(xué)位，主要從事圖像視頻方面的研究。E-mail:bingningyezi@163.com

王世剛(1961—)，男，吉林長(zhǎng)春人，教授，博士生導(dǎo)師，1983年于東北大學(xué)獲得學(xué)士學(xué)位，1997年于吉林工業(yè)大學(xué)獲得碩士學(xué)位，2001年于吉林大學(xué)獲得博士學(xué)位，主要從事圖像與視頻信號(hào)智能處理方面的研究。E-mail：wangshigang@vip.sina.com

姜秀紅(1990—)，女，吉林松原人，碩士研究生，2013年于吉林大學(xué)獲得學(xué)士學(xué)位，主要從事圖像視頻方面的研究。E-mail：251225458@qq.com

趙曉琳(1990—)女，山東聊城人，碩士研究生，2013年于吉林大學(xué)獲得學(xué)士學(xué)位，主要從事圖像視頻方面的研究。E-mail：794601602@qq.com

Evaluation of stereo video visual comfort based on

luminance optimization

WANG Xiao-yan, WANG Shi-gang*, JIANG Xiu-hong, ZHAO Xiao-lin

(CollegeofCommunicationEngineering,JilinUniversity,Changchun130012,China)

Abstract:We extract the foreground region of stereoscopic video by combining the grayscales of left and right view, and synthesize the two pictures into a disparity map, then extract the horizontal parallax and calculate the depth parallax. Finally， we build the depth parallax-visual discomfort model on the basis of subject assessment and optimize the visual discomfort model by considering the luminance influence. Experimental results indicate that the error rate is less than 5% between calculated value and human subjective evaluation results, and most video error rates are less than 1%. The evaluation model is more accord with human subjective perception results and has good practicability, which provides a reference for the stereo video comfort evaluation.

Key words:stereoscopic video;visual comfort;luminance;depth parallax

作者簡(jiǎn)介：

*Corresponding author, E-mail:wangshigang@vip.sina.com

中圖分類號(hào)：TP394.1； TH691.9

文獻(xiàn)標(biāo)識(shí)碼:A

doi:10.3788/CO.20150803.0394

文章編號(hào)2095-1531(2015)03-0394-07

基金項(xiàng)目：教育部博士點(diǎn)基金資助項(xiàng)目(No.20120061110091)

收稿日期:2014-11-12；

修訂日期:2015-01-18