一種基于用戶關(guān)注的立體圖像舒適度評(píng)價(jià)算法

胡　岸，孟　放，鄭郁劼

(中國(guó)傳媒大學(xué)　信息工程學(xué)院，北京　100024)

?

一種基于用戶關(guān)注的立體圖像舒適度評(píng)價(jià)算法

胡岸，孟放，鄭郁劼

(中國(guó)傳媒大學(xué)信息工程學(xué)院，北京100024)

摘要:近年來(lái)，立體電視和立體電影的發(fā)展掀起了一股“3D”熱潮。要讓觀眾享受到高質(zhì)量的立體內(nèi)容，首先要解決人們?cè)谟^看立體視頻圖像時(shí)的不舒適感。以立體圖像的視差因素為切入點(diǎn)，結(jié)合人眼關(guān)注模型，設(shè)計(jì)并實(shí)現(xiàn)了一種立體圖像舒適度的客觀評(píng)價(jià)方法。該方法根據(jù)人造立體圖像的主觀實(shí)驗(yàn)評(píng)價(jià)結(jié)果，建立了視差—舒適度模型，同時(shí)結(jié)合圖像顯著信息，對(duì)立體圖像的舒適度進(jìn)行了預(yù)測(cè)。對(duì)比主觀評(píng)價(jià)結(jié)果，所提出的立體圖像舒適度客觀評(píng)價(jià)方法所獲取的評(píng)價(jià)結(jié)果與人眼感受具有較好的一致性。

關(guān)鍵詞:立體圖像；用戶關(guān)注模型；客觀評(píng)價(jià)

隨著多媒體技術(shù)的發(fā)展，圖像和視頻的質(zhì)量日漸提高，人們對(duì)視覺(jué)體驗(yàn)的要求也不斷在提高。圖像和視頻僅有清晰度的提升并不能完全滿足人們的需要，因此立體成像技術(shù)漸漸成為了熱門。相比傳統(tǒng)的二維圖像/視頻，立體顯示內(nèi)容加入了深度信息，提高了畫面的逼真度和臨場(chǎng)感。然而不合適的立體內(nèi)容會(huì)使人眼在觀看時(shí)產(chǎn)生明顯的不舒適感。播放設(shè)備問(wèn)題、圖像受損以及過(guò)大的雙目視差等都是引起立體內(nèi)容不舒適的原因[1]。長(zhǎng)時(shí)間觀看不舒適的立體內(nèi)容，輕則引起眼酸眼脹，重則會(huì)產(chǎn)生頭痛惡心甚至嘔吐等癥狀。因此，如何保證立體內(nèi)容的安全性是立體顯示行業(yè)需要面對(duì)的重要問(wèn)題之一。

影響立體圖像舒適度的因素有很多，包括視差、物體尺寸、顏色等，其中視差因素為影響舒適度的一個(gè)主要因素。多數(shù)學(xué)者以視差因素為基礎(chǔ)，研究了立體圖像舒適度客觀評(píng)價(jià)方法[2]。但由于僅基于視差的立體圖像舒適度預(yù)測(cè)沒(méi)有考慮人眼在觀察圖像時(shí)的習(xí)慣、特性，不能很好地預(yù)測(cè)人眼實(shí)際的舒適度，于是，很多學(xué)者展開了對(duì)基于用關(guān)注的舒適度客觀評(píng)價(jià)方法的研究?；谟脩絷P(guān)注的舒適度客觀評(píng)價(jià)模型一般包括圖像的顯著圖信息及視差信息兩個(gè)方面。在Jung等人[3]的立體圖像舒適度預(yù)測(cè)模型中，首先提取了立體圖像的視差圖和顯著圖，然后將兩張圖線性合并生成了基于感知的視覺(jué)權(quán)重圖，并以此圖為權(quán)重加權(quán)計(jì)算了視差圖中的視差參數(shù)，以此為依據(jù)對(duì)舒適度進(jìn)行預(yù)測(cè)。Sohn等人[4]通過(guò)對(duì)簡(jiǎn)單的人造立體圖像進(jìn)行主觀評(píng)價(jià)，建立舒適度模型模舒適度預(yù)測(cè)模型，利用該模型對(duì)立體圖像舒適度進(jìn)行了預(yù)測(cè)。

本文主要研究立體圖像視差大小與人眼舒適度間的關(guān)系，通過(guò)對(duì)人造立體圖像進(jìn)行舒適度主觀評(píng)價(jià)[5]，建立了視差—舒適度量化模型，并進(jìn)一步結(jié)合人類視覺(jué)特性中的注意機(jī)制，建立基于用戶關(guān)注的立體圖像質(zhì)量評(píng)價(jià)模型，對(duì)立體圖像的舒適度進(jìn)行預(yù)測(cè)。

1基于用戶關(guān)注的立體圖像舒適度的評(píng)價(jià)方法設(shè)計(jì)

本文結(jié)合用戶關(guān)注模型，設(shè)計(jì)并實(shí)現(xiàn)了一種立體圖像舒適度客觀評(píng)價(jià)方法，算法結(jié)構(gòu)如圖1所示。具體步驟：1)對(duì)僅包含不同視差大小的人造立體圖像進(jìn)行立體舒適度主觀評(píng)價(jià)，建立“視差—舒適度預(yù)測(cè)模型”；2)計(jì)算待評(píng)價(jià)立體圖像的“顯著圖”和“視差圖”，并合成“視覺(jué)關(guān)注加權(quán)圖”；3)根據(jù)視差—舒適度模型計(jì)算一幅圖中每個(gè)像素對(duì)應(yīng)的舒適度值；4)將每個(gè)像素對(duì)應(yīng)的舒適度值加權(quán)相加(即“空間匯集”)，最后得到的單一舒適度評(píng)分，即為客觀評(píng)價(jià)結(jié)果。

1.1視差—舒適度模型的建立

為了建立視差—舒適度模型，首先需要研究立體圖像中視差參數(shù)與人眼感知之間的關(guān)系。本文通過(guò)分析人造立體圖像的舒適度主觀評(píng)價(jià)結(jié)果，得到了視差與人眼舒適度感知的關(guān)系，以此建立了視差—舒適度模型。該模型顯示了立體圖像視差與舒適度之間的量化關(guān)系，可以用來(lái)預(yù)測(cè)立體圖像中每個(gè)像素點(diǎn)的舒適度。

對(duì)于人造立體圖像的舒適度評(píng)價(jià)，近年來(lái)已有過(guò)若干相關(guān)研究[4，6]。本實(shí)驗(yàn)中，為了建立視差—舒適度的對(duì)應(yīng)關(guān)系，必須排除其他因素的干擾，例如顏色、視差分布、語(yǔ)義信息等。因此，本文舒適度評(píng)價(jià)實(shí)驗(yàn)所采用的實(shí)驗(yàn)素材的設(shè)計(jì)需滿足以下3點(diǎn)要求：1)圖像為灰度圖像，不包含色彩信息；2)視差特征僅包含不同的水平視差大小，不包含其他可能引起不舒適的視差因素，如垂直視差、視差分布等；3)包含不同水平視差大小的圖案應(yīng)為中心對(duì)稱圖案，且同時(shí)具備高頻及低頻特征，以有助于觀察員聚焦。基于以上要求，本實(shí)驗(yàn)中立體圖像素材設(shè)計(jì)如圖2所示。

本實(shí)驗(yàn)的素材圖像包括背景和前景圖案兩個(gè)部分。其中：1)背景為椒鹽噪聲圖案，即在一張純白色圖片中隨機(jī)加入若干黑色的黑色噪聲，并對(duì)其進(jìn)行均值濾波。之所以使用這樣的背景是因?yàn)檫^(guò)于簡(jiǎn)單的背景(比如單一的白色背景)可能會(huì)使觀察員的雙眼不能很好地融合看到單一的立體圖案，而是僅看到單目圖案(重影)。使用椒鹽噪聲背景可以使觀察員可以清晰看到單一的立體圖案。椒鹽背景位于零視差的位置。2)前景圖案采用黑色的馬耳他十字(MalteseCross)，該圖案同時(shí)包含了高頻及低頻特征信息。實(shí)驗(yàn)中，馬耳他十字圖案位于整個(gè)圖像中心，在不同的圖像素材中，該圖案具有不同的負(fù)視差值。本實(shí)驗(yàn)的圖片素材中包含了11個(gè)不同視差值的圖案，分別為0°，0.33°，0.66°，1°，1.33°，1.66°，2°，2.5°，3°，4°，5°。

需要說(shuō)明的是，本實(shí)驗(yàn)的素材視差只采用負(fù)視差及零視差是基于文獻(xiàn)[7]的研究結(jié)果：人眼在觀看立體圖像時(shí)，會(huì)更傾向關(guān)注離他們較近的物體，即圖像中負(fù)視差部分區(qū)域。而對(duì)于正視差的區(qū)域，盡管圖像中超出安全范圍的正視差也會(huì)引起不舒適，但是由于遠(yuǎn)離人眼，這部分區(qū)域受到的關(guān)注較少，因此相比負(fù)視差引起的不舒適，正視差所帶來(lái)的不舒適并不明顯。

對(duì)以上人造立體圖像的舒適度主觀評(píng)價(jià)實(shí)驗(yàn)根據(jù)ITU-RBT.500建議書[8]的建議采用單刺激法(SS)[9]，評(píng)價(jià)表使用連續(xù)5級(jí)評(píng)價(jià)量表評(píng)估立體圖像的舒適度，5個(gè)等級(jí)分別為：極舒適、略舒適、一般、略不舒適、極不舒適。本實(shí)驗(yàn)邀請(qǐng)了15位評(píng)價(jià)員參與評(píng)價(jià)，每人都通過(guò)了立體視覺(jué)測(cè)試[10]。

通過(guò)對(duì)人造立體圖像(圖2)進(jìn)行主觀評(píng)價(jià)實(shí)驗(yàn)，得到了各視差下的立體圖像舒適度評(píng)分。為了得到視差值與舒適度評(píng)分之間的量化關(guān)系，本文使用SPSS軟件對(duì)均分結(jié)果進(jìn)行曲線估計(jì)，圖3為視差—舒適度曲線擬合圖。本例選取了線性模型、多項(xiàng)式模型(二次和三次)以及指數(shù)模型三類常見(jiàn)模型進(jìn)行估計(jì)，表1列出了估計(jì)結(jié)果。從決定系數(shù)(coefficientofdetermination)R2可以看出，二次模型、三次模型和指數(shù)模型都具有較好的擬合度，其中以三次模型擬合度最高。但是，結(jié)合實(shí)際情況，當(dāng)負(fù)視差增大時(shí)，實(shí)際舒適度應(yīng)該為單調(diào)遞減，趨近于0。如圖3所示，如果選用多項(xiàng)式模型，則曲線在(0，+∞)區(qū)間上無(wú)單調(diào)性，且沒(méi)有隨視差增大而趨近于0，而指數(shù)模型符合這一特性。因此，在考慮實(shí)際情況后，本文采用指數(shù)模型作為視差—舒適度評(píng)價(jià)模型，其擬合結(jié)果(見(jiàn)表1)如式(1)，其中x代表負(fù)視差值(單位為度)，y為舒適度評(píng)分。

y=4.558e-0.415x

(1)

1.2視覺(jué)關(guān)注加權(quán)圖

如圖1所示，“視覺(jué)關(guān)注加權(quán)圖”是由“顯著圖”和“視差圖”構(gòu)成。根據(jù)研究，人眼對(duì)于立體圖像的關(guān)注區(qū)域主要來(lái)自平面圖像的顯著區(qū)域[11]和立體圖像中離人眼較近的區(qū)域(即負(fù)視差區(qū)域)，因此在預(yù)測(cè)立體舒適度時(shí)需著重考慮這兩部分區(qū)域。本文采用已有的FT算法[12]提取顯著圖。視差圖是通過(guò)采用Kolmogorov的圖割法[13]對(duì)待評(píng)價(jià)圖像對(duì)進(jìn)行立體匹配得到的。視覺(jué)關(guān)注加權(quán)圖的計(jì)算是由顯著圖和視差圖按照一定比例的權(quán)重w1，w2合成，即

IC=w1×ID+w2×IS,w1+w2=1

(2)

合成效果如圖4所示。視覺(jué)關(guān)注加權(quán)圖的作用是為圖像中的每個(gè)像素確定預(yù)測(cè)舒適度時(shí)的權(quán)重，圖中亮度越大的部分，對(duì)于舒適度預(yù)測(cè)的貢獻(xiàn)越大。在本實(shí)驗(yàn)中，權(quán)重w1，w2取值均為0.5。

1.3空間匯集法

在對(duì)自然圖像對(duì)進(jìn)行客觀評(píng)價(jià)時(shí)，最終結(jié)果的得出利用了基于圖像內(nèi)容的權(quán)重空間匯集的方法。公式如式(3)所示

(3)

式中：mi代表每個(gè)像素的舒適度，結(jié)合視差圖和視差—舒適度模型可以求得該值；wi為權(quán)重，該值由視覺(jué)關(guān)注加權(quán)圖決定；Q為最終的舒適度評(píng)分。

2實(shí)驗(yàn)及結(jié)果分析

為確保本文所提出立體圖像舒適度客觀評(píng)價(jià)方法的正確性和有效性，筆者設(shè)計(jì)了如下實(shí)驗(yàn)：1)選取一定數(shù)量測(cè)試圖像，分別提取每幅圖像的視差圖和顯著圖，并合成視覺(jué)關(guān)注加權(quán)圖；2)結(jié)合視差圖和視差—舒適度模型，求得一幅圖像中每個(gè)像素的舒適度客觀評(píng)分；3)結(jié)合視覺(jué)關(guān)注加權(quán)圖，利用空間匯集法，將一幅圖像的所有像素舒適度評(píng)分加權(quán)相加，即可得該圖像的最終舒適度評(píng)價(jià)結(jié)果；4)對(duì)所有測(cè)試圖像進(jìn)行舒適度主觀評(píng)分實(shí)驗(yàn)，最后將主觀評(píng)分結(jié)果與客觀評(píng)分結(jié)果進(jìn)行對(duì)比分析。本節(jié)將從客觀評(píng)價(jià)素材選擇及實(shí)驗(yàn)結(jié)果分析幾方面對(duì)實(shí)驗(yàn)進(jìn)行介紹。

2.1客觀評(píng)價(jià)實(shí)驗(yàn)素材的選擇

本實(shí)驗(yàn)一共選取了50個(gè)測(cè)試圖像作為客觀評(píng)價(jià)素材。其中45張圖像來(lái)源為[14-15]，其余5張來(lái)自Middlebury立體圖像數(shù)據(jù)庫(kù)[16]。50張圖像的內(nèi)容涵蓋人物、動(dòng)物、靜物、風(fēng)景等各種類型，部分測(cè)試圖像如圖5所示。需要指出的是，為了驗(yàn)證立體圖像舒適度客觀評(píng)價(jià)算法的準(zhǔn)確性，已預(yù)先對(duì)本次實(shí)驗(yàn)所用素材圖片進(jìn)行了舒適度主觀評(píng)分(該組圖像的主觀評(píng)分實(shí)驗(yàn)采用與人造立體圖像主觀實(shí)驗(yàn)相同的標(biāo)準(zhǔn)和方法，并選擇相同的測(cè)試人員進(jìn)行實(shí)驗(yàn))。

2.2客觀評(píng)價(jià)結(jié)果及分析

如圖6為50張圖的評(píng)價(jià)結(jié)果，包括指數(shù)模型的預(yù)測(cè)結(jié)果以及主觀評(píng)價(jià)結(jié)果。經(jīng)過(guò)計(jì)算，該模型預(yù)測(cè)的舒適度分?jǐn)?shù)與主觀評(píng)價(jià)評(píng)分Pearson線性相關(guān)度達(dá)到了0.865，可見(jiàn)本文設(shè)計(jì)的客觀評(píng)價(jià)方法可以較好地預(yù)測(cè)立體圖像的舒適度。

3總結(jié)

本文基于立體視覺(jué)原理，同時(shí)結(jié)合圖像的視差信息和顯著信息，設(shè)計(jì)并實(shí)現(xiàn)了一種立體圖像舒適度客觀評(píng)價(jià)方法，該方法可以較為準(zhǔn)確地預(yù)測(cè)立體圖像舒適度，對(duì)于改善立體內(nèi)容舒適度的相關(guān)工作的研究，具有積極的推動(dòng)作用。本文算法有兩個(gè)特點(diǎn)：1)基于人造圖像的舒適度主觀評(píng)價(jià)實(shí)驗(yàn)，建立了視差—舒適度模型，該模型能夠體現(xiàn)視差與人眼舒適度感知的量化關(guān)系；2)將視覺(jué)關(guān)注加權(quán)圖融入到舒適度的預(yù)測(cè)過(guò)程中，使得本文客觀評(píng)價(jià)方法的評(píng)價(jià)結(jié)果更符合人眼特性。經(jīng)實(shí)驗(yàn)驗(yàn)證，本文實(shí)現(xiàn)的立體圖像舒適度客觀評(píng)價(jià)方法預(yù)測(cè)結(jié)果與主觀評(píng)價(jià)結(jié)果具有較好的一致性。

本文的舒適度預(yù)測(cè)方法中重點(diǎn)討論了視差因素帶來(lái)的不適，對(duì)于其他舒適度影響因素討論不多。為了進(jìn)一步提高預(yù)測(cè)準(zhǔn)確度，后續(xù)實(shí)驗(yàn)將會(huì)考慮在評(píng)價(jià)體系中加入更多可能影響舒適度的因素，如顏色、亮度、物體尺寸等。

參考文獻(xiàn)：

[1]LAMBOOIJM，F(xiàn)ORTUINM，HEYNDERICKXI，etal.Visualdiscomfortandvisualfatigueofstereoscopicdisplays：areview[J].Journalofimagingscienceandtechnology，2009， 53(3)：1-14.

[2]LAMBOOIJM，IJSSELSTEIJNWA，HEYNDERICKXI.Visualdiscomfortof3-DTV：assessmentmethodsandmodeling[J].Displays，2011，32(4)：209-218.

[3]JUNGYJ，SOHNH，LEES，etal.Predictingvisualdiscomfortofstereoscopicimagesusinghumanattentionmodel[J].IEEEtransactionsoncircuitsandsystemsforvideotechnology，2013，23(12)：2077-2082.

[4]SOHNH，JUNGYJ，LEES，etal.Attentionmodel-basedvisualcomfortassessmentforstereoscopicdepthperception[C]// 17thInternationalConferenceonDigitalSignalProcessing(DSP).Corfu：IEEEPress，2011：1-6.

[5]杜祥坤，姜秀華，王彩虹.立體電視視頻質(zhì)量主觀評(píng)價(jià)方法研究[J].電視技術(shù)，2013,37(23)：241-245.

[6]LIJing，BARKOWSKYM，WANGJ，etal.Studyonvisualdiscomfortinducedbystimulusmovementatfixeddepthonstereoscopicdisplaysusingshutterglasses[C]//Proc. 17thInternationalConferenceonDigitalSignalProcessing(DSP).Corfu：IEEEPress，2011：1-8.

[7]JANSENL，SELIMO，K?NIGP.Influenceofdisparityonfixationandsaccadesinfreeviewingofnaturalscenes[J].JournalofVision，2009，9(1)：29.

[8]ITU-RRecommendationBT.500-13，Internationaltelecommunicationunion.Methodologyforthesubjectiveassessmentofthequalityoftelevisionpictures[S].2012.

[9]阮衛(wèi)泓，溫娜，武曉光，等.3D電視主觀評(píng)價(jià)方法研究[J].電視技術(shù)，2014，38(24)：60-64.

[10]ITU-RRecommendationBT.1438，Internationaltelecommunicationunion.subjectiveassessmentofstereoscopictelevisionpictures[S].2000.

[11]譚澤富，丁妍芝，雷國(guó)平，等.基于視覺(jué)顯著性圖的立體圖像視疲勞評(píng)價(jià)[J].電視技術(shù)，2015，39(7)：114-116.

[12]ACHANTAR，HEMAMIS，ESTRADAF，etal.Frequency-tunedsalientregiondetection[C]//IEEEConferenceonComputerVisionandPatternRecognition.Miami：IEEEPress，2009：1597-1604.

[13]VLADIMIRK，ZABIHR.Multi-camerascenereconstructionviagraphcuts[C]//ComputerVision-ECCV2002.Copenhagen，Denmark：SpringerBerlinHeidelberg，2002：82-96.

[14]JUNGYJ，SOHNH，LEES，etal.IVYlabstereoscopicimagedatabase[EB/OL].[2015-07-06].http：//ivylab.kaist.ac.kr/demo/3DVCA/3DVCAhtm.

[15]SOHNH，JUNGYJ，LEESI，etal.IVYlabstereo3Dimagedatabasefordisparityremapping[EB/OL].[2015-07-06].http：//ivylab.kaist.ac.kr/demo/3D/DisparityRemapping.htm.

[16]HIRSCHMüLLERH，SCHARSTEIND.Evaluationofcostfunctionsforstereomatching[C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition(CVPR2007).Minneapolis：IEEEPress，2007：1-8.

胡岸(1990— )，女，碩士生，主研數(shù)字電視技術(shù)、立體圖像舒適度評(píng)價(jià)等；

孟放(1972— )，碩士生導(dǎo)師，主要研究方向?yàn)閿?shù)字電視技術(shù)、視覺(jué)信息處理、視頻圖像處理等；

鄭郁劼(1989— )，碩士生，主研數(shù)字電視技術(shù)、立體圖像舒適度評(píng)價(jià)等。

責(zé)任編輯：閆雯雯

Assessmentalgorithmonvisualcomfortofstereoscopicimagebasedonvisualattention

HUAn,MENGFang,ZHENGYujie

(School of Information Engineering,Communication University of China,Beijing 100024,China)

Keywords:stereoscopicimages;visualattentionmodel;objectiveassessment

Abstract:Inrecentyears,thedevelopmentofstereoscopicTVandmovieshasledakindof"3D"fashion.Visualdiscomfortinstereoscopicmoviesshouldbeeliminatedinordertoallowtheaudiencetoenjoythehighqualityofthe3Dcontent.Anobjectiveassessmentmethodonvisualcomfortofstereoscopicimagesbasedonthedisparityfactorandvisualattentionmodelisdesignedandimplemented.Inthismethod,adisparity-comfortmodeliscalculatedbasedonthesubjectiveassessmentresultoftheartificialimagesatfirst.Then,takingintoaccountboththedisparity-comfortmodelandsaliencyinformationofimages,thevisualcomfortofstereoscopicimagescanbepredicted.Theexperimentalresultsshowthatthepredictionperformanceoftheobjectiveassessmentmethodproposedinthispapercanbebetterconsistentwiththesubjectiveassessmentresults.

中圖分類號(hào)：TN949.13

文獻(xiàn)標(biāo)志碼：A

DOI：10.16280/j.videoe.2016.01.028

作者簡(jiǎn)介：

收稿日期：2015-08-06

文獻(xiàn)引用格式：胡岸，孟放，鄭郁劼.一種基于用戶關(guān)注的立體圖像舒適度評(píng)價(jià)算法[J].電視技術(shù)，2016,40(1)：141-144.

HUA,MENGF,ZHENGYJ.Assessmentalgorithmonvisualcomfortofstereoscopicimagebasedonvisualattention[J].Videoengineering,2016,40(1)：141-144.