基于人類視覺系統(tǒng)的特征相似性圖像質(zhì)量評價*

孫彥景 劉東林 謝新新 王艷芬

(中國礦業(yè)大學(xué) 信息與控制工程學(xué)院，江蘇 徐州 221116)

基于人類視覺系統(tǒng)的特征相似性圖像質(zhì)量評價*

孫彥景 劉東林 謝新新 王艷芬

(中國礦業(yè)大學(xué) 信息與控制工程學(xué)院，江蘇 徐州 221116)

為克服現(xiàn)有特征相似性(FSIM)圖像質(zhì)量評價算法對圖像信息無序部分及邊緣信息度量能力的不足，利用人類視覺系統(tǒng)的內(nèi)在推導(dǎo)機制，提出基于人類視覺系統(tǒng)的特征相似性圖像質(zhì)量評價算法HFSIM.該算法采用自回歸預(yù)測模型分解并解讀圖像內(nèi)容的預(yù)測部分和無序部分；聯(lián)合FSIM與邊緣結(jié)構(gòu)相似性算法度量預(yù)測部分，采用多尺度峰值信噪比(PSNR)度量無序部分的衰減情況，最后根據(jù)噪聲能量融合圖像信息預(yù)測部分與無序部分的評價結(jié)果得到圖像質(zhì)量評價.在6個公開基準(zhǔn)數(shù)據(jù)庫上的實驗結(jié)果表明，該算法與人類主觀感知具有高度的一致性，且在各類型失真圖像的評價上具有較好的性能．

圖像質(zhì)量評價；人類視覺系統(tǒng)；內(nèi)在推導(dǎo)機制； 特征相似性；邊緣結(jié)構(gòu)相似性

近年來，隨著對人類視覺系統(tǒng)(HVS)的深入了解，很多研究者認(rèn)識到HVS的特性會影響人們對圖像的感知[1]，并結(jié)合圖像質(zhì)量評價做了大量的研究工作.Damera- Venkata等[2]提出了噪聲質(zhì)量檢測模型(NQM)，證明了非線性的NQM是一種比線性測量方法更好的視覺質(zhì)量評價方法；Watson[3]提出利用離散余弦變換(DCT)與小波變換(WT)將圖像分解到頻域，針對HVS與頻率的關(guān)系設(shè)計了相關(guān)模型；Wang等[4]提出了結(jié)構(gòu)相似度( SSIM)，認(rèn)為人眼視覺的主要功能是提取場景中的結(jié)構(gòu)信息，人類視覺系統(tǒng)能高度自適應(yīng)地實現(xiàn)這一目標(biāo).人眼對圖像的理解主要根據(jù)圖像中的底層特征，大多數(shù)現(xiàn)有的基于HVS的評價模型僅根據(jù)某一種圖像特征進(jìn)行評價，這些模型往往無法有效地提取人類感興趣的不同特征點.

文獻(xiàn)[5]發(fā)現(xiàn)，不同頻率下傅里葉級數(shù)的相位一致性與人眼觀察到的圖像特征相一致.相位一致性不受對比度的影響，對比度會影響圖像的質(zhì)量.Zhang等[6]提出了特征相似性算法(FSIM),選取相位一致性信息作為主要特征提取出人類感興趣的底層特征，該算法在評價圖像質(zhì)量時更好地與人的主觀保持一致.然而FSIM算法對圖像失真的變化程度，特別是對圖像邊緣信息的變化程度并不敏感[7]，因此對邊緣信息比較豐富的圖像評價效果不理想.另外，F(xiàn)SIM算法在評價與圖像內(nèi)容相關(guān)的失真類型時表現(xiàn)較好，而在評價與圖像內(nèi)容無關(guān)的失真類型時表現(xiàn)一般.

人類視覺系統(tǒng)利用一套內(nèi)在推導(dǎo)機制(IGM)對輸入的視覺信息進(jìn)行解讀[8]，積極地預(yù)測、解讀輸入場景的信息并且最大可能地避免輸入場景的無序部分.文獻(xiàn)[9]提出基于IGM的立體圖像質(zhì)量評價算法，獲得較好的效果.文獻(xiàn)[10]采用貝葉斯預(yù)測模型，將圖像分解為與圖像內(nèi)容相關(guān)并且影響人類對圖像解讀的預(yù)測部分以及與圖像內(nèi)容無關(guān)只影響視覺舒適度的無序部分，預(yù)測部分僅采用結(jié)構(gòu)特征進(jìn)行度量，并沒有考慮其他特征帶來的影響.

綜上，針對FSIM算法對圖像邊緣信息不敏感以及對圖像信息無序部分度量能力的不足，結(jié)合邊緣結(jié)構(gòu)相似性算法(ESSIM)[11]提出一種基于人類視覺系統(tǒng)的特征相似性算法(HFSIM).

1 基于內(nèi)在推導(dǎo)機制的自回歸預(yù)測模型

人類視覺系統(tǒng)通過內(nèi)在推導(dǎo)機制預(yù)測輸入信息[12].輸入信息中的有序部分容易被準(zhǔn)確地預(yù)測并被大腦解讀，而無序部分具有復(fù)雜的結(jié)構(gòu)及不確定內(nèi)容，人類視覺系統(tǒng)在感知無序的圖像信息時往往只是提取大體信息而忽略具體細(xì)節(jié).

采用以貝葉斯條件概率為基礎(chǔ)的自回歸(AR)預(yù)測模型模擬人類視覺系統(tǒng)的內(nèi)在推導(dǎo)機制對圖像感知與理解的過程，能夠有效地預(yù)測信息[13]，實現(xiàn)對輸入場景的認(rèn)知與解讀.

(1)

對式(1)兩邊取對數(shù)得到：

(2)

(3)

I(Xij;Xpq)-H(Xpq)

(4)

式中，I(Xij;Xpq)為Xij與Xpq之間的互信息[14]，作為AR算法中的系數(shù)用于預(yù)測圖像信息內(nèi)容.

圖1 HVS的內(nèi)在推導(dǎo)機制

2 HFSIM圖像質(zhì)量評價算法

基于內(nèi)在推導(dǎo)機制的自回歸預(yù)測模型的特點，在分離圖像信息的過程中考慮人類視覺感知圖像的機理，以揭示大腦對輸入場景的感知過程.在此模型下，提出一種基于人類視覺系統(tǒng)的HFSIM算法.

HFSIM算法總框圖如圖2所示，采用AR預(yù)測模型對輸入圖像進(jìn)行預(yù)測、分解，然后對分解后的兩部分分別進(jìn)行度量，利用均方誤差(MSE)將度量后的兩部分進(jìn)行加權(quán)融合，從而獲得圖像的客觀質(zhì)量.

圖2中，Ir、Id分別是參考圖像與失真圖像.算法1中，AR預(yù)測模型模擬內(nèi)在推導(dǎo)機制對輸入信息的感知過程，預(yù)測出視覺所能感知的預(yù)測部分，分離出不影響人類解讀的無序部分.圖像的預(yù)測部分包含圖像的主要視覺信息，其失真程度嚴(yán)重影響人對圖像內(nèi)容的解讀，對這部分的度量顯得尤為重要.

圖2 HFSIM算法框圖

算法4中，根據(jù)分布在預(yù)測部分和無序部分的噪聲能量，利用MSE計算兩部分的權(quán)重，將預(yù)測部分和無序部分進(jìn)行融合，獲得圖像的客觀質(zhì)量.HFSIM算法詳述如下所示.

Procedure：輸入?yún)⒖紙D像Ir與失真圖像Id

算法1

{∥基于自回歸預(yù)測算法的內(nèi)在推導(dǎo)機制的圖像分解

for(i，j)∈Ir或Id

(5)

式中，S(Xij)表示以Xij為中心像素的鄰近區(qū)域，大小為20*20，Xpq為S(Xij)區(qū)域中Xij的周圍像素，ε為加性白噪聲，Cpq為互信息歸一化系數(shù)：

(6)

end

}

算法2

(7)

(8)

}

{∥預(yù)測部分邊緣圖的獲取

for 每個高通濾波矩陣Gi(i=1，2，3，4)，Gi為4個方向上(0°、45°、90°、135°)的邊緣濾波器[16]:

(9)

(10)

(11)

其中，gk為4個方向的梯度值，k為4個方向上的濾波器，*為卷積符.

end

}

(12)

}

(13)

}

算法3

∥在多尺度內(nèi)，利用ωi′表征PSNR的權(quán)重系數(shù)；

(14)

end

}

算法4

(15)

根據(jù)噪聲能量在兩部分所占的比重來確定α與β的值：

(16)

其中MSEd、MSEp為失真圖像中兩部分的噪聲強度，特別地，β=1-α.

}

endprocedure

3 算法仿真分析

3.1 算法有效性驗證

將HFSIM與FSIM進(jìn)行比較，驗證HFSIM的有效性.結(jié)果如圖3所示.

圖3 HFSIM算法有效性驗證

大部分基于HVS的評價模型沒有考慮到具體失真類型的特性，這些算法度量出的結(jié)果與人類視覺往往不太一致.內(nèi)在推導(dǎo)機制可以有效地濾除白噪聲，所以人類視覺對白噪聲帶來的干擾容忍性較強.由圖3可知，圖像(d)的MSE(84.32)與圖像(g)的MSE(90.57)相差不大，但與圖像(g)相比，圖像(d)具有更好的感知質(zhì)量.如圖3中(e)、 (f)、(h)、(i)所示，算法將圖片分解成預(yù)測部分和無序部分再進(jìn)行分別度量后得出待測圖像質(zhì)量結(jié)果.如圖3(d)噪聲能量主要分布在無序部分(f)(MSE=27.51)中，而預(yù)測部分(e)占得很少(MSE=1.43)；圖3(g)中的噪聲能量很多被分到預(yù)測部分(h)中(MSE=32.48)，結(jié)合兩部分的度量結(jié)果HFSIM算法預(yù)測出(d)和(g)兩幅圖的客觀值分別為0.97和0.96，兩幅圖的主觀評分(MOS)分別為4.91和4.53，算法結(jié)果與主觀感受相一致.FSIM算法預(yù)測出的(d)和(g)兩幅圖的客觀質(zhì)量分別為0.95和0.98,與主觀感知相反.

3.2 算法性能指標(biāo)

在A57、IVC、TID2008、Tomaya-MICT、LIVE與CSIQ這6個公開數(shù)據(jù)庫測試數(shù)據(jù)集上進(jìn)行實驗以驗證算法的性能.客觀數(shù)據(jù)與主觀評分的預(yù)測存在一定的非線性關(guān)系，這種非線性很容易補償，在測試和檢驗中都允許這樣的非線性映射將這些算法的輸出轉(zhuǎn)變?yōu)榕c差異主觀評分(DMOS)或者M(jìn)OS相類似的值.本實驗選用式(17)5個參數(shù)的logistic函數(shù)進(jìn)行非線性補償[10]：

Q(h)=γ1logistic(γ2,(h-γ3))+γ4h+γ5

(17)

(18)

其中，h表示客觀算法的質(zhì)量估計，參數(shù)γ1-γ5是映射值Q(h)與主觀質(zhì)量評分之間差值的平方和最小的參數(shù)，采用Matlab中的fminuch函數(shù)求解獲得.

采用皮爾森線性相關(guān)系數(shù)(PLCC)、均方根誤差(RMSE)、斯皮爾曼秩相關(guān)系數(shù)(SROCC)以及肯德爾相關(guān)系數(shù)(KRCC)4個參數(shù)指標(biāo)比較算法的性能[8].利用PLCC、RMSE來計算預(yù)測的準(zhǔn)確性，SROCC、KRCC作為預(yù)測單調(diào)性的度量.其中，PLCC、SROCC、KRCC越大，模型的預(yù)測質(zhì)量值與主觀評分的相關(guān)性越好，RMSE越小模型的預(yù)測誤差越小.

3.3 實驗結(jié)果與分析

3.3.1 總體性能比較

在6個公開圖像數(shù)據(jù)庫上對HFSIM算法性能進(jìn)行總體分析，并與目前性能較優(yōu)的4種全參考評價模型(IGM[10]、FSIM[6]、ADM[17]與IW-SSIM[18])進(jìn)行對比，4種模型的PLCC、SROCC、KRCC和RMSE值如表1所示.

表1 算法在6個基準(zhǔn)數(shù)據(jù)庫上的性能

由表1可以看出，HFSIM算法在各類數(shù)據(jù)庫上都表現(xiàn)出較好的性能：在A57數(shù)據(jù)庫上算法性能最好；在LIVE、TID2008、IVC、MICT、CSIQ數(shù)據(jù)庫上性能較好且接近最佳性能.

3.3.2 單調(diào)性比較

為了驗證HFSIM在不同失真類型上的性能，給出所選數(shù)據(jù)庫上所有失真類型的SROCC.由于A57數(shù)據(jù)庫中圖像數(shù)目較少，所以選取圖像數(shù)目或失真類型較多的LIVE、CSIQ、TID2008、MICT、IVC五大數(shù)據(jù)庫.數(shù)據(jù)結(jié)果如表2所示.

表2 每類失真類型下的SROCC

由表2可以看出，在LIVE數(shù)據(jù)庫上，HFSIM算法模型在jp2k-comp、awgn、blur、jp2k-trans-error這4種失真類型上性能最好，在jpeg-comp失真類型上接近最好性能.在CSIQ數(shù)據(jù)庫上，在jpeg-comp及contrast失真上表現(xiàn)最好，在jp2k-comp及1/fnoise上與最好的算法接近；TID2008數(shù)據(jù)庫的17種噪聲中，在awgn、awgn-color、jp2k-comp、jpeg-trans-error 4種失真類型表現(xiàn)最好，在spatialcorr-noise、high-fre-noise、impulse noise、quantization noise、gblur、denoising、jpeg-comp、jp2k-comp、block-distortion、contrast這10種噪聲上HFSIM算法的性能接近最好性能，在剩下的3種噪聲類型上與最好的算法性能很接近；在MICT中，HFSIM在jp2k-comp失真類型上效果較好，在jpeg-comp失真類型上接近最好的性能；在IVC數(shù)據(jù)庫上，HFSIM算法在jp2k-comp失真類型上性能最好，在jpeg-comp、blur、jpeg-lc和lar失真類型上與其他算法的性能接近.因此，HFSIM算法的性能總體上優(yōu)于相關(guān)算法，與主觀感知質(zhì)量一致性較高.

圖4示出了文中提出的算法模型根據(jù)MICT、IVC和TID2008數(shù)據(jù)庫給出的MOS以及A57、LIVE和CSIQ數(shù)據(jù)庫給出的DMOS在這6個公開圖像數(shù)據(jù)庫上進(jìn)行評價的結(jié)果.由散點圖4(a)-(d)可知，在A57、IVC、LIVE和MICT數(shù)據(jù)庫上，散點圖的聚合度很好；而在圖4(e)、(f)中，僅在CSIQ和TID2008數(shù)據(jù)量較大的數(shù)據(jù)庫上，散點圖的聚合度較好.結(jié)果表明所提算法評分與主觀評分有很高的一致性，能準(zhǔn)確評價圖像質(zhì)量，預(yù)測精確度較高，單調(diào)性較好.

圖4 HFSIM算法在6個數(shù)據(jù)庫上的散布圖及擬合曲線

Fig.4 Scatter plots and fitted curves of HFSIM algorithm on six databases

3.3.3 算法復(fù)雜度比較

為了驗證HFSIM算法復(fù)雜度，根據(jù)圖像處理方式的不同將算法分為兩類進(jìn)行對比說明.FSIM、ADM、IW-SSIM、HFSIM、IGM算法在所有數(shù)據(jù)庫上的平均使用時間分別為0.805、0.357、0.943、24.913、26.945 s.

FSIM、ADM、IW-SSIM算法對圖像進(jìn)行整體處理，因此時間較短、算法復(fù)雜度較低，但是由前面指標(biāo)可以看出其整體效果欠佳.HFSIM和IGM算法模擬人類視覺系統(tǒng)對圖像的解讀過程，采用將圖像分解的方式對圖像質(zhì)量進(jìn)行度量，HFSIM在處理方式相同的情況下有效降低了算法的復(fù)雜度.HFSIM算法在所有數(shù)據(jù)庫上平均處理時間為24.913 s，IGM平均處理時間為26.945 s.HFSIM比IGM每幅圖像處理時間平均減少了2 s，效率提高了7.5%.本實驗在Inter酷睿i5- 4590 3.3GHz的硬件環(huán)境下進(jìn)行，軟件平臺為Matlab R2015.

4 結(jié)語

根據(jù)貝葉斯大腦理論，針對FSIM圖像質(zhì)量評價算法對邊緣信息的識別能力以及圖像無序部分度量能力的不足，提出了HFSIM算法.HFSIM算法充分利用人類視覺系統(tǒng)的IGM機制將圖像分解為無序部分和預(yù)測部分.對分解后的預(yù)測部分采用FSIM與ESSIM相結(jié)合的算法進(jìn)行度量，利用多尺度PSNR指標(biāo)計算圖像分解后的無序部分，最后根據(jù)噪聲能量分布進(jìn)行加權(quán)融合獲得圖像的客觀質(zhì)量.實驗結(jié)果表明，HFSIM算法與人類主觀感知具有高度的一致性，且在6個公開數(shù)據(jù)庫各類型失真圖像的評價上整體優(yōu)于相關(guān)算法.

[1] 豐明坤，趙生妹，邢超. 基于視覺顯著失真度的圖像質(zhì)量自適應(yīng)評價方法 [J]. 電子與信息學(xué)報，2015，37(9):2062- 2068． FENG Ming- kun，ZHAO Sheng- mei，XING Chao. Image quality self- adaptive assessment based on visual salience distortion [J]. Journal of Electronics and Information Technology，2015，37(9):2062- 2068.

[2] DAMERA- VENKATA N，KITE T D，GEISLER W S，et al. Image quality assessment based on a degradation mo-del [J]. IEEE Transactions on Image Processing，2000，9(4)：636- 650.

[3] WATSON A B. Visually optimal DCT quantization matrices visually optimized for individual images [C]∥Proceedings of Symposium on Electronic Imaging：Science and Technology. San Diego： International Society for Optics and Photonics，1993：202- 216．

[4] WANG Z，BOVIK A C，SHEIKH H R，et al. Image quality assessment：from error visibility to structural similarity [J]. IEEE Transactions on Image Processing，2004，13(4)：600- 612．

[5] LIU Z，LAGANIRE R. Phase congruence measurement for image similarity assessment [J]. Pattern Recognition Letters，2007，28(1)：166- 172．

[6] ZHANG L，ZHANG L，MOU X，et al. FSIM：a feature similarity index for image quality assessment [J]. IEEE Transactions on Image Processing，2011，20(8)：2378- 2386．

[7] 苗瑩，易三莉，賀建峰，等.結(jié)合梯度信息的特征相似性圖像質(zhì)量評估 [J].中國圖象圖形學(xué)報，2015，20(6)：0749- 0755． MIAO Ying，YI San- li，HE Jian- feng，et al. Image quality assessment of feature similarity combined with gradient information [J]. Journal of Image and Graphics，2015，20(6)：0749- 0755．

[8] GU K，ZHAI G，YANG X，et al. Using free energy principle for blind image quality assessment [J]. IEEE Tran-sactions on Multimedia，2015，17(1)：50- 63.

[9] ZHENG K，YU M，JIN X，et al. New reduced- reference objective stereo image quality assessment model based on human visual system [C]∥Proceedings of 3DTV- Confe-rence：The True Vision- Capture，Transmission and Display of 3D Video (3DTV- CON)，2014. Moffett Field∶IEEE，2014：1- 4．

[10] WU J J，LIN W S，SHI G G. Perceptual quality metric with internal generative mechanism [J]. IEEE Transactions on Image Processing，2013，22(1)：43- 54．

[11] 楊春玲，陳冠豪，謝勝利. 基于梯度信息的圖像質(zhì)量評判方法的研究[J]. 電子學(xué)報，2007，35(7)：1313- 1317． YANG Chun- ling，CHEN Guan- hao，XIE Sheng- li. Gradient information based image quality accessment [J]. Journal of Acta Electronica Sinica，2007，35(7)：1313- 1317．

[12] ZHANG X，LI X，F(xiàn)ENG Y，et al. Image fusion with internal generative mechanism [J]. Expert Systems with Applications，2015，42(5)：2382- 2391.

[13] RAAM C N V，BHAVANI K L. Image quality assessment by using AR prediction algorithm with internal generative mechanism [J]. International Journal of Computer Science and Mobile Computing，2014，8(3)：774- 787．

[14] GAO D，HAN S，VASCONCELOS N. Discriminant sa-liency，the detection of suspicious coincidences，and applications to visual recognition. [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，31(6):989- 1005．

[15] PONOMARENKO N，LUKIN V，ZELENSKY A，et al. TID2008—a database for evaluation of full- reference vi-sual quality assessment metrics [J]. Advances of Mo-dern Radioelectronics，2009，10：30- 45．

[16] HUYNH- THU Q，GHANBARI M. Scope of validity of PSNR in image/video quality assessment [J]. Electro-nics Letters，2008，44(13):800- 801．

[17] LI S，ZHANG F，MA L，et al. Image quality assessment by separately evaluating detail losses and additive impairments [J]. IEEE Transactions on Multimedia，2011，13(5)：935- 949．

[18] WANG Z，LI Q. Information content weighting for perceptual image quality assessment [J]. IEEE Transactions on Image Processing，2011，20(5)：1185- 1198．

Feature Similarity Image Quality Assessment on the Basis of Human Visual System

SUNYan-jingLIUDong-linXIEXin-xinWANGYan-fen

(School of Information and Control Engineering, China University of Mining and Technology, Xuzhou 221116, Jiangsu, China)

As the existing image quality evaluation methods of feature similarity (FSIM) is inefficient in image information uncertainty measurement and edge information detection, a novel algorithm named HFSIM is proposed on the basis of the internal generative mechanism of human visual system (HVS). In this algorithm, the auto-regressive (AR) model is employed to decompose distorted images, and the original image is decomposed into two portions, one is the predicted portion and the other is the disorderly portion. By combining FSIM with edge structural similarity (ESSIM) algorithm, the predicted portion of image is measured, and, by employing the multi-scale peak signal-to-noise ratio(PNSR), the distortion of the disorderly portion is measured. Finally, the overall image quality score is obtained according to the above-mentioned measured results of the predicted and the disorderly portions.It is found from the experiments on six public benchmark databases that the proposed algorithm is highly consistent with human perception, and that it possesses high performance in the assessment of different types of distorted images.

image quality assessment; human visual system; internal generative mechanism; feature similarity; edge structural similarity

2016- 06- 17

國家自然科學(xué)基金資助項目(51274202)；國家自然科學(xué)基金青年基金資助項目(51504255,51504214)；中國礦業(yè)大學(xué)中央高?；究蒲袠I(yè)務(wù)費專項資金資助項目(2013RC11)；江蘇省科技成果轉(zhuǎn)化項目(BA2012068)；江蘇省自然科學(xué)基金資助項目(BK20131124)；江蘇省自然科學(xué)基金青年基金資助項目(BK20130199)；江蘇省產(chǎn)學(xué)研前瞻性聯(lián)合研究項目(BY2014028- 01)；江蘇省重點研發(fā)計劃項目(BE2015040)；重慶市教委科學(xué)技術(shù)研究項目(KJ1501030)；中國礦業(yè)大學(xué)重大項目培育專項(2014ZDPY16) Foundation items: Supported by the National Natural Science Foundation of China(51274202)，the National Natural Science Foundation of China for Young Scientists (51504255, 51504214)，the Transformation Program of Scientific and Technological Achievements of Jiangsu Province of China(BA2012068)，the Natural Science Foundation of Jiangsu Province of China(BK20131124), the Natural Science Foundation of Jiangsu Province of China for Young Scientists(BK20130199), the Perspective Research Foundation of Production Study and Research Alliance of Jiangsu Province of China(BY2014028- 01) and the Fundamental Research and Deve-lopment Foundation of Jiangsu Province(BE2015040)

孫彥景(1977-)，男，博士，教授，主要從事圖像處理、無線傳感器網(wǎng)絡(luò)和信息物理系統(tǒng)研究.E-mail:yjsun@cumt.edu.cn

1000- 565X(2017)03- 0011- 09

TN 919.8

10.3969/j.issn.1000-565X.2017.03.002