基于區(qū)域?qū)Ρ榷群蚐SIM的圖像質(zhì)量評價方法

閆樂樂，李 輝，邱聚能，梁 平

（1.電子科技大學(xué) 航空航天學(xué)院，四川 成都611731；2.成都出入境檢驗檢疫局，四川 成都610041）

引言

客觀評價方法根據(jù)是否需要利用原始參考圖像可以分為全參考（FR）、部分參考（RR）和無參考（NR）3種［2］。全參考圖像質(zhì)量評價 （FR-IQA）算法［8］利用原始圖像可以獲得充足的誤差信息來進(jìn)行圖像質(zhì)量分析，其研究目的是使評價結(jié)果與人眼主觀感覺相符。傳統(tǒng)的FR-IQA方法，例如均方誤差（MSE）和峰值信噪比（PSNR），都是基于逐像素點比較圖像差別，未考慮到人眼視覺特性（HVS），評價結(jié)果不準(zhǔn)確。為尋找更為有效的IQA方法，許多研究人員將HVS特性融入圖像質(zhì)量評價中，提出了一些比較成熟的評價算法。例如，2004年Zhou Wang等人從高層模擬HVS特性，提出了經(jīng)典的SSIM算法［2］，該方法對靜態(tài)圖像的質(zhì)量評價取得了較好的效果，但也存在某些不足之處，不能很好地評價存在局部失真和交叉失真類型的圖像。針對SSIM算法的不足之處，國內(nèi)外研究人員在SSIM算法基礎(chǔ)上，從不同角度陸續(xù)提出了多尺度結(jié)構(gòu)化相似度（MS-SSIM）算法［3］、梯度結(jié)構(gòu)相似（GSM）算法［4］、信息量加權(quán)結(jié)構(gòu)相似（IW-SSIM）算法［5］、特征相似度（FSIM）算法［6］、譜殘差（SR-SIM）相似度算法［7］等。文獻(xiàn)［3］利用多級的小波分解將單尺度的SSIM改造為多尺度結(jié)構(gòu)相似度評價方法，取得了一定的效果；文獻(xiàn)［4］利用圖像梯度信息來替換SSIM中的結(jié)構(gòu)相似因子，一定程度上規(guī)避了圖像失真類型對評價結(jié)果的影響；文獻(xiàn)［5］提出加權(quán)結(jié)構(gòu)相似度的策略，對圖像不同區(qū)域賦予不同權(quán)值，評價效果獲得一定的提升；文獻(xiàn)［6］將相位一致性信息引入圖像質(zhì)量評價，結(jié)合梯度信息有效地提取人類感興趣的特征點，取得了比較好的結(jié)果；文獻(xiàn)［7］利用譜殘差視覺注意模型，提取局部感興趣區(qū)域并加以不同權(quán)重，提高了評價算法性能。上述幾種算法與SSIM算法相比都在一定程度上提高了評價準(zhǔn)確度。

為了進(jìn)一步提高圖像質(zhì)量評價效率和準(zhǔn)確度，本文將局部區(qū)域?qū)Ρ榷扰c結(jié)構(gòu)相似度相結(jié)合，提出了一種RCSSIM改進(jìn)算法。實驗表明該算法的評價結(jié)果優(yōu)于SSIM及其部分改進(jìn)算法，更加符合人眼主觀。

1 結(jié)構(gòu)相似度圖像質(zhì)量評價方法分析

Zhou Wang等人依據(jù)HVS高層視覺理論，認(rèn)為視場中的結(jié)構(gòu)信息是人眼觀察圖像過程中的決定因素，結(jié)構(gòu)失真才是圖像質(zhì)量評價中的關(guān)鍵因素，并據(jù)此提出了SSIM評價方法。該模型將參考圖像和失真圖像分塊從亮度、對比度和結(jié)構(gòu)3個方面分別進(jìn)行比較，加權(quán)乘積得到子圖像的結(jié)構(gòu)相似度，最后將所有子圖像結(jié)構(gòu)相似度取平均獲得SSIM 值［2］。具體定義為

式中：l（x，y）、c（x，y）、s（x，y）分別為參考圖像與待測失真圖像間的亮度相關(guān)函數(shù)、對比度相關(guān)函數(shù)和結(jié)構(gòu)相關(guān)函數(shù)；μx、μy為2幅圖像亮度均值；σx、σy為標(biāo)準(zhǔn)差；σxy為協(xié)方差；C1、C2、C3取很小的正常數(shù)，防止分母為零或接近于零而出現(xiàn)不穩(wěn)定現(xiàn)象；α、β、γ均為正數(shù)，用來調(diào)整亮度、對比度、結(jié)構(gòu)相關(guān)度的權(quán)重。當(dāng)取α＝β＝γ＝1，C3＝C2／2時，（1）式可簡化為

該相似性度量滿足以下條件：

1）對稱性：SSIM（x，y）＝SSIM（y，x），改變參考圖像和失真圖像輸入順序不影響其相似性度量值；

電話響起的時侯，他正準(zhǔn)備提醒她。進(jìn)了客房，他們就緊緊地?fù)肀г谝黄?，粗重的喘息充盈了空間，半空的那根輕柔的空調(diào)飄帶似乎也凝固了。幾分鐘后，她推開他。她準(zhǔn)備去淋浴，脫衣服的時候她變得有些羞澀。他背過身去，想象著她的舉動。浴室的燈開了。他突然提醒說，小心滑。是的，就是這句話。正巧，說完這句話，他的電話在口袋里響了起來。

2）有界性：0＜SSIM（x，y）≤1，越接近于1，表明2幅圖像的相似性越強(qiáng)；

3）唯一最大值：當(dāng)2幅圖像完全相同，即x＝y(tǒng)時，取得唯一最大值1。

在評價圖像質(zhì)量時，為了提高評價結(jié)果的準(zhǔn)確性，文獻(xiàn)［2］用11×11的窗口逐像素在參考圖像和待測圖像上移動，計算窗口對應(yīng)子圖像的SSIM值，并對所有SSIM值取平均，便可得到2幅圖像的結(jié)構(gòu)相似度：

式中：X和Y分別代表參考圖像和待測圖像；M為子圖像總數(shù)。MSSIM值越高，表示待測圖像與參考圖像結(jié)構(gòu)相似度越高，質(zhì)量越好。

SSIM模型從高層視覺特性出發(fā)理解人眼觀察圖像實質(zhì)，避免了底層視覺建模的復(fù)雜性，以一種簡潔的方式較好地評價了圖像質(zhì)量，與傳統(tǒng)的基于誤差的質(zhì)量評價相比，大大提升了評價效果。但是SSIM也存在一些不足，例如對HVS底層視覺特性的忽略；簡單線性建模難以描述高層視覺的圖像結(jié)構(gòu)信息；假定圖像的不同區(qū)域具有相同的視覺重要性等。而這些就導(dǎo)致SSIM在某些失真程度嚴(yán)重或者存在交叉失真的情況下評價效果不盡如人意，不符合人眼主觀評價。

2 基于區(qū)域?qū)Ρ榷群蚐SIM的圖像質(zhì)量評價方法

2.1 算法改進(jìn)思路

經(jīng)典的SSIM算法采用了取平均值的簡單方式，對圖像的不同區(qū)域給予相同的權(quán)重，但是人眼實際上對圖像不同部分、不同區(qū)域的敏感度是不同的［10］，如人眼對邊緣紋理的失真、平坦區(qū)域的噪聲更加敏感。因此，一種自然的思路就是在子圖像SSIM合并時對不同區(qū)域采取不同的權(quán)重值。針對灰度圖來說，非嚴(yán)重失真類型雖然多種多樣，但其模糊的結(jié)果都表現(xiàn)為待測圖像與參考圖像對應(yīng)位置的灰度產(chǎn)生變化。本文依據(jù)圖像不同區(qū)域包含灰度變化的信息量即區(qū)域?qū)Ρ榷龋╮egional contrast）不同，給予區(qū)域子圖像SSIM不同的權(quán)重，最后加權(quán)歸一化為新的圖像質(zhì)量。

2.2 區(qū)域?qū)Ρ榷?/h3>

對于圖像一定區(qū)域的像素點來說，其與鄰域內(nèi)像素點的灰度差的大小并不能完全表征該點鄰域內(nèi)所包含的圖像復(fù)雜度或信息量的大小。從人眼視覺系統(tǒng)角度出發(fā)，一點與其區(qū)域內(nèi)所包含的視覺信息量的大小還與該點所處的環(huán)境背景有關(guān)，在背景較亮?xí)r，圖像的灰度變化信息不易被察覺。因此，單純通過檢測像素點鄰域內(nèi)灰度變化映射成邊緣圖像的方法會有失妥當(dāng)。

借鑒信號理論中的信噪比計算方法和自動對焦清晰度評價方法［9］，本文提出了一種利用區(qū)域?qū)Ρ榷鹊玫綀D像邊緣紋理映射圖的方法，其主要原理是：在某一個中心像素點所對應(yīng)的區(qū)域中，計算區(qū)域內(nèi)灰度的最大值與最小值之差，再除以最大值，稱為該區(qū)域的區(qū)域?qū)Ρ榷取?/p>

式中：con（x，y）為以（x，y）為中心區(qū)域的區(qū)域?qū)Ρ榷?；max［fr（x，y）］和 min［fr（x，y）］分別為該點鄰域內(nèi)的灰度最大值和灰度最小值。由（5）式可知，區(qū)域?qū)Ρ榷戎禎M足0≤con（x，y）≤1；區(qū)域?qū)Ρ榷戎挡恢慌c該區(qū)域內(nèi)灰度值的極差有關(guān)，還與背景的明暗程度有關(guān)。

通過滑動計算某幅圖像的每像素點鄰域內(nèi)的區(qū)域?qū)Ρ榷龋▽D像邊緣可做舍去處理），便可得到這幅圖像的區(qū)域?qū)Ρ榷扔成鋱D。對同一圖像而言，領(lǐng)域大小選擇方法不同，區(qū)域?qū)Ρ榷扔成鋱D也會略微不同，但通過合理選取鄰域大小所得區(qū)域?qū)Ρ榷扔成鋱D可以更好地表征圖像的邊緣紋理特征。結(jié)構(gòu)相似度映射圖和區(qū)域?qū)Ρ榷扔成鋱D見圖1。

圖1 圖像結(jié)構(gòu)相似度與區(qū)域?qū)Ρ榷扔成鋱D對比Fig.1 Comparison between structural similarity map and regional contrast map

2.3 基于區(qū)域?qū)Ρ榷群蚐SIM的圖像質(zhì)量評價模型

根據(jù)上述區(qū)域?qū)Ρ榷鹊亩x方法，結(jié)合結(jié)構(gòu)相似度算法，本文提出一種基于區(qū)域?qū)Ρ榷群徒Y(jié)構(gòu)相似度的圖像質(zhì)量評價方法。SSIM算法計算子圖像的結(jié)構(gòu)相似度過程中同時計算出對應(yīng)子圖像中心像素點處的區(qū)域?qū)Ρ榷?，然后加?quán)得到子圖像的基于區(qū)域?qū)Ρ榷鹊慕Y(jié)構(gòu)相似度，最后歸一化為整幅待測圖像的質(zhì)量值RCSSIM。算法基本流程圖如圖2所示。

圖2 RCSSIM算法基本流程圖Fig.2 Basic flow chart of RCSSIM algorithm

式中：SSIM（x，y）表示參考圖像與待測圖像在像素點（x，y）處對應(yīng)位置的結(jié)構(gòu)相似度；con（x，y）表示該像素點鄰域的區(qū)域?qū)Ρ榷?；m、n表示結(jié)構(gòu)相似度映射圖的大?。籖CSSIM（X，Y）表示待測失真圖像Y相對參考圖像X的質(zhì)量值。由基本數(shù)學(xué)知識可知，RCSSIM質(zhì)量值仍然滿足SSIM質(zhì)量值的有界性和唯一最大值的性質(zhì)。

3 實驗結(jié)果與分析

為了驗證RCSSIM算法的有效性，在MATLAB 7.0仿真環(huán)境下對LIVE database release2圖像庫［11］中圖像進(jìn)行了大量實驗，重點比較了RCSSIM與SSIM的性能。

3.1 主客觀評價一致性總體比較

圖像質(zhì)量主觀評價值為LIVE圖像數(shù)據(jù)庫提供的平均差值評價分?jǐn)?shù)DMOS（difference mean opinion score），越大表示圖像質(zhì)量越差；圖像質(zhì)量客觀值為LIVE數(shù)據(jù)庫中圖像經(jīng)過IQA算法處理后得到的質(zhì)量值，越大表示圖像質(zhì)量越好。

對本文提出的RCSSIM評價模型和SSIM模型的評價結(jié)果利用Logistic函數(shù)進(jìn)行非線性回歸擬合，使用Spearman等級相關(guān)系數(shù)（SROCC）、Kendall等級相關(guān)系數(shù)（KROCC）、均方根誤差（RMSE）和Pearson線性相關(guān)系數(shù)（PLCC）4個指標(biāo)來測試算法性能［12］。其中，SROCC、KROCC和PLCC絕對值越接近于1，表明客觀評價模型的準(zhǔn)確度越高，主客觀一致性越好；RMSE越接近于0，表明客觀評價模型評價值離散程度越小，穩(wěn)定性準(zhǔn)確性越好。

圖3和表1給出了對整個LIVE圖像數(shù)據(jù)庫中失真的779幅圖像的實驗結(jié)果。圖表中的坐標(biāo)和指標(biāo)均為數(shù)值型變量，無量綱。

圖3 SSIM和RCSSIM客觀評價值與主觀值散點圖及擬合曲線Fig.3 Scatter plot and fitting curve of objective and subjective scores of SSIM and RCSSIM

表1 幾種IQA算法在LIVE庫上的性能Table 1 Performance of a few IQA algorithms on LIVEdatabase

表1中，RCSSIM（x×x），x＝3、5、7、9、11，表示區(qū)域?qū)Ρ榷扔嬎銋^(qū)域窗口為x×x。通過表1可以看出：

1）RCSSIM算法中區(qū)域?qū)Ρ榷扔嬎愦翱诖笮∵x取不同，算法性能會有些許差別。選取窗口過大，會導(dǎo)致對圖像區(qū)域特征表現(xiàn)不明顯。本實驗中選取3×3、5×5窗口性能較好。應(yīng)用中可根據(jù)實際情況選取合適的區(qū)域?qū)Ρ却翱凇?/p>

2）RCSSIM評價結(jié)果的準(zhǔn)確度高，線性相關(guān)性好，主客觀一致性好，整體性能明顯好于SSIM算法。

3）RCSSIM算法在達(dá)到甚至超過FSIM和SRSIM算法在灰度圖域的性能的同時，保持著較好的計算簡便性。

3.2 不同失真類型下算法性能比較

為了驗證RCSSIM算法針對不同失真類型的適應(yīng)性，對LIVE圖像數(shù)據(jù)庫中的5種不同類型的失真圖像（JPEG2000壓縮失真圖169幅、JPEG壓縮失真圖175幅、白噪聲失真圖145幅、高斯模糊失真圖145幅、快衰落失真圖145幅）進(jìn)行了仿真，結(jié)果如圖4、表2、表3所示。

圖4 RCSSIM算法在不同失真類型下評價值與DMOS散點圖和擬合曲線Fig.4 Scatter plot and fitting curve of RCSSIM's objective scores and DMOS with different distortion types

表2 RCSSIM算法在5種不同失真類型下的評價性能Table 2 Performance of RCSSIM algorithm under 5 kinds of distortion

表3 SSIM算法在5種不同失真類型下的評價性能Table 3 Performance of SSIM algorithm under 5 kinds of distortion

從圖4、表2、表3中可以看出：

1）RCSSIM算法在LIVE圖像白噪聲、高斯噪聲和快衰落失真分庫中的評價結(jié)果與視覺效果基本保持一致，性能優(yōu)于SSIM算法，對不同噪聲種類有較好適應(yīng)性。

2）RCSSIM算法在JPEG和JPEG2000失真圖像庫中的性能不如SSIM。此類圖像壓縮過程中會產(chǎn)生明顯的塊效應(yīng)，圖像結(jié)構(gòu)大大改變，通過散點圖可看出SSIM和RCSSIM對于JPEG失真圖像的評價效果不佳。

4 結(jié)論

針對SSIM圖像質(zhì)量評價算法中對圖像局部區(qū)域失真度量的不足，從不同區(qū)域加不同權(quán)重角度出發(fā)建立了RCSSIM改進(jìn)算法，該算法基于區(qū)域?qū)Ρ榷仍诳沼騼?nèi)以極小的計算代價得到了更加符合人眼視覺效果的圖像質(zhì)量評價。在LIVE圖像數(shù)據(jù)庫中的大量對比測試實驗數(shù)據(jù)表明：RCSSIM算法比SSIM算法的評價準(zhǔn)確率更高，評價結(jié)果更加符合人眼主觀。

［1］ Wei Xuehui，Li Junli，Chen Gang.A perception based image quality assessment model［J］.Journal of Computer-Aided Design ＆ Computer Graphics，2007，19（12）：1540-1545.韋學(xué)輝，李均利，陳剛.一種圖像感知質(zhì)量評價模型［J］.計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，2007，19（12）：1540-1545.

［2］ Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment：from error visibility to structural similarity［J］.IEEE Transactions on Image Processing，2004，13（4）：600-612.

［3］ Wang Z，Simoncelli E P，Bovik A C.Multiscale structural similarity for image quality assessment［J］.IEEE Computer Society Press，2003，2 （11）：1398-1402.

［4］ Liu Anmin，Lin Weisi，Narwaria M.Image quality assessment based on gradient similarity［J］.IEEE Transactions on Image Processing，2012，21（4）：1500-1512.

［5］ Wang Z，Li Q.Information content weighting for perceptual image quality assessment［J］.IEEE Transactions on Image Processing，2011，20（5）：1185-1198.

［6］ Zhang Lin，Zhang D，Mou Xuanqin，et al.FSIM：a feature similarity index for image quality assessment［J］.IEEE Transactions on Image Processing，2011，20（8）：2378-2386.

［7］ Zhang Lin，Li Hongyu.SR-SIM：A fast and high performance IQA index based on spectral residual［J］.IEEE International Conference on Image Processing，2012，19（9）：1473-1476.

［8］ Sheikh H R，Sabir M F，Bovik A C.A statistical evaluation of recent full reference image quality assessment algorithms［J］.IEEE Transactions on Image Processing，2006，15（11）：3440-3451.

［9］ Zhang Yatao，Ji Shupeng，Wang Qiangfeng，et al.Definition evaluation algorithm based on regional contrast［J］.Journal of Applied Optics，2012，33（2）：293-299.張亞濤，吉書鵬，王強(qiáng)鋒，等.基于區(qū)域?qū)Ρ榷鹊膱D像清晰 度 評 價 算 法 ［J］.應(yīng) 用 光 學(xué)，2012，33（2）：293-299.

［10］Yang Chunling，Xu Xiaolin.Structural similarity highlighting edge regions for image quality assessment［J］.Journal of Image and Graphics，2011，16（12）：2133-2139.楊春玲，徐小琳.重視邊緣區(qū)域的結(jié)構(gòu)相似度圖像質(zhì)量評價［J］.中國圖象圖形學(xué)報，2011，16（12）：2133-2139.

［11］Sheikh H R，Wang Z，Cormack L，et al.LIVE image quality assessment database release 2，2004［EB／OL］.Austin：The University of Texas，2005（2012-02-13）［2004-07-01］.http：／／live.ece.utexas.edu／research／quality.

［12］Zhang Lin，Zhang D，Mou Xuanqin，et al.A comprehensive evaluation of full reference image quality assessment algorithms［J］.IEEE International Conference on Image Processing，2012，19（9）：1477-1480.