基于視覺注意機制的圖像質(zhì)量評價

崔 力 浩 明

(1西北工業(yè)大學(xué)電子信息學(xué)院，西安710072)

(2西安郵電大學(xué)通信與信息工程學(xué)院，西安710121)

數(shù)字圖像在采集、壓縮、編碼、去噪、增強、水印、認證、存儲、合成與復(fù)制的過程中容易遭受質(zhì)量損失.目前，圖像質(zhì)量評價技術(shù)已被廣泛應(yīng)用于成像系統(tǒng)的性能測試、實時質(zhì)量監(jiān)控、參數(shù)與性能優(yōu)化等場合，以達到保持和優(yōu)化圖像質(zhì)量的目的.傳統(tǒng)的圖像質(zhì)量評價方法主要通過心理學(xué)實驗手段來獲得觀察者對待測圖像的主觀反應(yīng)，這類方法對實驗條件有著苛刻的要求，實施步驟復(fù)雜，難以滿足實時性要求.因此，客觀圖像質(zhì)量評價算法成為這一領(lǐng)域的研究熱點.

客觀圖像質(zhì)量評價算法可以分為全參考、半?yún)⒖己蜔o參考3類［1］.當(dāng)前國內(nèi)外的研究主要集中在全參考圖像質(zhì)量評價算法的開發(fā)上.假定物理信號的差異是造成感知質(zhì)量下降的唯一原因，峰值信噪比(PSNR)是目前最常見的圖像質(zhì)量評價指標.盡管其具有計算簡單和物理意義清晰的優(yōu)點，但是相關(guān)研究指出它與主觀感知質(zhì)量的吻合程度較差.因此，有學(xué)者嘗試結(jié)合人眼視覺系統(tǒng)(HVS)的特征，開發(fā)圖像質(zhì)量評價算法［2-3］.這類方法與人眼主觀感知吻合程度較好，但其計算復(fù)雜度普遍較高.此外，當(dāng)前學(xué)術(shù)界對于人眼視覺系統(tǒng)的理解尚不完善，嚴重影響了相關(guān)建模的準確性與完備性.Wang等［4］假設(shè)結(jié)構(gòu)信息丟失是造成圖像質(zhì)量下降的主要原因，提出了一種新穎的結(jié)構(gòu)相似性圖像質(zhì)量評價(SSIM)算法.該算法在多個信道上分別估計得到圖像的亮度、對比度和結(jié)構(gòu)相似度，并將其共同構(gòu)成圖像綜合質(zhì)量指標，以利用視覺信息處理模型來代替人眼視覺系統(tǒng)的功能.UQI算法［5］可以被看作是SSIM 算法的原型，MS-SSIM 算法［6］則是利用多分辨率分析技術(shù)對SSIM算法進行擴展的結(jié)果.

視覺注意模型能夠模擬人眼視覺注意力的轉(zhuǎn)移與停駐機制，目前已被廣泛應(yīng)用于圖像檢索、場景分割等場合.本文提出了一種基于視覺注意機制的全參考圖像質(zhì)量評價算法(visual attention based image quality metric，VAIQM).首先，對圖像進行預(yù)處理，以獲得圖像的細節(jié)和輪廓信息，并在細節(jié)和輪廓2個層次上分別計算圖像的局部相似性;然后，利用人眼視覺注意機制將圖像分為視覺顯著、不顯著和中等顯著3個區(qū)域，將在這些區(qū)域獲得的圖像相似性度量值合并為圖像整體質(zhì)量指標.

1 視覺注意機制

人眼視覺系統(tǒng)在面對復(fù)雜場景時，總是能夠迅速將注意力集中于少數(shù)幾個顯著的視覺對象，并對其進行優(yōu)先處理，這個過程被稱為視覺注意(visual attention).視覺注意模型的任務(wù)是模擬研究人眼的視覺注意機制，即如何快速而準確地定位感興趣區(qū)域、完成視覺搜索任務(wù).Itti模型［7］就是一種按照自底而上方式建立的經(jīng)典的視覺注意計算模型，主要包含以下2個方面:

1)早期視覺特征的提取.利用高斯金字塔對圖像的早期視覺特征(顏色、亮度和方向)進行多分辨率分析，并采用中央-周邊(center-surround)算子在多個特征和尺度的條件下計算中心區(qū)域相對于四周的差異，即

式中，I為亮度特征;R，G，B，Y為顏色特征，分別表示紅色、綠色、藍色和黃色;DRG和DBY分別為R，G和B，Y的色差分量;O為方向特征;Θ為中央-周邊算子;c，s分別為中央-周邊算子的中心尺度和周圍尺度，且 c={2，3，4}，s=c+ δ，δ∈［3，4］.由此可知，在3×2=6個尺度空間進行計算時，共計可以得到6×(1+2+1×4)=42幅特征顯著度圖.

2)顯著度圖的生成.利用Treisman特征融合理論及Koch神經(jīng)生物學(xué)模型，將生成的42幅特征顯著度圖合并為1幅整體視覺顯著度圖.Itti模型中包含一種歸一化算子N(·)，通過比較特征顯著圖中全局最大值與其他本地最大值均值之間的差異，對所有潛在的顯著位置點進行幅值提升，使其相對其他區(qū)域顯得更加突出.通過將各個特征通道內(nèi)的特征顯著圖進行合并，產(chǎn)生亮度顯著度圖ˉI、顏色顯著度圖ˉC和方向顯著度圖ˉO.圖像整體視覺顯著度圖Va定義如下:

式中，⊕為逐點相加操作.

2 圖像質(zhì)量評價

基于視覺注意機制的圖像質(zhì)量評價算法的框架如圖1所示.由圖可知，它主要由預(yù)處理、塊相似度測量、區(qū)域質(zhì)量估計(視覺顯著度測量和門限分割)、多通道信息融合4個部分組成.

圖1 基于視覺注意機制的圖像質(zhì)量評價框架

2.1 預(yù)處理

人腦視覺皮質(zhì)層可將多個頻率分量的響應(yīng)與其他信息相結(jié)合，形成視覺判斷行為［1］.因此，可認為人眼視覺系統(tǒng)包含2個獨立的視覺信息處理通道，它們分別在粗糙和細致2個層次上測量視覺信號的感知差異，以便獲得圖像感知質(zhì)量.預(yù)處理的目的在于對輸入圖像進行Sobel邊緣檢測和模糊操作，獲得圖像的細節(jié)和輪廓信息.對于給定圖像X，Sobel邊緣檢測算子首先利用2個大小為3×3的掩映模板(M1和M2)計算圖像的水平梯度Xh=X?M1和垂直梯度Xv=X?M2，并最終將圖像梯度定義為

同理，圖像的模糊版本可表示為

式中，?為二維卷積操作.

用于邊緣檢測和模糊操作的模板M1，M2，M3如圖2所示.

圖2 用于邊緣檢測和模糊操作的模板

2.2 相似度測量

對于給定的參考圖像和測試圖像，首先對其梯度圖進行分塊操作，得到若干重疊的大小為11×11的子塊.假定B1，B2分別表示參考圖像梯度圖中任一子塊及其在測試圖像梯度圖中的對應(yīng)塊，其相似度可定義為

式中，(x，y)為本地塊B1和B2所在位置的空間坐標;μ1，μ2和 δ1，δ2分別為 B1，B2的均值和方差;δ12為B1和B2的協(xié)方差;C1，C2為常變量，用于確保式(11)中分母的值大于0.由于人眼感知細胞分布的不均勻性，人眼視覺系統(tǒng)對于視覺中心的敏感度最高.因此，計算均值、方差和協(xié)方差時，位于塊中心的像素具有最高的權(quán)重，距離中心越遠的像素其權(quán)重越低.同理也可計算出參考圖像的模糊圖和測試圖像的模糊圖之間的本地相似度Sb(x，y).

2.3 區(qū)域質(zhì)量估計

假定利用Itti模型得到的參考圖像的視覺顯著度圖為Va，通過設(shè)置門限值將所有空間位置點分為3個子集:視覺顯著點≥T1}、視覺不顯著點和中等視覺顯著點T1}，其中 0 ＜T2≤T1.在 Pl，Pl和 Ph三個子集上，分別計算本地梯度相似度的平均值，并將其相乘，即可得到圖像的細節(jié)相似度，即

2.4 多通道信息融合

多通道信息融合主要是將多個視覺通道得到的圖像相似度合并為圖像整體質(zhì)量.圖像質(zhì)量Q定義為細節(jié)相似度與輪廓相似度的乘積，即

3 實驗與結(jié)果

在 A57［8］， IVC［9］， TID2008［10］， Tomaya-MICT［11］，LIVE［12］，CSIQ［13］，WIQ［14］七個圖像數(shù)據(jù)庫上，將VAIQM算法與傳統(tǒng)的圖像質(zhì)量評價算法進行性能比較.為了相對公正地評估算法性能，這些算法的輸出首先被非線性映射轉(zhuǎn)變?yōu)榭陀^感知質(zhì)量 Qp，即

式中，q為圖像質(zhì)量評價算法的估計值;β1～β5為參數(shù)，可利用Matlab軟件中的fminuch函數(shù)求解.

然后，利用相關(guān)系數(shù)(PLCC)、Spearman等級相關(guān)系數(shù)(SROCC)、均方根誤差(RMSE)和平均絕對誤差(MAE)來描述主觀感知質(zhì)量與客觀感知質(zhì)量的吻合程度.較大的PLCC值和SROCC值表示主觀質(zhì)量預(yù)測具有較好的準確性和單調(diào)性;較小的RMSE值和MAE值表示主觀質(zhì)量預(yù)測具有較好的一致性.表1列舉了MSE，UQI，SSIM，MS-SSIM，VAIQM 算法在 A57，IVC，TID2008，Tomaya-MICT，LIVE，CSIQ，WIQ 七個圖像數(shù)據(jù)庫上的PLCC值及其均值和方差.其中，均值和方差分別表示這些算法在數(shù)據(jù)庫上的總體性能及其波動情況.表1中，SSIM1和SSIM2表示SSIM 算法的2種實現(xiàn)方式，SSIM2是在早期版本SSIM1的基礎(chǔ)上增加了二重抽樣操作.由表1可知，在計算復(fù)雜度未明顯增加的前提下，VAIQM算法在這7個數(shù)據(jù)庫上的總體性能均遠優(yōu)于SSIM和MS-SSIM算法.MS-SSIM算法需要利用多分辨率分析工具對待測圖像進行分解，因此其計算復(fù)雜度大于VAIQM算法.此外，VAIQM算法在這些數(shù)據(jù)庫上的性能波動均較小，顯示出較高的魯棒性.這些算法在7個數(shù)據(jù)庫上的具體性能表現(xiàn)見表2.除了在CSIQ和TID2008數(shù)據(jù)庫上表現(xiàn)稍差外，VAIQM在其他5個數(shù)據(jù)庫上的性能均超過MS-SSIM算法.

表1 5種算法的PLCC值

4 結(jié)語

人眼在處理復(fù)雜場景或者圖像的過程中，并非對各個空間位置的視覺畸變給予同等程度的關(guān)注，而是更多地將注意力集中于少數(shù)幾個顯著的視覺對象，并對其進行優(yōu)先處理.本文提出了一種基于視覺注意機制的全參考圖像質(zhì)量評價算法.該算法首先對圖像進行預(yù)處理，以獲得細節(jié)和輪廓信息，并分別在細節(jié)和輪廓2個層次上計算圖像的局部相似性;然后，利用人眼視覺注意機制將圖像分為視覺顯著、不顯著和中等顯著3個區(qū)域，并將這些區(qū)域的相似度合并為一個圖像整體質(zhì)量指標.實驗結(jié)果表明，在計算復(fù)雜度未明顯增加的前提下，VAIQM 算 法 在 A57，IVC，TID2008，Tomaya-MICT，LIVE，CSIQ，WIQ 七個數(shù)據(jù)庫上的整體性能表現(xiàn)遠優(yōu)于SSIM算法及其擴展版本MS-SSIM算法.由于MS-SSIM算法需要利用多分辨率分析工具對待測圖像進行分解，其計算復(fù)雜度遠高于VAIQM算法.此外，VAIQM算法在這些數(shù)據(jù)庫上的性能波動均較小，顯示出較高的魯棒性.下一階段的工作將主要集中于利用人眼視覺系統(tǒng)的特征(如亮度非線性響應(yīng)、對比度敏感函數(shù)、亮度和紋理掩映等)進一步提升VAIQM算法的性能.

References)

［1］Wang Z，Bovik A C.Modern image quality assessment［M］.San Rafael，CA，USA:Morgan ＆ Claypool，2006.

［2］Vankata N D，Kite T D，Geisler W S，et al.Image quality assessment based on a degradation model［J］.IEEE Trans on Image Processing，2000，9(4):636-650.

［3］Chandler D M，Hemami S S.VSNR:a wavelet-based visual signal-to-noise ratio for natural images［J］.IEEE Trans on Image Processing，2007，16(9):2284-2298.

［4］Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment:from error visibility to structural similarity［J］.IEEE Trans on Image Processing，2004，13(4):600-612.

［5］Wang Z，Bovik A C.A universal image quality index［J］.IEEE Signal Processing Letters，2002，9(3):81-84.

［6］Wang Z，Simoncelli E P，Bovik A C.Multi-scale structural similarity for image quality assessment［C］//Proceedings of the 37th Asilomar Conference on Signals，Systemsand Computers. New York， USA，2003:1398-1402.

［7］Itti L，Koch C，Niebur E.A model of saliency-based visual attention of rapid scene analysis［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，1998，20(11):1254-1259.

［8］Chandler D M，Hemami S S.A57 image quality assessment database［EB/OL］.(2007)［2012-01-02］.http://foulard.ece.cornell.edu/dmc27/vsnr/vsnr.html.

［9］Ninassi A，Callet P L，Autrusseau F.IVC image quality assessment database［EB/OL］.(2005)［2012-01-02］.http://www2.irccyn.ec-nantes.fr/ivcdb/.

［10］Ponomarenko N，Lukin V，Zelensky A，et al.TID2008—a database for evaluation of full reference visual quality assessment metrics［J］.Advances of Modern Radioelectronics，2009，10:30-45.

［11］Horita H，Shibata K，Kawayoke Y，et al.Tomaya-MICT image quality evaluation database［EB/OL］.(2008)［2012-01-02］.http://mict.eng.u-toyama.ac.jp/mictdb.html.

［12］Sheikh H R，Wang Z，Cormack L，et al.LIVE image quality assessment database release 2 ［EB/OL］.(2006)［2012-01-02］.http://live.ece.utexas.edu/research/Quality/.

［13］Larson E C，Chandler D M.Categorical image quality(CSIQ)database［EB/OL］.(2010)［2012-01-02］.http://vision.okstate.edu/?loc=csiq.

［14］Engelke U，Kusuma T M，Zepernick H J.Wireless imaging quality(WIQ)database［EB/OL］.(2009)［2011-10-02］.http://www.bth.se/tek/rcg.nsf/pages/wiq-db.