基于小波高頻奇異值分解的無參考模糊圖像質(zhì)量評(píng)價(jià)*

黃曉生，嚴(yán) 浩，曹義親，李亞琴

(1.華東交通大學(xué)信息工程學(xué)院；江西 南昌 330013；2.華東交通大學(xué)軟件學(xué)院，江西 南昌 330013)

近年來，無參考圖像質(zhì)量評(píng)價(jià)(No-Reference Image Quality Assessment，NR IQA)方法的研究非?；钴S，也是將來客觀圖像質(zhì)量評(píng)價(jià)的發(fā)展方向[1]。通常，NR IQA方法可分為專用型(Application-Specific)方法和通用型(General Purpose)方法，專用型是指只對(duì)某一種失真有效或只在某一種應(yīng)用場(chǎng)合有效，通用型則適用于任何失真及任何場(chǎng)合。由于通用型無參考圖像質(zhì)量評(píng)價(jià)方法難度較大，目前大部分研究都是針對(duì)專用型[2]。在專用型NR IQA中，目前針對(duì)模糊失真類型的研究較多，F(xiàn)erzl 等[3]使用恰可覺察模糊的概念對(duì)模糊圖像進(jìn)行評(píng)價(jià)。Xie Xiaofu等[4]人通過將模糊圖像經(jīng)低通濾波器構(gòu)造近似參考圖像結(jié)合結(jié)構(gòu)相似度(Structural Similarity，SSIM)進(jìn)行評(píng)價(jià)。C.L等[5]和Mittal A等[6]通過統(tǒng)計(jì)原始模糊圖像和再模糊圖像結(jié)構(gòu)區(qū)別，構(gòu)建模糊圖像質(zhì)量評(píng)價(jià)指標(biāo)。Li Honglin等[7]則結(jié)合人類視覺特性提出一種改進(jìn)的二次模糊評(píng)價(jià)算法。Yin Ying[8]通過奇異值分解(Singular Value Decomposition，SVD)提取模糊圖像與其經(jīng)低通濾波后獲得的圖像結(jié)構(gòu)特征，應(yīng)用廣義回歸神經(jīng)網(wǎng)絡(luò)模型對(duì)圖像的特征向量進(jìn)行訓(xùn)練學(xué)習(xí)，得到圖像的模糊值。Sang Qingbing等[9]根據(jù)圖像相位一致性原理，通過獲取相位一致圖像的信息熵、能量、對(duì)比度等五個(gè)特征，結(jié)合支持向量機(jī)(Support Vector Machine，SVM)訓(xùn)練建立評(píng)價(jià)模型。Ciancio 等[10]則利用多種空域圖像特征，采用神經(jīng)網(wǎng)絡(luò)模型對(duì)模糊圖像進(jìn)行評(píng)價(jià)。這些評(píng)價(jià)算法大體可以歸結(jié)為兩類，一類是將模糊圖像經(jīng)過濾波處理構(gòu)造參考圖像，比較圖像經(jīng)過濾波前后特征信息的差異作為評(píng)價(jià)指標(biāo)，如文獻(xiàn)[4-8]，其中文獻(xiàn)[4]與文獻(xiàn)[8]通過低通濾波構(gòu)造近似的原始參考圖像，而文獻(xiàn)[5-7]將圖像經(jīng)高通濾波構(gòu)造二次模糊參考圖像。另一類是先將圖像經(jīng)過一定的變換獲取圖像的特性信息，再利用機(jī)器學(xué)習(xí)與主觀得分訓(xùn)練不同特征信息對(duì)圖像質(zhì)量的影響，從而得出最終的評(píng)價(jià)指標(biāo)，如文獻(xiàn)[8-10]。這兩類方法中，第一類方法需要構(gòu)造參考圖像，而第二類方法需要與主觀評(píng)價(jià)訓(xùn)練學(xué)習(xí)，都增加了時(shí)間消耗，計(jì)算量大，實(shí)用性不強(qiáng)。

本文根據(jù)圖像小波分解同尺度不同方向高頻子帶小波系數(shù)的相關(guān)性隨著模糊程度加深迅速降低、圖像高頻子帶結(jié)構(gòu)差異變大的性質(zhì)，利用奇異值分解獲取圖像高頻子帶結(jié)構(gòu)特征，將同尺度不同方向高頻子帶奇異值向量夾角作為質(zhì)量評(píng)價(jià)指標(biāo)。提出的方法無需訓(xùn)練或構(gòu)造參考圖像，算法運(yùn)行簡(jiǎn)單快捷，在三個(gè)圖像數(shù)據(jù)庫實(shí)驗(yàn)驗(yàn)證均表現(xiàn)出與主觀評(píng)價(jià)的一致性，具有良好的實(shí)用性。

1 圖像小波分解與模糊失真

對(duì)圖像進(jìn)行小波變換, 可得到一系列不同分辨率的子帶圖像，其中低頻子帶是低通濾波的結(jié)果，它主要包含了圖像的近似信息；高頻子帶是高通濾波的結(jié)果，主要包含了圖像的細(xì)節(jié)信息，這些細(xì)節(jié)信息，通常表現(xiàn)了圖像邊緣變化的敏銳程度。研究表明，圖像經(jīng)小波變換后其同尺度不同方向的子帶小波系數(shù)具有較強(qiáng)的相關(guān)性，尤其是在圖像的邊緣結(jié)構(gòu)信息中，相關(guān)性更為明顯，而模糊失真圖像丟失了圖像的高頻細(xì)節(jié)，使得圖像變得平滑，導(dǎo)致模糊圖像的小波高頻子帶間只具有弱相關(guān)性或者無相關(guān)性[11]。從圖像空間結(jié)構(gòu)看，這種相關(guān)性反應(yīng)了圖像高頻子帶間的邊緣結(jié)構(gòu)具有相似性，圖像的小波金字塔也顯示了各尺度各子帶在空間上具有結(jié)構(gòu)相似性[12]。圖1(b)-(f)所示分別為”parrots”原始無失真圖像與不同程度模糊失真圖像的兩層小波分解圖，同時(shí)圖像給出了圖像一層小波分解后三個(gè)高頻子帶間小波系數(shù)的皮爾遜相關(guān)系數(shù)的平均值，從圖1(b)可以看出原始圖像同尺度不同方向的高頻子帶之間的邊緣結(jié)構(gòu)最為相似，皮爾遜相關(guān)系數(shù)ρ最大，而圖1(c)-(f)為模糊失真圖像的同尺度異方向高頻子帶間的邊緣結(jié)構(gòu)差異較大，且相關(guān)系數(shù)ρ隨著高斯函數(shù)標(biāo)準(zhǔn)差σ的增加(失真程度的加深)而降低。為此本文利用奇異值分解獲取模糊圖像高頻子帶的奇異值向量作為子帶的結(jié)構(gòu)特性，通過度量高頻子帶間奇異值向量的差異可作為圖像的客觀質(zhì)量評(píng)價(jià)值。

圖1 原始圖像與模糊失真圖像的小波分解

2 基于高頻奇異值分解的圖像質(zhì)量評(píng)價(jià)算法

2.1 圖像的奇異值分解

SVD是一種將矩陣對(duì)角化的數(shù)值算法，由于圖像可以用二維矩陣表示，因此圖像亮度矩陣也可以進(jìn)行奇異值分解，SVD具體定義為：若有矩陣A∈Rm×n，則存在正交矩陣(或酉矩陣)U∈Rm×m和V∈Rn×n使得A可以如(1)式表示出：

A=USVT

(1)

圖像經(jīng)SVD后得出的奇異值向量包含了圖像的主要結(jié)構(gòu)信息，若剔除圖像的奇異值向量，圖像質(zhì)量將大為改變，如圖2(b)所示為“parrots”原始圖像經(jīng)奇異值分解后將上式中S2換成同維單位矩陣得到的圖像，從中可以看出圖像的結(jié)構(gòu)信息幾乎完全被屏蔽。

圖2 原始圖像與剔除奇異值的圖像

圖像SVD的這種特性在FR IQA中有著較為深入的研究[14-16]，文獻(xiàn)[16]還通過實(shí)驗(yàn)驗(yàn)證了基于SVD的評(píng)價(jià)方法在圖像發(fā)生平移、旋轉(zhuǎn)、縮放等幾何變換時(shí)仍能表現(xiàn)出的良好的評(píng)價(jià)標(biāo)準(zhǔn)。在NR IQA領(lǐng)域，殷瑩[8]也進(jìn)行了有益的嘗試，提出了一種針對(duì)模糊圖像的無參考圖像質(zhì)量評(píng)價(jià)算法。該算法首先對(duì)圖像進(jìn)行高斯低通濾波變換產(chǎn)生參考圖像，其次對(duì)高斯低通濾波前后的圖像分別進(jìn)行奇異值分解，然后構(gòu)造公式計(jì)算圖像高斯濾波前后的奇異值改變量作為圖像的特征向量，最后應(yīng)用廣義回歸神經(jīng)網(wǎng)絡(luò)模型對(duì)圖像的特征向量進(jìn)行訓(xùn)練學(xué)習(xí)，得到圖像的模糊值，取得了較好的效果。但這種方法一方面需要構(gòu)造參考圖像，另一方面還需進(jìn)行訓(xùn)練學(xué)習(xí)，增加了算法的復(fù)雜度。

由上面分析可知，圖像的高頻子帶表達(dá)了圖像的細(xì)節(jié)信息，這些細(xì)節(jié)信息主要反映了圖像中的邊緣結(jié)構(gòu)，而SVD分解所得的奇異值向量很好地提取圖像的邊緣結(jié)構(gòu)信息，同時(shí)，圖像小波變換后其同尺度不同方向高頻子帶具有較強(qiáng)的相關(guān)性，這種相關(guān)性隨圖像的失真程度增加而減弱，并且圖像模糊失真主要是引起圖像高頻信息的變化。因此，本文提出利用SVD獲取圖像不同方向高頻子帶的結(jié)構(gòu)信息，通過比較高頻子帶間奇異值向量的差異來度量圖像質(zhì)量。通常，兩向量間的差異或相似程度可用向量間的夾角來表示，因此，本文定義下式來表示高頻子帶SVD奇異值向量間的相似程度，并作為度量質(zhì)量的指標(biāo)：

Angle (V,hatV)=

(2)

圖3 圖像高頻奇異值夾角與模糊失真程度

2.2 基于高頻SVD的圖像質(zhì)量評(píng)價(jià)算法

根據(jù)前面分析，本文通過度量圖像三個(gè)高頻分量間的奇異值向量夾角來作為圖像的質(zhì)量評(píng)價(jià)指標(biāo)，提出基于高頻子帶奇異值分解(High Frequency Singular Value Decomposition，HFSVD)評(píng)價(jià)算法，其具體步驟如下：

1)將待測(cè)圖像經(jīng)Harr小波單層變換獲取模糊失真主要改變的三個(gè)高頻分量：垂直(Vertical)分量Iv、水平(Horizontal)分量Ih，對(duì)角線(Diagonal)分量Id。

2)利用奇異值分解獲取待測(cè)圖像三個(gè)高頻分量的奇異值向量：垂直分量奇異值向量Sv，水平分量奇異值向量Sh，對(duì)角線分量奇異值向量Sd。

3)利用式(2)分別計(jì)算三個(gè)高頻分量之間的奇異值向量的夾角：Angle (Sv,Sh)、Angle (Sv,Sd)、Angle (Sh,Sd)分別表示垂直分量與水平分量的奇異值向量夾角、垂直分量與對(duì)角線分量的奇異值向量的夾角及水平分量與對(duì)角線分量的奇異值向量夾角。

3 實(shí)驗(yàn)結(jié)果與分析

目前在圖像評(píng)價(jià)領(lǐng)域常用的三個(gè)公開圖像數(shù)據(jù)庫為：美國(guó)德州大學(xué)奧斯汀分校的LIVE2、美國(guó)俄克拉荷馬州立大學(xué)的CSIQ以及烏克蘭航空航天大學(xué)的TID2013[18-20]，其中LIVE2數(shù)據(jù)庫提供174幅模糊圖像，含29幅原始圖像及其按5級(jí)模糊失真獲得的145幅失真圖像，給出了所有圖像的差分主觀評(píng)分(Differential Mean Opinion Score，DMOS)值，范圍為0～100；CSIQ數(shù)據(jù)庫提供150幅模糊圖像是通過對(duì)30幅原始圖像經(jīng)歷5種不同水平失真獲得，給出的DMOS范圍為0～1；而TID2013數(shù)據(jù)庫提供了125幅模糊圖像，由25幅原始圖像經(jīng)歷5級(jí)不同程度的失真獲得，并給出了所有圖像的主觀評(píng)分(Mean Opinion Score，MOS)，范圍為0～9。將提出的HFSVD算法分別運(yùn)用在三個(gè)數(shù)據(jù)庫中進(jìn)行驗(yàn)證，最終獲得圖像客觀評(píng)分與主觀評(píng)分的散點(diǎn)圖如圖4所示，從圖中可以看出HFSVD在三個(gè)數(shù)據(jù)庫中都與主觀評(píng)價(jià)具有良好的一致性。

圖 4 HFSVD客觀評(píng)價(jià)與主觀評(píng)價(jià)散點(diǎn)圖

為進(jìn)一步分析HFSVD算法性能，將獲得的圖像客觀質(zhì)量評(píng)分與數(shù)據(jù)庫提供的主觀評(píng)分運(yùn)用下式帶5個(gè)參數(shù)的logistic函數(shù)進(jìn)行非線性回歸：

β4x+β5

(3)

采用常用的兩個(gè)判斷標(biāo)準(zhǔn)來分析客觀評(píng)價(jià)與主觀評(píng)價(jià)的一致性：非線性回歸后得出的評(píng)分與主觀評(píng)分的線性相關(guān)系數(shù)(Correlation Coefficient，CC)及回歸后預(yù)測(cè)評(píng)分與主觀評(píng)分的斯皮爾曼等級(jí)秩序相關(guān)系數(shù)( Spearman Rank Order Correlation Coefficient，SROCC)，兩者的值都在0～1之間，其值越大代表評(píng)價(jià)算法越接近主觀評(píng)分。與FR IQA相比，目前NR IQA的研究尚處于起步階段，還沒有一個(gè)公認(rèn)的參考標(biāo)準(zhǔn)，本文選擇文獻(xiàn)[3]、[5]、[7]、[8]算法進(jìn)行比較，結(jié)果見如表1。其中本文提出的HFSVD算法與文獻(xiàn)[3]均不需要事先構(gòu)造參考圖像和訓(xùn)練學(xué)習(xí)，但文獻(xiàn)[3]結(jié)合了人類視覺特性(Human Visual System, HVS)，增加了復(fù)雜性，而本文算法的SROCC和CC指標(biāo)優(yōu)于文獻(xiàn)[3]。與文獻(xiàn)[7]算法相比，SROCC相近，但文獻(xiàn)[7]需要構(gòu)造參考圖像增加了計(jì)算量，且其只驗(yàn)證了在LIVE2數(shù)據(jù)庫上的有效性。本文算法SROCC和CC較文獻(xiàn)[5]及文獻(xiàn)[8]稍差，但文獻(xiàn)[5]與文獻(xiàn)[8]都需要訓(xùn)練學(xué)習(xí)，增加了時(shí)間消耗和計(jì)算復(fù)雜度，其中性能最好的文獻(xiàn)[8]還需事先構(gòu)造參考圖像，而本文算法無需構(gòu)造參考圖像或訓(xùn)練學(xué)習(xí)，運(yùn)行更簡(jiǎn)單快捷，在2.1 GHz的Core2 Duo CPU的matlab運(yùn)行1 s大約可評(píng)價(jià)5-6幅分辨率為768*512的圖像。

表1 本文算法與文獻(xiàn)中算法的比較

4 結(jié) 論

針對(duì)當(dāng)前無參考模糊圖像質(zhì)量評(píng)價(jià)算法中大多數(shù)需要事先構(gòu)造參考圖像或需要訓(xùn)練學(xué)習(xí)，使得存在的大多數(shù)算法計(jì)算復(fù)雜，實(shí)用起來不夠方便的問題，提出一種基于圖像高頻奇異值分解的評(píng)價(jià)方法，該方法根據(jù)圖像在小波變換下隨著圖像模糊失真程度加深，同尺度不同方向高頻子帶間小波系數(shù)相關(guān)性降低、子帶間結(jié)構(gòu)差異增加的性質(zhì)，結(jié)合奇異值分解獲取圖像三個(gè)高頻分量的奇異值向量作為各子帶的結(jié)構(gòu)特征，計(jì)算三個(gè)高頻子帶間奇異值向量的夾角來反應(yīng)子帶間結(jié)構(gòu)差異并作為最終的圖像質(zhì)量指標(biāo)。通過在三個(gè)數(shù)據(jù)庫上進(jìn)行的實(shí)驗(yàn)，驗(yàn)證了該方法與主觀評(píng)價(jià)具有較好的一致性，且本文算法無需構(gòu)建參考圖像或訓(xùn)練學(xué)習(xí)，計(jì)算簡(jiǎn)單快捷，具有良好的推廣性。

參考文獻(xiàn)：

[1]蔣剛毅, 黃大江, 王旭，等. 圖像質(zhì)量評(píng)價(jià)方法研究進(jìn)展[J]. 電子與信息學(xué)報(bào), 2010, 32(1): 219-226.

[2]高新波, 路文. 視覺信息質(zhì)量評(píng)價(jià)方法[M]. 西安:西安電子科技大學(xué)出版社,2011:105-106.

[3]FERZLI R, KARAM L J. A no-reference objective image sharpness metric based on the notion of just noticeable blur (JNB) [J].IEEE Transactions on Image Processing, 2009, 18(4): 717-728.

[4]謝小甫, 周進(jìn), 吳欽章. 一種針對(duì)圖像模糊的無參考質(zhì)量評(píng)價(jià)指標(biāo)[J]. 計(jì)算機(jī)應(yīng)用, 2010, 30(4): 921-924.

[5]LI C, YUAN W, BOVIK A C. No-reference blur index using blur comparisons[J]. Electronics Letters, 2011, 47(17): 962-963.

[6]MITTAL A, SOUNDARAJAN, BOVIK A C. Making a “completely blind” image quality analyzer[J]. IEEE Signal Processing letters, 2012, 20(3): 209-212.

[7]李鴻林, 張琦, 楊大偉. 無參考模糊圖像質(zhì)量評(píng)價(jià)改進(jìn)算法[J]. 計(jì)算機(jī)應(yīng)用, 2014, 34(3):797-800.

[8]殷瑩. 基于奇異值分解的無參考模糊圖像質(zhì)量評(píng)價(jià)方法[J]. 激光與紅外, 2013, 43(7): 809-813.

[9]桑慶兵, 李朝鋒, 吳小俊. 基于灰度共生矩陣的無參考模糊圖像質(zhì)量評(píng)價(jià)方法[J]. 模式識(shí)別與人工智能, 2013, 26(5): 492-497.

[10]CIANCIO A, DA COSTA ALN. no-reference blur assessment of digital pictures based on multi-feature classifiers [J]. IEEE Transactions on Image Processing, 2011, 20(1): 64-75.

[11]胡曉輝, 張曉穎, 陳俊蓮. 一種融合小波變換和數(shù)字形態(tài)學(xué)的圖像邊緣檢測(cè)算法[J]. 鐵道學(xué)報(bào), 2011, 33(3): 45-48.

[12]郭迎春, 于明, ZHU Qiuming. 基于子帶結(jié)構(gòu)相似性分析的JPEG2000圖像無參考質(zhì)量評(píng)價(jià)[J]. 電子與信息學(xué)報(bào), 2011, 33(6): 1496-1500.

[13]張賢達(dá). 矩陣分析與應(yīng)用[M]. 北京: 清華大學(xué)出版社, 2004: 344-350.

[14]MANISH NARWARIA, WEISI LIN. SVD-based quality metric for image and video using machine learning[J]. IEEE Transactions on Systems, 2012, 42(2): 347-364.

[15]張飛艷, 謝偉, 陳榮元，等. 基于視覺加權(quán)的奇異值分解壓縮圖像質(zhì)量評(píng)價(jià)測(cè)度[J]. 電子與信息學(xué)報(bào), 2010, 32(5): 1061-1065.

[16]騫森, 朱劍英. 基于奇異值分解的圖像質(zhì)量評(píng)價(jià)[J]. 東南大學(xué)學(xué)報(bào)：自然科學(xué)版, 2006, 36(4): 643-646.

[17]張宇, 劉雨東, 計(jì)釗. 向量相似度測(cè)度方法[J]. 聲學(xué)技術(shù), 2009, 28(4): 532-536.

[18]SHEIKH H R, BOVIK A C, SESHADRINATHAN K, et al. Image and video quality assessment research at LIVE 2004[EB/OL]. [2014-04-12].http://live.ece.utexas.edu/research/quality/.

[19]LARSON E C, CHANDLER D M. Categorical image quality (CSIQ) database 2009[EB/OL]. [2014-04-13]. http://vision.okstate.edu/?loc=csiq/.

[20]PONOMARENKO N, LUKIN V, ZELENSKY A, et al. tampere Image Database 2013(TID 2013) [EB/OL]. [2014-04-13]..