結(jié)合結(jié)構(gòu)信息和亮度統(tǒng)計的無參考圖像質(zhì)量評價

沈軍民，李俊峰，戴文戰(zhàn)

（1.浙江理工大學(xué)電子信息工程系，浙江杭州 310018；2.浙江理工大學(xué)自動化系，浙江杭州 310018；3.浙江工商大學(xué)電子信息工程系，浙江杭州310018）

結(jié)合結(jié)構(gòu)信息和亮度統(tǒng)計的無參考圖像質(zhì)量評價

沈軍民1，李俊峰2，戴文戰(zhàn)3

（1.浙江理工大學(xué)電子信息工程系，浙江杭州 310018；2.浙江理工大學(xué)自動化系，浙江杭州 310018；3.浙江工商大學(xué)電子信息工程系，浙江杭州310018）

基于非下采樣Contourlet變換（Nonsubsampled Contourlet Transform，NSCT）子帶系數(shù)間的結(jié)構(gòu)相關(guān)性，本文提出了一種通用的無參考圖像質(zhì)量評價方法.首先，利用互信息分析NSCT子帶系數(shù)間的相關(guān)性，確定出相關(guān)性比較強的子帶系數(shù)；其次，分別計算這些子帶系數(shù)間的結(jié)構(gòu)信息比較算子，以此作為描述圖像結(jié)構(gòu)相關(guān)性的統(tǒng)計特征；進(jìn)而，結(jié)合空間域亮度均值減損對比歸一化（Mean Subtracted Contrast Normalized，MSCN）系數(shù)及其鄰域系數(shù)的統(tǒng)計特征，分別構(gòu)造相應(yīng)的無參考圖像質(zhì)量評價模型和圖像失真類型識別模型；最后，在LIVE等圖像質(zhì)量評價數(shù)據(jù)庫上進(jìn)行了大量的實驗仿真.仿真結(jié)果表明，評價模型的評價結(jié)果與人類主觀評價具有非常高的相關(guān)性，與當(dāng)今主流評價算法相比非常具有競爭性.

無參考圖像質(zhì)量評價；非下采樣Contourlet變換；結(jié)構(gòu)相似度；亮度統(tǒng)計

1 引言

圖像和視頻質(zhì)量評價結(jié)果可以用來比較和優(yōu)化編解碼器性能、優(yōu)化設(shè)置圖像處理算法的參數(shù)及動態(tài)調(diào)整圖像編碼參數(shù)和信道參數(shù)等，無參考圖像質(zhì)量評價由于不需要參考圖像的任何信息而獲得了國內(nèi)外學(xué)者的廣泛關(guān)注.

自然圖像是在自然環(huán)境中利用高質(zhì)量的攝像設(shè)備在可見光下得到的圖像［1］，具有邊界、紋理、平坦等不同的視覺感知區(qū)域，符合一定的分布規(guī)律，自然場景統(tǒng)計（Natural Scene Statistics，NSS）分布可以描述自然場景不隨內(nèi)容變化的統(tǒng)計性質(zhì).不同類型失真引入自然圖像會影響其分布規(guī)律，使失真圖像的分布產(chǎn)生一定的偏差，故自然圖像的質(zhì)量評價大都采用自然場景統(tǒng)計的方法.目前，基于NSS的無參考圖像質(zhì)量評價方法主要分為兩種類型：（1）特定失真類型評價方法，如jp2k［1，2］、jpeg［3～5］及模糊［6～8］等失真類型的評價方法，該類方法只能評價相應(yīng)失真類型圖像，對其它失真類型無法進(jìn)行評估；（2）通用評價方法，通用評價方法可以同時對多種失真類型圖像進(jìn)行評價.

根據(jù)提取的自然場景統(tǒng)計特征，通用無參考圖像質(zhì)量評價方法可分為空間域和變換域兩種：（1）空間域評價方法：A Mittal［9］等分別提取圖像 MSCN系數(shù)的廣義高斯分布（Generalized Gaussian Distribution，GGD）模型參數(shù)及其水平、豎直、主對角、二次對角四方向領(lǐng)域系數(shù)的非對稱廣義高斯分布（Asymmetric Generalized Gaussian Distribution，AGGD）模型參數(shù)作為特征進(jìn)行質(zhì)量評價；董宏平［10］等利用互信息對鄰近像素間相關(guān)性進(jìn)行描述，并結(jié)合多方向和多尺度分析設(shè)計提取出一系列互信息特征來對自然圖像進(jìn)行質(zhì)量評價；L X Liu［11］等提取圖像的局部空間熵和譜熵作為特征，構(gòu)建了兩階圖像質(zhì)量評價模型；Y Zhang［12］等對單個像素值進(jìn)行逐點統(tǒng)計，對像素對的關(guān)系進(jìn)行成對對數(shù)導(dǎo)數(shù)統(tǒng)計，并提取這些統(tǒng)計的GGD模型參數(shù)作為特征進(jìn)行質(zhì)量評價；（2）變換域評價方法：M A Saad［13］等根據(jù)定義的平均能量和局部方向能量分別將圖像離散余弦變換（Discrete Cosine Transform，DCT）系數(shù)劃分為3個頻率帶和3個方向帶，進(jìn)而提取這些頻率帶和方向帶的GGD模型參數(shù)作為質(zhì)量評價特征；A K Moorthy［14］提取了可操縱金字塔（Steerable Pyramid）小波系數(shù)的尺度與方向選擇性統(tǒng)計、跨尺度和方向關(guān)聯(lián)性統(tǒng)計、空間相關(guān)性統(tǒng)計等88個特征，并給出了兩階圖像質(zhì)量評價模型的框架；Y Zhang［15］等提取復(fù)數(shù)可操縱金字塔小波系數(shù)幅值和相對幅值的 GGD模型參數(shù)、小波系數(shù)相對相位的柯西（Wrapped Cauchy）分布參數(shù)及跨尺度相關(guān)性統(tǒng)計作為特征進(jìn)行質(zhì)量評價；L X Liu［16］等利用curvelet子帶系數(shù)的AGGD模型參數(shù)、子帶方向及子帶尺度能量分布作為特征進(jìn)行圖像質(zhì)量評價；賈惠珍［17］等利用學(xué)習(xí)感知特征和空域自然統(tǒng)計特征相結(jié)合的方法來構(gòu)建圖像質(zhì)量評價模型；Y M Li［18］等利用Shearlet子帶系數(shù)的振幅均值評價圖像質(zhì)量.

自然圖像NSCT分解后的高頻方向子帶系數(shù)依然保持原圖像結(jié)構(gòu)信息，而且不會損失圖像的結(jié)構(gòu)信息；此外，這些高頻方向子帶系數(shù)間存在相關(guān)性，特別是親戚系數(shù)及父子系數(shù)間相關(guān)性更強.基于此，本文綜合考慮NSCT子帶系數(shù)的相關(guān)性及其保持的結(jié)構(gòu)信息，提出了一種無參考圖像質(zhì)量評價方法.該方法利用NSCT子帶親戚系數(shù)及父子系數(shù)間的結(jié)構(gòu)信息比較算子描述圖像結(jié)構(gòu)信息的相關(guān)性；進(jìn)而結(jié)合空間域MSCN系數(shù)及其鄰域系數(shù)的統(tǒng)計特征，分別利用支持向量回歸機（Support Vector Regression，SVR）和支持向量分類機（Support Vector Classifier，SVC）構(gòu)建相應(yīng)的無參考圖像質(zhì)量評價模型及圖像失真類型識別模型.在LIVE［19］圖像質(zhì)量評價數(shù)據(jù)庫上的大量實驗結(jié)果表明，該方法在圖像質(zhì)量評價及失真類型識別方面均取得了非常理想的結(jié)果，與目前主流無參考圖像質(zhì)量評價方法相比非常具有競爭性.

2 亮度統(tǒng)計特征分析

D L Ruderman［20］認(rèn)為圖像歸一化亮度可以去除零對數(shù)對比度的局部平均偏移和標(biāo)準(zhǔn)化對數(shù)對比度的局部方差，而且具有單位標(biāo)準(zhǔn)高斯分布特性，可以模擬人類視覺的對比度增益掩蓋過程.A Mittal［9］把亮度均值減損對比歸一化系數(shù)稱為MSCN系數(shù)，并在此基礎(chǔ)上提取亮度統(tǒng)計特征來預(yù)測圖像的感知質(zhì)量.其特征提取過程如下：

（1）提取圖像MSCN系數(shù)及其鄰域系數(shù)

式中，

C為常數(shù)，主要為了避免圖像平坦區(qū)分母趨向于零時發(fā)生不穩(wěn)定，一般取為1；ω=｛ωk，l|k=-K，…，K；l=-L，…，L｝為二維圓對稱的高斯加權(quán)函數(shù).

在MSCN系數(shù)基礎(chǔ)上，A Mittal還構(gòu)造了水平、豎直、主對角、次對角等4方向MSCN鄰域系數(shù).具體計算如下：

（2）提取MSCN系數(shù)及其鄰域系數(shù)的統(tǒng)計特征

用GGD模型擬合MSCN系數(shù)^I（i，j）的歸一化直方圖，并估計該GGD模型的參數(shù)（α，σ2）作為其統(tǒng)計特征；分別用AGGD模型擬合四方向鄰域MSCN系數(shù)H、V、D1及D2的歸一化直方圖，估計相應(yīng)AGGD模型的參數(shù)作為其統(tǒng)計特征.

A Mittal提取了兩個尺度上的36個統(tǒng)計特征，該統(tǒng)計特征不僅考慮了圖像亮度的整體分布特性，還考慮了其方向鄰域的分布特性，在圖像質(zhì)量評估中取得了比較理想的效果.但在對A Mittal提出的亮度統(tǒng)計特征研究過程中，我們發(fā)現(xiàn)：（1）不同自然無失真圖像的MSCN系數(shù)分布可能具有明顯差異，如LIVE數(shù)據(jù)庫中的圖像“buildings”與“plane”等，其MSCN系數(shù)擬合的GGD模型參數(shù)如表1所示；（2）不同失真類型圖像或不同失真程度圖像的MSCN系數(shù)可能具有相近或相同的分布，如LIVE庫中的自然無失真圖像“cemetry”與差異平均主觀評分（Difference Mean Opinion Score，DMOS）為26.8204的“dancers”jpeg失真類型圖像等，其MSCN系數(shù)擬合的GGD模型參數(shù)、相應(yīng)的失真類型和DMOS如表2所示，DMOS數(shù)值越大的圖像失真程度越嚴(yán)重.而且，TID2008［21］、CSIQ［22］等圖像質(zhì)量評價數(shù)據(jù)庫中也存在類似情況的圖像.針對這些圖像，利用亮度統(tǒng)計特征無法正確評估相應(yīng)圖像質(zhì)量，也無法正確識別圖像失真類型.

表1　MSCN系數(shù)分布具有明顯差異的自然無失真圖像

表2　MSCN系數(shù)分布相近的不同失真類型或程度圖像

自然圖像具有很強的結(jié)構(gòu)性，像素之間存在很強的相關(guān)性.根據(jù)人類視覺掩蔽特性，人眼最為敏感的是圖像的輪廓——結(jié)構(gòu)信息，而邊緣和紋理是圖像結(jié)構(gòu)信息最重要的部分.Z Wang［23］等也認(rèn)為人類視覺系統(tǒng)的主要功能是提取圖像和視頻中的結(jié)構(gòu)信息，并結(jié)合圖像的亮度、結(jié)構(gòu)度和對比度等3個方面的結(jié)構(gòu)信息構(gòu)建了適用于全參考圖像質(zhì)量評價的結(jié)構(gòu)相似度（Structure Similarity，SSIM）.而且，具有相近或相同分布的不同失真類型圖像或不同失真程度圖像的結(jié)構(gòu)可能是不同的，可以彌補亮度統(tǒng)計特征的缺陷.受此驅(qū)動，本文提出一種結(jié)合結(jié)構(gòu)信息和亮度統(tǒng)計的無參考圖像質(zhì)量評價方法.

3 NSCT子帶系數(shù)間的相關(guān)性

3.1NSCT變換

為了克服輪廓波（Contourlet）變換的“混疊”現(xiàn)象并增強其平移不變性和方向選擇性，A L Cunha等［24］于2006年提出了NSCT與Contourlet變換不同，NSCT由采用非下采樣金字塔濾波器（Nonsubsampled Pyramid Filter Banks，NSPFB）和非下采樣方向濾波器組（Nonsubsampled Directional Filter Banks，NSDFB）構(gòu)成.NSPFB是能實現(xiàn)完全重構(gòu)的雙通道濾波器，采用atrous算法設(shè)計，具有平移不變性，其處理后恢復(fù)的圖像不會出現(xiàn)偽Gibbs現(xiàn)象；NSDFB為二通道的扇形濾波器組，采用迭代方向濾波器組，并對下一級的濾波器采用梅花矩陣進(jìn)行上采樣.由于將下采樣變?yōu)閷ο鄳?yīng)的濾波器進(jìn)行上采樣，然后再對信號分別進(jìn)行分析濾波和綜合濾波，NSCT不僅具有多尺度、多方向及平移不變性等特點外，還具有保持各子帶圖像之間尺寸大小相同的優(yōu)點.而且，經(jīng)過NSCT變換后的圖像系數(shù)同時具有稀疏表現(xiàn)性和方向敏感性.

由于NSCT可以充分捕獲圖像中的具有奇異性的方向信息，而這些具有奇異性的區(qū)域往往正是觀察者所感興趣的區(qū)域，故將它應(yīng)用在圖像質(zhì)量評價中，所得評價結(jié)果將更符合人眼的視覺特性.

3.2方向子帶系數(shù)間的相關(guān)性

各NSCT方向子帶系數(shù)不僅具有獨立的分布，系數(shù)間也存在統(tǒng)計相關(guān)性.為了分析不同方向子帶系數(shù)間的相關(guān)性關(guān)系，我們根據(jù)文獻(xiàn)［25］定義各方向子帶間的關(guān)系——鄰域系數(shù)、親戚系數(shù)和父子系數(shù)，并利用互信息來定量分析這些方向子帶系數(shù)間的相關(guān)性強弱. 表3為LIVE、TID2008、CSIQ等圖像質(zhì)量評價數(shù)據(jù)庫及文獻(xiàn)［26］提供的184幅自然無失真圖像NSCT各方向子帶系數(shù)間的平均互信息（互信息通過對NSCT子帶系數(shù)直接進(jìn)行計算獲得），其中分解尺度為2，且每個尺度均分解成8個細(xì)節(jié)方向的信息.

表3　NSCT方向子帶不同系數(shù)間的平均互信息

由表3可知，尺度間和方向間的NSCT的子帶系數(shù)存在相關(guān)性，也就是說子帶系數(shù)與其親戚系數(shù)、父子系數(shù)間具有較強的依賴性；而且由于尺度、位置、方向偏離等原因，父子系數(shù)及親戚系數(shù)間的相關(guān)性依次減弱.

4 本文無參考圖像質(zhì)量評價方法

4.1失真對子帶系數(shù)間相關(guān)性的影響

為了分析不同失真類型及不同失真程度對圖像NSCT各方向子帶系數(shù)間相關(guān)性的影響，文中分別計算了LIVE及CSIQ圖像質(zhì)量評價數(shù)據(jù)庫中所有失真類型圖像NSCT方向子帶系數(shù)間的平均互信息，并通過對同種失真類型圖像NSCT親戚系數(shù)、父子系數(shù)和其它系數(shù)間分別平均獲得其相應(yīng)平均互信息，CSIQ庫中各失真類型圖像的計算結(jié)果如表4所示.

表4　CSIQ庫中各種失真類型圖像NSCT子帶系數(shù)間的平均互信息

結(jié)合表3和表4可知，針對不同失真類型圖像，其NSCT方向子帶系數(shù)間的平均互信息不僅與無失真自然圖像不同，而且各種失真類型之間也存在差異，特別是awgn和fnoise失真類型圖像NSCT親戚系數(shù)、父子系數(shù)及其它系數(shù)間的互信息均大大減小.這表明圖像發(fā)生失真會改變其NSCT方向子帶系數(shù)間的相關(guān)性，而且不同失真類型對親戚系數(shù)、父子系數(shù)和其它系數(shù)間相關(guān)性的改變方式和程度具有明顯差異.因此，可以利用NSCT方向子帶系數(shù)間的相關(guān)性進(jìn)行圖像質(zhì)量評價.

4.2子帶系數(shù)間的結(jié)構(gòu)信息統(tǒng)計特征

圖像經(jīng)過NSCT分解后可以得到與原圖像大小相同的不同頻率的方向子帶，這些子帶依然保持原圖像的基本輪廓，而輪廓是圖像最重要的結(jié)構(gòu)信息，NSCT分解不會損失圖像的結(jié)構(gòu)信息.根據(jù)人眼的視覺特性可知，其最敏感的圖像輪廓主要位于中頻帶，可以利用NSCT分解的不同頻率信息提取更符合人眼視覺特性的結(jié)構(gòu)特征.NSCT方向子帶系數(shù)間存在相關(guān)性，故它們所保持的圖像結(jié)構(gòu)信息也應(yīng)該具有一定的相似性；而且，親戚系數(shù)間及父子系數(shù)間的相關(guān)性均相對比較強，這些系數(shù)間所保持的圖像結(jié)構(gòu)信息也應(yīng)具有更強的相似性.基于此，我們認(rèn)為圖像發(fā)生失真會改變其NSCT方向子帶系數(shù)間的結(jié)構(gòu)信息相似性，特別是相關(guān)性比較強的親戚系數(shù)和父子系數(shù)間結(jié)構(gòu)信息相似性.本文分別提取失真圖像NSCT親戚系數(shù)間及父子系數(shù)間的結(jié)構(gòu)相似性測度作為圖像質(zhì)量評價的結(jié)構(gòu)信息統(tǒng)計特征，結(jié)構(gòu)相似性測度采用文獻(xiàn)［23］提出的SSIM中的結(jié)構(gòu)信息比較算子.親戚系數(shù)間和父子系數(shù)間的結(jié)構(gòu)信息統(tǒng)計特征提取過程如下：

（1）失真圖像NSCT分解

對大小為M×N的失真圖像I進(jìn)行NSCT分解，可以得到不同尺度、方向的子帶系數(shù)｛Ci0，Ci，j（i＞i0）｝.其中Ci0為低頻子帶系數(shù)，Ci，j為尺度i上第j個方向子帶系數(shù)，且Ci0和Ci，j的大小也為M×N.

（2）親戚系數(shù)間的結(jié)構(gòu)信息統(tǒng)計特征

根據(jù)定義，相同尺度但不同方向的子帶系數(shù)為親戚系數(shù).在所有親戚系數(shù)中，相鄰方向的親戚系數(shù)間具有相對更強的相關(guān)性，如果考慮所有親戚系數(shù)間的結(jié)構(gòu)信息，會得到大量冗余的統(tǒng)計特征.為了降低評價模型的復(fù)雜度和提高運行效率，本文只考慮相鄰方向親戚系數(shù)間的結(jié)構(gòu)信息統(tǒng)計特征.方向子帶系數(shù)Ci，j和其相鄰方向親戚子帶系數(shù)Ci，j+k（k∈｛-1，1｝）間的結(jié)構(gòu)信息統(tǒng)計特征為：

式中，σCi，jCi，j+k為 Ci，j和 Ci，j+k的協(xié)方差分別為Ci，j和Ci，j+k的方差；C1=（K1L）2/2為了避免分母趨向于0時不穩(wěn)定而設(shè)的常數(shù)，K1=1，L是圖像像素的動態(tài)范圍.

（3）父子系數(shù)間的結(jié)構(gòu)信息統(tǒng)計特征

根據(jù)定義，不同尺度但相同方向的子帶系數(shù)為父子系數(shù)，則方向子帶系數(shù)Ci，j與其父系數(shù)Cl，j（l=i-1）間的結(jié)構(gòu)信息統(tǒng)計特征為：

式中，σCi，jCl，j為Ci，j和Cl，j的 協(xié)方 差分別為 Ci，j和 Cl，j的方差；C=（K2L）2/2為避免分母趨向于0時不穩(wěn)定而設(shè)的常數(shù)，K2=1，L是圖像像素的動態(tài)范圍.

本文對所有圖像均進(jìn)行2個尺度且每個尺度8個方向的NSCT分解，提取的親戚系數(shù)、父子系數(shù)間的結(jié)構(gòu)信息統(tǒng)計特征數(shù)量分別為16和8，共計24個.圖1為LIVE圖像質(zhì)量評價數(shù)據(jù)庫中圖像“monarch”在不同失真類型及不同失真程度下的結(jié)構(gòu)信息統(tǒng)計特征.

由圖1可知，jp2k、gblur及ff失真類型中圖像失真越嚴(yán)重，相應(yīng)圖像NSCT子帶親戚系數(shù)及父子系數(shù)間結(jié)構(gòu)信息統(tǒng)計特征也就越大；wn失真類型則正好相反，而jpeg失真類型沒有類似的規(guī)律.此外，同種失真類型但不同失真程度的結(jié)構(gòu)信息統(tǒng)計特征區(qū)分非常明顯.可見，本文提出的NSCT子帶親戚系數(shù)及父子系數(shù)間結(jié)構(gòu)信息統(tǒng)計特征不僅可以有效地區(qū)分圖像的不同失真類型，還可以明顯區(qū)分圖像的不同失真程度，可以用于識別圖像失真類型和評價圖像客觀質(zhì)量.

4.3結(jié)構(gòu)信息和亮度統(tǒng)計特征

MSCN系數(shù)統(tǒng)計特征主要反映圖像亮度對比度及

表5　特征提取描述

方向鄰域的統(tǒng)計特性，針對具有相似甚至相同MSCN系數(shù)分布的不同失真類型及不同失真程度圖像，其無法用于評估圖像質(zhì)量和識別圖像失真類型.NSCT子帶系數(shù)結(jié)構(gòu)信息統(tǒng)計特征主要反映子帶系數(shù)間的高度結(jié)構(gòu)相關(guān)性，可以作為MSCN系數(shù)統(tǒng)計特征有益的補充，使其更加全面的反映不同失真對圖像的影響.如前所述，本文共提取了60個統(tǒng)計特征，特征描述如表5所示.

4.4無參考圖像質(zhì)量評價模型

支持向量機（Support Vector Machine，SVM）是由Vapnik等提出的一種基于統(tǒng)計學(xué)習(xí)理論的機器學(xué)習(xí)方法，是建立在VC維理論和結(jié)構(gòu)風(fēng)險最小原理基礎(chǔ)上，根據(jù)有限的樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折衷.SVM用結(jié)構(gòu)風(fēng)險最小化代替經(jīng)驗風(fēng)險最小化，較好地解決了小樣本的學(xué)習(xí)問題；將低維原始空間映射到高維特征空間，將原始空間的非線性問題轉(zhuǎn)化成為特征空間中的高維線性問題；引入核函數(shù)方法，巧妙避開了高維空間中的復(fù)雜運算，其算法復(fù)雜度與樣本維數(shù)無關(guān).

鑒于SVM在預(yù)測和分類方面的良好性能，本文采用SVM構(gòu)建圖像質(zhì)量評價模型和圖像失真類型識別模型，主要借助臺灣大學(xué)林智仁博士等開發(fā)設(shè)計的LIBSVM-3.18工具包.LIBSVM-3.18是一個操作簡單、易于使用、快速有效的通用SVM軟件包，可以在不同平臺、多種語言環(huán)境下運行，可以解決分類問題、回歸問題以及分布估計等問題，提供了線性、多項式、徑向基和S形函數(shù)四種常用的核函數(shù)，詳見文獻(xiàn)［27］.本文圖像質(zhì)量評價模型和失真類型識別模型分別采用epsilon-SVR回歸支持向量機和C-SVC多類分類方法，核函數(shù)均采用徑向基函數(shù).

5 仿真結(jié)果及性能分析

為了檢驗本文基于結(jié)構(gòu)信息和亮度統(tǒng)計的無參考圖像質(zhì)量評價模型（簡記為SILSIQA）的性能，選取LIVE及CSIQ圖像質(zhì)量評價數(shù)據(jù)庫進(jìn)行測試.測試內(nèi)容主要包括以下幾個方面：（1）圖像質(zhì)量評價模型的預(yù)測質(zhì)量分與主觀評價分DMOS間的相關(guān)性；（2）圖像失真類型分類準(zhǔn)確率；（3）圖像質(zhì)量評價模型和圖像失真類型識別模型的魯棒性；（4）計算復(fù)雜性分析.

5.1算法與DMOS的相關(guān)性

為了與目前主流的基于自然場景統(tǒng)計的無參考圖像質(zhì)量評價方法BRISQUE［9］、MIQA［10］、SSEQ［11］、BLIINDS-Ⅱ［13］、DIIVINE［14］、C-DIIVINE［15］、CurveletQA［16］及 SHANIA［18］等進(jìn)行公平的比較及避免人為提高算法的性能，本文采用與這些文獻(xiàn)相同的測試方法.該測試方法主要步驟如下：

（1）把LIVE數(shù)據(jù)庫隨機分成訓(xùn)練圖像集和測試圖像集，分別占80%和20%，并且這兩個圖像集中沒有任何重復(fù)的圖像；

（2）利用訓(xùn)練圖像集中各圖像提取的特征及其相應(yīng)的DMOS對評價模型進(jìn)行訓(xùn)練，并用測試圖像集中各圖像提出的特征來獲得其質(zhì)量預(yù)測分；

（3）計算測試圖像集中所有圖像的質(zhì)量預(yù)測分與其相應(yīng)DMOS之間的斯皮爾曼等級相關(guān)系數(shù)（The Spearman’s Rank Ordered Correlation Coefficient，SROCC）及皮爾遜線性相關(guān)系數(shù)（Pearson’s Linear Correlation Coefficient，PLCC）；

（4）重復(fù)（1）、（2）及（3）1000次，選取1000次測試結(jié)果SROCC及PLCC的中值作為該算法最終評價結(jié)果.

表6和表7為各無參考評價評價方法1000次迭代測試中SROCC及PLCC的中值.SROCC和PLCC均為常用的衡量兩個變量相關(guān)性的指標(biāo)，SROCC和PLCC的值越接近于1，表明該算法的質(zhì)量預(yù)測分與相應(yīng)DMOS相關(guān)性越好，圖像質(zhì)量評價的結(jié)果也就越準(zhǔn)確.

表61000　次迭代測試中各評價方法SROCC的中值

表71000　次迭代測試中各評價方法PLCC的中值

由表6和表7可以看出，本文提出的圖像質(zhì)量評價方法的評價結(jié)果與人類主觀評價 DMOS具有很高的相關(guān)性.從整體評價結(jié)果看，本文評價方法高于BRISQUE［9］、MIQA［10］、SSEQ［11］、BLIINDS-Ⅱ［13］、DIIVINE［14］、CurveletQA［16］及SHANIA［18］等絕大多數(shù)的無參考評價方法，即使與目前表現(xiàn)最為優(yōu)良的C-DIIVINE［15］相比，也具有很強的競爭性；從各失真類型評價結(jié)果看，相對于其它無參考評價方法，本文評價方法在 jp2k、wn及 ff失真類型評價中優(yōu)勢比較明顯.

5.2分類準(zhǔn)確率

如4.2部分所述，針對不同失真類型及不同失真程度圖像，NSCT子帶親戚系數(shù)及父子系數(shù)間的結(jié)構(gòu)信息統(tǒng)計特征具有很好的區(qū)分能力，故我們認(rèn)為這些特征應(yīng)該也可以用來識別圖像的失真類型.為了檢驗這些統(tǒng)計特征識別圖像失真類型的效果及與其它的識別方法進(jìn)行公平的比較，本文采用類似于圖像質(zhì)量評價的測試方法.表8為各算法在LIVE數(shù)據(jù)庫上的測試結(jié)果，圖2為1000次測試的混淆矩陣，混淆矩陣中每個數(shù)值表示行對應(yīng)失真類型被判為列對應(yīng)失真類型的概率，同一行的所有數(shù)值之和為1.

表8　LIVE圖像庫1000次迭代測試中分類準(zhǔn)確率中值（%）

由表8和圖2可知，本文所提取NSCT子帶系數(shù)結(jié)構(gòu)信息統(tǒng)計特征與MSCN系數(shù)統(tǒng)計特征具有很好的識別圖像失真類型的效果，不論是整體識別準(zhǔn)確率還是各失真類型識別準(zhǔn)確率基本上都是最高的.在各失真類型中，識別效果最好的是 wn和gblur，而jp2k、jpeg及ff識別率相對比較低.主要原因：（1）高斯噪聲wn會弱化NSCT方向子帶系數(shù)間的相關(guān)性，產(chǎn)生大量的偽邊緣，使NSCT子帶系數(shù)結(jié)構(gòu)信息統(tǒng)計特征大大減?。唬?）高斯模糊gblur會減小圖像的高頻信息，弱化圖像的邊緣和紋理，使NSCT子帶系數(shù)結(jié)構(gòu)信息統(tǒng)計特征大大增加；（3）jpeg會出現(xiàn)馬賽克失真，產(chǎn)生模糊效應(yīng)，而ff失真是由圖像先經(jīng)過jp2k壓縮后再經(jīng)過網(wǎng)絡(luò)傳輸丟包造成的，ff和jp2k也存在模糊效應(yīng)，故識別過程中它們之間會出現(xiàn)誤判.

5.3模型的魯棒性

由于本文的無參考圖像質(zhì)量評價模型和圖像失真類型識別模型均需要進(jìn)行訓(xùn)練，那么不同比例的訓(xùn)練和測試圖像集會影響相應(yīng)模型的評價和識別效果.為了分析其對本文評價模型和失真類型識別模型的影響程度，我們把LIVE庫中的圖像分別按照70%和30%、60%和40%及50%和50%的比例隨機分為訓(xùn)練集和測試集，分別采用與5.1和5.2部分類似的方法進(jìn)行了3組實驗.圖像質(zhì)量評價模型的實驗結(jié)果如表9和表10所示，圖像失真類型識別模型的實驗結(jié)果如表11所示.

表9　不同訓(xùn)練和測試比例情況下的1000次迭代測試的SROCC中值

表10　不同訓(xùn)練和測試比例情況下的1000次迭代測試的PLCC中值

由表6、表7、表9和表10可知，隨著訓(xùn)練數(shù)據(jù)的減少，本文評價模型在整體和各失真類型上的評價結(jié)果與人類主觀評價DMOS間的SROCC及PLCC出現(xiàn)降低，但降低的程度并不明顯.在LIVE圖像庫中只有50%圖像用于訓(xùn)練的情況下，整體評價結(jié)果的SROCC 及PLCC依然高達(dá)0.937以上，模型評估結(jié)果與主觀評價間保持很高的一致性.

表11　不同訓(xùn)練和測試比例情況下的1000次迭代測試的分類準(zhǔn)確率中值（%）

由表8和表11可知，隨著訓(xùn)練數(shù)據(jù)的減少，本文失真類型識別模型在整體和各失真類型上的識別準(zhǔn)確率出現(xiàn)略微降低，但仍然保持比較高的識別準(zhǔn)確率.即使在LIVE圖像庫中只有50%圖像用于訓(xùn)練的情況下，本文識別模型的識別準(zhǔn)確率仍然達(dá)到89.41%，高于80%圖像用于訓(xùn)練的BRISQUE［9］、MIQA［10］、SSEQ［11］、DIIVINE［14］、CDIIVINE［15］及CurveletQA［16］等目前主要的算法.

綜上可知，本文的無參考圖像質(zhì)量評價模型和圖像失真類型識別模型具有比較好的魯棒性.

5.4計算復(fù)雜性分析

在無參考圖像質(zhì)量評價中，一般特征提取所需要花費的時間遠(yuǎn)大于分類和回歸所需時間.故在比較不同評價方法的計算復(fù)雜性時，本文只考慮特征提取過程.SILSIQA方法提取特征分為三個步驟：（1）對圖像進(jìn)行NSCT分解；（2）提取NSCT子帶親戚系數(shù)與父子系數(shù)間的結(jié)構(gòu)信息統(tǒng)計特征；（3）提取MSCN系數(shù)的統(tǒng)計特征.在計算復(fù)雜性實驗中，采用CSIQ數(shù)據(jù)庫中分辨率為512×512的所有失真圖像，分別計算每個圖像在提取特征的三個步驟所消耗的時間，并分別進(jìn)行平均作為各個步驟實際所花費的時間，進(jìn)而計算三個步驟所消耗的時間的百分?jǐn)?shù)如表12所示.

表12　SILSIQA特征提取各個階段消耗時間所占的百分?jǐn)?shù)

此外，為了比較SILSIQA與其它無參考圖像質(zhì)量評價方法的時間復(fù)雜性，我們計算各方法在提取CSIQ數(shù)據(jù)庫所有圖像相應(yīng)特征所消耗的時間，并分別用其平均值作為該方法在提取特征過程中實際花費的時間.所有運算均在聯(lián)想臺式機（dual-core CPU，3.19GHz and 4GB RAM，Windows 7 Pro 32-bit）運行沒有優(yōu)化的matlab程序，計算結(jié)果如表13所示.

表135　種無參考圖像質(zhì)量評價算法運行時間比較

由表13可知，SILSIQA方法的計算復(fù)雜性明顯優(yōu)于BLIINDS-Ⅱ［13］和DIIVINE［14］，但劣于BRISQUE［9］和CurveletQA［16］.主要原因如下：（1）BRISQUE雖然提取36個空間域統(tǒng)計特征，但提取過程僅進(jìn)行簡單的廣義高斯函數(shù)擬合，運行效率最高；（2）CurveletQA雖然只有12個特征，但需要進(jìn)行Curvelet分解和計算方向能量及scalar能量分布等，這些特征的計算需要一定的運行時間；（3）BLIINDS-Ⅱ需要分別提取DCT系數(shù)3個頻率帶和3個方向帶的能量等統(tǒng)計特征，而且特征計算過程比較復(fù)雜，需要相當(dāng)長的運行時間；（4）DIIVINE提取的特征數(shù)高達(dá)88個，而且特征提取過程中包含需要相當(dāng)長的運行時間的可操縱金字塔分解和結(jié)構(gòu)相似度計算，運行效率最低；（5）SILSIQA提取了60個統(tǒng)計特征，進(jìn)行NSCT分解和計算NSCT親戚系數(shù)、父子系數(shù)間的結(jié)構(gòu)信息統(tǒng)計特征需要比較長的運行時間.

6 結(jié)論

研究表明，人類視覺系統(tǒng)的感知特性與自然場景的統(tǒng)計特性是一致對應(yīng)的，本文結(jié)合NSCT域和空間域自然場景統(tǒng)計提出了一種通用的無參考圖像質(zhì)量評價方法.在NSCT域，利用NSCT方向子帶親戚系數(shù)和父子系數(shù)間的結(jié)構(gòu)相似度描述圖像的結(jié)構(gòu)相關(guān)性，這些系數(shù)間的結(jié)構(gòu)相似度不僅對不同圖像失真類型具有很好的區(qū)分度，對相同失真類型但不同失真程度的圖像仍然具有優(yōu)良的分辨能力；在空間域，分別提取MSCN系數(shù)的GGD模型參數(shù)和MSCN鄰域系數(shù)的AGGD模型參數(shù)，這些參數(shù)雖然對相同失真類型但不同失真程度的圖像區(qū)分能力相對較低，但與這些圖像的主觀質(zhì)量評價DMOS間相關(guān)程度比較高.NSCT域和空間域的統(tǒng)計特征可以互相補充，比較全面的反映各種失真對圖像結(jié)構(gòu)等信息的影響，相應(yīng)的無參考圖像質(zhì)量評價方法在評價效果、分類精度、計算復(fù)雜性等方面均取得了比較理想的結(jié)果.

［1］H R Sheikh，A C Bovik，L K Cormack.No-reference quality assessment using natural scene statistics：jpeg2000［J］. IEEE Transactions on Image Processing，2005，14（11）：1918-1927.

［2］J Zhang，S H Ong，T M Le.Kurtosis-based no-reference quality assessment of JPEG2000 images［J］.Signal Processing：Image Communication，2011，26（1）：13-23.

［3］B Tomás，Q M Paula.No-reference image quality assessment based on DCT domain statistics［J］.Signal Processing，2008，88（4）：822-833.

［4］S A Golestaneh，D M Chandler.No-reference quality assessment of JPEG images via a quality relevance map［J］. IEEE Signal Processing Letters，2014，21（2）：155-158.

［5］S Corchs，F(xiàn) Gasparini，R Schettini.No reference image quality classification for JPEG-distorted images［J］.Digital Signal Processing：A Review Journal，2014，30：86-100.

［6］A Serir，F(xiàn) Kerouh，A Beghdadi.No-reference blur image quality measure based on multiplicative multiresolution decomposition［J］.Journal of Visual Communication and Image Representation，2013，24（7）：911-925.

［7］A Ciancio，C A Da，et al.No-reference blur assessment of digital pictures based on multifeature classifiers［J］.IEEE Transactions on Image Processing，2011，20（1）：64-75.

［8］R Ferzli，L J Karam.A no-reference objective image sharpness metric based on the notion of Just Noticeable Blur （JNB）［J］.IEEE Transactions on Image Processing，2009，18（4）：717-728.

［9］A Mittal，A K Moorthy，A C Bovik.No-reference image quality assessment in the spatial domain［J］.IEEE Transactions on Image Processing，2012，21（12）：4695-4708.

［10］董宏平，劉利雄.互信息域中的無參考圖像質(zhì)量評價［J］.中國圖象圖形學(xué)報，2014，19（3）：484-492. Dong Hong-ping，Liu Li-xiong.No-reference image quality assessment in mutual information domain［J］.Journal of Image and Graphics，2014，19（3）：484-492.（in Chinese）

［11］L X Liu，B Liu，H C Huang.No-reference image quality assessment based on spatial and spectral entropies［J］. Signal Processing：Image Communication，2014，29（8）：856-863.

［12］Y Zhang，D M Chandler.No-reference image quality assessment based on log-derivative statistics of natural scenes［J］.Journal of Electronic Imaging，2013，22 （4）：043025.

［13］M A Saad，A C Bovik，C Charrier.Blind image quality assessment：A natural scene statistics approach in the DCT domain［J］.IEEE Transactions on Image Processing，2012，21（8）：3339-3352.

［14］A K Moorthy，A C Bovik.Blind image quality assessment：From natural scene statistics to perceptual quality ［J］.IEEE Transactions on Image Processing，2011，20 （12）：3350-3364.

［15］Y Zhang，A K Moorthy，et al.C-DIIVINE：No-reference image quality assessment based on local magnitude and phase statistics of natural scenes［J］.Signal Processing：Image Communication，2014，29（7）：725-747.

［16］L X Liu，H P Dong，H Huang.No-reference image quality assessment in curvelet domain［J］.Signal Processing：Image Communication，2014，29（4）：494-505.

［17］賈惠珍，孫權(quán)森，王同罕.結(jié)合感知特征和自然場景統(tǒng)計的無參考圖像質(zhì)量評價［J］.中國圖象圖形學(xué)報，2014，19（6）：859-867. Jia Hui-zhen，Sun Quan-sen，Wang Tong-han.Blind image quality assessment based on perceptual features and natural scene statistics［J］.Journal of Image and Graphics，2014，19（6）：859-867.（in Chinese）

［18］Y M Li，L M Po，X Y Xu，et al.No-reference image quality assessment using statistical characterization in the shearlet domain［J］.Signal Processing：Image Communication，2014，29（7）：748-759.

［19］H R Sheikh，Z Wang，et al.LIVE image quality assessment database release 2［OL］.http：//live.ece.utexas. edu/research/quality，2004-08-11.

［20］D L Ruderman.The statistics of natural images［J］.Network Computation in Veural Systems，1994，5（4）：517 -548.

［21］N Ponomarenko，V Lukin，et al.TID2008-a database for evaluation of full-reference visual quality assessment metrics［J］.Advances of Modern Radio Electronics，2009，10：30-45.

［22］E C Larson，D M Chandler.Categorical subjective imagequality CSIQ database［OL］.http：//vision.okstate.edu/ csiq，2004-08-11.

［23］Z Wang，A C Bovik，et al.Image quality assessment：from error visibility to structural similarity［J］.IEEE Transactions on Image Processing，2004，13（4）：600-612.

［24］A L Cunha，J P Zhou，M N Do.The nonsubsampled contourlet transform：theory，design，and applications［J］.IEEE Transactions on Image Processing，2006，15（10）：3089 -3101.

［25］王相海，倪培根，蘇欣，等.非下采樣Contourlet HMT模型［J］.中國科學(xué)：信息科學(xué)，2013，43（11）：1431-1444. Wang Xiang-hai，Ni Pei-gen，Su Xin，et al.The nonsubsampled Contourlet HMT model［J］.CIENTIA SINICA Informationis，2013，43（11）：1431-1444.（in Chinese）

［26］A Mittal，R Soundararajan，A C Bovik.Making a‘completely’blind image quality analyzer［J］.IEEE Signal Processing Letters，2013，22（3）：209-212.

［27］C C Chang，C J Lin.LIBSVM：a library for support vector machines［J］.ACM Transactions on Intelligent Systems and Technology，2011，27（2）：1-27.

沈軍民 男，1976年6月出生，浙江金華人.2003年和2011年分別在中國計量科學(xué)研究院和東華大學(xué)獲工學(xué)碩士和工學(xué)博士學(xué)位.現(xiàn)為浙江理工大學(xué)講師，主要從事圖像質(zhì)量評價、機器視覺及產(chǎn)品檢測等方面的研究工作.

E-mail：sjumi1976@163.com

戴文戰(zhàn) 男，1958年8月出生，浙江臺州人.1982年、1988年分別在浙江大學(xué)、華東理工大學(xué)獲工學(xué)學(xué)士、工學(xué)碩士學(xué)位.現(xiàn)為浙江工商大學(xué)教授、博士生導(dǎo)師，主要從事視頻圖像處理、圖像融合與系統(tǒng)工程.

E-mail：dwz@zjgsu.edu.cn

李俊峰（通信作者） 男，1978年8月出生，河南南陽人.2002年、2005年和2010年分別在鄭州大學(xué)、浙江理工大學(xué)和東華大學(xué)獲工學(xué)學(xué)士、工學(xué)碩士和工學(xué)博士學(xué)位.現(xiàn)為浙江理工大學(xué)副教授、碩士生導(dǎo)師，主要從事視頻圖像處理與質(zhì)量評價、圖像融合與目標(biāo)識別等方面的研究工作.

E-mail：ljf2003@zstu.edu.cn

No-Reference Image Quality Assessment Based on Structure Information and Luminance Statistics

SHEN Jun-min1，LI Jun-feng2，DAI Wen-zhan3

（1.Department of Electronic Information Engineering，Zhejiang Sci-Tech University，Hangzhou，Zhejiang 310018，China；2.Department of Automation，Zhejiang Sci-Tech University，Hangzhou，Zhejiang 310018，China；3.Department of Electronic Information Engineering，Zhejiang Gongshang University，Hangzhou，Zhejiang 310018，China）

Based on the correlation between subband coefficients of nonsubsampled contourlet transform（NSCT），a general-purpose no-reference image quality assessment（NR-IQA）method is proposed.Firstly，the correlation between NSCT subband coefficients was analyzed using mutual information and the subband coefficients with strong correlation were determined.Secondly，the structure comparison operator of those subband coefficients were calculated respectively and used to describe the statistics characteristic of image structure information.Moreover，a no-reference image quality assessment model and an image distortion type recognition model were constructed by combining the statistical features of the mean subtracted contrast normalized（MSCN）coefficients and the structural similarity of NSCT coefficients.Finally，a large number of simulation experiments were carried out in the LIVE image quality evaluation database.The simulation results show that this method is suitable for many common image distortion types and correlates well with the human judgments of image quality，and the assessment model is competitive with the nowadays’mainstream evaluation method.

no-reference image quality assessment；nonsubsampled contourlet transform；structural similarity；luminance statistics

TN919.81

A

0372-2112（2016）04-0804-09

電子學(xué)報URL：http：//www.ejournal.org.cn 10.3969/j.issn.0372-2112.2016.04.008

2014-08-08；

2015-07-22；責(zé)任編輯：李勇鋒

國家自然科學(xué)基金（No.61374022）；浙江省公益性技術(shù)應(yīng)用研究計劃（No.2014C33109）