無(wú)參考圖像質(zhì)量評(píng)價(jià)

朱文斌　陳強(qiáng)　楊曦晨

摘 要：圖像質(zhì)量評(píng)價(jià)是近幾年圖像處理領(lǐng)域比較熱門(mén)的研究課題。目前，許多學(xué)者已經(jīng)提出了各種各樣的無(wú)參考質(zhì)量評(píng)價(jià)方法。對(duì)無(wú)參考方法進(jìn)行綜述，詳細(xì)介紹BIQI，BLIINDS?Ⅱ，BRISQUE，DESIQUE，DIIVINE，NIQE，SSEQ等無(wú)參考質(zhì)量評(píng)價(jià)方法，并在LIVE和TID2008數(shù)據(jù)庫(kù)上進(jìn)行實(shí)驗(yàn)分析，最后根據(jù)分析的結(jié)果探討圖像質(zhì)量評(píng)價(jià)的發(fā)展方向。

關(guān)鍵詞： 圖像質(zhì)量評(píng)價(jià)； 無(wú)參考； 自然場(chǎng)景統(tǒng)計(jì)特征； 變換域

中圖分類(lèi)號(hào)： TN911.73?34； TP391 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2015）18?0081?08

Abstract： Image quality assessment is a hot research topic in the field of image processing in recent years. Many scholars have proposed a variety of non?reference image quality evaluation methods. Some non?reference image quality assessment algorithms are summarized in this paper， such as BIQI， BLIINDS?II， BRISQUE， DESIQUE， DIIVINE， NIQE and SSEQ. They were tested and analyzed on LIVE and TID2008 database. The development direction for image quality assessment is discussed in this paper according to the analysis results.

Keywords： image quality assessment； no?reference； natural scene statistic； transform domain

0 引 言

數(shù)字圖像在獲取、存儲(chǔ)、傳輸、顯示的過(guò)程中，都有可能會(huì)引入失真，導(dǎo)致圖像質(zhì)量的下降。失真圖像丟失了一些重要信息，可能導(dǎo)致滿(mǎn)足不了應(yīng)用與系統(tǒng)要求[1]。特別是隨著互聯(lián)網(wǎng)的快速發(fā)展，在網(wǎng)絡(luò)中傳輸?shù)膱D像因帶寬、時(shí)效等限制條件，圖像經(jīng)常會(huì)受到壓縮比例較大的壓縮而造成嚴(yán)重的失真。因此，如何準(zhǔn)確地衡量圖像質(zhì)量的好壞，成為了計(jì)算機(jī)視覺(jué)以及圖像處理領(lǐng)域熱門(mén)且具有挑戰(zhàn)性的問(wèn)題。

按照是否需要人的參與，圖像質(zhì)量評(píng)價(jià)方法可以分為兩類(lèi)：主觀圖像質(zhì)量評(píng)價(jià)和客觀圖像質(zhì)量評(píng)價(jià)[2]。主觀圖像質(zhì)量評(píng)價(jià)由人眼視覺(jué)效果對(duì)圖像進(jìn)行評(píng)價(jià)；與此對(duì)應(yīng)，客觀圖像質(zhì)量評(píng)價(jià)算法則基于特定算法由計(jì)算設(shè)備對(duì)圖像進(jìn)行自動(dòng)評(píng)價(jià)。主觀質(zhì)量評(píng)價(jià)一般由大量的觀察者對(duì)圖像打分，且易受評(píng)價(jià)環(huán)境、評(píng)價(jià)參與者知識(shí)水平以及評(píng)價(jià)人員情緒的影響。主觀評(píng)價(jià)結(jié)果隨機(jī)性較強(qiáng)，很難在實(shí)時(shí)圖像系統(tǒng)中應(yīng)用[3]?；谥饔^質(zhì)量評(píng)價(jià)的局限性，客觀質(zhì)量評(píng)價(jià)算法被廣泛研究?？陀^質(zhì)量評(píng)價(jià)方法不需要人工參與，因此能被用到各種圖像處理算法的性能評(píng)價(jià)和實(shí)時(shí)圖像系統(tǒng)中。研究高效、優(yōu)秀的圖像質(zhì)量評(píng)價(jià)算法，具有很高的現(xiàn)實(shí)意義。

根據(jù)能夠得到的參考圖像（原始圖像）信息的多少，客觀的圖像質(zhì)量評(píng)價(jià)方法分為全參考質(zhì)量評(píng)價(jià)方法、半?yún)⒖假|(zhì)量評(píng)價(jià)方法和無(wú)參考質(zhì)量評(píng)價(jià)方法[4]。全參考質(zhì)量評(píng)價(jià)方法，指的是能獲得參考圖像所有信息的評(píng)價(jià)方法。通過(guò)計(jì)算待評(píng)價(jià)的圖像與原始圖像之間的差異性，對(duì)圖像進(jìn)行評(píng)價(jià)。全參考方法目前已經(jīng)比較成熟可靠，半?yún)⒖荚u(píng)價(jià)方法能獲得原始圖像的部分信息，無(wú)參考評(píng)價(jià)方法，則無(wú)法獲得參考圖像的任何信息。本文主要討論無(wú)參考評(píng)價(jià)方法。

1 相關(guān)模型介紹

1.1 圖像對(duì)比度歸一化[5]

1.2 對(duì)稱(chēng)廣義高斯模型和均值非零的非對(duì)稱(chēng)廣義高斯分布模型

自然圖像統(tǒng)計(jì)特征直方圖滿(mǎn)足高斯分布，因此高斯模型可以被用來(lái)模型化實(shí)驗(yàn)數(shù)據(jù)。高斯模型分為均值為零的對(duì)稱(chēng)廣義高斯模型（Generalized Gaussian Distribution，GGD）和均值非零的非對(duì)稱(chēng)廣義高斯分布模型（Asymmetric Generalized Gaussian Distribution，AGGD）。

如圖2所示，圖1（b）的MSCN的統(tǒng)計(jì)直方圖滿(mǎn)足高斯分布，其可以用GGD模型進(jìn)行模擬。

GGD模型如式（5）所示，σ2是分布的方差，α控制著分布的形狀，例如當(dāng)α=2時(shí)，此分布是高斯分布，α=1時(shí)此分布是拉普拉斯分布。GGD（α，σ2）參數(shù)對(duì)可以使用文獻(xiàn)[6]中的瞬間匹配方法快速計(jì)算得到。

2 方法介紹

2.1 NIQE [7]

2.1.1 特征介紹

假設(shè)某一幅輸入圖像I（M×N）。該方法首先對(duì)圖像進(jìn)行去均值與標(biāo)準(zhǔn)化，得到圖像的MSCN即[I]。研究發(fā)現(xiàn)，質(zhì)量較好的自然圖像的統(tǒng)計(jì)特征滿(mǎn)足高斯模型，然而失真會(huì)破壞這種模型，因而這種變化的程度會(huì)體現(xiàn)在人的感知上。如圖3所示，5種失真圖像的統(tǒng)計(jì)直方圖都與參考圖像有著較大的差異。

NIQE方法采用96×96，塊間無(wú)重合的方式對(duì)[I]進(jìn)行分塊。由于人眼對(duì)于對(duì)比度比較大的圖像區(qū)域更加的敏感，因此對(duì)前述得到的這些圖像塊進(jìn)行篩選。計(jì)算每個(gè)塊的局部對(duì)比度均值[σ（b）=（i，j）∈patchbσ（i，j）]，篩選出[σ（b）>T][T=p·max（σ（i，j））， i∈[1，M]；j∈[1，N]；p=0.75]的圖像塊進(jìn)行特征提取。對(duì)上述步驟篩選得到的圖像塊，使用對(duì)稱(chēng)廣義高斯模型（GGD，式（5）進(jìn)行建模，得到基于空域點(diǎn)的特征GGD（α，β）。同時(shí)分別從橫向、縱向、主對(duì)角線、副對(duì)角線4個(gè)方向?qū)ο噜徬袼厥褂梅菍?duì)稱(chēng)廣義高斯分布模型進(jìn)行（AGGD，式（8）進(jìn)行建模，分別得到特征AGGD（γ，βl，βr，η），共得到16個(gè)參數(shù)。上述步驟一共得到18個(gè)特征。對(duì)同一個(gè)圖像使用最近鄰算法進(jìn)行下采樣，用同樣的方法得到18個(gè)參數(shù)，一幅圖像共得到36個(gè)特征。

2.1.2 模型訓(xùn)練與評(píng)價(jià)圖像

本方法對(duì)訓(xùn)練集中的原始高質(zhì)量自然圖像進(jìn)行特征提取，獲得一個(gè)N×36的特征矩陣。對(duì)這個(gè)矩陣求均值得到一個(gè)1×36行向量ν1以及求協(xié)方差得到協(xié)方差矩陣[Σ1]。作為模型用于評(píng)價(jià)圖像質(zhì)量。對(duì)于待評(píng)價(jià)的圖像，同樣進(jìn)行上述特征提取的所有步驟（除了沒(méi)有塊篩選步驟），得到一個(gè)行向量ν2以及協(xié)方差矩陣[Σ2]。

通過(guò)計(jì)算理想模型與失真圖像參數(shù)之間的差異，如式（11），得到最終的質(zhì)量評(píng)價(jià)分?jǐn)?shù)：

[Index=ν1-ν2TΣ1+Σ22-1ν1-ν2] （11）

式中ν1，ν2和[Σ1]，[Σ2]分別為理想模型和實(shí)際圖像的均值向量與協(xié)方差矩陣。

2.2 BRISQUE[8]

2.2.1 特征介紹

此方法類(lèi)似于前述的NIQE方法，但是沒(méi)有分塊步驟。對(duì)于訓(xùn)練圖像I，首先計(jì)算其MSCN得到[I]，然后對(duì)[I]進(jìn)行空域廣義高斯模型GGD建模得到參數(shù)[GGDα，σ2]。接著再在橫向、縱向、主對(duì)角線、副對(duì)角線4個(gè)方向上使用非對(duì)稱(chēng)廣義高斯分布模型AGGD進(jìn)行建模，分別得到[AGGDγ，σ2l，σ2r，η]，共得到16個(gè)特征。然后使用最近鄰算法進(jìn)行下采樣，在另一個(gè)尺度上對(duì)提取特征，最終訓(xùn)練圖像獲得36的特征。

2.2.2 模型訓(xùn)練與分值計(jì)算

將圖像數(shù)據(jù)集分成訓(xùn)練集和測(cè)試集，將訓(xùn)練集的圖像利用上述的方法進(jìn)行特征提取，得到特征向量。利用Libsvm對(duì)訓(xùn)練集中圖像的特征向量及其對(duì)應(yīng)MOS值進(jìn)行支持向量回歸學(xué)習(xí)[3，9]，得到圖像評(píng)價(jià)模型。對(duì)于某一個(gè)測(cè)試圖像，按照前述方法提取出特征向量，再使用得到的圖像質(zhì)量評(píng)價(jià)模型，回歸計(jì)算得到最終的分?jǐn)?shù)Index。

2.3 DESIQUE[9]

2.3.1 特征介紹

本方法分別基于頻域與空域進(jìn)行特征提?。?/p>

基于空域的特征提?。菏紫扔?jì)算圖像的MSCN，得到[I]。然后對(duì)其進(jìn)行廣義高斯模型GGD擬合，得到特征參數(shù)GGD（α，σ2）。然后對(duì)[I]進(jìn)行對(duì)數(shù)化得到[J（i，j）]如式（12）所示：

[J（i，j）=lnI（i，j）+K， K=0.1] （12）

分別在0°，45°，90°，135°以及主對(duì)角線減副對(duì)角線5個(gè)方向上對(duì)[J（i，j）]進(jìn)行GGD擬合，分別得到GGD（α， σ2），共獲得10個(gè)特征參數(shù)。

基于頻域的特征提?。涸陬l域，首先對(duì)圖像在2個(gè)方向（水平和垂直）方向上進(jìn)行了log?Gabor變換，得到2個(gè)log?Gabor子帶[g（i，j）]。然后對(duì)這2個(gè)子帶分別進(jìn)行對(duì)數(shù)化得到[J（i，j）]，如式（13）所示：

[J（i，j）=lngi，j+K， K=0.1] （13）

其中[gi，j]代表的是模。最后對(duì)2個(gè)子帶[J（i，j），]分別在0°，45°，90°，135°以及主對(duì)角線減副對(duì)角線5個(gè)方向上對(duì)[J（i，j）]進(jìn)行GGD擬合，分別得到GGD（α，σ2），共獲得20個(gè)參數(shù)（2個(gè)參數(shù)×5個(gè)方向×2個(gè)子帶）。

最后對(duì)圖像使用最近鄰算法進(jìn)行下采樣，提取出20個(gè)特征參數(shù)，DESIQUE方法一共得到60個(gè)特征參數(shù)。

2.3.2 模型訓(xùn)練與分值計(jì)算

DESIQUE 將圖像數(shù)據(jù)庫(kù)分為訓(xùn)練集和測(cè)試集2部分。方法首先對(duì)圖像進(jìn)行特征提取，得到訓(xùn)練圖像特征集。模型訓(xùn)練分2步進(jìn)行，分別為不針對(duì)特定失真類(lèi)型的訓(xùn)練和針對(duì)特定失真類(lèi)型的訓(xùn)練。第1步是將所有訓(xùn)練圖的特征及其對(duì)應(yīng)的DMOS利用SVM進(jìn)行分類(lèi)訓(xùn)練，得到Model?Svm。假設(shè)圖像數(shù)據(jù)庫(kù)有N種失真類(lèi)型，第2步是針對(duì)特定的失真，將圖像根據(jù)其真實(shí)的失真類(lèi)型分類(lèi)，每一類(lèi)失真類(lèi)型的圖像分別與其對(duì)應(yīng)DMOS分別使用SVR進(jìn)行回歸，得到此失真類(lèi)型的回歸模型Model?n，其中n取1～N。

對(duì)測(cè)試圖像分別進(jìn)行頻域與空域的特征提取。其評(píng)價(jià)由下步驟獲得：首先，假設(shè)不知道測(cè)試圖像的失真類(lèi)型，然后使用SVM基于model?svm對(duì)圖像進(jìn)行分類(lèi)，計(jì)算其屬于各種失真類(lèi)型的概率，記為向量P（p1，p2，…，pN）。再分別假設(shè)其屬于某個(gè)特定失真類(lèi)型，基于Model?n，利用SVR模型，分別計(jì)算其分?jǐn)?shù)，組成分?jǐn)?shù)向量S（s1，s2，…，sN）。最后，計(jì)算待評(píng)價(jià)圖像的質(zhì)量分?jǐn)?shù)為Index，如式（14）所示：

[Index=P?S=i=1Npi×si] （14）

2.4 BIQI[10]

2.4.1 特征介紹

首先使用Daubechieds [97]小波基對(duì)圖像進(jìn)行3個(gè)尺度，3個(gè)方向的變換，得到9個(gè)子帶。NSS研究表明，經(jīng)過(guò)這種變換后，每個(gè)子帶的系數(shù)呈現(xiàn)出拉普拉斯分布，并可以使用廣義高斯分布GGD模型進(jìn)行參數(shù)化。它有3個(gè)參數(shù)，分別是均值μ、形狀參數(shù)α、方差σ2，因?yàn)樾〔ㄗ儞Q后的系數(shù)均值為0，所以每個(gè)子帶可以得到特征參數(shù)α，σ2。因此一幅圖像一共可以得到18個(gè)特征（3尺度×3方向×2參數(shù)）。

2.4.2 模型訓(xùn)練與分值計(jì)算

本方法使用了和DESIQUE相同的2步驟模型訓(xùn)練與計(jì)算分?jǐn)?shù)方法得到測(cè)試圖像的分值Index。

2.5 DIIVINE[11]

2.5.1 特征介紹

本方法使用可轉(zhuǎn)向金字塔小波分解對(duì)圖像在2個(gè)尺度6個(gè)方向上進(jìn)行分解，得到12個(gè)分解結(jié)果子帶，記為[Sθa]， 其中a代表尺度，可取1和2，θ代表方向，可以取[0o，30o，60o，90o，120o，150o]。然后對(duì)每一個(gè)子帶進(jìn)行正?；玫絒dθa]。此方法利用[dθa]一共提取88個(gè)圖像特征用于質(zhì)量評(píng)價(jià)。

（1） 對(duì)每一個(gè)[dθa]，使用廣義高斯分布模型GGD對(duì)其進(jìn)行模擬，因?yàn)榻鹱炙〔ㄗ儞Q后的系數(shù)均值為0，因此每個(gè)子頻帶可以獲得參數(shù)GGD（σ2，γ），12個(gè)子頻帶共獲得24個(gè)參數(shù)，組成f1～f24。

（2） 圖像天然是多尺度的。不同尺度，同一個(gè)方向的子頻帶間存在著某種關(guān)系。不同尺度，同一個(gè)方向的子頻帶的系數(shù)，被結(jié)合到一起，同樣進(jìn)行廣義高斯分布模型GGD擬合，6個(gè)方向共得到12參數(shù)。因?yàn)棣?不會(huì)給分析增加比f(wàn)1～f12多的任何信息，因此6個(gè)方向只留下γ作為特征，得到f25～f30，而后最終將所有的子頻帶系數(shù)結(jié)合到一起，進(jìn)行GGD擬合得到最后的一個(gè)γ， 即f31。

（3） 實(shí)驗(yàn)證明，圖像的高通響應(yīng)和帶通響應(yīng)之間有著一定的統(tǒng)計(jì)學(xué)關(guān)系，而圖像的失真會(huì)破壞這種關(guān)系。因此每一個(gè)子頻帶可以計(jì)算得到如此一個(gè)系數(shù)ρ，[ρ=2σxy+C2σ2x+σ2y+C2]。對(duì)于每個(gè)子頻帶，使用15×15的高斯濾波器對(duì)其高通響應(yīng)和帶通響應(yīng)進(jìn)行濾波，[σ2x]，[σ2y]，[σxy]分別是高通響應(yīng)局部方差、帶通響應(yīng)局部方差和兩者之間的互協(xié)方差。每個(gè)子帶的所有局部ρ的均值就是這個(gè)子帶的特征，因此一共得到12個(gè)特征，即f32～f43。

（4） 自然圖像有著一種相關(guān)結(jié)構(gòu)，隨著距離函數(shù)的變化而緩慢變化。將尺度為1的各子帶中某個(gè)點(diǎn)以及和它距離在一定范圍內(nèi)的點(diǎn)，計(jì)算聯(lián)合分布，可以得到一個(gè)三項(xiàng)式。這個(gè)三項(xiàng)式的3個(gè)系數(shù)以及參數(shù)間的錯(cuò)誤值，多項(xiàng)式的真實(shí)值構(gòu)成了一個(gè)子頻帶的參數(shù)，因此一共可以獲得30個(gè)參數(shù)，即f44～f73。

（5） 計(jì)算同尺度，不同方向間的子頻帶之間的關(guān)系，得到[C56]=15個(gè)特征，即f74～f88。

2.5.2 模型訓(xùn)練與分值計(jì)算

本方法使用了和DESIQUE、BIQI相同的兩步驟模型訓(xùn)練與計(jì)算分?jǐn)?shù)方法得到測(cè)試圖像的分值Index。

2.6 SSEQ[12]

SSEQ方法利用了圖像塊間的統(tǒng)計(jì)學(xué)規(guī)律，通過(guò)計(jì)算圖像塊的信息熵，獲得圖像中的結(jié)構(gòu)以及圖像中像素點(diǎn)相互關(guān)系的大小。在進(jìn)行大量統(tǒng)計(jì)與訓(xùn)練的情況下，對(duì)測(cè)試圖像進(jìn)行質(zhì)量預(yù)測(cè)。

2.6.1 特征介紹

SSEQ在3個(gè)尺度上一共要提取12個(gè)特征。對(duì)于輸入圖像，首先對(duì)圖像進(jìn)行分塊，計(jì)算每一塊的區(qū)域的局部熵，獲得所有局部熵值的平均數(shù)，作為特征1；然后對(duì)這些局部熵值排序，求出其偏度，作為特征2；再對(duì)同樣分塊的圖像，計(jì)算每個(gè)局部塊的局部譜域熵，獲得所有局部譜域熵的平均數(shù)，作為特征3；然后對(duì)這些局部譜域熵排序，求出其偏度，作為特征4。使用最近鄰算法對(duì)圖像進(jìn)行2次下采樣，分別計(jì)算得到類(lèi)似的4個(gè)特征，一共獲得12個(gè)圖像的特征。

2.6.2 模型訓(xùn)練與圖像質(zhì)量分計(jì)算

SSEQ使用了和DESIQUE，BIQI，DIVINE相同的方法得到測(cè)試圖像的分值Index。

2.7 BLIINDS?Ⅱ[13]

2.7.1 特征介紹

本方法一共提取4個(gè)特征用于計(jì)算質(zhì)量分?jǐn)?shù)。

（1） 對(duì)圖像進(jìn)行大小為5×5，塊間重合為2的分塊，對(duì)每一個(gè)圖像塊進(jìn)行DCT變換得到相應(yīng)的DCT系數(shù)。

（2） 對(duì)DCT系數(shù)進(jìn)行GGD擬合，獲得每個(gè)圖像塊的形狀參數(shù)γ，取其中最低的10%γ值的均值作為第1個(gè)特征，所有γ的均值作為第2個(gè)特征；提出了一個(gè)新的參數(shù)ζ，其計(jì)算式為：

[ζ=σXμX=Γ1γΓ3λΓ22γ-1] （15）

其中X為每一個(gè)DCT塊的系數(shù)，σ|X|和μ|X|分別是該塊的方差和均值，Γ（·）是前述的伽馬函數(shù)。對(duì)每一個(gè)圖像塊，計(jì)算其對(duì)應(yīng)的ζ，取其中最低的10%ζ值的均值作為第3個(gè)特征，所有ζ的均值作為第4個(gè)特征。

（3） 將每個(gè)圖像塊的中的DCT系數(shù)按照徑向空間頻率分成低、中、高3個(gè)部分，對(duì)3個(gè)部分的值分別求解方差，得到[σ2n]，設(shè)[En=σ2n]，低、中、高頻率分別代表1，2，3。設(shè)[Rn=En-1n-1j

（4） 按照和徑向空間頻率變化垂直的方向，將每一個(gè)圖像塊獲得的DCT系數(shù)分為3個(gè)部分，分別計(jì)算3個(gè)部分的ζ，全部圖像塊的所有ζ的最低的10%的均值作為第7個(gè)特征，所有ζ的均值作為第8個(gè)特征。

2.7.2 模型訓(xùn)練與圖像質(zhì)量分計(jì)算

使用簡(jiǎn)單的概率模型，設(shè)X為特征向量，計(jì)算X與DMOS的概率分布，由于[P（X，DMOS）=P（DMOS|X）P（X）]，計(jì)算獲得的[P（DMOSX）]即為質(zhì)量分?jǐn)?shù)。使用數(shù)據(jù)集的80%進(jìn)行訓(xùn)練，20%的數(shù)據(jù)進(jìn)行測(cè)試。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)庫(kù)

本文在LIVE和TID 2008兩個(gè)數(shù)據(jù)庫(kù)上對(duì)BIQI[10]，NIQE[7]，BLIINDS?Ⅱ[13]，BRISQUE[8]，DESIQUE[9]，DIIVINE[11]，SSEQ[12]7種方法進(jìn)行測(cè)試。

LIVE數(shù)據(jù)庫(kù)[14]包含29張參考圖像以及對(duì)應(yīng)的5種失真類(lèi)型的共779張失真圖像。5種失真類(lèi)型分別為JPEG2000壓縮失真、JPEG壓縮失真、白噪聲（White_Noise，WN）、高斯模糊（Gaussian_Blur，GBLUR）、快衰弱失真（Fast Fading，F(xiàn)F）。LIVE提供了圖像主觀評(píng)價(jià)分值MOS。MOS值取值范圍為[0，100]。一般實(shí)驗(yàn)采用100減去MOS值計(jì)算得到的DMOS進(jìn)行算法測(cè)試。

TID 2008數(shù)據(jù)庫(kù)[15]包含了25張參考圖像以及17種失真類(lèi)型的1 700張失真圖像。其中，每一張參考圖像對(duì)應(yīng)68張失真圖像，17種失真，每一種失真有4個(gè)失真級(jí)別。

TID2008和LIVE數(shù)據(jù)庫(kù)都擁有JPEG2000壓縮失真、JPEG壓縮失真、白噪聲和高斯模糊4種失真類(lèi)型的失真圖像，LIVE獨(dú)有快衰弱失真。因此，為了方便與LIVE數(shù)據(jù)庫(kù)進(jìn)行對(duì)比，本文只針對(duì)2個(gè)數(shù)據(jù)庫(kù)共同擁有的失真類(lèi)型進(jìn)行實(shí)驗(yàn)分析。

3.2 評(píng)價(jià)標(biāo)準(zhǔn)

本文使用斯皮爾曼等級(jí)次序相關(guān)系數(shù)（SPROCC）和皮爾遜線性相關(guān)系數(shù)（LCC）來(lái)對(duì)評(píng)價(jià)算法評(píng)價(jià)結(jié)果與數(shù)據(jù)庫(kù)中主觀分值的一致性進(jìn)行衡量。主觀評(píng)分與客觀評(píng)分線性相關(guān)度越好，算法的表現(xiàn)越好。

3.3 實(shí)驗(yàn)結(jié)果

本文主要在LIVE數(shù)據(jù)庫(kù)上進(jìn)行模型訓(xùn)練，并使用訓(xùn)練得到的模型分別在LIVE數(shù)據(jù)庫(kù)和TID數(shù)據(jù)庫(kù)上進(jìn)行對(duì)比實(shí)驗(yàn)。本文中介紹的方法都需要訓(xùn)練得到回歸模型，為了算法間的平等比較，將LIVE數(shù)據(jù)庫(kù)隨機(jī)劃分為80%的訓(xùn)練子集與20%的測(cè)試子集，2個(gè)集合沒(méi)有任何的重合。該過(guò)程被重復(fù)了1 000次，以確保沒(méi)有因?yàn)橛?xùn)練的空域內(nèi)容導(dǎo)致的偏差。

表1～表4分別表示上述7種無(wú)參考方法在LIVE數(shù)據(jù)庫(kù)測(cè)試集和TID2008數(shù)據(jù)庫(kù)上的運(yùn)行結(jié)果。

3.3.1 算法表現(xiàn)比較

從結(jié)果可以看出，幾種無(wú)參考評(píng)價(jià)方法雖然表現(xiàn)了較好的整體效果。但是對(duì)于不同的失真類(lèi)型，評(píng)價(jià)結(jié)果存在較大差異。這主要與算法提取的特征有關(guān)。某些特征也許和某一個(gè)失真類(lèi)型關(guān)系較大，而與另一個(gè)失真類(lèi)型關(guān)系較小。

從表1～表4可以看出，對(duì)于各失真類(lèi)型，DESIQUE方法都表現(xiàn)的較好，其在空域和頻域分別進(jìn)行了多方向多尺度的特征提取，對(duì)各種失真具有較大的敏感性。對(duì)于JP2k，JPEG失真，BLIINDS?Ⅱ，DESIQUE，SSEQ表現(xiàn)較好。BLIINDS?Ⅱ提取的特征較多的關(guān)注了參數(shù)模型的形狀參數(shù)γ，而壓縮導(dǎo)致的塊效應(yīng)會(huì)顯著影響這個(gè)參數(shù)。壓縮也導(dǎo)致了塊內(nèi)熵值顯著變化，使得SSEQ方法表現(xiàn)優(yōu)秀。對(duì)于WN失真，BRISQUE，DESIQUE及BIQI表現(xiàn)較好。對(duì)于GBLUR失真，SSEQ與DESIQUE方法表現(xiàn)較為出色。高斯模糊對(duì)圖像熵的變化影響較大，使得以熵作為特征的SSEQ方法表現(xiàn)出色。

3.3.2 數(shù)據(jù)庫(kù)依賴(lài)性

從表1～表4中可以看出，上述各方法采用LIVE數(shù)據(jù)集訓(xùn)練得到的模型，在TID2008數(shù)據(jù)庫(kù)上的表現(xiàn)較差。例如BIQI方法在LIVE數(shù)據(jù)庫(kù)中平均LCC為0.867 3，而使用LIVE訓(xùn)練的模型在TID2008數(shù)據(jù)庫(kù)上測(cè)試，LCC只有0.781 9。

從上述表中可以看出，DESIQUE，SSEQ，BLIIND?Ⅱ，NIQE具有較小的數(shù)據(jù)庫(kù)依賴(lài)性，其在TID2008數(shù)據(jù)庫(kù)中的LCC與SPROCC仍能保持在0.8以上，符合預(yù)期。而B(niǎo)IQI、BRISQUE與DIIVINE具有較大的數(shù)據(jù)庫(kù)依賴(lài)性，其在TID2008數(shù)據(jù)庫(kù)中的LCC與SPROCC出現(xiàn)了小于0.8的情況。

圖4是7種方法在LIVE數(shù)據(jù)庫(kù)以及TID2008數(shù)據(jù)庫(kù)上的散點(diǎn)圖。圖中可以看出，BRISQUE，DESIQUE，SSEQ的結(jié)果與DMOS有著較好的線性關(guān)系，且具有較低離群度。而B(niǎo)IQI，DIIVINE，NIQE與BLIINDS?Ⅱ的點(diǎn)離散度很大，說(shuō)明算法結(jié)果與DMOS的關(guān)系不密切。

3.3.3 算法效率對(duì)比分析

本文對(duì)7種無(wú)參考方法分別在不同尺寸的圖像上進(jìn)行了實(shí)驗(yàn)，進(jìn)行算法效率的比較。實(shí)驗(yàn)使用了4張尺寸分別為256×256，512×512，1 024×1 024，1 600×1 600的圖像。7種算法分別在這4張圖像上進(jìn)行100次實(shí)驗(yàn)，運(yùn)行的平均時(shí)間如表5所示。本文實(shí)驗(yàn)使用PentiumE2140@1.60 GHz，Windows 7 Pro 64?bit，3 GB內(nèi)存的計(jì)算機(jī)，運(yùn)行軟件為Matlab 2013a。

從表5中可以看出，上述7種無(wú)參考質(zhì)量評(píng)價(jià)方法中，DESIQUE，BRISQUE，NIQE方法因?yàn)閮H僅在空域和頻域上進(jìn)行直觀的特征提取，沒(méi)有太多的中間計(jì)算環(huán)節(jié)，因此具有較高的效率。BIQI與SSEQ方法效率雖然略低于前述3個(gè)方法，但仍然在一個(gè)數(shù)量級(jí)。而B(niǎo)LIINDS?Ⅱ和DIIVINE因?yàn)樵陬l域上進(jìn)行大量的特征提取以及進(jìn)行許多中間參數(shù)計(jì)算，導(dǎo)致效率極低。特別地，BLIINDS?Ⅱ方法消耗時(shí)間甚至達(dá)到了前述5種方法的100倍以上。

圖5表示了各種方法的運(yùn)行效率隨著圖像尺寸的變化而變化的情況。其中，以各方法在256×256情況下運(yùn)行的時(shí)間為單位1。從表中可以看出BIQI方法的運(yùn)行效率受圖像尺寸的影響是最小的，運(yùn)行時(shí)間增長(zhǎng)不明顯。而另外6種方法運(yùn)行效率受圖像尺寸的影響明顯。結(jié)合表5和圖5可以看出，雖然在256×256的尺寸下，NIQE方法的運(yùn)行效率最高，但是隨著圖像尺寸的增大，BRISQUE，BIQI表現(xiàn)出了更高的效率。因此，在圖像尺寸較小的情況下，BIQI，BRISQUE，DESIQUE，NIQE，SSEQ的表現(xiàn)都讓人滿(mǎn)意，而在圖像尺寸很大的情況下，BRISQUE，BIQI方法有著明顯的效率優(yōu)勢(shì)。

4 結(jié) 語(yǔ)

本文對(duì)無(wú)參考圖像質(zhì)量評(píng)價(jià)方法進(jìn)行綜述，對(duì)BIQI，NIQE，BLIINDS?Ⅱ，BRISQUE，DESIQUE，DIIVINE，SSEQ等無(wú)參考質(zhì)量評(píng)價(jià)方法進(jìn)行了詳細(xì)的描述，并在LIVE和TID 2008數(shù)據(jù)庫(kù)上對(duì)其進(jìn)行了測(cè)試，對(duì)各種方法進(jìn)行詳細(xì)分析以及比較，討論了各方法的優(yōu)缺點(diǎn)。

今后圖像質(zhì)量評(píng)價(jià)的發(fā)展有以下幾個(gè)方面亟待解決：

（1） 目前優(yōu)秀的無(wú)參考的質(zhì)量評(píng)價(jià)方法很多都是基于自然圖像統(tǒng)計(jì)NSS模型的，其中的關(guān)鍵是相關(guān)參數(shù)的廣義高斯模型擬合，未來(lái)可以提出新的擬合模型，使得其更加符合統(tǒng)計(jì)數(shù)據(jù)的分布，以達(dá)到提升現(xiàn)有的算法性能的目標(biāo)。

（2） 建立完善的HVS模型：使用HVS模型分析視覺(jué)輸入的原理在圖像質(zhì)量評(píng)價(jià)中已經(jīng)起到了舉足輕重的地位。然而，目前關(guān)于HVS的理解以及采用的計(jì)算模型還處于非常低級(jí)的階段。絕大多數(shù)現(xiàn)有的基于生物學(xué)的初級(jí)視覺(jué)皮層（Primary Visual Cortex，V1）的模型并不是很完善。未來(lái)應(yīng)該在這方面進(jìn)行努力，改進(jìn)基于V1的模型，研究人眼的物理特性和心理特性之間的關(guān)系并運(yùn)用到了實(shí)際應(yīng)用中去。

（3） 研究對(duì)復(fù)合型的圖像失真的評(píng)價(jià)方法。圖像質(zhì)量評(píng)價(jià)中一個(gè)很大的挑戰(zhàn)在于圖像失真往往是復(fù)合型的，同時(shí)其失真程度也是不可控的。盡管許多的算法已經(jīng)被用來(lái)評(píng)價(jià)單種失真類(lèi)型的圖像，能夠評(píng)價(jià)混合失真類(lèi)型的算法顯然更加實(shí)用。一個(gè)IQA不僅要考慮這些失真混合產(chǎn)生的聯(lián)合作用，同時(shí)還要考慮這些失真互相之間的影響。在圖像處理過(guò)程中會(huì)產(chǎn)生各種各樣的圖像失真，理想的IQA算法應(yīng)該完全能夠處理這些失真。同時(shí)，現(xiàn)在IQA面臨的一個(gè)新問(wèn)題是如何調(diào)整現(xiàn)有的模型來(lái)處理超閾值失真。

（4） 當(dāng)評(píng)價(jià)一個(gè)圖像質(zhì)量時(shí)，根據(jù)失真的多少以及其是否影響了圖像對(duì)象的顯著外觀，HVS使用的可視化策略會(huì)有所不一樣。許多研究表面HVS是一個(gè)高度自適應(yīng)的系統(tǒng)。其能夠基于失真與圖像之間的相互作用等因素做出適當(dāng)?shù)恼{(diào)整。因此，研究圖像與失真之間的關(guān)系，設(shè)計(jì)自適應(yīng)視覺(jué)策略進(jìn)行質(zhì)量評(píng)價(jià)是一個(gè)很有研究意義的方面。

（5） 目前絕大多數(shù)IQA算法都無(wú)法處理幾何失真，例如平移、縮放、旋轉(zhuǎn)、剪切等。這些失真，假如不是很強(qiáng)烈，一般對(duì)圖像的視覺(jué)質(zhì)量影響很小。然而，即使是輕微的幾何變化，會(huì)產(chǎn)生大規(guī)模的像素強(qiáng)度逐點(diǎn)變化，因而大多數(shù)的現(xiàn)有IQA算法對(duì)這種輕微幾何失真的圖像的質(zhì)量評(píng)價(jià)要比圖像的實(shí)際質(zhì)量低很多。由于IQA已經(jīng)被用到了越來(lái)越多的領(lǐng)域，對(duì)幾何失真的處理顯然變得越來(lái)越重要。

（6） 其實(shí)最具挑戰(zhàn)性的是算法的運(yùn)行效率。隨著IQA從研究領(lǐng)域到實(shí)際應(yīng)用領(lǐng)域進(jìn)步，計(jì)算速度、內(nèi)存占用等有關(guān)效率方面的因素成為評(píng)價(jià)一個(gè)算法優(yōu)劣的重要標(biāo)準(zhǔn)之一。有些圖像質(zhì)量評(píng)價(jià)算法還會(huì)被應(yīng)用于處理視頻幀或者一些實(shí)時(shí)系統(tǒng)上，因此效率非常重要。

圖像質(zhì)量評(píng)價(jià)是圖像處理領(lǐng)域的一個(gè)重要的研究方向，隨著評(píng)價(jià)方法的逐漸成熟，圖像質(zhì)量評(píng)價(jià)方法的研究將會(huì)有廣泛的應(yīng)用前景，其會(huì)對(duì)圖像和視頻處理產(chǎn)生深遠(yuǎn)的積極影響。本文對(duì)目前已提出的無(wú)參考圖像質(zhì)量評(píng)價(jià)方法進(jìn)行了綜述，并對(duì)圖像質(zhì)量評(píng)價(jià)的未來(lái)發(fā)展及挑戰(zhàn)進(jìn)行了總結(jié)。對(duì)圖像質(zhì)量評(píng)價(jià)方法的深刻理解對(duì)于研究圖像處理、模式識(shí)別等有著重要的意義。

參考文獻(xiàn)

[1] 梁狄林.無(wú)參考圖像質(zhì)量評(píng)價(jià)算法研究[D].無(wú)錫：江南大學(xué)， 2013.

[2] 褚江，陳強(qiáng)，楊曦晨.全參考圖像質(zhì)量評(píng)價(jià)綜述[J].計(jì)算機(jī)應(yīng)用研究，2014，31（1）：13?22.

[3] SHEIKH H R， SABIR M F， BOVIK A C. A statistical evaluation of recent full reference image quality assessment algorithms [J]. IEEE Transactions on Image Processing， 2006， 15（11）： 3440?3451.

[4] WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity [J]. IEEE Transactions on Image Processing， 2004， 13（4）： 600?612.

[5] RUDERMAN D L. The statistics of natural images [J]. Network Computation in Neural Systems， 1994， 5（4）： 517?548.

[6] CHEN M J， BOVIK A C. No?reference image blur assessment using multiscale gradient [J]. Eurasip Journal on Image & Video Processing， 2011， （1）： 1?11.

[7] MITTAL A， SOUNDARARAJAN R， BOVIK A C. Making a “Completely blind” image quality analyzer [J]. IEEE Signal Processing Letters， 2013， 20（3）： 209?212.

[8] MITTAL A， MOORTHY A K， BOVIK A C. No?reference image quality assessment in the spatial domain [J]. IEEE Transactions on Image Processing， 2012， 21（12）： 4695?4708.

[9] ZHANG Y， CHANDLER D M. An algorithm for no?reference image quality assessment based on log?derivative statistics of natural scenes [C]// Proceedings of 2013 SPIE of Image Quality and System Performance X. San Francisco， USA： SPIE Proceedings， 2013： 266?271.

[10] MOORTHY A K， BOVIK A C. A two?step framework for constructing blind image quality indices [J]. IEEE Signal Processing Letters， 2010， 17（5）： 513?516.

[11] SHEN J， LI Q， ERLEBACHER G. Hybrid no?reference natural image quality assessment of noisy， blurry， JPEG2000， and JPEG images [J]. IEEE Transactions on Image Processing， 2011， 20（8）： 2089?2098.

[12] LIU L， LIU B， HUANG H， et al. No?reference image quality assessment based on spatial and spectral entropies [J]. Signal Processing： Image Communication， 2014， 29（8）： 856?863.

[13] SAAD M A， BOVIK A C， CHARRIER C. Blind image quality assessment： A natural scene statistics approach in the DCT domain [J]. IEEE Transactions on Image Processing， 2012， 21（8）： 3339?3352.

[14] SHEIKH H R， WANG Z， CORMACK L， et al. LIVE image quality assessment database release 2 [C]// Proceedings of the 18th European Signal Processing Conference. Aalborg， Denmark： [s.n.]， 2010： 66?69.

[15] PONOMARENKO N， LUKIN V， ZELENSKY A， et al. TID2008?a database for evaluation of full?reference visual quality assessment metrics [J]. Advances of Modern Radioelectronics， 2009， 10（4）： 30?45.