生成對抗網(wǎng)絡(luò)復(fù)原圖像的質(zhì)量測評方法研究

史朝龍 李 旭 劉 樂 趙子倫 董 斐

(1.海裝駐北京地區(qū)第一軍事代表室，北京 100076；2.北京航天計(jì)量測試技術(shù)研究所，北京 100076)

1 引 言

根據(jù)現(xiàn)場環(huán)境的復(fù)雜性，使得獲取圖像質(zhì)量條件復(fù)雜，比如精確制導(dǎo)系統(tǒng)，尤其是高超聲速導(dǎo)彈武器中，彈上復(fù)雜力熱環(huán)境較為復(fù)雜，成像系統(tǒng)隨導(dǎo)彈的沖擊振動(dòng)，會(huì)產(chǎn)生模糊、抖動(dòng)現(xiàn)象，由于氣動(dòng)力學(xué)、熱學(xué)效應(yīng)，紅外成像會(huì)產(chǎn)生熱窗、抖動(dòng)、模糊、對比度下降等現(xiàn)象。又如戰(zhàn)場環(huán)境中普遍存在復(fù)雜自然環(huán)境以及煙霧、主動(dòng)誘餌等認(rèn)為對抗干擾，可能導(dǎo)致各類圖像退化情況。

生成式對抗網(wǎng)絡(luò)以其生成圖像的優(yōu)勢，在模糊圖像復(fù)原、運(yùn)動(dòng)圖像復(fù)原、遮擋圖像復(fù)原等領(lǐng)域得到了大量應(yīng)用并取得了不錯(cuò)的效果，如DCGAN使用上下文和先前的損失來搜索潛在圖像中損壞圖像的最接近編碼，然后將該編碼通過生成模型來推斷丟失的內(nèi)容，恢復(fù)圖像被遮擋的部分；DeblurGAN是一種基于條件GAN和內(nèi)容損失的端對端學(xué)習(xí)模型，總損失包括來自批評者和感知損失的WGAN損失，使圖像更加清晰，用于改善由于相機(jī)抖動(dòng)或物體快速移動(dòng)產(chǎn)生的模糊圖像；TP-GAN將從數(shù)據(jù)分布得來的先驗(yàn)知識(shí)和人臉領(lǐng)域知識(shí)結(jié)合，提出雙路徑GAN，一條專注于推理全局結(jié)構(gòu)，另一條則推理局部的紋理；SRGAN使用對抗性損失和內(nèi)容損失的感知損失函數(shù)，感知相似性驅(qū)動(dòng)的內(nèi)容損失生成的紋理更加豐富。

為提高基于生成式對抗網(wǎng)絡(luò)圖像復(fù)原系統(tǒng)的可信度，保證圖像復(fù)原方法的輸出圖像可靠，必須對復(fù)原圖像進(jìn)行質(zhì)量測評。針對此需求，本文提出了一種基于多方向差異哈希(Multidirectional Difference Hash,MDhash)算法的復(fù)原圖像質(zhì)量測評方法。

2 基于MDhash方法的圖像復(fù)原質(zhì)量測評

2.1 多方向差異哈希算法

哈希算法是一種可將多種形式的多媒體轉(zhuǎn)換成哈希值的算法。利用哈希算法可產(chǎn)生與圖像對應(yīng)的二進(jìn)制編碼數(shù)組(即圖像的哈希值)。兩幅圖像的哈希值越接近，則說明兩幅圖像的相似性越高。因此，通過比較兩幅圖像的哈希值，可對其相似性進(jìn)行度量。

本文提出一種MDhash算法。該算法基于像素域，根據(jù)相鄰像素之間灰度值的差異計(jì)算圖像的哈希值。如圖1所示，相鄰像素的比較在像素矩陣的四個(gè)方向進(jìn)行，分別是當(dāng)前像素值(如圖中的A)與位于其同一行右側(cè)像素值(如圖中的B)、同一列下方像素值(如圖中的C)、右上方像素值(如圖中的D)與右下方像素值(如圖中的E)之間進(jìn)行比較，因此，一幅圖像可以得到四個(gè)方向的哈希值，分別記為橫向、縱向、斜上向以及斜下向哈希值，將這四個(gè)哈希值綜合起來，即為圖像的多方向差異哈希值。

圖1 MDhash中的像素關(guān)系示意圖

對于橫向差異哈希值，若當(dāng)前像素值大于其右邊的像素值，則記為 1，否則為 0，如公式(1)所示。

(1)

式中：

G

(

x

，

y

)——(

x

，

y

)位置的灰度值，

G

(

x

，

y

+1)——(

x

，

y

+1)位置的灰度值，

H

(

x

，

y

)——(

x

，

y

)位置的橫向差異Hash值。

同理，縱向、斜上向以及斜下向差異Hash值可以用下述公式表示：

縱向差異Hash值：

(2)

斜上向差異Hash值：

(3)

斜下向差異Hash值：

(4)

2.2 圖像MDHash值的相似性函數(shù)

兩幅圖像的MDhash值之間的差異可以反映圖像自身之間的差異。因此，通過測量兩幅圖像的MDHash值之間的漢明距離(Hamming Distance)計(jì)算兩幅圖像之間的相似性。

設(shè)

x

=(

x

,

x

,

...

,

x

)表示一個(gè)長度為

n

的字符串，

y

=(

y

,

y

,

...

,

y

)表示另一個(gè)相同長度的字符串，

x

和

y

之間的漢明距離

D

為：

(5)

當(dāng)所計(jì)算的字符串為二進(jìn)制編碼數(shù)時(shí)，可以利用異或(XOR)操作計(jì)算漢明距離。設(shè)

a

和

b

表示兩個(gè)相等長度的二進(jìn)制編碼數(shù)，則

a

和

b

的漢明距離等于

a

⊕

b

中值為1的數(shù)量。圖像的MDhash為二進(jìn)制編碼數(shù)所組成的三維矩陣，尺寸為

n

×

n

×4，則兩個(gè)MDhash值的漢明距離的表達(dá)式為：

(6)

式中：

H

——第一幅圖像的MDhash值尺寸均為

n

×

n

× 4，漢明距離

D

(

H

1,

H

2)越小，兩幅圖像越相似。

2.3 基于MDhash算法的復(fù)原圖像質(zhì)量測評方法

復(fù)原圖像的真實(shí)度可通過計(jì)算復(fù)原圖像與原始圖像的相似性來獲得。因此，在本文所提出基于MDhash算法的復(fù)原圖像質(zhì)量測評方法中，首先通過在四個(gè)方向上比較相鄰像素之間的差異計(jì)算圖像的MDhash值；然后通過計(jì)算復(fù)原圖像和原始圖像的MDhash值之間的漢明距離來度量它們的相似程度，即復(fù)原圖像的真實(shí)度。

基于MDhash算法的復(fù)原圖像質(zhì)量測評方法的度量方法示意圖如圖2所示?；贛Dhash算法的復(fù)原圖像質(zhì)量測評方法的主要步驟為：

圖2 基于MDhash算法的復(fù)原圖像質(zhì)量測評方法的度量方法示意圖

(1)將復(fù)原圖像A的尺寸縮小到(

n

+1)×(

n

+1)；(2)將縮小尺寸后的圖片轉(zhuǎn)換為灰度圖，分別記為

G

，

G

，遍歷像素矩陣每一行，從左到右分別計(jì)算每一個(gè)像素點(diǎn)的橫向、縱向、斜上向和斜下向四個(gè)哈希值，遍歷完得到

n

×

n

的矩陣，矩陣元素為哈希值，然后合并四個(gè)方向的哈希值得到其MDhash值，為

n

×

n

×4的矩陣；

(3)按照與步驟一和步驟二相同的方法，計(jì)算原始圖像B的MDhash值；

(4)計(jì)算兩幅圖像哈希值的漢明距離，作為其相似性的度量值，得到復(fù)原圖像質(zhì)量。

3 實(shí)驗(yàn)方法及結(jié)果分析

3.1 實(shí)驗(yàn)方法

公開圖像數(shù)據(jù)集gopro dataset作為測試用例，gopro數(shù)據(jù)集有若干張高幀相機(jī)拍攝的街景圖像，包含模糊的和清晰的。將模糊圖像復(fù)原后與原始清晰圖像對比，度量相似性。

實(shí)驗(yàn)對比了MDhash和廣泛使用的SSIM質(zhì)量測評指標(biāo)，本文采用主觀評分值與以上指標(biāo)的相關(guān)性驗(yàn)證MDhash的優(yōu)劣，相關(guān)性評價(jià)為皮爾森線性相關(guān)系數(shù)(

PLCC

)，其取值范圍為[-1,1]，

PLCC

>0表示正相關(guān)，

PLCC

<0表示負(fù)相關(guān)，

PLCC

=0表示完全不相關(guān)。計(jì)算公式為：

(7)

選擇20位測試人員對復(fù)原圖像與對應(yīng)的原始清晰圖像的主觀評分值記錄在表1內(nèi)。

表1 主觀評價(jià)圖像復(fù)原效果表

3.2 實(shí)驗(yàn)結(jié)果分析

采用DeblurGAN網(wǎng)絡(luò)對模糊圖像進(jìn)行復(fù)原，復(fù)原結(jié)果和原始清晰圖像的對比如圖3所示，得到的MDhash、SSIM、主觀評分值列表如表2。

圖3 gopro數(shù)據(jù)集原始清晰圖像和DeblurGAN復(fù)原圖像

表2 圖像復(fù)原效果測評方法對比

經(jīng)計(jì)算，MDhash與主觀評分值的相似系數(shù)為0.9819，可信度優(yōu)于測評方法SSIM。

4 結(jié)束語

本文提出的復(fù)原圖像質(zhì)量測評方法。該方法根據(jù)相鄰像素之間的關(guān)系計(jì)算圖像塊的多方向差異哈希值，通過比較復(fù)原圖像與參考圖像的MDHash值之間的漢明距離，從而度量復(fù)原圖像的質(zhì)量。實(shí)驗(yàn)結(jié)果表明，該方法可實(shí)現(xiàn)對復(fù)原圖像質(zhì)量的準(zhǔn)確量化評估，與對比方法結(jié)構(gòu)相似度(SSIM)相比，本文提出的MDhash方法與人的主觀評價(jià)結(jié)果具有更高的相關(guān)系數(shù)。