基于自適應(yīng)殘差的運(yùn)動(dòng)圖像去模糊

歐陽寧，鄧超陽，林樂平

(1.桂林電子科技大學(xué) 認(rèn)知無線電與信息處理省部共建教育部重點(diǎn)實(shí)驗(yàn)室，廣西 桂林 541004； 2.桂林電子科技大學(xué) 信息與通信學(xué)院，廣西 桂林 541004)

0 引 言

運(yùn)動(dòng)圖像去模糊的目的是在給定運(yùn)動(dòng)模糊圖像的情況下，對未知的清晰圖像進(jìn)行重建估計(jì)。傳統(tǒng)的運(yùn)動(dòng)圖像去模糊方法對模糊核的模型和參數(shù)進(jìn)行估計(jì)，并在目標(biāo)函數(shù)優(yōu)化中，利用不同的自然先驗(yàn)，如暗通道先驗(yàn)[1]、數(shù)據(jù)驅(qū)動(dòng)先驗(yàn)[2]等，提高參數(shù)估計(jì)精度及去模糊質(zhì)量。但傳統(tǒng)方法受到模糊核估計(jì)和對模糊源建模不準(zhǔn)確的限制，導(dǎo)致圖像重建質(zhì)量不高。此外，基于深度學(xué)習(xí)的運(yùn)動(dòng)圖像去模糊方法通過卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)強(qiáng)大的特征學(xué)習(xí)能力，能夠更好地抓取圖像特征，提高去模糊效果。然而，由于標(biāo)準(zhǔn)卷積的幾何結(jié)構(gòu)是固定的，在對非均勻的運(yùn)動(dòng)模糊圖像提取圖像特征時(shí)局限性很大。其次，在網(wǎng)絡(luò)設(shè)計(jì)時(shí)都是通過加深網(wǎng)絡(luò)模型來擴(kuò)大全局感受野，從而捕獲高頻信息，但過深的網(wǎng)絡(luò)模型容易導(dǎo)致訓(xùn)練困難。

針對以上基于深度學(xué)習(xí)的運(yùn)動(dòng)圖像去模糊方法的不足，本文在對抗網(wǎng)絡(luò)基礎(chǔ)上提出一種基于自適應(yīng)殘差的運(yùn)動(dòng)圖像去模糊方法。該方法在生成網(wǎng)絡(luò)中構(gòu)造了由形變卷積模塊(deformation convolution module，DCM)[3]和通道注意力模塊(channel attention module，CAM)[4]共同組成的自適應(yīng)殘差模塊(adaptive residual module，ARM)。形變卷積模塊根據(jù)所提取圖像特征的尺寸及形狀自適應(yīng)的變化卷積核，促使網(wǎng)絡(luò)從空間層面去適應(yīng)運(yùn)動(dòng)模糊圖像形變導(dǎo)致的非均勻性。通道注意力模塊則自適應(yīng)地重新縮放特征，使網(wǎng)絡(luò)不僅能夠獲得更大的全局感受野，同時(shí)還能增強(qiáng)深度網(wǎng)絡(luò)辨別學(xué)習(xí)能力，更好關(guān)注高頻特征的學(xué)習(xí)，重建圖像的紋理細(xì)節(jié)。

1 相關(guān)研究

目前，基于深度學(xué)習(xí)在圖像復(fù)原方面的快速發(fā)展，將其運(yùn)用于運(yùn)動(dòng)圖像去模糊的研究獲得了顯著的成果。Sun等[5]利用深層的卷積神經(jīng)網(wǎng)絡(luò)估計(jì)圖像patch級別上的運(yùn)動(dòng)核的概率，然后使用馬爾可夫隨機(jī)場將基于patch的估計(jì)融合到運(yùn)動(dòng)核的密集域中。同時(shí)為了提高其在運(yùn)動(dòng)核估計(jì)中的性能，利用圖像旋轉(zhuǎn)技術(shù)擴(kuò)展CNN所估計(jì)的候選運(yùn)動(dòng)核集。相比較傳統(tǒng)的手工估計(jì)模糊核的方法，CNN強(qiáng)大的特征學(xué)習(xí)能力，可以有效估計(jì)空間變化的運(yùn)動(dòng)核，能夠較好消除運(yùn)動(dòng)模糊。Gong等[6]將非均勻的運(yùn)動(dòng)模糊表示為像素方向的線性運(yùn)動(dòng)模糊，所提出的方法利用全卷積神經(jīng)網(wǎng)絡(luò)(fully-convolutional deep neural network，F(xiàn)CNN)估計(jì)密集運(yùn)動(dòng)流圖進(jìn)行模糊去除。與添加圖像先驗(yàn)來估計(jì)模糊核相比，學(xué)習(xí)運(yùn)動(dòng)流可以使模型專注于模糊的原因，而不需要對圖像內(nèi)容進(jìn)行建模，減少了學(xué)習(xí)的復(fù)雜度。文獻(xiàn)[5,6]都是利用卷積神經(jīng)網(wǎng)絡(luò)估計(jì)模糊核，然后利用傳統(tǒng)非盲去模糊算法在運(yùn)動(dòng)模糊中獲得清晰圖像。為了避免估計(jì)模糊核所帶來的不適定性，以及非盲去模糊算法繁復(fù)的計(jì)算。文獻(xiàn)[7]利用端到端的多尺度CNN策略來分解去模糊任務(wù)的復(fù)雜性，能夠在遮擋、運(yùn)動(dòng)視差和相機(jī)旋轉(zhuǎn)等動(dòng)態(tài)情況下恢復(fù)清晰的圖像。另一方面，隨著生成對抗網(wǎng)絡(luò)的提出，將其用于各種圖像轉(zhuǎn)換任務(wù)表現(xiàn)出強(qiáng)大的生成能力。受此啟發(fā)，Kupyn等[8]使用條件對抗網(wǎng)絡(luò)結(jié)合感知損失進(jìn)行盲運(yùn)動(dòng)去模糊。對抗網(wǎng)絡(luò)通過對圖形結(jié)構(gòu)的學(xué)習(xí)，能夠快速重建出逼真的生成圖像。與此同時(shí)，通過感知損失對對抗網(wǎng)絡(luò)進(jìn)行約束，保證了生成圖像的感知保真度。

盡管當(dāng)前一些基于深度學(xué)習(xí)的運(yùn)動(dòng)圖像去模糊方法已經(jīng)獲得了一定的效果，但在設(shè)計(jì)CNN結(jié)構(gòu)時(shí)未考慮到由運(yùn)動(dòng)模糊圖像形變引起的非均勻性，使用標(biāo)準(zhǔn)卷積中相同的卷積核參數(shù)來處理非均勻的模糊內(nèi)容，會(huì)導(dǎo)致網(wǎng)絡(luò)在對一些復(fù)雜場景下生成的模糊圖像去模糊效果較差。其次，隨著網(wǎng)絡(luò)加深，容易導(dǎo)致網(wǎng)絡(luò)難以訓(xùn)練，無法有效提取高頻信息。

另一方面，形變卷積模塊通過對空間采樣的位置信息做進(jìn)一步位移調(diào)整，以此來削弱標(biāo)準(zhǔn)卷積結(jié)構(gòu)中的規(guī)則格點(diǎn)采樣導(dǎo)致網(wǎng)絡(luò)難以適應(yīng)物體幾何形變的限制。這種自適應(yīng)動(dòng)態(tài)采樣的出現(xiàn)為解決運(yùn)動(dòng)模糊圖像的非均性問題提供了新的指導(dǎo)思路。除此之外，針對當(dāng)前在空間中加深網(wǎng)絡(luò)模型容易使模型難以訓(xùn)練等問題，通道注意力模塊采用一種全新的特征重標(biāo)定策略。具體來說，就是從通道維度考慮特征之間的相互依賴性，通過學(xué)習(xí)的方式來自動(dòng)獲取到每個(gè)通道特征的重要程度，提升對重要特征的學(xué)習(xí)并抑制用處不大的特征。在增加少許計(jì)算量的情況下，不僅能夠擴(kuò)大全局感受野，還能使網(wǎng)絡(luò)在訓(xùn)練過程中更加關(guān)注含有豐富高頻信息的通道，提高網(wǎng)絡(luò)性能。基于此思想的運(yùn)用，在圖像超分辨率[9]以及圖像去噪[10]等圖像轉(zhuǎn)換任務(wù)獲得了理想的效果。通道注意力模塊的研究為恢復(fù)模糊圖像的高頻細(xì)節(jié)奠定了基礎(chǔ)。

基于前人的工作，本文在對抗網(wǎng)絡(luò)基礎(chǔ)上提出的基于自適應(yīng)殘差的運(yùn)動(dòng)圖像去模糊方法。通過所構(gòu)造的自適應(yīng)殘差模塊，充分融合了形變卷積模塊和通道注意力模塊的優(yōu)勢。能夠?qū)崿F(xiàn)高效的模糊圖像復(fù)原。

2 基于自適應(yīng)殘差的運(yùn)動(dòng)圖像去模糊

2.1 生成網(wǎng)絡(luò)

如圖1所示，生成網(wǎng)絡(luò)G分為3部分：淺層特征提取模塊(Me)、自適應(yīng)殘差模塊(ARM)以及特征重建模塊(Mr)。Me由一個(gè)7×7卷積層和兩個(gè)3×3的卷積層組成，在每個(gè)卷積層后面都加入實(shí)例歸一化(instance normalization，IN)[12]和ReLU函數(shù)。實(shí)例歸一化層負(fù)責(zé)對通道特征的大小做歸一化，因?yàn)閷τ诰矸e神經(jīng)網(wǎng)絡(luò)圖像去模糊來說，生成結(jié)果主要依賴于某個(gè)清晰圖像實(shí)例，保持每個(gè)圖像實(shí)例之間的獨(dú)立，可以加速模型收斂。Me的作用是對輸入的模糊圖像B進(jìn)行淺層特征提取，得到淺層特征P0

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

P0=Me(B)

(1)

接下來，在淺層特征提取模塊之后加入多個(gè)ARM，對淺層特征P0進(jìn)行深層次特征學(xué)習(xí)

Pr=Pl(Pl-1(…P1(P0)…))

(2)

Pl表示利用l個(gè)ARM進(jìn)行深層次特征學(xué)習(xí)。權(quán)衡模型計(jì)算量與去模糊效果，本文只使用9個(gè)ARM。ARM由殘差基本塊級聯(lián)形變卷積模塊和通道注意力模塊構(gòu)成。形變卷積模塊幫助網(wǎng)絡(luò)在提取特征時(shí)更好適應(yīng)圖形的幾何形變，通道注意力模塊則能夠使網(wǎng)絡(luò)辨別性的學(xué)習(xí)各通道特征，提升網(wǎng)絡(luò)性能。其次，在每個(gè)ARM中使用的短跳連接(short skip connection，SSC)可以促進(jìn)圖像低頻信息的流動(dòng)，并且有助于緩解梯度消失和梯度爆炸等問題。最終，在經(jīng)過多個(gè)ARM自適應(yīng)抓取特征后所得到的深層次特征Pr包含更多的高頻細(xì)節(jié)信息。特征重建模塊Mr由轉(zhuǎn)置卷積和7×7卷積組成，轉(zhuǎn)置卷積后面加入實(shí)例歸一化和ReLU，使用tanh作為激活函數(shù)。特征重建模塊能夠?qū)RM所學(xué)習(xí)的深層次特征Pr進(jìn)行重建，并結(jié)合能夠保持全局結(jié)構(gòu)的全局跳躍連接(global skip connection，GSC)得到去模糊圖像y。最終由生成網(wǎng)絡(luò)G生成的去模糊圖像y可表示為

y=G(B)=B+Mr(Pr)=B+Mr(Pl(Pl-1(…P1(P0)…)))

(3)

2.2 判別網(wǎng)絡(luò)

對抗訓(xùn)練已被證明可以有效地合成真實(shí)的圖像，在對抗網(wǎng)絡(luò)中，生成器G的目標(biāo)是生成盡可能真實(shí)的圖像來欺騙判別器，判別器D的目的是將真實(shí)的圖像與生成器生成的圖像區(qū)分開來。通過生成器與判別器之間的對抗式訓(xùn)練，使得生成網(wǎng)絡(luò)的生成能力不斷提升，最終可以復(fù)原出與清晰圖像高度相似的去模糊圖像。本模型的判別網(wǎng)絡(luò)使用PatchGAN方式。PatchGAN在圖像中N×N大小的圖像塊上判別出此圖像是屬于生成的去模糊圖像還是清晰圖像。為了減少PatchGAN的運(yùn)行參數(shù)，設(shè)置N=64，既能夠快速判別出真假，又能準(zhǔn)確恢復(fù)重要的圖像信息。如圖1所示的判別網(wǎng)絡(luò)λ1包含5個(gè)卷積層，卷積核大小都設(shè)置為4×4，除了第一層和最后一層卷積外，每一層卷積層后面都加入實(shí)例歸一化和非線性激活函數(shù)LeakyReLU。

2.3 自適應(yīng)殘差模塊設(shè)計(jì)

圖2 自適應(yīng)殘差模塊

2.3.1 形變卷積模塊

形變卷積模塊[3](DCM)的輸入為殘差特征。如圖3所示的輸入特征圖的白點(diǎn)部分，表示標(biāo)準(zhǔn)卷積結(jié)構(gòu)對輸入特征圖使用規(guī)則的矩形網(wǎng)格進(jìn)行采樣。當(dāng)采用傳統(tǒng)的標(biāo)準(zhǔn)卷積結(jié)構(gòu)對輸入的特征進(jìn)行特征提取時(shí)，所獲取的特征映射fs的每個(gè)位置Pb表示如下

(4)

R表示標(biāo)準(zhǔn)的卷積結(jié)構(gòu)，Pn為R的枚舉位置。但傳統(tǒng)的標(biāo)準(zhǔn)卷積結(jié)構(gòu)未考慮到圖像的形變信息，所以在形變卷積模塊中，先利用額外的常規(guī)卷積Pa學(xué)習(xí)輸入特征的偏移量ΔPn，這個(gè)偏移量就代表圖像的形變信息，隨后把偏移量ΔPn加入到原先的白點(diǎn)所示的規(guī)則采樣位置得到如圖3的黑點(diǎn)表示的新的采樣位置，圖中(w1,w2,…w9)表示3×3大小的卷積核，它根據(jù)新的采樣位置而進(jìn)行動(dòng)態(tài)變化，以適應(yīng)非均勻的模糊內(nèi)容，最終得到的形變特征fc如下所示

圖3 形變卷積模塊

(5)

2.3.2 通道注意力模塊

通道注意力模塊[4](CAM)結(jié)構(gòu)如圖4所示。通道注意力模塊的輸入來自于前一階段形變卷積模塊所提取的形變特征fc。首先，利用全局平均池化yp將形變特征fc由大小為H×W×C減小到1×1×C。此時(shí)的fc變成一個(gè)實(shí)數(shù)yc，這個(gè)實(shí)數(shù)具有全局感受野，它表征著在特征通道上響應(yīng)的全局分布，而且使得靠近輸入的層也可以獲得全局感受野。如式(6)所示

圖4 通道注意力模塊

(6)

為了建模圖像特征各通道間的相關(guān)性，通道注意力引入門控機(jī)制Fex，它使用sigmoid函數(shù)和ReLU函數(shù)來體現(xiàn)

rc=Fex(yc)=β(HUδ(HD(yc)))

(7)

(8)

總的來說，前一階段輸入的形變特征fc通過通道注意力模塊的提取后被自適應(yīng)地重新縮放選擇，可以使網(wǎng)絡(luò)更加關(guān)注于含有高頻特征的通道，增加對冗余特征的抑制，從而提升網(wǎng)絡(luò)性能。

2.4 多損失融合的優(yōu)化方法

本文基于對抗網(wǎng)絡(luò)結(jié)構(gòu)，其對抗性訓(xùn)練的目標(biāo)函數(shù)可以被表述為解決下列最小-最大問題

(9)

如式(9)所示，使用Wasserstein distance[13]作為判別的標(biāo)準(zhǔn)，Zg是生成圖片的數(shù)據(jù)分布，Zr是真實(shí)數(shù)據(jù)的數(shù)據(jù)分布。生成器G的目的是盡量使這個(gè)目標(biāo)函數(shù)最小，而判別器D盡量最大化目標(biāo)函數(shù)。其對抗損失借鑒文獻(xiàn)[8]中的LGAN，可如下所示

(10)

為進(jìn)一步緩解對抗網(wǎng)絡(luò)訓(xùn)練時(shí)的梯度消失或者梯度爆炸，用梯度懲罰[14]對LGAN進(jìn)行約束

(11)

基于以上分析，為提升對抗網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性及圖像質(zhì)量重建，本文將感知損失[15]、像素空間損失[16]與以上對抗損失相融合得到多損失目標(biāo)函數(shù)

L=Lpixel+LGAN+λ1Lp

(12)

像素空間損失Lpixel用于保持圖像內(nèi)容的相似性，正確的引導(dǎo)對抗網(wǎng)絡(luò)捕獲圖像的低頻信息

(13)

同時(shí)為了保持圖像的感知保真度，利用感知損失Lp來測量模糊圖像與清晰圖像之間的高層次差異，使得生成圖像與清晰圖像的內(nèi)容和全局結(jié)構(gòu)接近，如式(14)

(14)

φi,j表示在預(yù)先訓(xùn)練好的VGG-19網(wǎng)絡(luò)中第i個(gè)最大池化層之前的第j個(gè)卷積所獲得的特征圖。在本模型中使用和文獻(xiàn)[8]中同樣預(yù)訓(xùn)練好的VGG-19網(wǎng)絡(luò)的第3卷積層所提取的特征圖來計(jì)算感知損失。

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)及實(shí)驗(yàn)參數(shù)

傳統(tǒng)的運(yùn)動(dòng)模糊圖像數(shù)據(jù)集大多是通過一些固定的內(nèi)核進(jìn)行模糊處理來得到模糊圖像，很難模擬出自然的運(yùn)動(dòng)模糊圖像。相比之下，本文使用的GOPRO[17]數(shù)據(jù)集則是通過GoPro Hero 4相機(jī)來捕捉每秒240幀的視頻序列，并通過平均連續(xù)的短曝光幀來生成模糊圖像。這樣形成的運(yùn)動(dòng)模糊圖像更加真實(shí)。GOPRO數(shù)據(jù)集包括從各種運(yùn)動(dòng)場景中采集到的模糊-清晰圖像對，模擬的是自然場景中由相機(jī)抖動(dòng)、物體運(yùn)動(dòng)等情況所形成的非均勻模糊類型。其中包含了2103對訓(xùn)練用的模糊-清晰圖像對以及1111對測試用的模糊-清晰圖像對。

在網(wǎng)絡(luò)模型訓(xùn)練時(shí)，本文實(shí)驗(yàn)平臺的配置為GTX1080Ti顯卡以及Ubuntu14.04操作系統(tǒng)，并使用pytorch深度學(xué)習(xí)框架實(shí)現(xiàn)。在本實(shí)驗(yàn)中式(11)的λ=10，式(12)的平衡系數(shù)λ1設(shè)置為0.0001。在訓(xùn)練過程中，生成器和判別器的初始學(xué)習(xí)速率都設(shè)置0.0001，批次為1。采用Adam算法進(jìn)行隨機(jī)梯度優(yōu)化，總的epoch=300。前150個(gè)epoch以學(xué)習(xí)率0.0001進(jìn)行學(xué)習(xí)，后150個(gè)epoch學(xué)習(xí)率逐漸衰減到0。

3.2 實(shí)驗(yàn)分析

為了說明本文方法在運(yùn)動(dòng)圖像去模糊上的有效性，在相同的條件下進(jìn)行了大量的實(shí)驗(yàn)。模型在GOPRO測試集上進(jìn)行測試，并用峰值信噪比(peak signal to noise ratio，PSNR)和結(jié)構(gòu)相似性(structural similarity，SSIM)作為評價(jià)指標(biāo)。實(shí)驗(yàn)給出了在全數(shù)據(jù)集下的平均PSNR和平均SSIM值。并與不同的去模糊算法進(jìn)行比較。

3.2.1 不同數(shù)量自適應(yīng)殘差模塊去模糊效果對比

為探究不同數(shù)量的自適應(yīng)殘差模塊對去模糊效果的影響，分別在不同數(shù)量的自適應(yīng)殘差模塊下進(jìn)行實(shí)驗(yàn)。表1中ARM-3、ARM-6、ARM-9分別代表3個(gè)、6個(gè)、9個(gè)自適應(yīng)殘差模塊數(shù)量。由表中可知ARM-6比ARM-3的PSNR提高0.27。而ARM-9比ARM-6的PSNR提高了0.15，SSIM提高了0.01。綜上可知，隨著ARM模塊數(shù)量的增多，網(wǎng)絡(luò)能更好地適應(yīng)運(yùn)動(dòng)模糊圖像的非均勻性，所提取得高頻信息也越多，去模糊能力也逐漸增強(qiáng)。但考慮到模型計(jì)算量，本算法旨在快速驗(yàn)證所構(gòu)造的自適應(yīng)殘差模塊在運(yùn)動(dòng)圖像去模糊上的有效性，以下所有實(shí)驗(yàn)均只使用9個(gè)自適應(yīng)殘差模塊。

表1 不同數(shù)量自適應(yīng)殘差模塊性能分析

3.2.2 本文方法與其它主流算法比較

本文方法與當(dāng)前的4種主流去模糊算法進(jìn)行比較，如Sun等[5]、Xu等[18]、Gong等[6]、Kupyn等[8]。如表2所示，在諸如Sun等[5]和Xu等[18]，Gong等[6]的去模糊算法中，PSNR值和SSIM值都比較低，說明對于運(yùn)動(dòng)模糊圖像來說，模型的去模糊性能較差。而本文提出的運(yùn)動(dòng)圖像去模糊方法較之前3種方法無論是在PSNR還是SSIM值上都有較大幅度的提升。Kupyn等[8]提出DeblurGAN，利用端到端的對抗網(wǎng)絡(luò)進(jìn)行運(yùn)動(dòng)圖像去模糊，是目前把卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于運(yùn)動(dòng)圖像去模糊領(lǐng)域較為高效的方法。由表2可知，本文方法雖然比DeblurGAN的SSIM略低0.04，但是PSNR提高了0.83。綜合以上分析，驗(yàn)證了由形變卷積模塊和通道注意力模塊共同構(gòu)造的自適應(yīng)殘差模塊在運(yùn)動(dòng)圖像去模糊上的有效性。

表2 本文算法與其它主流算法的比較

本文與目前先進(jìn)的DeblurGAN對抗網(wǎng)絡(luò)去模糊算法進(jìn)行了圖像細(xì)節(jié)可視化比較。如圖5所示。由圖5(a)所示的花盆，本文生成的花盆部分圖像偽影明顯更少，亮度也接近原圖像，圖像輪廓更加清晰。圖5(b)樹枝部分明顯比DeblurGAN紋理細(xì)節(jié)要多。在圖5(c)人臉上五官輪廓更加分明，比起DeblurGAN的眼睛、鼻子、嘴巴，辨識度更高。綜合以上分析以及實(shí)驗(yàn)結(jié)果可知，由于對抗網(wǎng)絡(luò)在訓(xùn)練時(shí)的不穩(wěn)定性，產(chǎn)生的去模糊圖像仍然存在偽影嚴(yán)重，紋理細(xì)節(jié)較為模糊等問題。而本文在生成網(wǎng)絡(luò)中所構(gòu)造的自適應(yīng)殘差模塊，能夠讓對抗網(wǎng)絡(luò)在訓(xùn)練時(shí)更好地適應(yīng)運(yùn)動(dòng)模糊圖像的非均勻性，生成紋理更為豐富的去模糊圖像，有效抑制了模糊圖像的偽影。

圖5 圖像細(xì)節(jié)對比

3.2.3 形變卷積模塊與通道注意力模塊性能分析

為了分別驗(yàn)證形變卷積模塊和通道注意力模塊在圖像去模糊上的有效性，在相同的實(shí)驗(yàn)條件下分別對殘差基本塊與形變卷積模塊組成的自適應(yīng)形變卷積模塊(adaptive deformation convolution module，ADCM)，以及殘差基本塊和通道注意力模塊組成的自適應(yīng)注意力模塊(adaptive attention module，AAM)進(jìn)行實(shí)驗(yàn)結(jié)果比較。實(shí)驗(yàn)結(jié)果如表3和圖6所示。

表3 形變卷積模塊與通道注意力模塊性能比較

圖6 各模塊去模糊效果對比

如表3所示，只加入形變卷積模塊的自適應(yīng)形變卷積模塊(ADCM)的PSNR達(dá)到28.00，SSIM達(dá)到0.91。相比模糊圖像來說，其圖像質(zhì)量有較大改善。而自適應(yīng)注意力模塊(AAM)的PSNR達(dá)到28.01，SSIM達(dá)到0.90。自適應(yīng)注意力模塊的去模糊效果比自適應(yīng)形變卷積模塊的SSIM值低0.01，但PSNR高0.01。如圖6(a)路面的縫隙部分，AAM比ADCM模塊包含更多的細(xì)節(jié)，紋理更清晰。如圖6(b)的車牌部分，AAM比ADCM去模糊效果要清晰，細(xì)節(jié)更多。但是ADCM中整體的圖形結(jié)構(gòu)要比AAM更接近清晰圖像，比如說數(shù)字2和1，AAM明顯比ADCM扭曲度要高一點(diǎn)。這是因?yàn)樾巫兙矸e模塊在促使網(wǎng)絡(luò)適應(yīng)圖像形變導(dǎo)致的非均性時(shí)，針對的是圖像結(jié)構(gòu)的學(xué)習(xí)，而通道注意力模塊則著重于對含有高頻信息通道的學(xué)習(xí)，更側(cè)重于紋理細(xì)節(jié)的生成。實(shí)驗(yàn)結(jié)果表明，單獨(dú)使用形變卷積模塊和通道注意力模塊都能夠達(dá)到較好的去模糊效果，當(dāng)同時(shí)融合形變卷積模塊和通道注意力模塊時(shí)，所得到ARM的去模糊效果的PSNR達(dá)到28.03，SSIM值為0.91，且如圖6所示的可視化效果也是優(yōu)于ADCM和AAM，能重建出更符合清晰圖像的細(xì)節(jié)。這進(jìn)一步驗(yàn)證了自適應(yīng)殘差模塊能夠充分融合形變卷積模塊和通道注意力模塊的優(yōu)勢，兩者相輔相成，有效提升了運(yùn)動(dòng)圖像去模糊的效果。

4 結(jié)束語

本文在對抗網(wǎng)絡(luò)基礎(chǔ)上提出一種基于自適應(yīng)殘差的運(yùn)動(dòng)圖像去模糊方法，該方法在生成網(wǎng)絡(luò)中構(gòu)造了由形變卷積模塊和通道注意力模塊組成的自適應(yīng)殘差模塊。其中，形變卷積模塊可以使網(wǎng)絡(luò)適應(yīng)模糊圖像的非均勻性，更好提取圖像特征，通道注意力模塊利用特征重標(biāo)定策略對所提取的形變特征進(jìn)行通道調(diào)整，增強(qiáng)對高頻信息的學(xué)習(xí)。實(shí)驗(yàn)結(jié)果表明，本文算法與當(dāng)前先進(jìn)的運(yùn)動(dòng)圖像去模糊算法相比，能夠取得較好的去模糊效果。但由于對抗網(wǎng)絡(luò)訓(xùn)練的不穩(wěn)定性，本文算法對于一些圖形結(jié)構(gòu)較為豐富的運(yùn)動(dòng)模糊圖像的復(fù)原效果不是很好。今后將進(jìn)一步探索更穩(wěn)定的對抗網(wǎng)絡(luò)訓(xùn)練機(jī)制來解決這一問題。