基于SRGAN的圖像超分辨率重建

張瑾 李佳瑩 李曉陽 紀(jì)千薈 張偉華

關(guān)鍵詞：超分辨率重建；密集殘差；雙重注意力；SRGAN

0 引言

超分辨率重建（Super-Resolution Reconstruction，SR） 是將低分辨率（Low-Resolution， LR） 圖像轉(zhuǎn)換為高分辨率（High-Resolution， HR） 圖像。其目標(biāo)是恢復(fù)在獲取圖像時(shí)因降低或丟失而缺失的高頻信息。目前，已廣泛應(yīng)用于軍事[1]、醫(yī)學(xué)影像[2]、公共安防[3]、計(jì)算機(jī)視覺[4]等多個領(lǐng)域。傳統(tǒng)算法包括基于插值的方法、基于重建的方法、基于學(xué)習(xí)的方法[5]等?；诓逯档姆椒ㄊ窃趫D像中插入一些像素點(diǎn)，這些像素點(diǎn)的值根據(jù)鄰近的像素點(diǎn)計(jì)算出來。計(jì)算像素點(diǎn)值的方法一般包括最臨近元法、雙線性內(nèi)插法、三次內(nèi)插法等方法?；谥亟ǖ姆椒ǖ氖菍讉€超分辨率重建圖像的方法混合在一起對圖像重建；基于學(xué)習(xí)的方法是一種非深度學(xué)習(xí)的機(jī)器學(xué)習(xí)方法。相比傳統(tǒng)方法，不僅計(jì)算復(fù)雜，還不能有效恢復(fù)圖像紋理細(xì)節(jié)的原始信息。

近年來，深度學(xué)習(xí)技術(shù)在圖像超分辨率重建中得到廣泛應(yīng)用并逐漸取得了較好的結(jié)果。2014年，Dong 等人首次將卷積神經(jīng)網(wǎng)絡(luò)（Convolitional Neural Net?work，CNN） 引入圖像超分辨率重建任務(wù)中，提出了SRCNN（SR Convolitional Neural Network） [6]。2016 年，Dong等人在此基礎(chǔ)上提出內(nèi)部使用更小的卷積層且在網(wǎng)絡(luò)末端使用反卷積層的FSRCNN[7]。同年，Kim等人受到殘差網(wǎng)絡(luò)的啟發(fā)，提出在網(wǎng)絡(luò)末端加入全局殘差來進(jìn)一步加深模型深度的VDSR（Very Deep SR Net?book） [8]。2017年，Ledig等人設(shè)計(jì)了一種基于感知損失函數(shù)的超分辨率生成對抗網(wǎng)絡(luò)（SRGAN） ，很好地提升了生成圖像的質(zhì)量[9]。2019 年，Wang 等人基于SRGAN 提出了增強(qiáng)型超分辨率生成對抗網(wǎng)絡(luò)（ESRGAN） ，以便提取更多圖像的紋理細(xì)節(jié)[10]。盡管這些深度學(xué)習(xí)算法已經(jīng)非常成熟，但在圖像超分辨重建中仍存在高頻信息丟失，結(jié)構(gòu)化失真的問題。針對上述問題，本文提出一種基于SRGAN的圖像超分辨率重建算法MDSRGAN，該算法改善了現(xiàn)有方法中存在的高頻細(xì)節(jié)丟失和結(jié)構(gòu)化失真的問題，為圖像超分辨率重建領(lǐng)域的研究和應(yīng)用提供了一種有效的解決方案。

1 圖像超分辨率模型的構(gòu)建

1.1 基于改進(jìn)的SRGAN 超分辨率模型

Batch Normalization （BN） 是一種在深度學(xué)習(xí)中常用的正則化技術(shù)，其主要作用是在訓(xùn)練時(shí)對每個minibatch 進(jìn)行標(biāo)準(zhǔn)化，使得網(wǎng)絡(luò)中每一層的輸入分布更加穩(wěn)定，從而加速網(wǎng)絡(luò)的收斂，提高模型的泛化能力。對于 SRGAN 模型，BN 層會對其性能產(chǎn)生負(fù)面影響。在SRGAN模型將低分辨率圖像輸入生成器網(wǎng)絡(luò)并生成高分辨率圖像；然后通過判別器網(wǎng)絡(luò)判別其生成圖像的準(zhǔn)確性。該模型利用兩者之間相互博弈的方式，最終生成逼真的高分辨率圖像。通過這種生成對抗的方式，SRGAN能夠產(chǎn)生更加逼真和細(xì)致的超分辨率圖像。由于 SRGAN 中的生成器網(wǎng)絡(luò)需要學(xué)習(xí)從低分辨率圖像到高分辨率圖像的映射，因此其輸入分布可能會發(fā)生變化，導(dǎo)致 BN 層無法有效地進(jìn)行標(biāo)準(zhǔn)化，從而影響網(wǎng)絡(luò)的收斂和性能。因此本文采用Group Normalization （GN）層代替BN層對數(shù)據(jù)進(jìn)行歸一化。以解決傳統(tǒng)模型對圖像關(guān)鍵特征信息提取不充分的問題。本文在SRGAN 模型中引入了雙重注意力機(jī)制DSBA模塊提高網(wǎng)絡(luò)的表現(xiàn)能力。它可以自適應(yīng)地學(xué)習(xí)每個通道和空間位置的重要性，并將這些重要信息融合到網(wǎng)絡(luò)中，從而提高網(wǎng)絡(luò)的表現(xiàn)能力。在SRGAN模型的殘差塊中的卷積在進(jìn)行特征提取時(shí)會對圖像的特征信息產(chǎn)生損失，從而影響最終的生成結(jié)果，為了解決這個問題，本文引入了密集殘差DR模塊。MDSRGAN模型生成器結(jié)構(gòu)圖如圖1所示。

1.2 DSBA 結(jié)構(gòu)

本文中提出了一種DSBA的注意力模塊，它可以自適應(yīng)地學(xué)習(xí)網(wǎng)絡(luò)中每個特征通道的重要性，并結(jié)合了通道注意和空間注意。由于卷積在特征提取過程中可能導(dǎo)致特征丟失，因此DSBA模塊將空間注意模塊和通道注意模塊并行連接，以最大限度地保留圖像的原始信息。DSBA模塊將特征圖分別輸入空間注意模塊SA（KC） 和通道注意模塊SE（Ks） 中，然后將這兩個分支的輸出結(jié)果進(jìn)行融合加強(qiáng)。DSBA模塊的公式（KDBAS） 具體如下：

式中：AvgPool（I）、MaxPool（I）分別對數(shù)據(jù)進(jìn)行平均池化以及最大池化；MLP 為多層感知機(jī)；f 7 × 7 為卷積核7×7的卷積；?為乘積。

DSBA結(jié)構(gòu)的總體形式如圖2中所示。

1.3 DR 模塊

DR模塊是一種密集殘差網(wǎng)絡(luò)，該模塊的設(shè)計(jì)思想是將所有前面層的輸出都與當(dāng)前層的輸入相連接，形成一種密集連接的網(wǎng)絡(luò)結(jié)構(gòu)。使得網(wǎng)絡(luò)能夠更好地利用之前層的特征，增強(qiáng)了特征的傳遞和信息的流動，提高了網(wǎng)絡(luò)的表示能力和性能。DR模塊作用包括緩解梯度消失問題、提高特征復(fù)用能力和增強(qiáng)信息流動性，能夠有效地提高深度卷積神經(jīng)網(wǎng)絡(luò)的性能和效果。

密集殘差網(wǎng)絡(luò)中殘差塊中由于低分辨率轉(zhuǎn)高分辨率圖像時(shí)會產(chǎn)生映射分布發(fā)生變化，BN不能對其進(jìn)行有效的歸一化，而GN可以將圖像特征圖分成若干個小組并對其進(jìn)行歸一化，更適用于數(shù)據(jù)較大的網(wǎng)絡(luò)訓(xùn)練，因此將BN模塊替換為GN模塊，為了增強(qiáng)數(shù)據(jù)信息的提取能力，在殘差塊中引入了DSBA模塊，有利于對圖像關(guān)鍵信息的提取。DR模塊的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集

本文算法所使用的數(shù)據(jù)集為Yahoo MirFlickr25k 數(shù)據(jù)集。該數(shù)據(jù)集包含25 000張數(shù)據(jù)圖像，涵蓋了自然風(fēng)景、建筑和城市景觀、人物等多種類型的圖像。Yahoo MirFlickr25k數(shù)據(jù)集所采用的訓(xùn)練集與測試集比例為8∶2，因此訓(xùn)練集一共有20 000張，測試集圖像為5 000張。確保了在訓(xùn)練模型時(shí)，有足夠的樣本來學(xué)習(xí)圖像的特征和模式。

2.2 模型訓(xùn)練

本文的實(shí)驗(yàn)環(huán)境如表1所示。

該模型訓(xùn)練輪次為150，并發(fā)數(shù)據(jù)投入模型batch_size 設(shè)置為8；MDSRGAN 模型采用優(yōu)化器為Adam，它可以進(jìn)行自適應(yīng)的優(yōu)化，其中momentum設(shè)置0.9為最佳。該實(shí)驗(yàn)使用的最大學(xué)習(xí)率為2e-4，最小學(xué)習(xí)率為2e-6。使用cos作為衰減調(diào)整策略的下降方式，圖4為MDSRGAN模型的損失率函數(shù)。

2.3 評價(jià)指標(biāo)

本文采用峰值信噪比（PSNR） 和結(jié)構(gòu)相似度（SSIM） 作為評估本文模型性能的指標(biāo)。PSNR值作為圖像品質(zhì)評價(jià)指標(biāo)之一，它將生成后的圖像與真實(shí)圖像進(jìn)行對比。計(jì)算后的PSNR值越大，表示生成后的圖像保留的紋理細(xì)節(jié)越多，失真程度越少，其具體公式如下：

SSIM作為用來評估圖像在構(gòu)造上的相似性，它更接近人類視覺系統(tǒng)的結(jié)構(gòu)相似性，可以更好地識別和感知圖像中構(gòu)造變化。SSIM值范圍在 [-1， 1] ，越接近 1 ，表示兩幅圖像越相似，圖像質(zhì)量越好，其具體公式如下：

式中，μX、μY 分別表示生成圖像X 以及真實(shí)圖像Y的均值；σXY 表示生成圖像X 和真實(shí)圖像Y 的協(xié)方差；σX、σY 分別表示生成圖像X 和真實(shí)圖像Y 的方差；C1、C2為常量，根據(jù)文獻(xiàn)[11]，通常將它們設(shè)置為C1=0.01、C2=0.03，避免異常情況的發(fā)生。這樣可以確保SSIM指標(biāo)能夠正確地評估生成圖像X 和真實(shí)圖像Y 之間的結(jié)構(gòu)相似性。

2.4 消融實(shí)驗(yàn)

由表2可知，為了探究本文MDSRGAN模型對超分辨率圖像的研究，分別從PSNR以及SSIM兩個評價(jià)指標(biāo)進(jìn)行評估。

模型添加了DSBA 結(jié)構(gòu)SRGAN 的PSNR 值和SSIM值分別提升了15%和0.5%，說明了DSBA結(jié)構(gòu)對模型優(yōu)化是有效的；由實(shí)驗(yàn)1與實(shí)驗(yàn)3比較可得，模型添加了DR結(jié)構(gòu)SRGAN的PSNR值和SSIM值分別提升了7.5%和0.3%，驗(yàn)證DR結(jié)構(gòu)對模型的優(yōu)化是有積極作用的；由實(shí)驗(yàn)1與實(shí)驗(yàn)4比較可得，SRGAN模型添加了DSBA結(jié)構(gòu)以及DR模塊后的PSNR值和SSIM 值分別提升了30.9%和0.8%。綜上所述，本文模型在PSNR值以及SSIM值相較于SRGAN模型都有明顯提升。因此，本文模型能夠更有效地恢復(fù)丟失的高頻信息，更好地滿足超分辨率圖像重建的需求。

2.5 對比實(shí)驗(yàn)

由表3可知，為了驗(yàn)證本文模型的通用性，該對比實(shí)驗(yàn)從PSNR和SSIM兩個角度評估本模型的性能。本實(shí)驗(yàn)使用Bicubic、SRCNN、VDSR以及Nearest算法與MDSRGAN做對比實(shí)驗(yàn)，依次取名為實(shí)驗(yàn)1～5。由實(shí)驗(yàn)結(jié)果可知，實(shí)驗(yàn)1的Bicubic算法對圖像進(jìn)行超分辨率重建PSNR 值為27.466，SSIM 值為0.728；實(shí)驗(yàn)2 的SRCNN 網(wǎng)絡(luò)的圖像超分辨率重建PSNR 值為27.249，SSIM值為0.768；實(shí)驗(yàn)3的VDSR網(wǎng)絡(luò)重建結(jié)果PSNR值為27.552，SSIM值為0.773；實(shí)驗(yàn)4的Near?est 網(wǎng)絡(luò)檢測結(jié)果的PSNR 值為26.184，SSIM 值為0.728；實(shí)驗(yàn)5 的本文模型（MDSRGAN） 重建結(jié)果的PSNR值為27.558，SSIM值為0.776。本文模型分別比其他四種算法PSNR 值高0.092、0.309、0.06 以及0.374，并且SSIM 值分別高0.048、0.008、0.003 以及0.098，本文模型在PSNR和SSIM上都明顯高于其他算法。綜上所述，MDSRGAN模型在提取高頻細(xì)節(jié)以及結(jié)構(gòu)相似性方面有更好的效果。

2.6 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證MDSRGAN模型對于圖像分辨率的影響，本文從測試數(shù)據(jù)集中隨機(jī)抽選出一張圖像對MDSRGAN 模型在改進(jìn)前以及改進(jìn)后2 種不同的情況，對模型總體性能進(jìn)行分析。

通過分析圖5的實(shí)驗(yàn)結(jié)果可知，SRGAN在改進(jìn)后圖像的失真情況以及相似度2個不同的角度，都比原始的SRGAN模型有著極大提高。綜上所述，改進(jìn)后的MDSRGAN模型在對圖像做超分辨率重建方面有著很好的性能。

3 結(jié)束語

本文在圖像處理領(lǐng)域?qū)D像超分辨率重建進(jìn)行探究。由于目前超分辨率圖像重建存在高頻細(xì)節(jié)丟失、結(jié)構(gòu)化失真的問題，本文提出了MDSRGAN模型對圖像超分辨率圖像進(jìn)行處理。為了解決圖像超分辨率重建在高頻細(xì)節(jié)丟失與結(jié)構(gòu)化失真方面的不足，本文提出了DSBA模塊對圖像進(jìn)行處理，該模塊采用通道注意力機(jī)制和空間注意力機(jī)制并行的方式，既可以提高了對圖像關(guān)鍵信息的提取，又可以減弱由于卷積塊對原始信息丟失而產(chǎn)生失真的問題。

針對圖像重建過程中的失真問題，本文提出了DR模塊對圖像原始信息的保存，該模塊是采用密集殘差塊的方式，上層淺層特征的輸出作為下層深層特征的輸入，依次迭代，可以進(jìn)行數(shù)據(jù)前向傳播的同時(shí)，極大地保留了各個階段數(shù)據(jù)的原始信息，有利于解決圖像處理過程中圖像失真問題。為了驗(yàn)證模型性能的可行性，本文通過消融實(shí)驗(yàn)以及與Bicubic、SRCNN、VDSR以及Nearest等算法做對比實(shí)驗(yàn)，都具有良好的相似度以及真實(shí)度，驗(yàn)證了MDSRGAN模型具有很好的可行性，為圖像超分辨率重建提供了新的思路。