基于循環(huán)生成對抗網(wǎng)絡(luò)的超分辨率重建算法研究

蔡文郁 張美燕 吳 巖 郭嘉豪

①(杭州電子科技大學(xué)電子信息學(xué)院 杭州 310018)

②(浙江水利水電學(xué)院電氣工程學(xué)院 杭州 310018)

1 引言

圖像超分辨重建(Image Super-resolution reconstruction， SR)是指低分辨率(Low Resolution，LR)圖像轉(zhuǎn)換為具有更好的視覺質(zhì)量和精細(xì)節(jié)的相應(yīng)高分辨率(High Resolution， HR)圖像[1]，目前已廣泛應(yīng)用于機(jī)器視覺的各個領(lǐng)域，例如視頻監(jiān)控[2]、遙感[3]、醫(yī)學(xué)圖像[4]，還可以作為圖像分類[5]、識別[6]、去噪和檢測的預(yù)處理方法[7，8]。圖像超分辨率重構(gòu)方法可以分為以下3類：基于插值、基于重建和基于學(xué)習(xí)的方法?；诓逯档某直媛手貥?gòu)主要包括最近鄰插值[9]、雙線性插值[10]以及雙三次插值[11]等。基于插值的方法非常簡單，但它們不能為重建提供任何額外的信息，因此無法恢復(fù)丟失的頻率?；谥貥?gòu)的方法比較有代表性的是迭代反投影方法(Iterative Back-Projection， IBP)[12]、凸集投影法(Projection Onto Convex Sets， POCS)[13]、最大后驗(yàn)概率法(Maximum A Posteriori， MAP)[14]。這類方法大部分通過一組高度相關(guān)的 LR 圖像序列進(jìn)行重構(gòu)，但是重建模型的參數(shù)很難估計，當(dāng)使用場景無法提供足夠信息時，提高圖像分辨率變得非常困難。

Dong等人[15]在2014年首次將深度學(xué)習(xí)應(yīng)用在圖像超分辨率重建領(lǐng)域，提出了SRCNN并取得了優(yōu)于此前傳統(tǒng)算法的重建結(jié)果。從此，眾多國內(nèi)外研究者提出了不同的深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行圖像超分辨率重建。2015年， Dong等人[16]提出了FSRCNN，通過重新設(shè)計SRCNN網(wǎng)絡(luò)結(jié)構(gòu)，減少了冗余運(yùn)算，提高了網(wǎng)絡(luò)的訓(xùn)練速度， 首次使用反卷積層進(jìn)行重建。2016年， Kim等人[17]提出了VDSR，首次將經(jīng)典的VGG網(wǎng)絡(luò)應(yīng)用在超分辨率領(lǐng)域，采用深層次的網(wǎng)絡(luò)結(jié)構(gòu)取得了更好的重建結(jié)果。同年，Shi等人[18]提出了ESPCN，其中的亞像素卷積層使網(wǎng)絡(luò)能夠在LR空間進(jìn)行訓(xùn)練，減少了網(wǎng)絡(luò)參數(shù)，提高了訓(xùn)練速度和特征利用率。亞像素卷積層對基于深度學(xué)習(xí)的超分辨率算法有十分深遠(yuǎn)的影響，后續(xù)幾乎所有的網(wǎng)絡(luò)都使用亞像素卷積層來進(jìn)行重建。2017年，文獻(xiàn)[19]首次將生成對抗網(wǎng)絡(luò)(Generative Adversarial Network， GAN)應(yīng)用在超分辨率領(lǐng)域，提出了新型的SRGAN[20]，改進(jìn)了之前網(wǎng)絡(luò)中的損失函數(shù)，引入感知損失和對抗損失，緩解了以往算法得到的重建結(jié)果不真實(shí)的問題。同年，Lim等人[21]提出EDSR，改進(jìn)了SRGAN的生成器網(wǎng)絡(luò)SRResnet，移除了其中的批歸一化(Batch Normalization， BN)層，降低了參數(shù)量和顯存占用，并進(jìn)一步構(gòu)建出了更寬的網(wǎng)絡(luò)進(jìn)行訓(xùn)練。2018年，Zhang等人[22]提出了RCAN，首次將注意力機(jī)制引入圖像超分辨率領(lǐng)域。RCAN參照SE模塊構(gòu)建了空間注意力模塊CAB，并添加在EDSR基本殘差塊的末端，用更少的參數(shù)量實(shí)現(xiàn)了比EDSR更好的重建效果。同年， Shocher等人[23]提出了ZSSR，這是首次將無監(jiān)督學(xué)習(xí)應(yīng)用在超分辨率領(lǐng)域，將測試圖片縮小作為輸入進(jìn)行訓(xùn)練，得到模型后再將測試圖片作為輸入，從而得到重建結(jié)果。因此，ZSSR不需要大規(guī)模的預(yù)訓(xùn)練，也不消耗過多的計算資源。

目前深度學(xué)習(xí)方法依然是圖像超分辨率重建的主流，相關(guān)研究都以卷積神經(jīng)網(wǎng)絡(luò)、殘差網(wǎng)絡(luò)[24]、亞像素卷積層[18]為基礎(chǔ)，通過修改網(wǎng)絡(luò)結(jié)構(gòu)來提高算法的速度和精度。但是，這些算法仍然存在兩個主要問題：一是以巨大的參數(shù)量來換取強(qiáng)大的網(wǎng)絡(luò)特征提取能力，這將會消耗大量計算資源，難以進(jìn)行工程實(shí)現(xiàn)；二是超分辨率重建后得到的圖像過于平滑，缺少細(xì)節(jié)紋理信息，不夠逼真。圖像超分辨率重構(gòu)作為低級圖像處理任務(wù)，要求盡可能保留圖像的底層信息，因此本文研究一種基于循環(huán)生成對抗網(wǎng)絡(luò)的超分辨率重建算法。

2 基于循環(huán)生成對抗網(wǎng)絡(luò)的超分辨率重建算法

本文提出了一種基于注意力機(jī)制的改進(jìn)多級殘差網(wǎng)絡(luò)(Multi-level Residual Attention Network，MRAN)進(jìn)行超分辨率重建：通過引入注意力機(jī)制，改進(jìn)殘差網(wǎng)絡(luò)結(jié)構(gòu)，增強(qiáng)了網(wǎng)絡(luò)的特征提取能力，在降低算法復(fù)雜度的同時提高了圖像的重建質(zhì)量。針對SRGAN模型的不足之處，本文構(gòu)建了新型CycleGAN結(jié)構(gòu)，并且從生成器網(wǎng)絡(luò)結(jié)構(gòu)、判別器判別方式、損失函數(shù)等方面對SRGAN做了改進(jìn)。

基于循環(huán)生成對抗網(wǎng)絡(luò)的超分辨率重建網(wǎng)絡(luò)MRA-GAN系統(tǒng)架構(gòu)如圖1所示，由重建網(wǎng)絡(luò)G、退化網(wǎng)絡(luò)F和兩個判別器DLR， DHR組成。重建網(wǎng)絡(luò)G負(fù)責(zé)將LR圖像重建為HR圖像，退化網(wǎng)絡(luò)F負(fù)責(zé)將HR圖像降采樣為LR圖像，判別器DLR負(fù)責(zé)鑒別真實(shí)LR圖像和通過退化網(wǎng)絡(luò)降采樣得到的LR圖像，判別器DHR負(fù)責(zé)鑒別真實(shí)HR圖像和通過重建網(wǎng)絡(luò)重建得到的HR圖像。

2.1 重建網(wǎng)絡(luò)

重建網(wǎng)絡(luò)的任務(wù)是將LR圖像重建為HR圖像，基于注意力機(jī)制的改進(jìn)多級殘差網(wǎng)絡(luò)(Multi-Residual Attention Network， MRAN)作為重建網(wǎng)絡(luò)，包含低級特征提取模塊、殘差集合和上采樣重建模塊。低級特征提取是從3通道RGB圖像中提取低級特征作為后續(xù)網(wǎng)絡(luò)的輸入；上采樣重建模塊通過亞像素卷積層將LR圖像重建為HR圖像，并利用1個卷積層將圖像恢復(fù)為3通道RGB圖像。殘差集合包含若干個殘差組RG(Residual Group)，用來學(xué)習(xí)LR圖像與HR圖像之間的非線性映射關(guān)系。殘差組RG的結(jié)構(gòu)如圖2所示，每個殘差組RG由4個殘差塊(Residual Block)、1個通道注意力模塊和1個用于調(diào)整通道數(shù)的卷積層組成。由于低層網(wǎng)絡(luò)通常擁有更多的底層信息，為了充分利用這些信息，本文引入了殘差聚合概念，將4個殘差塊的輸出通道拼接在一起，經(jīng)通道注意力模塊后最終輸出，解決了現(xiàn)有網(wǎng)絡(luò)特征提取導(dǎo)致參數(shù)量巨大的問題。對于每一個殘差集合的輸入，輸出可以表示為

圖2 MRAN的殘差組RG結(jié)構(gòu)

SRResnet和EDSR都設(shè)計了殘差塊RB來構(gòu)建網(wǎng)絡(luò)，其結(jié)構(gòu)示意圖分別如圖3(a)和圖3(b)所示。本文算法的RB架構(gòu)在移除BN層的同時，還添加了位于末端的空間注意力模塊SAB(Spatial Attention Block)，如圖3(c)所示。本文通過引入通道注意力模塊和空間注意力模塊，使殘差網(wǎng)絡(luò)能夠在訓(xùn)練的過程中學(xué)習(xí)出相應(yīng)的通道權(quán)重和空間權(quán)重，從而分別提高了網(wǎng)絡(luò)在不同通道和不同空間區(qū)域上提取關(guān)鍵信息的能力。通道注意力機(jī)制能夠在不增加網(wǎng)絡(luò)寬度的情況下，給予這些重要通道更高的權(quán)重，以提高網(wǎng)絡(luò)提取關(guān)鍵信息的能力。而空間注意力機(jī)制則是在一張?zhí)卣鲌D的內(nèi)部分配注意力資源，使網(wǎng)絡(luò)給予特征圖中的紋理、邊緣等重要的高頻信息更多關(guān)注，從而提高網(wǎng)絡(luò)提取信息的能力，使最后的重建結(jié)果更接近真實(shí)圖像。

圖3 SRResnet， EDSR， MRA-GAN的殘差塊RB結(jié)構(gòu)

2.2 退化網(wǎng)絡(luò)

退化網(wǎng)絡(luò)的任務(wù)是將HR圖像退化為LR圖像，可以認(rèn)為是重建網(wǎng)絡(luò)的逆過程，如圖4所示。其中Interpolate表示插值降采樣操作，退化網(wǎng)絡(luò)先將HR圖像降采樣到低分辨率空間，然后利用MRAN中提出的殘差集合學(xué)習(xí)HR與LR的映射關(guān)系，最終通過一個卷積層重建得到預(yù)測的LR圖像。

圖4 退化網(wǎng)絡(luò)結(jié)構(gòu)

2.3 DLR， DHR判別器

本文算法采用的判別器結(jié)構(gòu)參考了由Radford等人[25]提出的判別器網(wǎng)絡(luò)，如圖5所示。該相對判別器網(wǎng)絡(luò)本質(zhì)上是一個二元非類，如式(2)所示：

圖5 判別器網(wǎng)絡(luò)結(jié)構(gòu)

2.4 損失函數(shù)設(shè)計

本文算法中重建網(wǎng)絡(luò)G的損失函數(shù)設(shè)計由4部分組成，如式(3)所示：由式(4)可知，將計算誤差由計算差的平方修改為計算差的絕對值，因此能夠降低運(yùn)算量，同時提高模型收斂速度，緩解重建圖像過于模糊的問題。

(2)感知損失(Perceptual Loss， LP)

本文算法使用的感知損失函數(shù)使用VGG19網(wǎng)絡(luò)進(jìn)行特征提取，因?yàn)槭褂梦醇せ畹奶卣鲌D能夠更全面地衡量兩幅圖片的感知差距，因此選用了ReLU激活層之前的特征圖來計算損失。感知損失函數(shù)如式(5)所示

由式(7)可知，生成器的對抗損失部分不僅包括重建圖像，還包括高分辨率原圖，因此二者都促進(jìn)了重建網(wǎng)絡(luò)的訓(xùn)練。而在SRGAN模型中，僅有重建圖像會對網(wǎng)絡(luò)起到積極作用。因此使用相對判別器能夠提高網(wǎng)絡(luò)的學(xué)習(xí)能力，幫助網(wǎng)絡(luò)重建出更加真實(shí)的圖像。

(4) 循環(huán)一致性損失(Cycle Consistency Loss)

通過對抗損失，可以分別對重建網(wǎng)絡(luò)、退化網(wǎng)絡(luò)和判別器進(jìn)行訓(xùn)練。但是在超分辨率重構(gòu)中，低分辨率圖像與高分辨率圖像并不是一一對應(yīng)的，因此網(wǎng)絡(luò)根據(jù)某一組固定的輸入可能會生成多組不同輸出。為了保證不丟失輸入圖像的特征信息以及真實(shí)性，在本文算法的循環(huán)結(jié)構(gòu)中，引入了循環(huán)一致性損失，能夠保證輸入X經(jīng)過一個循環(huán)后得到輸出y仍舊接近輸入X，即

循環(huán)一致性損失由兩個循環(huán)結(jié)構(gòu)的輸入與輸出之間的平均絕對誤差求和求得

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)采用的基準(zhǔn)測試集Set5， Set14， BSD100，Urban100和Manga109中都包含了高分辨率原圖和與之對應(yīng)的2， 3， 4， 8倍降采樣低分辨率圖片。近年來基于深度學(xué)習(xí)的超分辨率算法基本都采用上述測試集進(jìn)行測試和結(jié)果對比，為方便對比，本文也選用這5個基準(zhǔn)測試集進(jìn)行測試。實(shí)驗(yàn)平臺為64位Ubuntu操作系統(tǒng)，使用GPU(Nvidia GeForce RTX 2080Ti)訓(xùn)練網(wǎng)絡(luò)，算法實(shí)現(xiàn)采用了Pytorch深度學(xué)習(xí)框架。

實(shí)驗(yàn)設(shè)置如下：MRA-GAN使用RGB 3通道圖像進(jìn)行訓(xùn)練，圖像在輸入前做了隨機(jī)旋轉(zhuǎn)和隨機(jī)翻轉(zhuǎn)的增強(qiáng)處理，每一批輸入是16幅尺寸為48×48的圖像，這些小的圖像塊均從數(shù)據(jù)集原圖中提取得到。訓(xùn)練過程使用L1損失函數(shù)和Adam優(yōu)化器，其中β1= 0.9，β2= 0.999，ε= 10-8，學(xué)習(xí)率設(shè)置為10-4。在訓(xùn)練開始時，分別先對重建網(wǎng)絡(luò)和退化網(wǎng)絡(luò)進(jìn)行10輪預(yù)訓(xùn)練，再使用與訓(xùn)練好的模型和判別器進(jìn)行交替訓(xùn)練，迭代30000輪，模型訓(xùn)練時間約為72 h。具體參數(shù)值如表1所示。

表1 測試參數(shù)設(shè)置

MRA-GAN通過殘差集合來學(xué)習(xí)LR圖像到HR圖像的映射，殘差組的數(shù)量將會影響網(wǎng)絡(luò)整體的參數(shù)量和結(jié)果。為平衡算法的精度與速度，訓(xùn)練不同數(shù)量殘差組并在Set5數(shù)據(jù)集上進(jìn)行4倍重建測試。表2比較了不同數(shù)量殘差組時，網(wǎng)絡(luò)總參數(shù)量和取得的重建結(jié)果對比效果。從表2可以看到殘差組的數(shù)量由8增至32時，重建圖像的質(zhì)量在不斷提升。當(dāng)增至48甚至64時，網(wǎng)絡(luò)的參數(shù)量已經(jīng)十分龐大，但是重建圖像并沒有明顯提升，甚至還會有小幅下降。因此，本文最終確定MRAN中使用32個殘差組來構(gòu)成殘差集合。

表2 不同殘差組數(shù)量實(shí)驗(yàn)結(jié)果

MRA-GAN與其他網(wǎng)絡(luò)不同模型在不同迭代輪數(shù)下重建結(jié)果如圖6所示，其中橫坐標(biāo)表示迭代輪數(shù)，縱坐標(biāo)分別表示在DIV2K數(shù)據(jù)集上進(jìn)行驗(yàn)證時得到的PSNR和SSIM指標(biāo)。從中可以看出MRAGAN在DIV2K驗(yàn)證集的重建結(jié)果明顯優(yōu)于網(wǎng)絡(luò)結(jié)構(gòu)簡單的SRCNN和VDSR，略優(yōu)于EDSR。

圖6 DIV2K驗(yàn)證結(jié)果

表3詳細(xì)給出了MRA-GAN與其他方法在各個基準(zhǔn)數(shù)據(jù)集上分別進(jìn)行2， 3， 4， 8倍重建后圖像的PSNR和SSIM結(jié)果，黑體和下劃線分別標(biāo)記了每項(xiàng)的最優(yōu)結(jié)果和次優(yōu)結(jié)果。

表3 實(shí)驗(yàn)結(jié)果對比

從實(shí)驗(yàn)數(shù)據(jù)表3中可以發(fā)現(xiàn)，在4倍和8倍重建結(jié)果中MRA-GAN的結(jié)果均優(yōu)于EDSR， CDSR，SRCNN， Bicubic等算法。但是在2倍和3倍重建的情況下，在小部分測試集中MRA-GAN的結(jié)果略差于EDSR，這是由于重建倍率較小，輸入圖片的內(nèi)部已經(jīng)包含了明顯的特征信息，使用EDSR就已經(jīng)能夠充分提取到關(guān)鍵信息。同時，由于MRA-GAN強(qiáng)大的特征提取能力和更高的特征利用率，結(jié)果也說明在不增加額外參數(shù)的前提下，本文算法能夠在高倍率的圖像超分辨重建中取得更好的結(jié)果。

圖7展示了在各個基準(zhǔn)測試集中使用各種重構(gòu)方法所得到的測試圖像，從中可以驗(yàn)證MRA-GAN得到的重建結(jié)果細(xì)節(jié)更豐富，紋理更清晰，因此體現(xiàn)了更好的主觀視覺體驗(yàn)。

圖7 基準(zhǔn)測試集測試結(jié)果

4 結(jié)束語

本文通過引入注意力機(jī)制，構(gòu)建多級殘差網(wǎng)絡(luò)，參考循環(huán)生成對抗網(wǎng)絡(luò)結(jié)構(gòu)，提出了一種新的圖像超分辨率重建算法MRA-GAN。在標(biāo)準(zhǔn)測試集的驗(yàn)證實(shí)驗(yàn)結(jié)果驗(yàn)證了本文算法相較于以前的超分辨重建方法，在客觀評價量化上都擁有更好的性能提升。后續(xù)研究將本文方法擴(kuò)展應(yīng)用到多視角圖像的超分辨率重建領(lǐng)域，并將方法應(yīng)用于多媒體傳感器網(wǎng)絡(luò)中。