基于特征融合的圖像超分辨率

端木春江 石亮

摘? 要： 近年深度卷積神經(jīng)網(wǎng)絡(luò)在圖像超分辨率領(lǐng)域取得了巨大成功。然而多數(shù)基于深度卷積神經(jīng)的超分辨率模型不能很好地利用來自低分辨率圖像的各級特征，從而導(dǎo)致相對較差的性能。本文采用全局特征融合的方法，對全局多層次特征進(jìn)行聯(lián)合學(xué)習(xí)，充分利用各卷積通道特征，通過全局跳躍連接，使網(wǎng)絡(luò)更注重高頻信息的學(xué)習(xí)，并采用亞像素卷積實現(xiàn)上采樣重建，取得了更好的效果。

關(guān)鍵詞： 圖像超分辨率； 特征融合； 卷積神經(jīng)網(wǎng)絡(luò)； 亞像素卷積

中圖分類號：TP391.41? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ?文章編號：1006-8228（2023）04-120-04

Abstract： In recent years， deep convolutional neural networks have achieved great success in the field of image super resolution. However， most of the super resolution models based on deep convolutional network cannot make good use of features at all levels from low resolution images， which leads to relatively poor performance. In this paper， we use global feature fusion to jointly learn global multi-level features， make full use of each convolutional channel features， make the network more focused on learning high-frequency information by global skip connection， and use sub-pixel convolution to achieve up-sampling reconstruction. It achieves better results.

Key words： image super resolution; feature fusion; convolutional neural network; sub-pixel convolution

0 引言

如今數(shù)字圖像成為承載信息的一個重要形式，同時人們對圖像視覺清晰度的要求也越來越高。圖像分辨率是指圖像中單位長度所顯示的像素數(shù)目，在使用場景中，高分辨率（High-Resolution，HR）圖像以其豐富的紋理細(xì)節(jié)、清晰的邊緣結(jié)構(gòu)極大地滿足了人們的視覺體驗，因此人們對高分辨率圖像的需求也日益提高。為應(yīng)對高分辨率圖像的使用需求，圖像超分辨率（Super-Resolution，SR）重建技術(shù)顯得尤為重要，即用軟件或硬件的方法提高圖像的分辨率，通過當(dāng)前的低分辨率圖像來獲得對應(yīng)高分辨率圖像的過程。研究者可以從硬件及軟件兩個方面進(jìn)行研究，但由于硬件設(shè)備容易老化，且成本相對較高而受到限制，于是研究者一般通過軟件算法的方法，來實現(xiàn)圖像超分辨率重建的過程。

1 相關(guān)工作

按算法原理，超分辨率SR方法基本分為三大類[1]：基于重構(gòu)的方法、基于樣例的方法和基于深度學(xué)習(xí)的方法。2014年，Dong[2]等人率先將深度學(xué)習(xí)應(yīng)用在超分辨率領(lǐng)域，提出了SRCNN網(wǎng)絡(luò)，證實基于卷積神經(jīng)網(wǎng)絡(luò)的方法比傳統(tǒng)方法重建效果更好，且速度更快，之后許多學(xué)者提出了一系列超分網(wǎng)絡(luò)。Kim等提出的VDSR[3]，通過引入殘差連接，加深網(wǎng)絡(luò)，達(dá)到了更好的重建效果；同年DRCN[4]采用參數(shù)共享，減少了網(wǎng)絡(luò)訓(xùn)練參數(shù)，但這些方法均使用了預(yù)處理，即在網(wǎng)絡(luò)輸入端使用雙三次插值法將圖像放大，而這會導(dǎo)致丟失一些細(xì)節(jié)信息，并且在高分辨率空間訓(xùn)練會增加網(wǎng)絡(luò)復(fù)雜度。因此，Dong提出FSRCNN[5]，直接輸入低分辨率圖像，而在網(wǎng)絡(luò)末端采取了反卷積對圖像進(jìn)行上采樣，這極大地減少了參數(shù)量；而Shi等提出了ESPCN[6]，同樣在網(wǎng)絡(luò)末端對圖像放大，具體是采用亞像素卷積（Sub-Pixel Convolution），將特征圖像每個通道重新排列，最終合成高分辨率圖像。實驗證明亞像素卷積效果比反卷積好，因此，如今大多數(shù)圖像超分辨率算法均在網(wǎng)絡(luò)末端使用亞像素卷積作為圖像上采樣。目前基于深度學(xué)習(xí)的SR算法是該領(lǐng)域的研究熱點。

2 特征融合與信息蒸餾網(wǎng)絡(luò)

2.1 所提出的網(wǎng)絡(luò)模型結(jié)構(gòu)（FFDN）

本文所提出的網(wǎng)絡(luò)包含四個部分：淺層特征提取、深層特征提取、特征融合以及重建模塊。我們使用兩個卷積層提取淺層特征，深層特征提取部分則是采用多個信息蒸餾模塊（IDBlock）級聯(lián)，其中每個IDBlock內(nèi)包含一個增強單元和一個壓縮單元，這可以有效地提取局部長路徑特征和局部短路徑特征。針對網(wǎng)絡(luò)不能很好地利用各卷積層特征，采用全局特征融合的方法，將每個IDBlock的輸出都與經(jīng)淺層特征提取的LR進(jìn)行融合，并通過全局跳躍連接使網(wǎng)絡(luò)更注重高頻信息的學(xué)習(xí)，網(wǎng)絡(luò)末端采用亞像素卷積來實現(xiàn)上采樣重建。

整個網(wǎng)絡(luò)模型如圖1所示，我們用ILR和IHR分別表示為網(wǎng)絡(luò)的輸入與輸出，兩個3*3的卷積層從原始低分辨率圖像LR中提取圖像淺層特征F0，此過程可以表示為：

其中，[HSF]表示淺層特征提取操作，它是由兩次3*3卷積以及激活函數(shù)（ReLU）組成，得到[F0]之后用作信息蒸餾模塊（IDBlock）的輸入，通過n個IDBlock模塊來提取深層特征FD：

其中，[HIDB，n]表示第n個信息蒸餾塊IDBlock的操作，它是由諸如卷積層以及激活函數(shù)等運算組合而成的復(fù)合函數(shù)，其具體結(jié)構(gòu)將會在下一小節(jié)中給出。

在用一組IDBlocks提取分層深層特征后，進(jìn)一步將每個IDBlock提取的特征圖進(jìn)行深層特征融合，再使用全局殘差連接，充分利用每一層的特征，此過程分別表示為：

其中，[HDFF]表示深層特征融合操作，具體是將之前每一層的特征進(jìn)行concate操作，再經(jīng)過一次1*1卷積進(jìn)行通道降維，然后再經(jīng)過3*3卷積后得到深層融合特征[FDF]，之后與原始淺層特征F0相加得到[FGF]。

在低分辨率空間提取淺層和深層特征后，受文獻(xiàn)ESPCN[6]啟發(fā)，我們在重建模塊中使用亞像素卷積操作進(jìn)行上采樣，此過程表示為：

整個網(wǎng)絡(luò)模型可表示為：

其中，[HFFDN]表示所提出的特征融合的信息蒸餾網(wǎng)絡(luò)模型。

2.2 信息蒸餾塊（IDBlock）

對于單個IDBlock，本文采用與文獻(xiàn)[7]中蒸餾模塊相同的結(jié)構(gòu)，其內(nèi)部可分為兩個單元：增強單元和壓縮單元，具體結(jié)構(gòu)如圖2所示。

如圖2所示，增強單元大致分為兩個部分，均為由三個3*3的卷積層所構(gòu)成，每個卷積層后都有一個激活函數(shù)（LReLU），圖中省略。第三個卷積層的輸出被分為兩部分，即通道切片操作，將其中的[1s]個通道與增強單元的輸入拼接在一起，并直接輸出到增強單元末端。上半部分剩余的[1-1s]個通道則輸入到第四個卷積層，并經(jīng)過三次卷積后，與前面拼接部分的通道相加，其作為壓縮單元的輸入。這樣做的目的是將先前的信息與當(dāng)前的信息相結(jié)合，充分利用局部長路徑以及短路徑上特征，再由1*1卷積壓縮通道，減小計算量。假設(shè)單個信息蒸餾塊的輸入、輸出分別是Fi、Fi+1，該過程可以表示為：

其中，[HIDB，i]表示第i個信息蒸餾塊（IDBlock）操作。

2.3 實驗細(xì)節(jié)

通過多次實驗，最終設(shè)定信息蒸餾塊（IDBlock）的數(shù)量n為6，通道設(shè)定為64，切片比例s設(shè)定為4，除特征融合模塊以及信息蒸餾塊中的壓縮單元使用1*1卷積外，其他所有的卷積核大小均設(shè)置為3。本文使用超分辨率領(lǐng)域常用的數(shù)據(jù)集，以及91圖像集和BSD200圖像集作為訓(xùn)練數(shù)據(jù)。為了充分利用訓(xùn)練數(shù)據(jù)，實驗采取了三種數(shù)據(jù)增強方法：①分別以90°、180°旋轉(zhuǎn)圖像；②水平翻轉(zhuǎn)圖像；③使用系數(shù)為0.9，0.8，0.7和0.6等比例縮放訓(xùn)練圖像。實驗訓(xùn)練選用Adam優(yōu)化器，初始學(xué)習(xí)率為0.0001，損失函數(shù)使均方誤差（MSE），它被廣泛用于圖像恢復(fù)的任務(wù)，其表達(dá)式如下：

其中，[Ii]表示真實圖像，[Ii]表示預(yù)測圖像，上式衡量了真實圖像與預(yù)測圖像之間的差異。

3 實驗結(jié)果與分析

本文選用了廣泛使用的基準(zhǔn)數(shù)據(jù)集Set5和Set14作為測試集，分別與經(jīng)典算法Bicubic、SRCNN、VDSR以及IDN進(jìn)行對比，表1為在Set5數(shù)據(jù)集三倍放大下不同算法的峰值信噪比（PSNR）結(jié)果。

如表1所示，在Set5數(shù)據(jù)集三倍放大的情況下，本文所提出的算法FFDN在五張測試圖的PSNR值均要高于對比算法結(jié)果，圖3是各個算法的可視化重建結(jié)果對比。

表2是在Set14數(shù)據(jù)集三倍放大下，各算法的峰值信噪比（PSNR）結(jié)果。

可以看到，無論是Set5還是Set14數(shù)據(jù)集，本文提出的算法在峰值信噪比指標(biāo)上均要高于先前的算法。在測試集Set5中，本文算法的平均PSNR比IDN高0.26dB，而在Set14數(shù)據(jù)集下，這一指標(biāo)高了0.28dB。且從主觀視覺上看，其他算法并不能很好地恢復(fù)出圖像的細(xì)節(jié)，有模糊的現(xiàn)象。與之相比，本文算法能夠較好地恢復(fù)出更多的細(xì)節(jié)紋理，達(dá)到更好的視覺效果。無論是從客觀指標(biāo)還是主觀視覺上比較，我們提出的算法均要優(yōu)于先前的網(wǎng)絡(luò)，從而也證實了本算法的有效性。

4 總結(jié)與展望

本文提出了基于特征融合與信息蒸餾的圖像超分辨率網(wǎng)絡(luò)模型（FFDN），模型采用全局特征融合的方法對全局多層次特征進(jìn)行聯(lián)合學(xué)習(xí)，并結(jié)合信息蒸餾模塊，通過全局跳躍連接，允許大量低頻信息直接越過主干網(wǎng)絡(luò)，使網(wǎng)絡(luò)更注重高頻信息的學(xué)習(xí)。實驗表明，本文算法相比之前的模型算法，無論是主觀視覺還是客觀指標(biāo)上都達(dá)到了更好的效果，具有更好的表征能力。受計算資源的限制，本文訓(xùn)練集較小，在今后的工作中，可考慮選用更大的數(shù)據(jù)集，同時考慮結(jié)合注意力機制加深網(wǎng)絡(luò)結(jié)構(gòu)，追求更高的性能。

參考文獻(xiàn)（References）：

[1] 蘇衡，周杰，張志浩.超分辨率圖像重建方法綜述[J].自動化學(xué)報，2013，39（8）：1202-1213

[2] Dong C， Loy C C， He K， et al. Learning a deep convolutional network for image super-resolution[A]. European Conference on Computer Vision[C]. Springer， Cham，2014：184-199

[3] J. Kim， J. K. Lee and K. M. Lee， "Accurate Image Super-Resolution Using Very Deep Convolutional Networks，" 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2016：1646-1654

[4] J. Kim， J. K. Lee and K. M. Lee， "Deeply-Recursive Convolutional Network for Image Super-Resolution，" 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2016：1637-1645

[5] C. Dong， C. C. Loy， and X. Tang， "Accelerating the super-resolution convolutional neural network，"Eur. Conf. Comput. Vis. Cham， Switzerland： Springer，2016：391-407

[6] W. Shi et al.， "Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network，"2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2016：1874-1883

[7] Z. Hui， X. Wang and X. Gao， "Fast and Accurate Single Image Super-Resolution via Information Distillation Network，" 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition，2018：723-731

*基金項目：浙江省自然科學(xué)基金項目（LY15F010007、Y1110510）

作者簡介：端木春江（1974-），男，江蘇南京人，博士，副教授，主要研究方向：圖像處理，視頻通信。

通訊作者：石亮（1998-），男，四川廣安人，碩士研究生，主要研究方向：圖像超分辨率。