基于多層次特征融合的圖像超分辨率重建

李金新 黃志勇 李文斌 周登文

單圖像超分辨率(Single image super-resolution,SISR)技術(shù)旨在將一幅低分辨率(Low-resolution,LR)圖像重建其對(duì)應(yīng)的高分辨率(High-resolution,HR) 圖像.SISR 被廣泛應(yīng)用于醫(yī)學(xué)成像[1]、遙感[2]和安防[3]等領(lǐng)域.超分辨率重建是一個(gè)病態(tài)的逆問題:一個(gè)LR 圖像可與多個(gè)(High-resolution,HR)圖像對(duì)應(yīng),恢復(fù)細(xì)節(jié)逼真、豐富的HR 圖像非常困難.超分辨率成像是計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)問題之一,深度學(xué)習(xí)技術(shù)已主導(dǎo)了當(dāng)前SISR 方法的研究[4-13].

基于深度學(xué)習(xí)的SISR 方法直接端到端地學(xué)習(xí)LR 圖像與HR 圖像之間的映射關(guān)系.Dong 等[7]第一個(gè)提出基于卷積神經(jīng)網(wǎng)絡(luò)[14]的SISR 方法,稱為SRCNN.SRCNN 僅使用了三個(gè)卷積層,以端到端的形式直接學(xué)習(xí)LR和HR 圖像間的非線性映射.Kim 等[15]基于殘差學(xué)習(xí)[16],提出網(wǎng)絡(luò)更深的SISR方法(Very deep convolutional networks for superresolution,VDSR),改進(jìn)了性能.為了能夠增加網(wǎng)絡(luò)深度,又限制網(wǎng)絡(luò)參數(shù)的增加,Kim 等[8]采用共享參數(shù)的遞歸結(jié)構(gòu),提出了Deeply-recursive convolu-tional Network (DRCN)方法.Tai 等[9]提出的Deep recursive residual network (DRRN),同時(shí)利用了局部殘差結(jié)構(gòu)、全局殘差結(jié)構(gòu)和遞歸結(jié)構(gòu).殘差單元之間參數(shù)共享,改進(jìn)了VDSR和DRCN的性能.Li 等[17]提出的Super-resolution feedback network (SRFBN-S)方法,使用循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),共享隱藏層參數(shù),降低參數(shù)量的同時(shí)提升了重建圖像質(zhì)量.Hui 等[18]提出Information multi-distillation network (IMDN)方法,在殘差塊內(nèi)逐步提取特征信息,利用通道注意力機(jī)制進(jìn)行特征選擇,進(jìn)一步提高了重建圖像質(zhì)量.Ahn 等[10]提出了基于級(jí)聯(lián)殘差網(wǎng)絡(luò)的SISR 方法(Cascading residual network,CARN),結(jié)合級(jí)聯(lián)結(jié)構(gòu)與殘差學(xué)習(xí),取得了更好的參數(shù)量和性能之間的平衡.Zhu 等[19]提出Compact back-projection network (CBPN)方法,通過級(jí)聯(lián)上/下采樣層,在LR和HR 空間中提取特征信息,增強(qiáng)了重建能力.Li 等[11]提出的Multiscale residual network (MSRN)方法,殘差塊內(nèi)運(yùn)用不同感受野的卷積層,提取不同尺度的特征信息,進(jìn)一步改進(jìn)了性能.Lai 等[20]提出了拉普拉斯金字塔網(wǎng)絡(luò)結(jié)構(gòu)的SISR 方法(Laplacian pyramid super-resolution network,LapSRN),逐步上采樣與預(yù)測(cè)殘差,可同時(shí)完成多個(gè)尺寸的HR圖像重建.

以上方法使用了輕量級(jí)網(wǎng)絡(luò),但網(wǎng)絡(luò)深度和參數(shù)量是影響SISR 性能的重要因素[12].Lim 等[12]提出了一個(gè)重量級(jí)的Enhanced deep super-resolution network (EDSR)方法,去除了規(guī)范化層,疊加殘差塊,超過65 個(gè)卷積層,獲得了2017 年超分辨率比賽冠軍[21].Zhang 等[13]提出的Residual dense network (RDN)方法,結(jié)合殘差結(jié)構(gòu)和稠密結(jié)構(gòu),并充分利用LR 圖像的層次特征信息,能夠恢復(fù)出高質(zhì)量的HR 圖像.Liu 等[22]提出Residual feature aggregation net work (RFANet)方法,在殘差塊中使用感受野更大,參數(shù)量更小的空間注意力模塊,篩選特征信息,并將每個(gè)殘差塊的殘差支路提取的特征進(jìn)行融合,提高了圖像重建質(zhì)量.EDSR、RDN和RFANet 等方法是當(dāng)前有代表性的重量級(jí)網(wǎng)絡(luò)SISR 方法,性能好,參數(shù)量也都較大(分別為43 MB、22 MB和11 MB).

在資源受限的情況下,重量級(jí)SISR 模型難以滿足應(yīng)用需求,本文考慮輕量級(jí)SISR 模型,提供潛在的解決方法.

本文提出一個(gè)新的、輕量級(jí)多層次特征融合網(wǎng)絡(luò)的SISR 方法(Multi-hierarchical features fusion network,MHFN).當(dāng)放大因子為4 倍時(shí),MHFN 參數(shù)量?jī)H為1.47 MB,是當(dāng)前尖端方法EDSR 的1/29,RDN 的1/14,RFANet 的1/7.對(duì)比同類輕量級(jí)SISR 模型,本文的MHFN 方法,在性能和模型規(guī)模上取得了更好的平衡.以最有代表性的MSRN 方法為例,本文的MHFN 參數(shù)減少了3/4,在測(cè)試集上2 倍、3 倍和4 倍放大,客觀性能相當(dāng),而8 倍放大,一致優(yōu)于MSRN 方法.對(duì)于4 倍和8倍放大,主觀性能也一致優(yōu)于MSRN 方法.實(shí)驗(yàn)結(jié)果表明,MHFN 方法重建條紋的能力顯著優(yōu)于其他輕量級(jí)方法,對(duì)于8 倍大尺度放大因子,重建圖像結(jié)果優(yōu)勢(shì)更明顯.本文貢獻(xiàn)包括:1)提出了一種對(duì)稱結(jié)構(gòu)的雙層嵌套殘差塊(Dual residual block,DRB).殘差塊內(nèi)先兩次擴(kuò)張,然后兩次壓縮特征通道,并使用兩層殘差連接以有效地提取特征信息;2)提出了一種自相關(guān)權(quán)重單元(Autocorrelation weight unit,ACW).ACW 可根據(jù)特征信息計(jì)算權(quán)值,自適應(yīng)地加權(quán)不同的特征通道,以有效地傳遞特征信息;3)設(shè)計(jì)了一種淺層特征映射單元(Shallow feature mapping unit,SFMU).SFMU 通過每條支路上的不同感受野的卷積層,提取不同層次的淺層特征信息;4)設(shè)計(jì)了一種多路重建單元(Multipath reconstruction unit,MPRU).MPRU 可獲取多條支路的特征信息,以充分地利用不同層次的特征信息重建圖像不同方面.

1 本文方法

目前,大多數(shù)SISR 模型利用殘差結(jié)構(gòu)[12,23].殘差塊結(jié)構(gòu)一般是卷積層–激活層–卷積層(Conv-ReLU-Conv)1該結(jié)構(gòu)是將特征信息 x 經(jīng)過卷積處理再激活操作,隨后再次卷積處理得到 ,結(jié)構(gòu)最終輸出為 x + ..這類模型的一個(gè)問題是:模型性能嚴(yán)重依賴于網(wǎng)絡(luò)規(guī)模(可訓(xùn)練的網(wǎng)絡(luò)層數(shù)和通道數(shù)),如何減小網(wǎng)絡(luò)規(guī)模,又提高或不降低模型性能,是極具挑戰(zhàn)性的問題.本文設(shè)計(jì)了輕量級(jí)的多層次特征融合網(wǎng)絡(luò),特征通道先擴(kuò)張后壓縮的雙層嵌套殘差塊,可以顯著降低參數(shù)量,自相關(guān)權(quán)重單元自適應(yīng)融合特征信息,也改進(jìn)了特征利用效果.本文的MHFN 網(wǎng)絡(luò)結(jié)構(gòu)如圖1(a)所示,主要包含淺層特征提取單元(Shallow feature extraction unit,SFEU)、淺層特征映射單元(Shallow feature mapping unit,SFMU)、深層特征映射單元(Deep feature mapping unit,DFMU)和多路重建單元(Multi-path reconstruction unit,MPRU)四個(gè)部分.

圖1 本文多層次特征融合網(wǎng)絡(luò)結(jié)構(gòu)與殘差組結(jié)構(gòu)((a) 多層次特征融合網(wǎng)絡(luò)結(jié)構(gòu)圖;(b) 殘差組結(jié)構(gòu)圖)Fig.1 Our multi-hierarchical feature fusion network structure and the residual group structure ((a) The architecture of multi hierarchical feature fusion network;(b) The structure of residual group)

令I(lǐng)LR與ISR為輸入與輸出圖像.淺層特征提取單元(SFEU)僅包含一個(gè)3×3 卷積層,實(shí)現(xiàn)淺層特征信息提取和特征維度轉(zhuǎn)換的功能:

式中,HSF EU是淺層特征提取單元,將輸入圖像ILR生成符合淺層/深層特征映射單元維度要求的淺層特征信息F0. 淺層特征映射單元(SFEU)從F0中進(jìn)一步提取淺層特征信息,并將淺層特征信息傳遞到多路重建單元(MPRU):

式中,HMP RU是多路重建單元,利用所有特征信息重建圖像,生成最終結(jié)果ISR.

1.1 淺層特征映射單元(SFMU)

當(dāng)前SISR 模型通常使用1 或2 個(gè)卷積層提取淺層特征,本文的SFMU 使用了不同感受野的卷積核,分層次提取淺層特征信息,實(shí)現(xiàn)多尺度、多層次淺層特征信息的獲取.豐富的淺層特征信息,可以幫助重建單元重建更高質(zhì)量的SR 圖像.

SFMU 首先通過1×1 卷積層對(duì)輸入信息進(jìn)行維度轉(zhuǎn)換,以降低后續(xù)操作的參數(shù)量.然后,使用三種不同感受野的卷積層,實(shí)現(xiàn)多尺度淺層特征信息提取.將三個(gè)卷積層分為三條支路,逐步加權(quán)疊加淺層特征信息.實(shí)現(xiàn)多尺度、多層次淺層特征信息的提取.

1.2 深層特征映射單元(DFMU)

為了獲取深層次特征信息,本文設(shè)計(jì)了DFMU,如圖1(a)所示.DFMU 包含3 個(gè)殘差組(Residual group,RG),每個(gè)RG 又包含多個(gè)DRB.簡(jiǎn)單地堆疊殘差塊,不利于特征信息的傳遞.本文在每個(gè)RG中添加局部跳躍連接,促進(jìn)特征信息的有效傳遞.并且通過RG 獲取深層次特征信息:

1.2.1 雙層嵌套殘差塊(DRB)

在SISR 模型中,常用的殘差結(jié)構(gòu)如圖2(a)所示,每個(gè)卷積層具有相同的通道數(shù)目.這個(gè)結(jié)構(gòu)的一個(gè)主要問題是:增加特征通道數(shù)目,會(huì)導(dǎo)致參數(shù)量快速增加.本文提出了如圖2(b)所示的DRB,由內(nèi)單元(Inner unit,IU)和外單元(External unit,EU)嵌套組成,并且使用先擴(kuò)張后壓縮的策略[24].該策略可以降低通道數(shù)目,進(jìn)而減少參數(shù)量.EU第1 個(gè)卷積層提取特征信息同時(shí),擴(kuò)張?zhí)卣魍ǖ?以獲取更豐富的圖像特征信息.第2 個(gè)卷積層壓縮特征通道,篩選特征信息,促使有效特征信息傳遞.本文在EU 內(nèi)部增加了包含2 個(gè)1×1 卷積的IU,增加通道數(shù)目,不會(huì)造成參數(shù)量的急劇增加.

圖2 不同的殘差塊結(jié)構(gòu)圖Fig.2 The structure of different residual block

IU 采用了Conv-ReLU-Conv 結(jié)構(gòu),并加入跳躍連接.

1.2.2 自相關(guān)權(quán)重單元(ACW)

基于深度殘差結(jié)構(gòu)的SISR 模型,仍然存在梯度消失或爆炸問題,為了穩(wěn)定訓(xùn)練,通常引入一個(gè)殘差尺度參數(shù)[25].這個(gè)超參數(shù)通常經(jīng)驗(yàn)設(shè)置,難以優(yōu)化.本文的ACW 可學(xué)習(xí)最優(yōu)的殘差尺度參數(shù).

如圖3 所示.ACW 由全局平均池化層和Sigmoid 激活函數(shù)兩部分組成,沒有附加的參數(shù).全局平均池化層將所有輸入特征信息編碼為初始化權(quán)重,隨后利用Sigmoid 激活函數(shù)將其調(diào)整至[0,1].由于特征信息之間存在差異,生成不同的權(quán)重,增強(qiáng)了對(duì)重建圖像有效的特征信息.

圖3 自相關(guān)權(quán)重單元結(jié)構(gòu)圖Fig.3 The structure of autocorrelation weight unit

令X=[x1,x2,···,xC] 為輸入特征信息,尺寸為H×W×C.初始化權(quán)值Z=[z1,z2,···,zC] 是通過全局平均池化層HGAP對(duì)輸入特征信息X進(jìn)行計(jì)算得出.第c個(gè)輸入特征信息的初始權(quán)值為:

使用Sigmoid 激活函數(shù)f(·) 調(diào)整初始化權(quán)值Z,生成最終的權(quán)重參數(shù)W:

對(duì)輸入特征信息進(jìn)行加權(quán)處理:

1.3 多路重建單元(MPRU)

當(dāng)前的SISR 模型網(wǎng)絡(luò)末端,大多采用轉(zhuǎn)置卷積或亞像素的卷積進(jìn)行上采樣.與轉(zhuǎn)置卷積相比,亞像素的卷積重建的圖像質(zhì)量更好[26],但需要配合使用多個(gè)3×3 卷積層[11-13],放大因子增加,參數(shù)量會(huì)顯著增加.為了在不降低圖像重建質(zhì)量的同時(shí)減少參數(shù)量,設(shè)計(jì)了MPRU.見圖1(a),MPRU 有三條重建支路,每條重建支路由1 個(gè)1×1 卷積層與1個(gè)亞像素卷積層組成.每條支路重建結(jié)果與HR 圖像尺寸相同,最終的SR 圖像是三條支路重建結(jié)果的和.MPRU 使用1×1 卷積層,可極大地減少參數(shù),放大因子增加,也不會(huì)顯著提高參數(shù)量.同時(shí),MPRU 獲取各支路的特征信息,也可以改進(jìn)重建效果.

下面將計(jì)算MPRU 參數(shù)量并與EDSR2https://github.com/thstkdgus35/EDSR-PyTorch方法的重建單元參數(shù)量作對(duì)比分析.假設(shè)兩者用于重建的特征信息通道均為C,圖像放大因子為S,重建后圖像為3 通道.經(jīng)1×1 卷積層處理后的特征信息通道數(shù)目為S×S×3.亞像素卷積層沒有參數(shù)量,不參與計(jì)算.MPRU 的重建支路參數(shù)為3×((1×1×C+1)×S×S×3).

EDSR 重建單元在放大因子S=[2,3] 時(shí),包含2 個(gè) 3×3 卷積層和1 個(gè)亞像素卷積層.第1 個(gè)卷積層將輸入的特征信息通道由C擴(kuò)張至S×S×C,再經(jīng)過亞像素卷積層將特征信息高度與寬度擴(kuò)張為原來的S倍,通道壓縮為C,再經(jīng)過另一個(gè)卷積層將通道壓縮至3,生成最終結(jié)果.參數(shù)量為((3×3×C+1)×S×S×C+(3×3×C+1)×3).在放大因子S=4 時(shí)包含3 個(gè)卷積層和2 個(gè)亞像素卷積層.同理于上述過程,先將圖像放大2 倍,再放大2 倍.其參數(shù)量為(2×((3×3×C+1)×2×2×C)+(3×3×C+1)×3).

當(dāng)S=[2,3] 時(shí),MPRU 參數(shù)量與EDSR重建單元參數(shù)量之比為:

當(dāng)S=4 時(shí),MPRU 參數(shù)量與EDSR 重建單元參數(shù)量之比為:

在本文模型中,重建的特征信息通道為48,即C=48. 由式(15)和式(16)可知,放大因子S=2,3 時(shí),EDSR 重建單元參數(shù)量是MPRU 參數(shù)量的47 倍,而S=4 時(shí),EDSR 重建單元參數(shù)量是MPRU 參數(shù)量的23 倍.

2 實(shí)驗(yàn)細(xì)節(jié)

2.1 實(shí)驗(yàn)設(shè)置

本文使用DIV2K[21]數(shù)據(jù)集中第1～800 個(gè)圖像作為訓(xùn)練數(shù)據(jù)集,并對(duì)訓(xùn)練集進(jìn)行 9 0°旋轉(zhuǎn)和隨機(jī)的水平翻轉(zhuǎn),進(jìn)行數(shù)據(jù)增強(qiáng).訓(xùn)練中每個(gè)批次處理16 個(gè)尺寸為48×48 像素的圖像塊,使用β1=0.9,β2=0.999,?=10-8的ADAM 優(yōu)化器[27].本文在訓(xùn)練模型中使用權(quán)值歸一化處理[28],初始學(xué)習(xí)率設(shè)置為 1 0-3,共訓(xùn)練1 000 個(gè)迭代周期,并且每200 個(gè)迭代周期學(xué)習(xí)率衰減為原先的一半.使用L1損失函數(shù).為了驗(yàn)證本文方法性能,使用Set5[29]標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集以及DIV2K 數(shù)據(jù)集中第801～810張高質(zhì)量圖像(標(biāo)記為DIV2K-10)進(jìn)行對(duì)比實(shí)驗(yàn),Set14[30]、B100[31]、Urban100[32]和Manga109[33]共4個(gè)標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集進(jìn)行測(cè)試,并使用平均峰值信噪比(Peak signal-to-noise ratio,PSNR)[34]與結(jié)構(gòu)相似性(Structural similarity index,SSIM)[34]指標(biāo)評(píng)價(jià)實(shí)驗(yàn)結(jié)果.模型使用PyTorch 實(shí)現(xiàn),并在NVIDIA GeForce RTX 2080Ti GPU 上訓(xùn)練.

2.2 實(shí)驗(yàn)分析

2.2.1 殘差組實(shí)驗(yàn)分析

本文提出模型包含3 個(gè)殘差組,并且每組內(nèi)包含相同數(shù)目的雙層嵌套殘差塊.為了驗(yàn)證殘差組內(nèi)不同數(shù)目的雙層嵌套殘差塊對(duì)模型的影響,本文在Set5 標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集以及DIV2K-10 數(shù)據(jù)集上進(jìn)行4 倍超分辨率實(shí)驗(yàn),對(duì)組內(nèi)數(shù)目分別為5、6、7 的殘差組作對(duì)比實(shí)驗(yàn).如表1 所示,組內(nèi)數(shù)目為6 時(shí)性能最佳.對(duì)比組內(nèi)數(shù)目為5 時(shí),雖然參數(shù)量提高0.24 MB,但是PSNR 指標(biāo)分別在Set5 與DIV-2K-10 數(shù)據(jù)集上提高0.03 dB和0.04 dB,而當(dāng)組內(nèi)數(shù)目為7 時(shí),PSNR 指標(biāo)提升不明顯,參數(shù)量卻提高0.24 MB.本文模型殘差塊個(gè)數(shù)為6,是一個(gè)合理的選擇.

表1 Set5和DIV2K-10 數(shù)據(jù)集上,放大4 倍,運(yùn)行200 個(gè)迭代周期,殘差組中不同雙層嵌套殘差塊數(shù)模型的平均PSNR 及參數(shù)量Table 1 Average PSNRs and number of parameter with different numbers of DRBs in the residual group with a factor of × 4 on Set5 and DIV2K-10 datasets under 200 epochs

2.2.2 SFMU 單元實(shí)驗(yàn)分析

為了驗(yàn)證淺層特征映射單元不同支路上卷積核大小,以及未使用淺層特征映射單元等情形對(duì)模型的影響,本文在Set5 標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集與DIV2K-10 數(shù)據(jù)集上,進(jìn)行4 倍超分辨率對(duì)比實(shí)驗(yàn).如表2所示,未使用淺層特征映射單元導(dǎo)致模型無法使用淺層特征信息,致使重建效果較差.而當(dāng)每條支路使用相同大小的卷積核,且卷積核大小不斷增加時(shí),重建效果提升,然而參數(shù)量也隨之增加.當(dāng)支路卷積核均為1 時(shí),PSNR 指標(biāo)低于未使用淺層特征映射單元的模型,這是由于提取的特征信息較少,存在冗余信息,導(dǎo)致效果較差.本文發(fā)現(xiàn)當(dāng)三條支路卷積核分別設(shè)置1、3、5 時(shí)效果最佳.這是由于每一條支路可以提取不同層次的淺層特征信息,可以有效地與深層層次特征信息進(jìn)行組合使用.因而本文使用支路卷積核大小分別為1、3、5 的淺層特征映射單元.

表2 Set5 與DIV2K-10 數(shù)據(jù)集上,放大4 倍,運(yùn)行200 迭代周期,淺層特征映射單元支路不同卷積核設(shè)置的平均PSNRTable 2 Average PSNRs of the models with different convolutional kernel settings for SFMU branches for× 4 on Set5 and DIV2K-10 datasets under 200 epochs

2.2.3 DRB 對(duì)比實(shí)驗(yàn)分析

相比于流行的殘差塊結(jié)構(gòu),如圖2(a)所示,本文的DRB 在性能和參數(shù)量上均有優(yōu)勢(shì).本文在Set5 與DIV2K-10 數(shù)據(jù)集上進(jìn)行4 倍超分辨率對(duì)比實(shí)驗(yàn).本文構(gòu)建了兩個(gè)測(cè)試模型,分別稱為模型I和模型II.模型I 是EDSR 架構(gòu),但是,卷積層輸入輸出通道數(shù)從256 縮減為64,殘差塊數(shù)從32 縮減為18.模型II 是把模型I 中殘差塊替換為DRB.在DRB 擴(kuò)張階段,EU 輸入輸出特征通道數(shù)分別設(shè)置為32 與64,IU 輸入輸出特征通道數(shù)分別設(shè)置為64 與128;在壓縮階段,EU 輸入輸出特征通道數(shù)分別設(shè)置為64 與32,IU 輸入輸出特征通道數(shù)分別設(shè)置為128 與64.模型I和模型II 中其他參數(shù)都是相同的:殘差尺度參數(shù)為0.1,運(yùn)行200 個(gè)迭代周期.結(jié)果如表3 所示,在Set5 與DIV2K-10 數(shù)據(jù)集上,模型II 的PSNR 分別高于模型I0.01 dB和0.05 dB,而本文的DRB 比ERSR 殘差塊的參數(shù)量少20.3 KB.

表3 Set5 與DIV2K-10 數(shù)據(jù)集上,放大4 倍,運(yùn)行200 個(gè)迭代周期,不同模型的平均PSNRTable 3 Average PSNRs of different models for × 4 super-resolution on Set5 and DIV2K-10 datasets under 200 epochs

2.2.4 ACW 對(duì)比實(shí)驗(yàn)分析

為了驗(yàn)證ACW 的有效性,考慮第2.2.3 節(jié)中模型I 包含和不包含ACW 兩種情形,結(jié)果如表4所示.使用ACW 后,Set5 與DIV2K-10數(shù)據(jù)集上PSNR 分別提高0.02 dB和0.03 dB.實(shí)驗(yàn)結(jié)果表明,ACW 自動(dòng)學(xué)習(xí)最優(yōu)的殘差尺度參數(shù)是有效的.

表4 Set5和DIV2K-10 數(shù)據(jù)集上,放大4 倍,運(yùn)行200 個(gè)迭代周期,包含/不包含ACW 模型的平均PSNRTable 4 Average PSNRs of the models with/without the ACW for × 4 super-resolution on the Set5 and DIV2K-10 datasets under 200 epochs

2.2.5 MPRU 對(duì)比實(shí)驗(yàn)分析

為了驗(yàn)證本文的MPRU 重建性能,本文把第2.2.3 節(jié)模型I 中的EDSR 重建單元替換為MPRU后,與模型I 進(jìn)行比較,兩個(gè)模型的結(jié)果分別對(duì)應(yīng)于表5 中EDSR 重建單元和MPRU.MPRU參數(shù)量?jī)H為9.36 KB,大約只有EDSR 重建單元參數(shù)量的1/32 (297.16 KB).在Set5 與DIV2K-10 數(shù)據(jù)集上,本文MPRU 使PSNR 分別提高了0.02 dB和0.05 dB.

表5 Set5和DIV2K-10 數(shù)據(jù)集上,放大4 倍,運(yùn)行200 個(gè)迭代周期,不同重建單元模型的平均PSNRTable 5 Average PSNRs of the models with different reconstruction modules for × 4 super-resolution on Set5 and DIV2K-10 datasets under 200 epochs

2.3 模型分析

本文提出的模型在Set14、B100、Urban100和Manga109 標(biāo)準(zhǔn)測(cè)試集驗(yàn)證2 倍、3 倍、4 倍和8 倍超分辨率性能.并與輕量級(jí)的SRCNN[7]、FSRCNN[35]、VDSR[15]、DRCN[8]、DRRN[9]、LapSRN[20]、CARN[10]、SRFBN-S[17]、IMDN[18]、CBPN[19]、MSRN[11]、MemNet[36]和SRMDNF[37]進(jìn)行性能對(duì)比.

1)客觀指標(biāo)如表6 所示,最好的結(jié)果與次好結(jié)果分別以粗體和下劃線形式標(biāo)出.在Set14 數(shù)據(jù)集上,放大因子為2 倍時(shí),本文的MHFN 模型比CARN模型PSNR 高出0.27 dB,在其他放大因子的情況下類似,并且MHFN 模型參數(shù)量比CARN 更少(大約減少了120 KB).在所有測(cè)試數(shù)據(jù)集上,放大因子為4 倍時(shí),MHFN 模型比CBPN 模型和IMDN 模型PSNR 平均高出0.06 dB 與0.16 dB.雖然在部分?jǐn)?shù)據(jù)集上,MSRN 性能略好,但本文的MHFN綜合性能更好,MSRN 的4 倍模型參數(shù)量是本文MHFN 的4 倍.

表6 各個(gè)SISR 方法的平均PSNR和SSIMTable 6 The average PSNRs/SSIMs of different SISR methods

表6 各個(gè)SISR 方法的平均PSNR和SSIM (續(xù)表)Table 6 The average PSNRs/SSIMs of different SISR methods (continued table)

2)主觀視覺如圖4 所示,本文對(duì)比Urban100標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集中img012、img024 與img046 圖像以及Manga109 標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集中的Highschool-Kimengumi_vol20 (HK_vol20)圖像.在圖像img-012 中,IMDN 與MSRN 重建結(jié)果與原圖像條紋方向相反,本文的模型正確重建了條紋的方向,可能是淺層特征提取單元獲取了更豐富的淺層特征信息,幫助重建單元重建出更精確的結(jié)果.在img046圖像中,Bicubic 插值、SRCNN 模型和VDSR 模型重建圖像非常模糊,LapSRN 模型、CARN 模型、SRFBN-S 模型、IMDN 模型與MSRN 模型重建結(jié)果嚴(yán)重失真,本文結(jié)果顯著更好.類似地,在img-024 圖像中,本文模型與其他方法均存在恢復(fù)的條紋數(shù)目與原圖像不一致的問題.其他方法均嚴(yán)重模糊和失真,本文的重建結(jié)果也顯著更好.在HK_-vol20 圖像中,其他方法眼睛部位重建模糊和走樣,本文重建結(jié)果顯著優(yōu)于其他方法,是清晰可視的.

圖4 標(biāo)準(zhǔn)測(cè)試集放大4 倍視覺效果比較Fig.4 Visual qualitative comparison of × 4 super-resolution on the standard test datasets

如圖5 所示,當(dāng)放大因子為8 倍時(shí),本文的模型重建效果顯著優(yōu)于其他模型.在img092 圖像中,LapSRN 模型與MSRN 模型重建圖像條紋方向與原圖像相反,本文的重建結(jié)果很接近于原圖像.在ppt3 圖像中,本文重建結(jié)果比其他模型顯著更清晰.對(duì)于規(guī)則形狀和結(jié)構(gòu)的重建,本文模型性能提升顯著.如何進(jìn)一步提高不規(guī)則形狀和結(jié)構(gòu)的重建質(zhì)量,是本文未來的研究工作.

圖5 標(biāo)準(zhǔn)測(cè)試集下放大8 倍視覺效果比較Fig.5 Visual qualitative comparison of × 8 superresolution on the standard test datasets

3 結(jié)束語

本文提出一種輕量級(jí)的多層次特征融合網(wǎng)絡(luò)(MHFN),用于重建高質(zhì)量的超分辨圖像.本文設(shè)計(jì)了雙層嵌套殘差塊(DRB)用于提取圖像特征信息,其特征通道數(shù)目先擴(kuò)張后壓縮,并且使用不同感受野的卷積層,降低參數(shù)量.為了使雙層嵌套殘差塊有效傳遞特征信息,本文設(shè)計(jì)了自相關(guān)權(quán)重單元(ACW),通過計(jì)算特征信息生成權(quán)重信息,再利用權(quán)重信息對(duì)特征信息進(jìn)行加權(quán)處理,保證高權(quán)重的特征信息被有效傳遞.本文將雙層嵌套殘差塊組成殘差組,用于提取深層的層次特征信息,并構(gòu)建淺層特征映射單元(SFMU)提取多尺度、多層次的淺層特征信息.多路重建單元(MPRU)將深層的層次特征信息與淺層特征信息融合重建為高質(zhì)量超分辨率圖像.實(shí)驗(yàn)結(jié)果表明,上述模塊設(shè)計(jì)有助于重建高質(zhì)量圖像,并且本文的模型可以有效增強(qiáng)圖像條紋,重建高質(zhì)量超分辨圖像.與其他輕量級(jí)模型相比,本文模型在性能與模型規(guī)模方面上獲得了更好的平衡.