基于雙通道卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率增強(qiáng)算法

賈 凱，段新濤，李寶霞，郭玳豆

(河南師范大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，河南 新鄉(xiāng) 453007)(*通信作者電子郵箱duanxintao@126.com)

0 引言

由于圖像在獲取過(guò)程中受到成像系統(tǒng)，傳輸環(huán)境等因素的影響，導(dǎo)致圖像的分辨率不高。這些低分辨率的圖像意味著原始圖像的關(guān)鍵信息丟失，因此無(wú)法滿(mǎn)足實(shí)際需求。然而在某些領(lǐng)域需要獲得高分辨率的圖像，為了解決此類(lèi)問(wèn)題，單幅圖像超分辨率(Single Image Super Resolution, SISR)技術(shù)將單幅低分辨率(Low Resolution, LR)圖像恢復(fù)為具有豐富的高頻信息的高分辨率(High Resolution, HR)圖像，在監(jiān)控設(shè)備[1]、遙感圖像[2]、醫(yī)療影像[3]和面部識(shí)別[4]等領(lǐng)域具有廣泛的應(yīng)用需求。

傳統(tǒng)的SISR方法包括3個(gè)研究方向：基于插值、基于重建和基于學(xué)習(xí)的方法?；诓蓸永碚摰牟逯捣椒ㄈ珉p三次插值法(Bicubic)[5]和最近鄰插值(nearest neighbor interpolation)[6]，該類(lèi)方法計(jì)算量低，能夠有效地增強(qiáng)圖像分辨率，但生成的圖像邊緣輪廓較為模糊，視覺(jué)上過(guò)于平滑，缺少紋理細(xì)節(jié)，并容易產(chǎn)生棋盤(pán)效應(yīng)?；谥亟ǖ姆椒ㄈ绲赐队?Iterative Back Projection, IBP)[7]方法、凸集投影(Projection Onto Convex Set, POCS)[8]法、最大后驗(yàn)概率(MAximuma Posterior, MAP)[9]法等，該類(lèi)方法簡(jiǎn)單且復(fù)雜度低，緩解了基于插值方法產(chǎn)生的棋盤(pán)現(xiàn)象，但無(wú)法處理復(fù)雜結(jié)構(gòu)的圖像，無(wú)法滿(mǎn)足實(shí)際應(yīng)用需求；基于學(xué)習(xí)的方法如基于鄰居嵌入[10-11]、基于稀疏表示[12-13]，該類(lèi)方法認(rèn)為L(zhǎng)R圖像已經(jīng)具備重建出與其對(duì)應(yīng)的HR圖像結(jié)構(gòu)信息的能力，采用幾何相似度的概念學(xué)習(xí)大量樣本之間的聯(lián)系，從而構(gòu)造出LR圖像和HR圖像之間的回歸和映射關(guān)系。

近年來(lái)，深度學(xué)習(xí)在圖像超分辨率的研究領(lǐng)域中取得了明顯的成效，得益于深度學(xué)習(xí)的強(qiáng)大的特征表征能力[14]，使得效果優(yōu)于傳統(tǒng)的方法。Dong等[15]首次提出了將超分辨率卷積神經(jīng)網(wǎng)絡(luò)(Super-Resolution using Convolutional Neural Network, SRCNN)算法用于圖像超分辨率的任務(wù)中，與傳統(tǒng)方法相比，簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)獲得理想的超分辨率效果。Dong等[16]又通過(guò)減少網(wǎng)絡(luò)參數(shù)加速訓(xùn)練，提出了快速SRCNN(Accelerating SRCNN, FSRCNN)，該算法舍棄了使用雙三次插值的圖像預(yù)處理過(guò)程，使用CNN采取端到端的方式對(duì)LR圖像進(jìn)行重構(gòu)，網(wǎng)絡(luò)深度更深并將反卷積層加入到網(wǎng)絡(luò)末端，算法精度和速度提升效果明顯。Wang等[17]針對(duì)SRCNN和FSRCNN網(wǎng)絡(luò)收斂過(guò)慢以及網(wǎng)絡(luò)較淺的問(wèn)題，提出了基于端到端的深層和淺層卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率算法(End-to-End image super-resolution algorithm via Deep and Shallow convolutional networks, EEDS)，該方法使用兩個(gè)通道的CNN重建高分辨率圖像，實(shí)現(xiàn)了較好的性能；但深度的增加導(dǎo)致部分關(guān)鍵信息的丟失，網(wǎng)絡(luò)性能還有待提高。Kim等[18]提出了一種使用非常深的卷積網(wǎng)絡(luò)實(shí)現(xiàn)精確的圖像超分辨率(accurate image Super-Resolution using Very Deep convolutional networks, VDSR)方法，模型使用20層的基于ImageNet分類(lèi)的VGG(Visual Geometry Group)-net[19]的深層卷積網(wǎng)絡(luò)，在深度網(wǎng)絡(luò)結(jié)構(gòu)中多次級(jí)聯(lián)小型濾波器，高效率地利用大型圖像區(qū)域上下文信息，但難以避免邊緣信息的丟失。Tai等[20]提出了一個(gè)非常深的持續(xù)性記憶網(wǎng)絡(luò)(persistent Memory Network for image restoration, MemNet)，它引入了一個(gè)由遞歸單元和門(mén)控單元組成的記憶塊，通過(guò)自適應(yīng)學(xué)習(xí)過(guò)程挖掘持久性記憶，來(lái)自先前記憶塊的表示和輸出被連接并發(fā)送到門(mén)控單元，該門(mén)控單元自適應(yīng)地控制應(yīng)當(dāng)保留多少以前的狀態(tài)，并且決定應(yīng)該存儲(chǔ)多少當(dāng)前狀態(tài)，在超分辨率任務(wù)中實(shí)現(xiàn)了優(yōu)越的性能。

得益于殘差網(wǎng)絡(luò)[21]結(jié)構(gòu)在圖像生成任務(wù)上的優(yōu)異性能以及MemNet在超分辨率任務(wù)實(shí)現(xiàn)的優(yōu)異性能，本文提出了一種基于雙通道卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率增強(qiáng)算法(Enhanced algorithm of image Super-Resolution based on Dual-channel Convolution neural network, EDCSR)。本文工作有以下幾個(gè)方面：1)舍棄圖像預(yù)處理過(guò)程，使用雙通道CNN建立端到端的映射模型；2)在特征提取階段使用級(jí)聯(lián)的小型殘差塊構(gòu)造來(lái)提取LR圖像的詳細(xì)紋理信息并映射；3)在上采樣階段使用反卷積層膨脹放大圖像特征，再以1×1卷積層濃縮特征圖；4)在重建階段采用由小型殘差塊構(gòu)造的長(zhǎng)短期記憶塊對(duì)高分辨率特征進(jìn)行映射，消除反卷積過(guò)程引入的額外的噪聲與圖像偽影，采用多尺度方式對(duì)圖像特征卷積提取，豐富重建圖像的紋理信息；5)除殘差塊使用整流線(xiàn)性單元(Rectified Linear Unit, ReLU)激活函數(shù)外，使用收斂速度更快的參數(shù)ReLU(Parameteric ReLU, PReLU)激活函數(shù)來(lái)提高網(wǎng)絡(luò)的非線(xiàn)性建模能力。實(shí)驗(yàn)結(jié)果表明，本文網(wǎng)絡(luò)超分辨率的效果與雙三次插值、A+[11]、SRCNN[15]和EEDS[17]超分辨率重建算法相比，主觀(guān)視覺(jué)效果和客觀(guān)評(píng)價(jià)指標(biāo)方面都取得了更優(yōu)的結(jié)果。

1 相關(guān)理論

1.1 SRCNN 算法

在基于學(xué)習(xí)的圖像超分辨率算法中，SRCNN首次將卷積神經(jīng)網(wǎng)絡(luò)用于圖像超分辨率的任務(wù)中，與傳統(tǒng)方法相比，該方法直接端到端地學(xué)習(xí)LR圖像與HR圖像的映射關(guān)系。網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，該算法采用經(jīng)雙三次插值預(yù)處理后的LR圖像塊作為網(wǎng)絡(luò)輸入，雖然SRCNN成功地將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到圖像超分辨率問(wèn)題中，但此網(wǎng)絡(luò)仍有三個(gè)不足之處：第一，它依賴(lài)于小型圖像塊的上下文信息，圖像的深層次語(yǔ)義特征提取不充分。第二，訓(xùn)練收斂太慢，使用雙三次插值上采樣之后引入新的誤差并增加了網(wǎng)絡(luò)的時(shí)間復(fù)雜度。目前，雙三次插值已經(jīng)逐漸被反卷積以及其他卷積方法來(lái)替代。第三，網(wǎng)絡(luò)只能用于單一尺度的SR任務(wù)，模型的適用范圍比較單一。因此在一定條件下，增加網(wǎng)絡(luò)深度，對(duì)網(wǎng)絡(luò)性能的提高有促進(jìn)作用。

圖1 SRCNN 結(jié)構(gòu)Fig. 1 Framework of SRCNN

1.2 基于雙通道卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率算法

基于雙通道卷積網(wǎng)絡(luò)的圖像超分辨率算法如EEDS[17]也是基于學(xué)習(xí)的SISR算法。針對(duì)1.1節(jié)分析的SRCNN和FSRCNN缺點(diǎn)，EEDS作了改進(jìn)，結(jié)構(gòu)比SRCNN和FSRCNN的層數(shù)更深，并且使用殘差和跳層，由于殘差網(wǎng)絡(luò)采取快捷連接的方式，梯度消失的問(wèn)題得到改善，數(shù)據(jù)流在層間的傳輸更為順利，使網(wǎng)絡(luò)更容易收斂。EEDS的網(wǎng)絡(luò)結(jié)構(gòu)分為深層和淺層兩部分：深層網(wǎng)絡(luò)包含13層，包括特征提取層、上采樣層以及多尺度重建層；淺層網(wǎng)絡(luò)包含3層，設(shè)計(jì)的思路來(lái)源于SRCNN的三層模型，其中使用反卷積層替代原始SRCNN的非線(xiàn)性映射層。最后，通過(guò)級(jí)聯(lián)深層網(wǎng)絡(luò)和淺層網(wǎng)絡(luò)的輸出，得到最終的HR圖像輸出。但此網(wǎng)絡(luò)仍然存在不足之處：由于深層網(wǎng)絡(luò)在特征提取階段不能充分提取LR圖像特征，上采樣過(guò)程特征非線(xiàn)性映射導(dǎo)致有用的信息丟失，造成偽影現(xiàn)象以及增加額外噪聲，重建過(guò)程中長(zhǎng)期記憶內(nèi)容的丟失也比較嚴(yán)重，導(dǎo)致深層網(wǎng)絡(luò)在超分辨率的效果上大打折扣，與此同時(shí)，淺層網(wǎng)絡(luò)主要用于恢復(fù)LR圖像的主要成分，過(guò)于大的參數(shù)量限制了網(wǎng)絡(luò)的快速收斂性能。因此基于雙通道的圖像超分辨率方法，在網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)上依然有改進(jìn)的空間和提高網(wǎng)絡(luò)性能的趨勢(shì)。

2 本文算法

2.1 改進(jìn)思路

由于淺層網(wǎng)絡(luò)不能很好地提取LR圖像特征，導(dǎo)致超分辨率效果不理想；深層網(wǎng)絡(luò)雖然在深度上的優(yōu)勢(shì)，效果優(yōu)于淺層網(wǎng)絡(luò)，但網(wǎng)絡(luò)架構(gòu)的加深也會(huì)導(dǎo)致網(wǎng)絡(luò)難以訓(xùn)練，梯度消失/爆炸都會(huì)影響網(wǎng)絡(luò)的穩(wěn)定性。因此，結(jié)合網(wǎng)絡(luò)寬度和深度對(duì)網(wǎng)絡(luò)效果影響的這兩個(gè)因素，對(duì)SRCNN和EEDS進(jìn)行了改進(jìn)。

SRCNN和EEDS的網(wǎng)絡(luò)架構(gòu)，一個(gè)是3層網(wǎng)絡(luò)，另一個(gè)是深層和淺層分別為13和3層的雙通道網(wǎng)絡(luò)。淺層通道用于主要恢復(fù)圖像的總體輪廓，深層通道用于恢復(fù)豐富的紋理信息，因此雙通道的結(jié)合可以有效地提高訓(xùn)練的高效性，增強(qiáng)特征擬合能力，并降低了整個(gè)模型的計(jì)算復(fù)雜度?；谝陨弦蛩?，本文選擇在調(diào)整深層通道網(wǎng)絡(luò)深度的同時(shí)調(diào)整淺層通道卷積核參數(shù)：使淺層通道主要負(fù)責(zé)網(wǎng)絡(luò)的收斂性能，降低時(shí)間復(fù)雜度；而深層通道主要負(fù)責(zé)更細(xì)致的紋理恢復(fù)，提高網(wǎng)絡(luò)的恢復(fù)精度?？紤]到殘差塊和跳層比單純地增加網(wǎng)絡(luò)層數(shù)能更快地收斂，緩解梯度彌散、特征丟失等問(wèn)題，對(duì)更高層次的紋理信息的學(xué)習(xí)更有效，擬合圖像特征更準(zhǔn)確，因此本文選擇在深層通道使用殘差塊和跳層。同時(shí)，隨著深度的增加，模型在每個(gè)階段很難實(shí)現(xiàn)長(zhǎng)期的依賴(lài)問(wèn)題，導(dǎo)致重建階段對(duì)上采樣階段的依賴(lài)降低，上采樣階段重要的高頻信息在后續(xù)層的損失較多，本文選擇在重建階段使用3個(gè)殘差塊組成長(zhǎng)短期記憶塊對(duì)上采樣特征空間進(jìn)行重建。最終本文提出了深層通道為21層、淺層通道為3層的基于雙通道卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率增強(qiáng)算法。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

本文基于雙通道卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率增強(qiáng)算法(EDCSR)的設(shè)計(jì)充分考慮低分辨率圖像與超分辨率圖像的非線(xiàn)性映射關(guān)系，兩個(gè)通道的特征對(duì)模型的作用是相等的，每個(gè)通道對(duì)應(yīng)的權(quán)重不共享。本文構(gòu)建的雙通道網(wǎng)絡(luò)框架如圖2所示，主要分為兩個(gè)子通道：深層通道和淺層通道，淺層通道主要是用于恢復(fù)圖像的總體輪廓，深層通道用于提取LR圖像的詳細(xì)紋理信息。

在深層通道特征提取及映射階段中，輸入為48×48的3通道的LR圖像從輸入層輸入網(wǎng)絡(luò)，先通過(guò)3×3的卷積核使通道數(shù)增加到64個(gè)，然后經(jīng)過(guò)1×1的卷積層將特征通道壓縮為16通道并輸入到殘差塊(Residual Block)中。殘差塊結(jié)構(gòu)如圖3所示，由Conv、ReLU、Conv組成，殘差塊中的Conv大小都是3×3，步長(zhǎng)為1，padding為2，經(jīng)過(guò)3個(gè)殘差塊輸出16個(gè)48×48的特征圖，此時(shí)特征圖中的語(yǔ)義信息更加豐富。在上采樣階段，作為網(wǎng)絡(luò)中最重要的一個(gè)部分，其目標(biāo)是增加LR圖像的空間跨度到HR尺寸大小。在映射部分之后用1×1的濾波器將維數(shù)從16壓縮為4。本文不采用手工設(shè)計(jì)的插值方法，而是采用反卷積層(DeConv)來(lái)實(shí)現(xiàn)上采樣。DeConv的大小為9×9，對(duì)于2倍、3倍、4倍不同尺度的上采樣通過(guò)設(shè)置不同的步長(zhǎng)實(shí)現(xiàn)，反卷積過(guò)后特征圖增加到64個(gè)，最后用1×1的濾波器將維數(shù)從64映射到64，使用1×1的濾波器有效地減少參數(shù)，降低計(jì)算復(fù)雜度。在長(zhǎng)短期記憶重建階段，作為網(wǎng)絡(luò)的最后一環(huán)也是最重要的一個(gè)部分，決定了網(wǎng)絡(luò)的紋理信息恢復(fù)質(zhì)量?？紤]到模型在每個(gè)階段很難實(shí)現(xiàn)長(zhǎng)期的依賴(lài)問(wèn)題，在采用多尺度卷積的基礎(chǔ)上，本文在重建開(kāi)始階段使用長(zhǎng)短期記憶塊對(duì)上采樣特征空間進(jìn)行重建，長(zhǎng)短期記憶塊如圖4所示，由1個(gè)卷積層和3個(gè)殘差塊組成。特征圖的維數(shù)從64到32，進(jìn)一步降低維度，增強(qiáng)非線(xiàn)性映射的能力。長(zhǎng)短期記憶塊中的Conv大小都是3×3，步長(zhǎng)為1，padding為2，最后輸出32個(gè)特征圖，接著使用1×1的濾波器將維數(shù)從32壓縮為16，提取高維特征同時(shí)降低計(jì)算復(fù)雜度。為了有效地聚合16個(gè)特征圖局部信息，使用多尺度卷積進(jìn)行重建，多尺度卷積層包含4個(gè)大小不同的濾波器，分別為1×1、3×3、5×5和7×7，在這一層卷積的4個(gè)濾波器是平行的，每個(gè)濾波器都有4個(gè)特征圖輸出，然后將16個(gè)特征圖結(jié)合并輸出，從而提取不同尺度的特征，獲得更佳的效果。最后，使用1×1的濾波器，作為多尺度紋理特征的加權(quán)組合，此時(shí)特征圖的維數(shù)從16到1。

圖2 EDCSR結(jié)構(gòu)Fig. 2 Framework of EDCSR

圖3 殘差塊結(jié)構(gòu)Fig. 3 Framework of residual block

相應(yīng)的，在淺層通道使用類(lèi)似于SRCNN的3層結(jié)構(gòu)，不同的是采用反卷積完成上采樣工作。具體過(guò)程為：輸入為48×48的3通道的LR圖像從輸入層輸入網(wǎng)絡(luò)，先通過(guò)3×3的濾波器使通道數(shù)增加到4個(gè)，緊接著使用反卷積增加LR圖像的空間跨度到HR尺寸大小，DeConv卷積核大小與深層網(wǎng)絡(luò)相同為9×9，反卷積過(guò)后特征圖增加到16個(gè)。最后，使用3×3 大小的卷積核，步長(zhǎng)為1，padding為2，輸出1個(gè)3通道的特征圖。

圖4 長(zhǎng)短期記憶塊結(jié)構(gòu)Fig. 4 Framework of long-short term memory block

最后，聯(lián)合優(yōu)化淺層和深層網(wǎng)絡(luò)的輸出特征圖，使兩個(gè)網(wǎng)絡(luò)的輸出相加，保留有效的成分，豐富特征圖的紋理信息。然后將特征圖輸入到一個(gè)1個(gè)1×1的卷積層。最終得到HR的圖像輸出，圖像的質(zhì)量大大提高。圖5為網(wǎng)絡(luò)重建倍數(shù)為4時(shí)各子通道中間過(guò)程效果，可以發(fā)現(xiàn)淺層通道只保留了圖像的基本輪廓信息但缺乏紋理細(xì)節(jié)，深層通道則恢復(fù)了更多的紋理細(xì)節(jié)，經(jīng)由雙通道聯(lián)合輸出的結(jié)果相比單一通道的網(wǎng)絡(luò)，具有更加豐富的紋理信息，邊緣更加銳利，比單一通道的網(wǎng)絡(luò)具有明顯的優(yōu)勢(shì)。

圖5 重建倍數(shù)為4時(shí)各子通道中間過(guò)程效果Fig. 5 Effect of intermediate process of each sub-channel with reconstruction scale of 4

由于本文所提出的結(jié)構(gòu)比改進(jìn)的網(wǎng)絡(luò)深，低層與高層的特征圖之間特征分布存在的差別較大，因此為了避免梯度消失問(wèn)題，除了殘差塊使用ReLU[22]激活函數(shù)，在本文所有的卷積操作后使用收斂速度更快的PReLU[23]激活函數(shù)來(lái)提高網(wǎng)絡(luò)的非線(xiàn)性建模能力。

2.3 殘差塊和長(zhǎng)短期記憶塊

2.3.1 殘差塊

本文網(wǎng)絡(luò)的殘差塊設(shè)計(jì)靈感來(lái)自于He等[21]提出的152層的ResNet網(wǎng)絡(luò)。在ImageNet數(shù)據(jù)集上的識(shí)別性能隨著網(wǎng)絡(luò)層數(shù)的提高而提升，在計(jì)算機(jī)視覺(jué)問(wèn)題[18-19,21]從低級(jí)到高級(jí)任務(wù)中，都表現(xiàn)出優(yōu)異的性能。

原始?xì)埐顗K(Residual Block)如圖3(a)所示，由前饋卷積網(wǎng)絡(luò)加上一個(gè)跳躍繞過(guò)一些層組成，堆疊的殘差塊形成了最終的殘差網(wǎng)絡(luò)。相較于“平整網(wǎng)路”，殘差網(wǎng)絡(luò)有著更低的收斂損失，同時(shí)也沒(méi)有因梯度消失產(chǎn)生過(guò)高的過(guò)擬合，使網(wǎng)絡(luò)更容易優(yōu)化，特征圖維數(shù)逐層遞進(jìn)，保證輸出特征表達(dá)能力。由于原始的殘差塊中使用批量正則化(Batch Normalization, BN)層[24]對(duì)卷積層輸出的特征作歸一化處理，這樣會(huì)影響到卷積層所學(xué)習(xí)到的特征分布，造成特征圖的重要信息丟失，同時(shí)批量正則化層與先前的卷積層具有相同數(shù)量的參數(shù)，消耗了大量的內(nèi)存。Nah等[25]在提出的圖像去模糊任務(wù)中，刪除殘差塊中BN層，網(wǎng)絡(luò)性能得到很大的提升，因此本文使用刪除BN層的殘差塊，保證網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定以及減少輸出中的顏色偏移。本文的每個(gè)殘差塊由兩個(gè)卷積核為3×3的卷積層和一個(gè)ReLU層組成。本文的殘差塊的構(gòu)造如圖3(b)所示。

殘差塊可以表示為：

Xl+1=Xl+F(X)

(1)

式中：Xl和Xl+1分別表示殘差塊的輸入和輸出向量；函數(shù)F(X)表示殘差映射。本文的殘差塊只包含卷積層和ReLU層。修正線(xiàn)性單元ReLU有單側(cè)抑制和稀疏激活性，在大多數(shù)情況下，ReLU梯度是一個(gè)常數(shù)，在一定程度上避免梯度消失問(wèn)題。數(shù)學(xué)表達(dá)式如(2)所示：

f(x)=max(0,xi)

(2)

在本文中，殘差塊之外的卷積層使用的激活函數(shù)為參數(shù)整流線(xiàn)性單元(PReLU)[23]，PReLU的使用主要是為了避免殘差塊之外的卷積層由ReLU中零梯度引起的“死角”[26]。它和ReLU差異主要體現(xiàn)在負(fù)數(shù)部分，數(shù)學(xué)表達(dá)式如(3)所示：

f(x)=max(0,xi)+aimin(xi,0)

(3)

其中：xi是第i層的輸入信號(hào)；ai是負(fù)值部分的系數(shù)，對(duì)于式(2)，參數(shù)ai被設(shè)置為0，但對(duì)于PReLU來(lái)說(shuō)負(fù)數(shù)部分是可以學(xué)習(xí)的。最后，激活函數(shù)的輸出可以描述為：

fl(x)=f(wl*fl-1(x)+bl)

(4)

其中：fl是最終輸出特征圖；bl是第l層的偏置。

2.3.2 長(zhǎng)短期記憶塊

模型在每個(gè)階段很難實(shí)現(xiàn)長(zhǎng)期的依賴(lài)問(wèn)題，導(dǎo)致重建階段對(duì)上采樣階段的依賴(lài)降低，上采樣階段重要的高頻信息在后續(xù)的階段損失較多，本文選擇在重建開(kāi)始階段使用3個(gè)殘差塊(B1,B2,B3)組合成長(zhǎng)短期記憶塊對(duì)上采樣特征空間進(jìn)行重建。長(zhǎng)短期記憶塊的設(shè)計(jì)靈感來(lái)自Tai等[20]提出了一個(gè)非常深的持續(xù)性記憶網(wǎng)絡(luò)(MemNet)。本文的長(zhǎng)短期記憶塊的構(gòu)造如圖4所示。

本文使用三個(gè)殘差塊在長(zhǎng)短期記憶塊中作遞歸學(xué)習(xí)，將上采樣階段的特征向量x作為輸入，則對(duì)于殘差塊Bi，可以計(jì)算如下：

Bi=F(Bi-1,wi)+Bi-1

(5)

式中：i分別被設(shè)置為1、2、3；B1、B2和B3分別表示對(duì)應(yīng)殘差塊的輸出，當(dāng)i=1時(shí)，Bi-1=x；F表示殘差映射；wi則表示殘差塊的要學(xué)習(xí)的權(quán)重向量。由于每個(gè)殘差塊有兩個(gè)卷積層以及ReLU激活函數(shù)組成，則式(5)可以進(jìn)一步表示為：

(6)

其中：ReLU表示激活函數(shù)；w1、w2分別表示為兩個(gè)卷積層的權(quán)重向量；為了簡(jiǎn)單起見(jiàn)，偏置在以上式(6)中被省略。

最后，與傳統(tǒng)的平整網(wǎng)絡(luò)不同的是，本文采用級(jí)聯(lián)的方式，對(duì)三個(gè)殘差塊的輸出特征進(jìn)行聯(lián)合學(xué)習(xí)，這種方式有效地避免了來(lái)自于上一階段的內(nèi)容損失。計(jì)算的過(guò)程如下：

Bout=[B1,B2,B3]

(7)

式中Bout表示最終的輸出，傳遞到下一層。

2.4 損失函數(shù)和評(píng)價(jià)標(biāo)準(zhǔn)

2.4.1 損失函數(shù)

模型通過(guò)最小化重建得到的超分辨率圖像和真實(shí)高分辨率圖像之間的損失代價(jià)，模型參數(shù)Θ={wi,bi}利用反向傳播進(jìn)行不斷地調(diào)整，對(duì)于一組真實(shí)高分辨率的圖像Xj和網(wǎng)絡(luò)重建得到的超分辨率圖像Fj(Y;Θ)，本文采用均方誤差(Mean Squared Error, MSE)作為代價(jià)函數(shù)：

(8)

其中n代表訓(xùn)練樣本的數(shù)量。由于兩通道網(wǎng)絡(luò)的權(quán)值不共享，因此轉(zhuǎn)化為最小化兩通道代價(jià)函數(shù)問(wèn)題：

LEDC=min[Ld(Θ)+Ls(Θ)]

(9)

其中,Ld(Θ)和Ls(Θ)為深層通道和淺層通道的損失代價(jià)。網(wǎng)絡(luò)利用Adam優(yōu)化方法和反向傳播算法[27]來(lái)最小化MSE以調(diào)整網(wǎng)絡(luò)的參數(shù)，網(wǎng)絡(luò)權(quán)重的更新過(guò)程為：

(10)

2.4.2 評(píng)價(jià)標(biāo)準(zhǔn)

本文使用峰值信噪比(Peak Signal to Noise Ratio, PSNR)[28]和結(jié)構(gòu)相似性(Structural SIMilarity, SSIM)[29]兩種通用的評(píng)判指標(biāo)衡量生成的圖像質(zhì)量與原始高分辨率圖像的差異。

PSNR作為圖像質(zhì)量客觀(guān)評(píng)價(jià)的指標(biāo)，通過(guò)計(jì)算相對(duì)應(yīng)像素點(diǎn)之間的誤差，衡量圖像質(zhì)量，數(shù)值越大表示圖像失真越小，計(jì)算式如下：

PSNR=10lg((2n-1)2/MSE)

(11)

其中:MSE是原圖像與超分辨率圖像直接的均方誤差;(2n-1)2是信號(hào)最大值的平方，n是每個(gè)采樣值的比特?cái)?shù)。

SSIM對(duì)圖像相似性的衡量從亮度、對(duì)比度和結(jié)構(gòu)三個(gè)方面進(jìn)行。SSIM取值范圍為[0,1]，值的范圍越接近1，失真效果則越小,計(jì)算式如下：

SSIM(X,Y)=l(X,Y)·c(X,Y)·s(X,Y)

(12)

(13)

(14)

s(X,Y) = (2σX Y+C3)/(σXσY+C3)

(15)

其中：X為低分辨率圖像經(jīng)過(guò)網(wǎng)絡(luò)訓(xùn)練輸出的超分辨率圖像；Y為原始的高分辨率圖像；μX和μY分別表示圖像X和Y的均值;σX、σY表示超分辨率圖像和原始高分辨率圖像的標(biāo)準(zhǔn)差，σXY表示超分辨率圖像和原始高分辨率圖像的協(xié)方差;C1、C2、C3為常數(shù)項(xiàng)，為了避免分母出現(xiàn)0的情況，通常的做法是取C1=(K1×L)2、C2=(K2×L)2、C3=C2/2，一般取K1=0.01，K2=0.03，L=255。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集

本文實(shí)驗(yàn)采用文獻(xiàn)[13]中的91張圖片和從DIV2K選擇的100張2K高清圖片[30]，共191張圖片作為訓(xùn)練集訓(xùn)練網(wǎng)絡(luò)模型?？紤]到數(shù)據(jù)集的大小直接影響網(wǎng)絡(luò)的性能，在原有的訓(xùn)練數(shù)據(jù)集的基礎(chǔ)上，對(duì)圖像采取兩種方式的數(shù)據(jù)擴(kuò)增：1)比例縮放，每張圖像都分別按照0.9、0.8、0.7和0.6的比例進(jìn)行縮放。2)旋轉(zhuǎn)，每張圖像進(jìn)行旋轉(zhuǎn)90°、180°和270°。以此獲得了5×4=20倍的圖像，最終獲得3 820張圖像進(jìn)行訓(xùn)練。訓(xùn)練過(guò)程中使用經(jīng)下采樣大小為48×48的子圖像，網(wǎng)絡(luò)的初始的學(xué)習(xí)速率設(shè)置為0.001，采取Adam優(yōu)化方法自動(dòng)調(diào)節(jié)學(xué)習(xí)率，使網(wǎng)絡(luò)參數(shù)能夠平穩(wěn)學(xué)習(xí)。每一批的圖像數(shù)設(shè)置為64，網(wǎng)絡(luò)訓(xùn)練了10萬(wàn)次。測(cè)試集為國(guó)際上普遍使用的公共數(shù)據(jù)集Set5[31]和Set14[32]。在圖形處理器(Graphics Processing Unit, GPU)為NVIDIA GeForce 1080 Ti，實(shí)驗(yàn)環(huán)境為Keras，應(yīng)用Python3.5、OpenCV3.0進(jìn)行仿真實(shí)驗(yàn)。本文網(wǎng)絡(luò)訓(xùn)練結(jié)果將從主觀(guān)視覺(jué)效果、客觀(guān)評(píng)價(jià)指標(biāo)以及效率三個(gè)方面與現(xiàn)有的雙三次插值(Bicubic)[5]、A+[11]、SRCNN[15]和EEDS[17]等算法作對(duì)比。

3.2 結(jié)果分析

為了驗(yàn)證本文所提出的基于雙通道卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率增強(qiáng)算法的有效性，本文使用訓(xùn)練好的模型對(duì)LR圖像進(jìn)行2倍、3倍和4倍的超分辨率重建。在Set5以及Set14數(shù)據(jù)集上對(duì)比所提出的EDCSR方法的性能，并與現(xiàn)有的雙三次插值(Bicubic)[5]、A+[11]、SRCNN[15]和EEDS[17]等算法的結(jié)果進(jìn)行比較。為了確保實(shí)驗(yàn)結(jié)果的合理客觀(guān)，在兩個(gè)數(shù)據(jù)集上選擇具有代表性，且紋理細(xì)節(jié)豐富的圖像進(jìn)行測(cè)試和對(duì)比。測(cè)試結(jié)果如圖6～7所示，分別比較了雙三次插值、A+、SRCNN、EEDS對(duì)butterfly、comic圖像不同重建倍數(shù)下的結(jié)果，選取整個(gè)全景圖以及截取butterfly的翅膀紋理變化較為明顯的部分、comic的臉頰和肩部等細(xì)節(jié)部分進(jìn)行主觀(guān)視覺(jué)評(píng)價(jià)。

圖6 重建倍數(shù)為4時(shí)不同算法對(duì)“butterfly”的超分辨率結(jié)果Fig. 6 Super-resolution results of “butterfly” with reconstruction scale of 4

圖7 重建倍數(shù)為3時(shí)不同算法對(duì)“comic”的超分辨率結(jié)果Fig. 7 Super-resolution results of “comic” with reconstruction scale of 3

圖6～7中，(a)～(d)依次為4種對(duì)比模型的重構(gòu)超分辨率效果圖，圖6(f)為Set5測(cè)試集中原始高分辨率圖像，圖7(f)為Set14測(cè)試集中原始高分辨率圖像。從圖6可以看出，本文算法重建出的蝴蝶翅膀邊緣相比其他方法更加銳利，邊緣更加完整，圖像的紋理也比較清晰。從圖7可以看出，本文算法重建出的comic圖像的臉頰邊緣重建更加銳利，邊緣保持方面更好，肩部紋理細(xì)節(jié)更豐富。各實(shí)驗(yàn)條件下的平均PSNR和SSIM客觀(guān)測(cè)試指標(biāo)如表1所示，表中最優(yōu)的實(shí)驗(yàn)結(jié)果以加粗的方式標(biāo)出。表1的測(cè)試結(jié)果表明，本文算法處理的結(jié)果在平均PSNR和SSIM兩個(gè)指標(biāo)上都優(yōu)于對(duì)比的算法，處理效果更好，驗(yàn)證了本文算法的有效性。

為了進(jìn)一步驗(yàn)證本文算法的性能，對(duì)比本文算法和經(jīng)典模型如SelfEx[33]、FSRCNN[16]、VDSR[18]等在不同重建倍數(shù)下的PSNR，結(jié)果如表2所示。從表2結(jié)果對(duì)比可以看出，EDCSR模型的性能與VDSR相比，雖然只有在Set14數(shù)據(jù)集下重建倍數(shù)為4時(shí),PSNR高出0.1 dB，但是從網(wǎng)絡(luò)的構(gòu)造方面考慮，EDCSR借助殘差網(wǎng)絡(luò)防止網(wǎng)絡(luò)退化的優(yōu)勢(shì)，以及構(gòu)造的長(zhǎng)短期記憶塊恢復(fù)更詳細(xì)的紋理細(xì)節(jié)方面，依然不遜于依賴(lài)大參數(shù)的網(wǎng)絡(luò)模型。

表1 測(cè)試集Set5、Set14在不同重建倍數(shù)的平均PSNR及SSIMTab. 1 Average PSNR and SSIM at different reconstruction scales on datasets Set5, Set14

表2 不同經(jīng)典算法的平均PSNR對(duì)比 dBTab. 2 Average PSNR comparison of different typical algorithms dB

3.3 效率對(duì)比

表3 不同算法時(shí)間復(fù)雜度對(duì)比Tab. 3 Time complexity comparison of different algorithms

為了更直觀(guān)地說(shuō)明本文算法的時(shí)間復(fù)雜度，以Set5數(shù)據(jù)集為例，在重建倍數(shù)為4時(shí)采用不同訓(xùn)練次數(shù)得到的網(wǎng)絡(luò)模型對(duì)其進(jìn)行定量的測(cè)試并記錄，最終得到各方法的PSNR變化趨勢(shì)，如圖8所示。

圖8 不同算法在不同迭代次數(shù)下的PSNRFig. 8 PSNR of different algorithms at different iterations

從圖8可以看出，相同的迭代次數(shù)下，本文算法比SRCNN和EEDS得到了更好的超分辨率效果，收斂性能更優(yōu)越，同時(shí)計(jì)算復(fù)雜度大幅降低，效率優(yōu)于EEDS和SRCNN等對(duì)比算法。

4 結(jié)語(yǔ)

本文提出了一種增強(qiáng)的雙通道卷積神經(jīng)網(wǎng)絡(luò)圖像超分辨率算法。深層通道用于提取圖像的詳細(xì)紋理信息，增大圖像局部感受野，淺層通道主要是用于恢復(fù)圖像的總體輪廓。實(shí)驗(yàn)結(jié)果表明，簡(jiǎn)化網(wǎng)絡(luò)參數(shù)可以增強(qiáng)網(wǎng)絡(luò)特征擬合的能力，使得網(wǎng)絡(luò)模型可用更高的學(xué)習(xí)速率進(jìn)行訓(xùn)練，提高模型的收斂速度，同時(shí)，在網(wǎng)絡(luò)中使用殘差塊構(gòu)造的長(zhǎng)短期記憶塊，比僅使用殘差塊的單一映射輸出網(wǎng)絡(luò)，圖像恢復(fù)的質(zhì)量更好，性能也有所改善，驗(yàn)證了使用長(zhǎng)短期記憶塊的必要性。無(wú)論是在主觀(guān)視覺(jué)效果、客觀(guān)評(píng)價(jià)參數(shù)還是效率上，本文算法的性能相比對(duì)比算法都有所提高，驗(yàn)證了改進(jìn)方法的實(shí)用性。