基于深度復合卷積神經(jīng)網(wǎng)絡的低分辨率單影像復原

涂榮杰

（浙江煤炭測繪院有限公司， 浙江 杭州 310016）

在圖像處理領域和計算機視覺領域， 圖像修復一直是一個十分熱門的研究方向。 在醫(yī)學影像、 遙感衛(wèi)星影像和高清電視等領域被廣泛應用[1]。 圖像復原， 即針對低分辨率或超低分辨率的圖像， 采用特定的模型或算法對其分辨率進行修復， 從而得出清晰度明顯提升的圖像。 但現(xiàn)有圖像修復方法較為單一， 主要是將多張不同時間維度的圖像作為輸入數(shù)據(jù)， 剔除各個圖像中的干擾信息， 對其主要特征信息進行提取收集， 采用疊加融合的方式生成一幅紋理細節(jié)清晰的高分辨率圖像。 1964 年， HARRIS首先提出超分辨率復原的概念[2]， 他針對單圖像的特點進行了長期的實驗研究， 得出了一套較為完整的理論依據(jù)， 但圖像復原質(zhì)量較差， 存在一定的局限性。 隨后， 將深度復合圖像用于超分辨率的頻域處理上[3]， 并將一些擴展方法也引入到超分辨率復原中[4-5]。 一些空域超分辨率復原方法在混合運動模型、 過濾和插值的基礎上取得了有效的研究進展[6-7]。 隨機場模型 （MRF） 通常用于預測超分辨率復原的極大后驗的先驗信息[8]。 一些學者為了去除噪聲， 復原高分辨率影像， 提出了多尺度超分辨率的幾種復原方法[9-11]。 在多數(shù)情況下， 深度復合圖像不用于提高超分辨率， 而一直用于單圖像復原， 大部分基于實例的主流方法都是利用先驗信息[12]。

這些方法主要分兩類： 基于相同圖像之間的相似性及基于外部超分辨率圖像的示例[13-15]。 一些用于改善低分辨率圖像質(zhì)量的恢復技術[16-20]， 例如解決圖像恢復的點擴展函數(shù)系數(shù)的聯(lián)合評估方法[21]，邊緣檢測和交替最小化組合的遙感圖像恢復問題[22]。稀疏特征用于非均勻優(yōu)化框架下的超分辨率恢復[23-24]。 近年來， 卷積神經(jīng)網(wǎng)絡 （CNN） 在圖像處理中表現(xiàn)出色。 超分辨率卷積神經(jīng)網(wǎng)絡[25]（SRCNN）在低分辨率和高分辨率之間訓練端到端特征， 并且多個非線性特征層用作聯(lián)合優(yōu)化網(wǎng)絡參數(shù)， 而無需額外處理。 權(quán)重結(jié)構(gòu)的神經(jīng)網(wǎng)絡在超分辨率盲恢復中效果較好。 然而， 針對超低分辨率 （ULR） 單圖像復原存在許多不足， 上述方法只適用于提高一定范圍內(nèi)的圖像分辨率， 而包含3 個隱含層的超分辨率卷積神經(jīng)網(wǎng)絡能夠解決這一問題， 并且能夠構(gòu)建更大更深的網(wǎng)絡解決非線性所帶來的不足。

本文在卷積神經(jīng)網(wǎng)絡的基礎上， 對模型進行了一定的改進， 構(gòu)建了一個通過模擬低分辨率及其對應的高分辨率圖像而訓練的深度卷積神經(jīng)網(wǎng)絡。 即使對于低分辨率圖像也可以實現(xiàn)單圖像盲復原。 所提出的方法基于整個圖像預測端到端的特征圖， 而不采用任何特定的恢復模型。 本文方法在很多方面不同于超分辨率卷積神經(jīng)網(wǎng)絡， 比如更多的層數(shù)與特征圖， 不同的激活函數(shù)和更大的過濾器。

1 卷積神經(jīng)網(wǎng)絡

深度學習算法由HINTON 等[26]于20 世紀60 年代提出， 傳統(tǒng)的CNN 是一種基于深度監(jiān)督的學習神經(jīng)網(wǎng)絡， 同時也是具有共享權(quán)重結(jié)構(gòu)位移不變的人工神經(jīng)網(wǎng)絡。 近年來， CNN 一直是國內(nèi)外研究熱點， 在圖像處理、 語音識別、 對象檢測、 計算機視覺等應用中取得了巨大的研究進展[27-30]。 通常，典型的CNN 網(wǎng)絡架構(gòu)包含多個隱含層 （見圖1），它們由多個不同尺寸卷積核的卷積層和不同采樣因子的池化層交替構(gòu)成， 最后由全連接層對提取的主要特征進行組合輸出。 CNN 的通道包括前向反饋和逆向反饋兩個階段。 CNN 采用平方誤差作為整體代價函數(shù)E， 其表達式為

式中， x， m 分別為樣本數(shù)據(jù)和樣本數(shù)； h(x )為訓練結(jié)果； y 為期望值； 上式第二部分為權(quán)值的正則項， 其中 λ 為權(quán)重衰減參數(shù)， W 為權(quán)值。

在輸入訓練樣本 （x， y） 到 DCNN 中， 計算對應的實際輸出O， 表達式為

式中， F 可表示為

式中， l 為卷積層； w， b 分別為卷積核和偏置。 降采樣層池化公式為

式中， down(·) 為降采樣函數(shù)； β， b 分別為乘性與加性偏置。

反向傳播采用梯度下降法， 權(quán)值W 和偏置b 更新公式為

式中， η 為學習效率； i=1， 2， …， sl+1； j=1， 2，…， sl； l=1， 2， …， nl-1； 激活值得殘差計算公式為

第l 層第i 個節(jié)點殘差計算公式為

圖1 典型的卷積神經(jīng)網(wǎng)絡架構(gòu)

2 用于復原的深度復合卷積神經(jīng)網(wǎng)絡

基于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡模型在進行圖像復原過程中存在不足， 在傳統(tǒng)CNN 模型的基礎上增加了多層卷積層與池化層對圖像主要特征的提取。 構(gòu)建深度復合CNN 模型能夠模擬和學習高低分辨率圖像間的映射， 對卷積和池化多次的原始圖像中的重要特征信息依舊能很好地保留且不會丟失 （見第60頁圖 2）。

本文構(gòu)建的深度復合卷積神經(jīng)網(wǎng)絡模型包含5 個主要的卷積層和2 個串行并聯(lián)的子卷積層。 根據(jù)圖像特征信息的差異， 5 個卷積層采用不同尺寸的卷積核， 第一個卷積層采用19×19 的卷積核， 第二個卷積層采用5×5 卷積核， 第三個卷積層采用1×1 卷積核。 在第一個卷積層和第三個卷積層中除了包含一個卷積濾波器外， 還包含一個并聯(lián)的池化小濾波器。 在并聯(lián)的小濾波器中采用雙三次插值法進行上采樣操作， 得出的特征結(jié)果作為第三個卷積層和第五個卷積層的輸入數(shù)據(jù)。 在實驗過程中， 采用卷積神經(jīng)網(wǎng)絡的初始尺度進行特征結(jié)果的預測， 并輸出全尺寸圖像。

圖2 深度復合卷積神經(jīng)網(wǎng)絡

2.1 深度卷積網(wǎng)絡結(jié)構(gòu)

深度卷積神經(jīng)網(wǎng)絡 （DCNN） 是基于典型的CNN 模型構(gòu)建的多個卷積層的網(wǎng)絡模型， 該模型能夠針對高低分辨率圖像之間的映射進行模擬和學習， 從而不需要利用某個固定的修復模型對圖像進行修復就能預測整幅圖像的深度特征圖。 深度卷積神經(jīng)網(wǎng)絡 （見圖2 上半部分） 主要由兩大部分構(gòu)成， 即卷積與線性組合。

DCNN 模型對超低分辨率影像修復方法原理如下： 將超低分辨率影像輸入到模型當中， 然后卷積層的圖像信息被不同尺寸的濾波器進行特征提取，被提取的特征作為下一層網(wǎng)絡的輸入數(shù)據(jù)進行特征的再次提取， 最后經(jīng)由全連接層將各部分特征信息進行組合輸出， 從而得出復原圖像。 其中每個卷積層的反饋由式 （3） 得出， 其表示式為

式中， σ(·) 為整流線性單元 （ReLU） 的卷積反饋。權(quán)重W 的大小為f×f×n， 其中f 為卷積核的尺寸，n 為每個卷積層的通道數(shù)。 DCNN 結(jié)構(gòu)見表1。

表1 深度卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)（卷積核尺寸與每個卷積層的通道數(shù)）

2.2 深度復合卷積網(wǎng)絡結(jié)構(gòu)

基于深度卷積神經(jīng)網(wǎng)絡的模型架構(gòu)， 本文采用附加的池化和上采樣函數(shù) （見圖2 下半部分） 構(gòu)建深度復合網(wǎng)絡模型。 與DCNN 不同的是， DCCNN在第一個和第三個卷積層之后疊加并聯(lián)了兩組濾波器， 對卷積層的特征信息進行池化和上采樣操作。經(jīng)過復合濾波器輸出的特征信息， 分別被輸入到第三和第五個卷積層 （卷積核尺寸為5×5） 中進行卷積， 并采用ReLU 函數(shù)得到特征圖。

基于式 （5）， （6） 和 （7）， DCNN 的權(quán)重矩陣和池化卷積計算公式為

式中， 參數(shù) 0.9 為變量； η 為學習率， 是可調(diào)節(jié)參數(shù)。

與SRCNN 相比， 本文構(gòu)建的模型由于在第一個和第三個卷積層下方并聯(lián)了包含池化層的小比例尺濾波器， 增加了網(wǎng)絡模型對重要特征信息的獲取深度， 使得該模型算法中的學習率收斂速度快、 收斂范圍廣。 本文利用式 （10） 來調(diào)節(jié)樣本訓練的學習率， 其公式為

式中， epochs 為目前迭代次數(shù)； max_epochs 為固定迭代次數(shù)； Lrepochs和Lrepochs-1分別為目前和上次迭代的學習率。

3 低分辨率單影像復原實驗

本節(jié)對構(gòu)建的深度復合神經(jīng)網(wǎng)絡模型 （DCCNN） 進行實驗效果測試， 采用Image Net 圖像數(shù)據(jù)集作為實驗數(shù)據(jù)， 利用不同縮放比例的網(wǎng)絡結(jié)構(gòu)與最新的深度學習模型 （SRCNN） 進行模擬實驗的對比和分析， 本節(jié)實驗將采用不同圖像數(shù)據(jù)集對本文模型進行定性和定量分析， 以驗證其對低分辨率單影像復原的有效性。

實驗數(shù)據(jù)： Set5 數(shù)據(jù)集、 Set14 數(shù)據(jù)集、Berkeley Segmentation 數(shù)據(jù)集和Image Net 數(shù)據(jù)集。

本文實驗過程中的深度復合卷積神經(jīng)網(wǎng)絡的濾波器一共有7 個， 其中包括5 個主要卷積層和2 個串聯(lián)的池化層。 圖像修復實驗中， 每50 幅圖像為1 個訓練序列。 實驗中迭代數(shù)設置為100 （max_epochs）， 學習初始率為 0.1， 迭代周期為 10。 圖3中， 當學習初始率為 1.0 時， DCCNN 在 100 個迭代次數(shù)內(nèi)難以收斂； 當學習初始率為0.01 時， 模型在40 個迭代次數(shù)進行收斂， 但收斂效果較差；當學習初始率為0.1 時， 模型在30 個迭代次數(shù)進行收斂， 收斂速度快， 收斂效果穩(wěn)定。

在定量和定性方面， 通過不同縮放尺度因子，將 DCCNN 與 Bicubic， A+， RFL， SelfEx 和 SRCNN 方法進行對比。 對比函數(shù)采用目前使用較為普遍的PSNR （峰值信噪比） 和SSIM （結(jié)構(gòu)相似度），對比結(jié)果見表2。 從表2 可以看出， 本文方法在縮放尺度×2， ×3 和×4 方面效果都很突出， 僅在縮放尺寸為×2 的 Image Net 數(shù)據(jù)集中， PSNR 值與SRCNN 方法相差 0.02。 第 62 頁圖4 為采用 SRCNN 模型和DCCNN 模型對超低分辨率影像 （ULR）進行復原的前后對比圖， 可以看出， 采用DCCNN的復原圖像， 圖像邊緣細節(jié)更平滑， 圖像特征識別度更高。

圖3 不同學習初始率的PSNR 的性能曲線

表2 縮放尺度因子為×2、 ×3 和×4 在數(shù)據(jù)集 Set5， Set14， B100 和 INet200 上的平均 PSNR/SSIM 比較

可以看出在采用DCCNN 修復的圖4-a 圖像中， 人物眼部邊緣細節(jié)平滑， 識別度高； 圖4-b 圖像中斑馬黑白紋理界限分明； 圖4-c 圖像中房屋墻體邊緣清晰； 圖4-d 圖像中水體與陡坎的邊緣處清晰可見。 由復原影像圖片可以明顯看出， 在人物、動物、 建筑物和水體上， DCCNN 模型能夠很好地修復圖像細節(jié)信息， 顯著提升超低分辨率圖像的整體分辨率和可識別度。 進而將DCCNN 應用于超低分辨率的遙感影像復原， 使用的遙感影像經(jīng)過降采樣操作后， 分辨率較低， 地物邊緣特征模糊， 復原后的遙感影像地物邊緣信息清晰， 與SRCNN 的修復圖像相比， 噪聲較少， 識別度高， 整體分辨率明顯提升 （見圖5）。 從定量方面進行對比， 本文方法在峰值信噪比、 結(jié)構(gòu)相似度、 信息熵和平均梯度上的值分別為 31.12， 0.880 6， 7.39， 4.10， 效果優(yōu)于SRCNN 方法。 在標準差函數(shù)上， SRCNN 方法效果優(yōu)于本文方法 （見表3）。 綜上所述， 以定性和定量相結(jié)合的評估方法對不同的復原方法進行效果對比， 本文基于深度復合神經(jīng)網(wǎng)絡構(gòu)建的復原模型修復的圖像細節(jié)紋理清晰， 物體邊緣辨識明顯， 噪聲較少， 能夠較好地復原超低分辨率圖像。

圖4 采用DCCNN 模型復原超低分辨率圖像

4 結(jié)論

圖 5 采用 DCCNN 與SRCNN 模型復原超低分辨率影像對比

表3 本文方法與SRCNN 復原結(jié)果的質(zhì)量評價函數(shù)對比

本文針對超低分辨率單影像的特點， 基于卷積神經(jīng)網(wǎng)絡模型構(gòu)建了一種深度復合的圖像修復模型。 本文模型采用附加的最大池化和上采樣函數(shù)，為確?？臻g局部輸入模式的穩(wěn)定性， 復原模型在利用低級和高級特征圖構(gòu)建深度復合網(wǎng)絡的同時， 采用了大尺度卷積層串聯(lián)小尺度卷積層。 本文利用基于迭代次數(shù)的方法提升學習速率， 以提高收斂速度和樣本訓練的穩(wěn)定性。 本文通過使用多個不同數(shù)據(jù)集生成的模擬數(shù)據(jù)集訓練深度復合網(wǎng)絡， 從而對低分辨率單影像進行修復。 實驗結(jié)果表明， 本文模型可以顯著提高低分辨率影像的質(zhì)量， 特別對于超低分辨率單影像的復原， 在PSNR 和SSIM 方面效果優(yōu)于較好的超分辨率卷積神經(jīng)網(wǎng)絡（SRCNN）方法。