改進(jìn)的二階龍格-庫(kù)塔超分辨率算法

陳劍濤， 黃德天， 陳健， 朱顯丞

(華僑大學(xué) 工學(xué)院， 福建 泉州 362021)

圖像超分辨率技術(shù)由于能夠利用軟件算法從一幅或多幅現(xiàn)有的低分辨率(LR)圖像中重建清晰的高分辨率(HR)圖像，成為計(jì)算機(jī)視覺(jué)領(lǐng)域的重要課題之一.在實(shí)際成像過(guò)程中，由于設(shè)備、環(huán)境、傳輸、噪聲等影響，相對(duì)于原始的HR圖像，采樣到的圖像丟失了某些高頻特征，成為L(zhǎng)R圖像，難以滿足工程應(yīng)用的需求.超分辨率技術(shù)突破了固有分辨率的限制，可通過(guò)現(xiàn)有的LR圖像恢復(fù)對(duì)應(yīng)的HR圖像，是獲取HR圖像經(jīng)濟(jì)而有效的方法，在遙感、醫(yī)學(xué)、智能交通、人臉識(shí)別等領(lǐng)域具有重要的應(yīng)用價(jià)值[1-4].

傳統(tǒng)的超分辨率方法主要可以分成基于插值和基于重建的方法.在插值方法中，常用的有雙三次插值(Bicubic)[5]和最近鄰插值[6]，此類算法計(jì)算開(kāi)銷(xiāo)小、實(shí)時(shí)性高，但在圖像高頻區(qū)域會(huì)產(chǎn)生振鈴和鋸齒現(xiàn)象.基于重建的方法通過(guò)引入圖像的先驗(yàn)知識(shí)，可以有效地維持銳利的邊緣特征并抑制振鈴效應(yīng)，例如貝葉斯先驗(yàn)法[7]、非局部自相似先驗(yàn)法[8]、梯度輪廓先驗(yàn)法[9]，但是在復(fù)雜場(chǎng)景下，此類方法無(wú)法很好地恢復(fù)丟失的高頻信息.當(dāng)前，基于學(xué)習(xí)的方法在超分辨率任務(wù)中被廣泛使用，通過(guò)訓(xùn)練大量成對(duì)的LR和HR圖像塊，學(xué)習(xí)它們之間的映射關(guān)系，例如非線性回歸法[10]、稀疏字典學(xué)習(xí)[11]、卷積神經(jīng)網(wǎng)絡(luò)(CNN).

Dong等[12]首次利用CNN模型提出超分辨率卷積神經(jīng)網(wǎng)絡(luò)(SRCNN)算法，通過(guò)三層卷積層分別實(shí)現(xiàn)了特征提取、非線性映射和圖像重建3個(gè)階段.Kim等[13]根據(jù)殘差網(wǎng)絡(luò)的思想，通過(guò)級(jí)聯(lián)卷積核小的卷積層，提出深度卷積超分辨率算法(VDSR)，使其在更大的圖像塊區(qū)域?qū)W習(xí)更多的上下文信息.為了減輕插值過(guò)程帶來(lái)的計(jì)算成本，Dong等[14]在網(wǎng)絡(luò)結(jié)構(gòu)的最后一層使用反卷積層，將模型學(xué)習(xí)的特征放大到HR圖像空間上.Wai等[15]同樣采用深層卷積的思想，并結(jié)合拉普拉斯金字塔結(jié)構(gòu)，在沒(méi)有增加額外計(jì)算負(fù)擔(dān)的前提下，逐步重建HR圖像.Lim等[16]提出增強(qiáng)型深層網(wǎng)絡(luò)(EDSR)，指出通過(guò)批標(biāo)準(zhǔn)化(BN)層[17]的特征容易降低模型的收斂速度，將其移除，從而擴(kuò)大模型尺寸以提升重建圖像的質(zhì)量.Haris等[18]提出迭代的錯(cuò)誤反饋機(jī)制，設(shè)計(jì)上下投影單元，計(jì)算投影誤差以獲得更好的重建結(jié)果.為了解決單純堆疊殘差模塊的局限性，Zhang等[19]提出殘差嵌套殘差(RIR)結(jié)構(gòu)，構(gòu)建非常深的可訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)；隨后，又設(shè)計(jì)局部和非局部注意力模塊[20]，以提取可捕獲像素之間長(zhǎng)期依賴關(guān)系的特征，同時(shí)更注意具有圖像重要特征的部分，進(jìn)一步增強(qiáng)網(wǎng)絡(luò)的表示能力.He等[21]利用微分動(dòng)力學(xué)思想，提出一種基于常微分方程啟發(fā)的超分辨率模型(OISR)，從而增加超分辨率網(wǎng)絡(luò)設(shè)計(jì)的可解釋性.

然而，當(dāng)前的超分辨率網(wǎng)絡(luò)大多忽視了模型的運(yùn)算開(kāi)銷(xiāo)，為了在超分辨率任務(wù)中取得良好的效果，在學(xué)習(xí)特征階段堆疊數(shù)量龐大的模塊，導(dǎo)致網(wǎng)絡(luò)層數(shù)太深而不利于模型的訓(xùn)練.基于深度學(xué)習(xí)的超分辨率網(wǎng)絡(luò)模型雖然能在不同復(fù)雜程度場(chǎng)景下恢復(fù)一定的紋理細(xì)節(jié)特征，但是對(duì)網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)的輕微調(diào)整會(huì)表現(xiàn)出極敏感的特點(diǎn).為了解決上述問(wèn)題，本文提出一種改進(jìn)的二階龍格-庫(kù)塔超分辨率算法.

1 超分辨率重建算法

1.1 龍格-庫(kù)塔方法殘差模塊

傳統(tǒng)的深度學(xué)習(xí)網(wǎng)絡(luò)多數(shù)依賴于已有的設(shè)計(jì)經(jīng)驗(yàn)，此類模型往往存在一些通病，如網(wǎng)絡(luò)層數(shù)深、模型訓(xùn)練困難及訓(xùn)練技巧復(fù)雜等.而如今許多學(xué)者試圖將數(shù)學(xué)與神經(jīng)網(wǎng)絡(luò)聯(lián)系起來(lái)，以突破深度學(xué)習(xí)的不可解釋性[22-23].基于常微分方程啟發(fā)的二階龍格-庫(kù)塔超分辨率網(wǎng)絡(luò)(OISR-RK2)滿足輕量化和無(wú)需復(fù)雜的訓(xùn)練技巧的優(yōu)勢(shì)，建立起神經(jīng)網(wǎng)絡(luò)和常微分方程之間的聯(lián)系.

歐拉(Euler)方法是一種常用的常微分方程數(shù)值解法，根據(jù)前向歐拉法的基本表現(xiàn)形式

yn+1=yn+hf(xn，yn)，

(1)

通過(guò)當(dāng)前狀態(tài)和當(dāng)前狀態(tài)的導(dǎo)數(shù)，可以求解出下一時(shí)刻的狀態(tài)表示.其中，h為間隔區(qū)間，f()為xn處的導(dǎo)數(shù)，即可以表示為兩個(gè)狀態(tài)之間的增量關(guān)系.同樣，在殘差模塊里也有類似的特點(diǎn)，可以表示為

yn+1=yn+G(yn).

(2)

因此，將前向歐拉法映射成殘差模塊的形式，得到二階龍格-庫(kù)塔(RK2)方法對(duì)應(yīng)的公式，即

圖1 RK2殘差模塊Fig.1 RK2 residual module

(3)

再通過(guò)前向歐拉公式進(jìn)行估計(jì)，可以將式(3)簡(jiǎn)化為

(4)

對(duì)照式(1)和式(4)可知，G1和G2分別表示xn和xn+1兩種狀態(tài)的增量關(guān)系.RK2殘差模塊，如圖1所示.

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

為了提高超分辨率圖像的分辨率和清晰度，提出一種基于深度特征的超分辨率網(wǎng)絡(luò)模型，其整體框架，如圖2所示.該模型主要分為特征提取和圖像重建兩個(gè)階段，前者又進(jìn)一步分為淺層特征提取和深層特征提取2個(gè)子階段.淺層特征提取階段以LR圖像作為輸入，利用淺層共享編碼結(jié)構(gòu)學(xué)習(xí)LR圖像空間的淺層特征；深層特征提取階段通過(guò)級(jí)聯(lián)若干個(gè)學(xué)習(xí)深度特征的RK2模塊，并在末端經(jīng)過(guò)一個(gè)卷積(Conv)層和一個(gè)長(zhǎng)跳躍連接，構(gòu)成深度特征提取子階段；圖像重建部分則是由Conv層和像素重組層(Upscale)組合，共同完成HR圖像的重建.

圖2 網(wǎng)絡(luò)的整體框架Fig.2 Overall framework of network

1.3 淺層共享編碼器

提出的淺層共享編碼器(SSC)用于提取待重建的LR圖像的淺層特征，主要由Conv層和殘差(Res)模塊組成，如圖3所示.圖3中：Hi和Gi分別為Res單元和Conv層的輸出特征，最后一層Hi為通過(guò)兩層Res模塊的輸出特征.受到殘差網(wǎng)絡(luò)(ResNet)的啟發(fā)，Res結(jié)構(gòu)由兩個(gè)卷積層構(gòu)成，中間采用參數(shù)化修正線性單元(PReLU)激活函數(shù)，在殘差的輸出位置也使用一個(gè)PReLU激活函數(shù).在SSC模塊中，使用PReLU激活函數(shù)代替ReLU激活函數(shù)，主要是考慮到PReLU在負(fù)數(shù)部分有一個(gè)可學(xué)習(xí)的系數(shù)，可以消除ReLU中由零梯度導(dǎo)致的“死特征”.因此，提出的SSC模塊可以充分利用所有參數(shù)，以提高網(wǎng)絡(luò)的特征表示能力.考慮到原始ResNet網(wǎng)絡(luò)中Res模塊的BN層容易降低模型的收斂速度和整體性能，與EDSR提出的殘差模塊一致，移除BN層，使SSC結(jié)構(gòu)能夠從LR圖像學(xué)習(xí)并保留更多有用的高頻信息，增加特征的變化范圍.

圖3 淺層共享編碼器Fig.3 Shallow shared encoder

在SSC模塊中，每一級(jí)的Res模塊通過(guò)對(duì)上一級(jí)的輸出信息提取的特征進(jìn)行分離，再經(jīng)過(guò)一個(gè)Conv層的特征學(xué)習(xí)，并與下一級(jí)Res模塊得到的特征相融合，表達(dá)式為

Hi=δ(F3×3(δ·F3×3(xi))+xi)，Gi+1=F3×3(Hi+Gi).

(5)

式(5)中：xi為Res單元的輸入特征；F3×3為卷積核為3×3的卷積操作；δ為PReLU激活函數(shù).

1.4 深層特征提取模塊

He等[21]在常微分方程的基礎(chǔ)上提出了RK2殘差模塊，其中的特征學(xué)習(xí)單元，如圖4所示.雖然RK2殘差模塊具有參數(shù)量小、訓(xùn)練速度快等優(yōu)點(diǎn)，但其對(duì)深度特征的學(xué)習(xí)不夠充分，從而限制了OISR-RK2模型的重建圖像的質(zhì)量.

許多超分辨率模型使用的特征學(xué)習(xí)單元對(duì)內(nèi)部結(jié)構(gòu)的輕微調(diào)整會(huì)產(chǎn)生巨大的影響，在RK2殘差模塊中的Module同樣也會(huì)產(chǎn)生此類問(wèn)題.為了盡可能多地學(xué)習(xí)更豐富的細(xì)節(jié)和紋理，并將參數(shù)量保持在一個(gè)合理的范圍，在原始的特征學(xué)習(xí)單元上，使用更深層的Module結(jié)構(gòu)，并在每一個(gè)卷積層后引入?yún)?shù)規(guī)范化(WN)層[24].得到的深度特征學(xué)習(xí)單元，如圖5所示.

圖4 特征學(xué)習(xí)單元 圖5 深度特征學(xué)習(xí)單元 Fig.4 Feature learning unit Fig.5 Deep feature learning unit

WN層在神經(jīng)網(wǎng)絡(luò)中是一種針對(duì)權(quán)重向量重新參數(shù)化的方式，分離了權(quán)重向量的方向和長(zhǎng)度.雖然WN和BN都屬于參數(shù)重寫(xiě)，但是相比于BN層，WN層加快了模型訓(xùn)練的收斂速度，減少了批次大小在梯度計(jì)算過(guò)程中引入的噪聲，更加適用于超分辨率任務(wù).假設(shè)特征輸出的表達(dá)式為

y=w×x+b.

(6)

式(6)中：w為k維特征向量；x為網(wǎng)絡(luò)輸入特征；b為標(biāo)量偏差項(xiàng).

則參數(shù)規(guī)范化可將w分解為

w=gv/‖v‖.

(7)

式(7)中：v為參數(shù)向量；g為參數(shù)標(biāo)量；‖v‖表示v的歐式范數(shù).

長(zhǎng)度和方向的分離加快了模型的收斂速度.對(duì)于超分辨率任務(wù)來(lái)說(shuō)，WN層并不會(huì)受到批次大小的影響，也不需要額外的空間保存BN層的均值和方差，因?yàn)樗皇且环N重新參數(shù)化技術(shù).

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)環(huán)境及實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)環(huán)境為Ubuntu 18.04系統(tǒng)搭配PyTorch 1.3平臺(tái)，GPU為NVIDIA TITAN Xp 12 GB.為了與當(dāng)前最先進(jìn)的方法比較，與OISR方法一致，選擇已公開(kāi)的DIV2K數(shù)據(jù)集中的800張高分辨率RGB圖像作為訓(xùn)練圖像；并且選擇Set5，Set14，B100和Urban100作為測(cè)試圖像集.在訓(xùn)練集中，使用大小為48 px×48 px的低分辨率圖像塊，以及與之相對(duì)應(yīng)的高分辨率圖像，并采用隨機(jī)翻轉(zhuǎn)和90°，180°，270°旋轉(zhuǎn)來(lái)增加訓(xùn)練集數(shù)據(jù)，同時(shí)，在模型的輸入端減去DIV2K數(shù)據(jù)集的平均RGB值作為圖像預(yù)處理.

2.2 評(píng)價(jià)標(biāo)準(zhǔn)

對(duì)于不同模型的超分辨率評(píng)價(jià)標(biāo)準(zhǔn)，采用峰值信噪比(RPSN)和結(jié)構(gòu)相似性(MSSI)兩種評(píng)價(jià)方式，其表達(dá)式分別為

(8)

(9)

式(8)，(9)中：a為圖像位數(shù)；EMS為均方誤差；μX，μY和σX，σY分別對(duì)應(yīng)原始圖像、預(yù)測(cè)圖像的均值和方差.RPSN越大，表示失真越小，對(duì)應(yīng)的超分辨率方法的效果越好；而MSSI越接近1，則表示重建圖像與原始圖像越相似，對(duì)應(yīng)的超分辨率方法的性能越好.

2.3 模型分析

首先，在RK2-s算法的基礎(chǔ)上引入淺層共享編碼器結(jié)構(gòu)進(jìn)行分析比較，在原始的模型基礎(chǔ)上使用共享編碼器結(jié)構(gòu)，采用Set5數(shù)據(jù)集進(jìn)行測(cè)試(×2)；設(shè)置i的取值分別為2，4，深度特征學(xué)習(xí)單元n為3，保證在其他訓(xùn)練參數(shù)一致的前提下，在Set5數(shù)據(jù)集進(jìn)行對(duì)比測(cè)試(×2)，結(jié)果如表1所示.

由表1可知：在引入淺層共享編碼器的情況下，RPSN為38.02 dB，比無(wú)共享編碼器提高了0.04 dB；在淺層特征的提取部分，淺層共享編碼器增加2個(gè)標(biāo)準(zhǔn)殘差模塊和2個(gè)卷積層，RPSN提升了0.02 dB.因此，加深共享編碼器的結(jié)構(gòu)可以學(xué)習(xí)更多層次的特征，具體可以根據(jù)實(shí)際的應(yīng)用選擇不同的i值.但在后續(xù)對(duì)比實(shí)驗(yàn)中，為了降低模型的復(fù)雜度并提高模型的效率，i的取值均為2.

其次，在深度特征學(xué)習(xí)單元n分別為2，3，4情況下，保持模型中其他參數(shù)一致，在Set5數(shù)據(jù)集上進(jìn)行對(duì)比測(cè)試(×4)，如表2所示.表2中：t為模型訓(xùn)練所需要的時(shí)間.由表2可知：隨著深度特征學(xué)習(xí)單元數(shù)的增加，模型能夠有效地對(duì)圖像的深度特征進(jìn)行提取，但模型的訓(xùn)練時(shí)間也在增加.因此，為了使提出的模型更適合于實(shí)際應(yīng)用，將深度特征學(xué)習(xí)單元n值設(shè)置為3.

表1 淺層共享編碼器對(duì)模型的影響Tab.1 Influence of shallow shared encoder on model

表2 深度特征學(xué)習(xí)單元對(duì)模型的影響Tab.2 Influence of deep feature learning unit on model

最后，對(duì)比有、無(wú)使用WN層的模型訓(xùn)練損失，結(jié)果如圖6所示.圖6中:N為迭代次數(shù).由圖6可知：在使用WN層的情況下，損失函數(shù)Loss值降低得更快，模型收斂更加迅速，重建圖像和真實(shí)圖像之間的誤差更小，且網(wǎng)絡(luò)在訓(xùn)練過(guò)程中表現(xiàn)出更佳的穩(wěn)定性.因此，在相同的條件下，WN層能夠更好地預(yù)測(cè)重建圖像，有利于超分辨率網(wǎng)絡(luò)模型的訓(xùn)練.

(a) 使用WN層的模型 (b) 未使用WN層的模型圖6 有、無(wú)使用WN層的模型訓(xùn)練損失對(duì)比Fig.6 Comparison of model training loss with and without WN layer

2.4 與其他算法的比較

為了驗(yàn)證提出模型的有效性，與Bicubic，SRCNN[12]，VDSR[13]，EDSR-s[16]，OISR-RK2-s[21]和OISR-LF-s[21]算法進(jìn)行比較.在Set5數(shù)據(jù)集上測(cè)試SRCNN，VDSR，EDSR-s，OISR-RK2-s，OISR-LF-s算法和文中算法的重建時(shí)間，結(jié)果分別為0.21，0.24，0.52，0.28，0.30，0.33 s.在Set5，Set14，B100，Urban100四個(gè)數(shù)據(jù)集中，文中算法與其他算法的超分辨率評(píng)價(jià)對(duì)比，如表3所示.

表3 文中算法與其他算法的超分辨率評(píng)價(jià)對(duì)比Tab.3 Comparison of super-resolution evaluation between proposed algorithm and other algorithms

續(xù)表Continue table

圖7 不同超分辨率算法的M及RPSN對(duì)比Fig.7 Comparison of M and RPSN in different super resolution algorithms

由表3可知：在不同的測(cè)試數(shù)據(jù)集中，圖像放大2～4倍下，文中算法的RPSN和MSSI總體均高于其他算法，取得了最優(yōu)的超分辨率效果，而LF-s算法取得了次優(yōu)的效果；在Set5數(shù)據(jù)集且圖像放大2倍的情況下，相比于OISR-RK2-s和OISR-LF-s算法，文中算法的RPSN分別提高了0.13，0.09 dB；在Urban100數(shù)據(jù)集且圖像放大3倍的情況下，文中算法的RPSN比OISR-LF-s算法提升了0.17 dB.

不同超分辨率算法的參數(shù)量(M)及在Set5數(shù)據(jù)集(×4)的RPSN對(duì)比，如圖7所示.由圖7可知：雖然文中算法的網(wǎng)絡(luò)模型參數(shù)量有一定的增加，但仍在一個(gè)較為合理的范圍內(nèi)，并且對(duì)于所有的測(cè)試數(shù)據(jù)集，在圖像放大3倍的情況下，文中算法取得了最優(yōu)的效果.

圖8～10分別展示了不同超分辨率算法的主觀視覺(jué)效果.為了便于觀察比較，測(cè)試圖像的細(xì)節(jié)區(qū)域經(jīng)過(guò)局部放大.

圖8 數(shù)據(jù)集Urban100中圖像“Img_098”的重建結(jié)果展示圖Fig.8 Display images of reconstruction result of image “Img_098” in data set Urban100

圖9 數(shù)據(jù)集Set14中圖像“Barbara”的重建結(jié)果展示圖Fig.9 Display images of reconstruction result of image “Barbara” in data set Set14

圖10 數(shù)據(jù)集Urban100中圖像“Img_039”的重建結(jié)果展示圖Fig.10 Display images of reconstruction result of image “Img_039” in data set Urban100

由圖8～10可知:Bicubic算法重建的圖像效果模糊，甚至觀測(cè)不到圖像的紋理；SRCNN和VDSR算法雖然能呈現(xiàn)一定的結(jié)構(gòu)特征，但容易學(xué)習(xí)到不屬于原本圖像的高頻信息，導(dǎo)致重建的圖像包含較多的偽邊緣信息；EDSR-s，OISR-RK2-s，OISR-LF-s算法得到的重建圖像的視覺(jué)效果明顯優(yōu)于SRCNN和VDSR算法，主要表現(xiàn)在邊緣紋理方面更加清晰，但是局部恢復(fù)圖像塊中(圖9)，這3種算法都學(xué)習(xí)到了錯(cuò)誤的高頻特征，導(dǎo)致重建圖像的紋理嚴(yán)重變形.在原始OISR提出的OISR-RK2-s算法中，建立了超分辨率網(wǎng)絡(luò)和微分方程之間的聯(lián)系，但是在超分辨率網(wǎng)絡(luò)的設(shè)計(jì)過(guò)程中，仍未充分學(xué)習(xí)圖像的高頻信息.而文中算法與其不同，一方面，不僅重視淺層特征的學(xué)習(xí)，并根據(jù)提取的初始特征，通過(guò)配合WN層，使模型訓(xùn)練更加穩(wěn)定；另一方面，還注重深層特征的學(xué)習(xí)，在圖像重建的過(guò)程中，充分利用淺層特征與深層特征恢復(fù)圖像的高頻信息，從而生成更加精準(zhǔn)的邊緣紋理；相比于其他算法，文中算法得到的重建圖像在整體效果上最接近原始的HR圖像.

3 結(jié)束語(yǔ)

針對(duì)OISR-RK2超分辨率方法存在深度特征學(xué)習(xí)少、圖像重建質(zhì)量一般的問(wèn)題，充分利用LR圖像包含的豐富的低頻信息和高頻信息，提出淺層共享編碼器對(duì)圖像作初始特征提?。辉谏疃忍卣鲗W(xué)習(xí)階段提出更深層的結(jié)構(gòu)，結(jié)合參數(shù)規(guī)范化，學(xué)習(xí)更加有用的高頻特征，在保證一定模型訓(xùn)練時(shí)長(zhǎng)下，更好地構(gòu)造高低分辨率圖像之間的映射關(guān)系.無(wú)論從客觀評(píng)價(jià)指標(biāo)，還是主觀視覺(jué)上，文中算法均優(yōu)于當(dāng)前的輕量級(jí)模型算法.