殘差密集結(jié)構(gòu)的東巴畫漸進式重建

蔣夢潔，錢文華，徐丹，吳昊，柳春宇

云南大學(xué)信息學(xué)院，昆明 650504

0 引 言

圖像分辨率體現(xiàn)了圖像反映物體細節(jié)信息的能力，相較于低分辨率(low-resolution，LR)圖像，高分辨率(high-resolution，HR)圖像通常包含了更豐富的邊緣和紋理細節(jié)。單圖像超分辨率(single image super-resolution，SISR)重建是經(jīng)典的計算機視覺問題，旨在從一個給定的低分辨率圖像中恢復(fù)高分辨率圖像(周登文 等，2019)。目前，超分辨率重建技術(shù)已較廣泛應(yīng)用于人臉圖像(王歡 等，2020)、高光譜圖像(Fu等，2019)和醫(yī)學(xué)圖像(Isaac和Kulkarni，2015)等，且都得到了良好的重建效果。

東巴畫是發(fā)源于麗江東巴地區(qū)的一種具有獨特民族風(fēng)味的繪畫，是納西族東巴文化藝術(shù)的重要代表。如圖1所示，東巴畫具有特殊的繪畫手法和鮮艷的繪畫色彩，繪畫形式以線條為主，同時十分注重色彩的渲染和運用，極具藝術(shù)性和研究價值。然而，由于東巴畫年代久遠，采集設(shè)備受歷史條件限制，導(dǎo)致現(xiàn)存東巴畫數(shù)字圖像普遍分辨率較低。低質(zhì)量的東巴畫一定程度上限制了針對東巴畫的邊緣檢測、語義分割、數(shù)字識別和場景識別等計算機視覺任務(wù)的研究。Dai等人(2016)研究證明，提高圖像分辨率有助于其他計算機視覺任務(wù)的研究。因此，采用超分辨率技術(shù)提高東巴畫數(shù)字圖像分辨率顯得尤為重要，這不僅有利于東巴畫的數(shù)字化保護和展示，亦對上述其他計算機視覺任務(wù)有促進作用。

圖1 東巴畫實例Fig.1 Examples of Dongba paintings

早期的超分辨率算法采用基于采樣理論的插值技術(shù)，例如通過水平方向和垂直方向分別進行插值而獲得重建結(jié)果的雙線性插值(Li和Orchard，2001)。這類方法簡單、高效、實時性強，在連續(xù)區(qū)域和低頻信息區(qū)域有著較為理想的效果，然而當(dāng)重建圖像中含有大量的邊緣、紋理等高頻信息區(qū)域時，便會出現(xiàn)模糊和鋸齒效應(yīng)，即圖像的邊緣出現(xiàn)不平滑的棱角。東巴畫圖像含有繁雜的線條和豐富的紋理等高頻信息，采用傳統(tǒng)方法重建往往得不到理想的重建效果。

隨著深度學(xué)習(xí)研究和應(yīng)用的不斷深入，針對自然圖像的超分辨率重建取得了較大進展。Dong等人(2016a)率先提出利用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)可見光圖像的超分辨率重建，通過學(xué)習(xí)高、低分辨率圖像對之間的映射關(guān)系進行重建。為了得到更好的效果，研究者不斷增加網(wǎng)絡(luò)深度，以期得到更好的網(wǎng)絡(luò)模型。然而，實驗結(jié)果表明，隨著網(wǎng)絡(luò)深度的不斷增加，其損失值不僅沒有降低，反而持續(xù)增大，并且容易出現(xiàn)網(wǎng)絡(luò)層之間梯度重復(fù)相乘導(dǎo)致梯度指數(shù)級增長的梯度爆炸現(xiàn)象，以及梯度趨近于0導(dǎo)致網(wǎng)絡(luò)無法更新參數(shù)的梯度消失現(xiàn)象。為了解決上述問題，專家學(xué)者進行了大量研究。Kim等人(2016)將殘差網(wǎng)絡(luò)引入超分辨率，殘差網(wǎng)絡(luò)中的殘差連接(He等，2016)能有效避免梯度消失，使網(wǎng)絡(luò)僅學(xué)習(xí)高、低分辨率圖像之間的高頻殘差部分，加快網(wǎng)絡(luò)收斂速度。Tong等人(2017)將密集網(wǎng)絡(luò)引入超分辨率，密集網(wǎng)絡(luò)中的密集連接(Huang等，2017)通過通道連接進行特征融合，增強特征復(fù)用，進一步減緩了梯度消失。隨著研究的深入，人們發(fā)現(xiàn)僅以最小均方誤差(mean-square error，MSE)為代表的像素損失作為損失函數(shù)，雖然能夠獲得較高的峰值信噪比(peak signal to noise ratio，PSNR)，然而重建結(jié)果因為缺乏高頻細節(jié)而導(dǎo)致紋理過于平滑。為了解決重建結(jié)果過于平滑問題，Johnson等人(2016)提出利用感知損失取代最小均方誤差，Ledig等人(2017)將生成對抗網(wǎng)絡(luò)(generative adversarial network，GAN)運用到超分辨率重建問題上，在視覺效果和清晰度等方面均有提高。然而，采用基于深度學(xué)習(xí)的方法對東巴畫重建存在以下困難：1)基于深度學(xué)習(xí)的方法需要大量的高質(zhì)量樣本進行訓(xùn)練，而高質(zhì)量東巴畫樣本資源匱乏；2)現(xiàn)有方法大都是針對自然圖像的超分辨率重建研究，而東巴畫大多以木片、紙牌和墻壁為載體，相對于自然圖像而言不存在空間感、距離感、立體感和縱深感，也沒有自然光線帶來的光影效果；另一方面，東巴畫內(nèi)容豐富，蘊含形象較多，線條粗細有致、疏密相間，色彩較自然圖像而言更為鮮艷。東巴畫獨特的藝術(shù)風(fēng)格使得現(xiàn)有針對自然圖像的超分辨率網(wǎng)絡(luò)模型對東巴畫的線條、色塊，以及材質(zhì)的重建效果不理想；3)上述方法都僅在一個階段進行上采樣操作，導(dǎo)致在大尺度因子重建時，東巴畫圖像的高頻細節(jié)容易丟失。

綜上所述，對含有豐富高頻信息的東巴畫進行大尺度因子重建時，現(xiàn)有方法不能取得理想結(jié)果。為此，本文提出一種針對東巴畫的超分辨率網(wǎng)絡(luò)(Dongba super-resolution network，DBSRN)，采用多級子網(wǎng)絡(luò)級聯(lián)的方式，在一次大尺度重建的前饋過程中產(chǎn)生多個中間SR(super-resolution)預(yù)測。通過多個中間預(yù)測值對最后的重建結(jié)果進行約束，從而由小到大依次漸進式地重建出不同尺度的東巴畫，有效改善了大尺度重建過程中存在的結(jié)果模糊、高頻細節(jié)丟失等問題。在每一級子網(wǎng)絡(luò)中，分別進行淺層特征提取和以殘差密集結(jié)構(gòu)(Zhang等，2018)為核心的深層特征提取，從低分辨率東巴畫中提取東巴畫的紋理、邊緣線條等淺層特征和較為抽象的深層特征進行融合，在較少的東巴畫數(shù)據(jù)集中提取更豐富的東巴畫特征用于重建，以保留東巴畫線條疏密相間、色塊豐富多樣的藝術(shù)風(fēng)格。此外，為了提高重建東巴畫的視覺效果，本文在DBSRN的基礎(chǔ)上引入感知損失和對抗損失進行對抗訓(xùn)練，進一步提升了重建東巴畫的清晰度。

1 本文方法

1.1 網(wǎng)絡(luò)整體結(jié)構(gòu)

DBSRN整體結(jié)構(gòu)如圖2所示，整個網(wǎng)絡(luò)包括L級超分辨率子網(wǎng)絡(luò)，每級超分辨率子網(wǎng)絡(luò)上采樣因子為2，整個網(wǎng)絡(luò)上采樣因子為2L，前一級超分辨率子網(wǎng)絡(luò)的輸出是后一級超分辨率子網(wǎng)絡(luò)的輸入。由于DBSRN中每一級子網(wǎng)絡(luò)的結(jié)構(gòu)完全相同，因此在子網(wǎng)絡(luò)間采用遞歸結(jié)構(gòu)，各級子網(wǎng)絡(luò)共享參數(shù)。設(shè)輸入DBSRN的LR東巴畫圖像為ILR，則經(jīng)過L級子網(wǎng)絡(luò)的輸出為ISR (×2L)。

圖2 DBSRN結(jié)構(gòu)Fig.2 Structure of DBSRN

1.2 子網(wǎng)絡(luò)結(jié)構(gòu)

基于深度學(xué)習(xí)的超分辨率方法一般分為特征提取和重建兩個階段。Dong等人(2016b)和Tong等人(2017)都采用大量的卷積層進行特征提取，而重建階段只有少量的卷積層。因此重建結(jié)果取決于特征提取質(zhì)量，特征提取得越充分，重建效果越好。其次，網(wǎng)絡(luò)越深，提取到的特征越抽象。采用卷積層的鏈?zhǔn)蒋B加會導(dǎo)致前端卷積層提取的淺層特征丟失，僅有較為抽象的特征用于重建。因此，在每一級的超分辨率子網(wǎng)絡(luò)中分別設(shè)計淺層特征提取模塊(shallow feature extraction，SFE)和深層特征提取模塊(deep feature extraction，DFE)提取不同層次的特征，然后在全局特征融合模塊(global feature fusion，GFF)中將提取的特征采用通道連接、恒等映射等方式進行特征融合，避免特征隨著網(wǎng)絡(luò)的加深丟失。最后，將特征圖輸入上采樣模塊(upsampling module，UPM)進行重建。DBSRN子網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 DBSRN子網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of DBSRN sub-network

設(shè)l為網(wǎng)絡(luò)級數(shù)，ISR(×2l-1)表示第l-1級子網(wǎng)絡(luò)輸出，即第l級子網(wǎng)絡(luò)輸入，ISR(×2l)表示第l-1級子網(wǎng)絡(luò)重建結(jié)果，則每一級超分辨率子網(wǎng)絡(luò)重建過程如下：

1)淺層特征提取，即

F0=HSFE(ISR(×2l-1))

(1)

2)深層特征提取，即

F10=HDFE(F0)=HRDU，10(…HRDU，d(…(HRDU，1(F0))…)…)

(2)

3)全局特征融合，即

FGF=HGFF(F-1,F1,F2,…,F10)

(3)

4)上采樣，即

ISR (×2l)=HUPM(FGF)

(4)

式中，HSFE表示淺層特征提取模塊，輸出的F0作為深層特征提取模塊的輸入。HDFE代表深層特征提取模塊，包含10個殘差密集單元(residual dense unit,RDU)，HRDU，d代表第d個殘差密集單元。HGFF代表全局特征融合模塊，融合后得到FGF作為上采樣模塊的輸入，HUPM代表上采樣模塊。

1.2.1 淺層特征提取模塊

如圖4所示，本文將3種不同大小卷積核提取的不同尺度淺層特征進行拼接，用于提取輸入東巴畫圖像的紋理和邊緣等底層特征。具體為

圖4 淺層特征提取模塊結(jié)構(gòu)Fig.4 Structure of shallow feature extraction module

F-1=c(W1×1[ILR],W3×3[ILR],W5×5[ILR])

(5)

式中，W1×1、W3×3、W5×5分別表示卷積核為1×1、3×3、5×5的卷積層權(quán)重，[]表示輸入卷積層進行卷積操作，c表示通道維度上的連接。然后將淺層特征F-1進行卷積操作，并作為深層特征提取模塊的輸入，具體為

F0=W3×3[F-1]

(6)

1.2.2 深層特征提取模塊

深層特征提取模塊由10個殘差密集單元(RDU)組成，用于提取深層的東巴畫特征信息。每一個RDU將前一個RDU提取的特征圖映射到更高層的特征空間。隨著網(wǎng)絡(luò)結(jié)構(gòu)的加深，獲取的特征圖越來越抽象。

RDU結(jié)合殘差連接與密集連接，促進網(wǎng)絡(luò)各層的信息流通，增強了特征復(fù)用。每一個RDU內(nèi)部結(jié)構(gòu)如圖5所示，包含6個3×3卷積層以及一個1×1卷積層，3×3卷積層用于特征提取，1×1卷積層用于降維。Fd-1和Fd分別表示當(dāng)前RDU的輸入和輸出，第e(e≤6)個3 × 3卷積層的輸出表示為

圖5 殘差密集單元結(jié)構(gòu)Fig.5 Structure of residual dense unit

Fd,e=σ(Wd,e[c(Fd-1,Fd,1,…,Fd,e-1)])

(7)

式中，Wd,e表示當(dāng)前RDU中第e個卷積層的權(quán)重，σ表示ReLU激活函數(shù)。若將輸入當(dāng)前RDU的特征圖Fd-1數(shù)量表示為g0，增長率表示為g，則c(Fd-1,Fd,1,…,Fd,e-1)表示將數(shù)量為g0+(e-1)×g的特征圖在通道維度進行連接。

經(jīng)過6個卷積層的特征提取后，特征圖數(shù)量為6×g，將其與前一個RDU的輸出特征圖數(shù)量g0進行通道連接，再輸入1 × 1的卷積層進行降維，則

Fd′=W1×1[c(Fd-1,Fd,1,…,Fd,6)]

(8)

最后，將Fd-1和Fd′進行元素級相加，得到當(dāng)前RDU的輸出Fd，即

Fd=Fd′+Fd-1

(9)

1.2.3 特征融合模塊

不同深度的特征攜帶不同尺度的感受野信息，隨著網(wǎng)絡(luò)深度的增加，每個RDU提取的特征會逐漸分級，且越來越抽象，這些特征對圖像重建提供了重要信息。因此本文將所有RDU提取的特征融合，在通道維度上進行連接，即

FDF=W3×3[W1×1[c(F1,F2,…,F10)]]

(10)

式中，c代表通道連接，F(xiàn)1,F2,…,F10代表10個RDU提取的特征，W1×1代表1×1卷積層權(quán)重，用于通道連接后的降維，W3×3代表3×3卷積層權(quán)重。同時，為了避免淺層特征丟失，本文將淺層特征提取模塊提取的淺層特征F-1與FDF進行恒等映射，進一步將東巴畫的淺層特征和深層特征進行融合，融合后輸出FGF，即

FGF=FDF+F-1

(11)

1.2.4 上采樣模塊

上采樣模塊由亞像素卷積層(Shi等，2016)和兩個卷積層組成。Dong等人(2016b)和Tong等人(2017)均采用反卷積對圖像進行上采樣，但是在反卷積時有大量補零操作，會造成圖像細節(jié)丟失，因此本文采用亞像素卷積層進行上采樣。上采樣模塊的輸入FGF特征通道數(shù)為G0，F(xiàn)GF首先輸入一個卷積層，將特征通道數(shù)變?yōu)镚0×r×r(r表示上采樣因子，此處r=2)。之后輸入亞像素卷積層，將每個像素的r2個通道重新排列成一個r×r的區(qū)域，G0r2×H×W大小的特征圖重新排列為G0×rH×rW，最后用一個卷積層將圖像重建為3×rH×rW大小輸出。

1.3 損失函數(shù)

Dong等人(2016b)和Tong等人(2017)都將MSE為代表的像素損失作為損失函數(shù)，在獲得較高PSNR的同時，重建結(jié)果因為缺乏高頻細節(jié)而導(dǎo)致紋理過于平滑(Johnson等，2016)。為了讓重建的東巴畫更加清晰逼真，本文先使用像素損失訓(xùn)練DBSRN，然后在像素損失的基礎(chǔ)上分別引入感知損失以及對抗損失聯(lián)合訓(xùn)練，得到以生成對抗網(wǎng)絡(luò)為框架的東巴畫超分辨率網(wǎng)絡(luò)(Dongba super-resolution generative adversarial network，DBGAN)。DBGAN網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。若將像素損失表示為Lpix，感知損失表示為Lper，對抗損失表示為Lgan，則DBGAN損失由感知損失、像素損失和對抗損失組成，即

圖6 DBGAN結(jié)構(gòu)圖Fig.6 Structure of DBGAN

LG=αLpix+βLgan+Lper

(12)

式中，α和β為損失權(quán)重。

1.3.1 像素損失

L1損失和L2損失是常用的像素級損失，但Zhao等人(2017)的研究表明,L2損失會過度懲罰兩圖較大的差異，破壞了圖像中基本的紋理和局部結(jié)構(gòu)，而L1損失較好地保留了紋理結(jié)構(gòu)信息，因此本文用L1損失作為像素損失。對于上采樣因子為2L的DBSRN，有L級超分辨率子網(wǎng)絡(luò)。本文將原高分辨率東巴畫下采樣L-1次，每次下采樣2倍，作為其對應(yīng)階段的標(biāo)簽，不同尺度的標(biāo)簽共同指導(dǎo)東巴畫的重建。像素損失表示為

(13)

1.3.2 感知損失

由于逐像素優(yōu)化的方式忽略了圖像的全局相似性，本文引入感知損失Lper。感知損失通過最小化重建SR圖像與HR圖像在語義級別上的差異，提高SR圖像與HR圖像之間的感知相似性，進而提高SR圖像的視覺質(zhì)量。Lper在預(yù)訓(xùn)練好的VGG16 (Visual Geometry Group 16-layer net)激活層上定義，最小化兩個激活特征之間距離，具體為

(14)

式中，φi表示VGG16中第i層。φi(ISR(×2l))表示第l級子網(wǎng)絡(luò)重建的東巴畫從VGG16第i層提取的特征，φi(IHR(×2l))表示第l級子網(wǎng)絡(luò)的標(biāo)簽從VGG16第i層提取的特征。與像素損失相同，總的感知損失為各個子網(wǎng)絡(luò)感知損失的和。

1.3.3 對抗損失

Wang等人(2018)的研究證明，生成對抗網(wǎng)絡(luò)應(yīng)用于超分辨率領(lǐng)域能使生成的圖像更加清晰逼真。因此本文以DBSRN作為生成器，在此基礎(chǔ)上加入鑒別器進行對抗訓(xùn)練。鑒別器是一個二分類器，結(jié)構(gòu)如圖7所示，主要參數(shù)配置如表1所示。

表1 鑒別器主要參數(shù)配置表Table 1 Main parameters for discriminator

圖7 鑒別器結(jié)構(gòu)圖Fig.7 Structure of discriminator

生成器重建出與真實高分辨率近似的圖像，鑒別器判定該圖像是真實高分辨率圖像或是由生成器合成的圖像，彼此對抗訓(xùn)練引導(dǎo)DBSRN生成更為逼真的高分辨率東巴畫?；贚edig等人(2017)的方法構(gòu)建對抗損失，具體為

(15)

式中，GθG(ILR)表示DBSRN網(wǎng)絡(luò)生成的東巴畫，DθD(GθG(ILR))表示判斷GθG(ILR)為真實高分辨率東巴畫的概率。

2 實 驗

2.1 數(shù)據(jù)集

為了使網(wǎng)絡(luò)模型對東巴畫的特征學(xué)習(xí)更具針對性，本文采用東巴畫數(shù)據(jù)集對網(wǎng)絡(luò)進行訓(xùn)練。由于現(xiàn)有東巴畫圖像存在數(shù)量少和分辨率低等問題，東巴畫圖像的采集、處理成為實驗的重要環(huán)節(jié)。本文將拍攝的東巴畫圖像進行格式轉(zhuǎn)換等預(yù)處理后整合成數(shù)據(jù)集DBH2K。DBH2K包含298幅高清東巴畫，每一幅東巴畫至少有一個維度的分辨率達到2 K。實驗時，將其中278幅用于訓(xùn)練，20幅用于測試，并將測試集命名為set20。同時，對訓(xùn)練集采用隨機剪裁方式進行數(shù)據(jù)增強，剪裁后共獲得22 024幅分辨率為480 × 480像素的HR東巴畫圖像。對于測試集set20，將2 K的高清東巴畫進行下采樣預(yù)處理，作為HR圖像，即標(biāo)簽，再對標(biāo)簽下采樣不同倍數(shù)作為對應(yīng)網(wǎng)絡(luò)的LR圖像。

2.2 訓(xùn)練情況與評價指標(biāo)

實驗在Windows10，64位操作系統(tǒng)平臺上進行，基于GTX2080Ti GPU，使用Pytorch深度學(xué)習(xí)框架搭建網(wǎng)絡(luò)模型，batchsize設(shè)置為8。在訓(xùn)練DBSRN時，初始學(xué)習(xí)率設(shè)置為2E-4，迭代500 k次，學(xué)習(xí)率在100 k、200 k、300 k、400 k次迭代時減半。訓(xùn)練DBGAN時，將訓(xùn)練完成的DBSRN作為預(yù)訓(xùn)練模型，在此基礎(chǔ)上進一步訓(xùn)練。初始學(xué)習(xí)率設(shè)置為1E-4，迭代250 k次，學(xué)習(xí)率在50 k、100 k、150 k、200 k次迭代時減半。同時，參照Wang等人(2018)的方法，設(shè)置α=10-2、β=5×10-3。采用Adam優(yōu)化器，兩個動量參數(shù)分別設(shè)置為0.9和0.999。

采用PSNR和結(jié)構(gòu)相似度(structural similarity index，SSIM)作為客觀評價指標(biāo)。PSNR計算重建圖像與真實高分辨率圖像之間的MSE相對于信號最大值平方的對數(shù)值，具體為

(16)

式中，n表示每個像素值的比特數(shù)，X和Y分別表示重建圖像和真實圖像。PSNR的數(shù)值越大，說明重建圖像與真實高分辨率圖像越接近。

SSIM也是用于衡量兩幅圖像相似度的指標(biāo)，其定義為

(17)

Feng等人(2019)的研究表明，大型超分辨率網(wǎng)絡(luò)在訓(xùn)練集數(shù)據(jù)量不足的情況下有過擬合的風(fēng)險，具體表現(xiàn)為測試集的PSNR值隨著迭代次數(shù)增加出現(xiàn)先增大后逐漸減小的現(xiàn)象。由于本文東巴畫數(shù)據(jù)集數(shù)量較少，而模型結(jié)構(gòu)較復(fù)雜，因此訓(xùn)練DBSRN時每迭代5 000次，在測試集set20上進行驗證，計算PSNR值，觀察PSNR值是否隨著迭代次數(shù)的增大而減小，出現(xiàn)過擬合現(xiàn)象，PSNR值變化情況如圖8所示。可以看出，在測試集上的PSNR值逐漸增大并趨于平穩(wěn)，未出現(xiàn)先上升后逐漸下降的情況，表明訓(xùn)練過程中未出現(xiàn)過擬合現(xiàn)象。訓(xùn)練DBGAN時，每迭代5 000次對測試集set20輸出重建結(jié)果，同樣在訓(xùn)練過程中未出現(xiàn)清晰度先增加后明顯下降的情況。

圖8 在測試集set20上的PSNR值Fig.8 PSNR values from set20((a)× 2;(b)× 4;(c)× 8)

2.3 對比實驗

2.3.1 殘差密集單元數(shù)量對模型性能的影響

為了驗證子網(wǎng)絡(luò)內(nèi)部殘差密集單元的數(shù)量對東巴畫重建質(zhì)量的影響，本文分別用不同數(shù)量的殘差密集單元構(gòu)造深層特征提取模塊，對比各網(wǎng)絡(luò)的性能指標(biāo)。首先使用DBH2K訓(xùn)練由不同數(shù)量的殘差密集單元組成的DBSRN，然后在東巴畫測試集set20上進行測試。表2為上采樣因子為2時各網(wǎng)絡(luò)模型SR與HR圖像的PSNR和SSIM，給出了RDU數(shù)量對重建質(zhì)量的影響。

表2 RDU數(shù)量對重建質(zhì)量的影響Table 2 The influence of RDU number on reconstruction quality

從表2可以看出，隨著RDU數(shù)量逐漸增加，表中數(shù)據(jù)整體呈上升趨勢。因此，針對本文的東巴畫數(shù)據(jù)集，適當(dāng)增加網(wǎng)絡(luò)深度可以提升網(wǎng)絡(luò)性能。此外，表中數(shù)據(jù)的增速隨著RDU數(shù)量的增加逐漸減慢，RDU數(shù)量為12時比數(shù)量為10時指標(biāo)僅有微小提升，PSNR僅提升0.02 dB。因此綜合考慮網(wǎng)絡(luò)性能與計算資源，對于每一階段上采樣因子為2的超分辨率子網(wǎng)絡(luò)，本文選用10個RDU作為深層特征提取模塊。

2.3.2 損失函數(shù)分析

為了驗證不同損失函數(shù)對重建結(jié)果的影響，采用不同的損失函數(shù)組合進行對比實驗。

表3及圖9分別展示了DBSRN、DBSRN+以及DBGAN的客觀評價指標(biāo)和主觀視覺質(zhì)量(上采樣因子為4，測試集為set20)。其中，DBSRN僅使用像素損失，DBSRN+加入感知損失，DBGAN加入判別器，融合像素損失、感知損失和對抗損失3個損失的模型。從表3可以看出，由于在像素損失的基礎(chǔ)上加入了感知損失和對抗損失，DBSRN+和DBGAN的PSNR與SSIM相比DBSRN均有不同程度的下降。從圖9可以看出，DBSRN+和DBGAN的重建結(jié)果的清晰度均有不同程度提升，但DBSRN+的結(jié)果出現(xiàn)了方格形狀的偽影，DBGAN重建結(jié)果的線條和色塊均與原圖最為接近，證明感知損失和對抗訓(xùn)練均提升了視覺效果。

表3 損失函數(shù)對比分析Table 3 Comparative analysis of loss function

圖9 不同損失函數(shù)組合重建結(jié)果對比Fig.9 Comparison of reconstruction results of different loss function combinations((a)original image;(b)HR;(c)Bicubic;(d)Lpix;(e)Lpix+Lper;(f)Lpix+Lper+Lgan)

2.4 與其他算法的比較

為了驗證本文對東巴畫超分辨率重建算法的有效性，與Bicubic(bicubic interpolation)、SRCNN(super-resolution convolutional neural network)(Dong等，2016a)、Srresnet(Ledig等，2017)和IMDN(information multi-distillation network)(Hui等，2019)等超分辨率算法進行比較。首先采用SRCNN、Srresnet和IMDN 3種基于深度學(xué)習(xí)的方法對東巴畫數(shù)據(jù)集在相同訓(xùn)練設(shè)置下訓(xùn)練放大2倍、4倍、8倍的模型，然后用東巴畫測試集set20測試，最后將測試結(jié)果與DBSRN和DBGAN進行比較。

2.4.1 主觀質(zhì)量評價

圖10展示了上采樣因子為8的重建結(jié)果對比圖?？梢钥闯觯瑐鹘y(tǒng)方法雙三次插值(Bicubic)的重建結(jié)果不理想，手部輪廓和色塊均模糊不清。SRCNN重建結(jié)果優(yōu)于雙三次插值，對原圖中色塊的復(fù)原結(jié)果有了明顯改善，但線條上存在大量模糊和錯亂情況。Srresnet的重建結(jié)果已經(jīng)能觀察到部分較為清晰的線條，手部的色塊區(qū)域也有了較大程度的還原，但是部分位置(如手指縫隙)依然模糊，同時左下部分的線條發(fā)生扭曲變形。IMDN重建結(jié)果的指縫部分線條色彩較為鮮明，但左下部分線條仍有扭曲變形的現(xiàn)象。本文提出的DBSRN較好地重建出了原圖像中的人物手部線條，對手部色塊的顏色和輪廓的還原也更為清晰，然而僅采用像素級損失函數(shù)不可避免地導(dǎo)致色塊中的像素過度平滑，視覺上復(fù)原效果存在一定缺陷。DBGAN的重建結(jié)果有效改善了這一情況，盡可能真實地復(fù)原了HR圖像中色塊上的高頻信息，復(fù)原后的圖像在視覺效果上得到了較大提升。

圖10 本文算法與其他算法重建結(jié)果對比(×8)Fig.10 Comparison of reconstruction results among the proposed algorithm and other algorithms(×8)((a)original image;(b)HR;(c)Bicubic;(d)SRCNN;(e)Srresnet;(f)IMDN;(g)DBSRN(ours);(h)DBGAN(ours))

圖11展示了上采樣因子為4的重建結(jié)果細節(jié)對比圖?？梢钥闯觯珺icubic復(fù)原得到的圖像線條和色塊模糊；SRCNN的重建結(jié)果能大致看出畫中人物鼻子嘴唇輪廓；Srresnet和IMDN得到的圖像效果相近，雖然在一定程度上復(fù)原了人臉的線條，然而嘴唇等位置仍然存在細節(jié)丟失；DBSRN得到的圖像線條與原圖幾乎一致，卻仍然存在像素過度平滑現(xiàn)象；DBGAN的清晰度與還原度得到進一步提升，很好地還原了原圖的材質(zhì)感。從上面分析可以看出，在各尺度下，DBSRN和DBGAN重建結(jié)果的視覺效果均優(yōu)于其他方法，其中DBGAN重建結(jié)果的清晰度與原圖幾乎一致。

圖11 本文算法與其他算法重建結(jié)果對比(× 4)Fig.11 Comparison of reconstruction results of different algorithms(× 4)((a)original image;(b)HR；(c)Bicubic;(d)SRCNN;(e)Srresnet;(f)IMDN;(g)DBSRN(ours);(h)DBGAN(ours))

2.4.2 客觀質(zhì)量評價

本文在Ycbcr通道的亮度通道上計算PSNR與SSIM，本文算法與其他算法的PSNR和SSIM對比結(jié)果如圖12和圖13所示。可以看出，DBSRN的客觀指標(biāo)PSNR和SSIM在上采樣因子為2時分別為33.46 dB和0.911 2，在上采樣因子為4時分別為28.54 dB和0.776 2，在上采樣因子為8時分別為24.61 dB和0.643 0。

圖12和圖13還可以看出，DBSRN在測試集set20上的客觀指標(biāo)較Bicubic、SRCNN和Srresnet都有不同程度的提高。PSNR和SSIM較排名第2的Srresnet在上采樣因子為2時分別提高了0.10 dB和0.000 8，在上采樣因子為4時分別提高了0.18 dB和0.003 2，在上采樣因子為8時分別提高了0.23 dB和0.004 4。由于DBGAN以優(yōu)化感知損失為主，在顯著提升重建圖像視覺質(zhì)量的前提下，得到的PSNR和SSIM指標(biāo)較低。

圖12 不同方法的PSNR值對比Fig.12 Comparison of PSNR among different methods

圖13 不同方法的SSIM值對比Fig.13 Comparison of SSIM among different methods

2.5 真實環(huán)境下的實驗

由于本文的低分辨率東巴畫均由高分辨率東巴畫人為下采樣得到，因此對真實環(huán)境中的低分辨率東巴畫進行實驗，并與銳化后的效果進行對比，部分結(jié)果如圖14所示。圖14分別展示了真實低分辨率東巴畫LR、DBSRN和DBGAN上采樣因子為4的重建結(jié)果圖以及將LR進行銳化的結(jié)果圖。由圖14可知，DBSRN和DBGAN均有效提高了真實低分辨率東巴畫的分辨率和清晰度，而銳化僅通過增加高頻分量實現(xiàn)圖像清晰度的提升，效果不明顯且容易引入噪聲，對圖像的分辨率沒有實質(zhì)提高。

圖14 真實環(huán)境下本文算法與其他算法重建結(jié)果對比Fig.14 Comparison of reconstruction results among proposed algorithm and other algorithms in real environment((a)original image;(b)LR;(c)DBSRN;(d)DBGAN;(e)sharpening)

2.6 參數(shù)量對比分析

本文對比了在上采樣因子為4時不同模型的參數(shù)量和網(wǎng)絡(luò)性能，結(jié)果如表4所示?？梢钥闯?，在得到較高PSNR和SSIM前提下，本文模型參數(shù)量較大，達到2.85 M。然而本文模型有極大的靈活性，根據(jù)不同應(yīng)用場景可以對模型進行相應(yīng)調(diào)整。若強調(diào)更低的網(wǎng)絡(luò)空間復(fù)雜度，可采用RDU間遞歸的網(wǎng)絡(luò)結(jié)構(gòu)，即所有的RDU共享參數(shù)，此時參數(shù)量為0.46 M，低于Srresnet參數(shù)量的1/3，網(wǎng)絡(luò)性能與Srresnet相比只是略微下降；相比于IMDN，RDU間遞歸的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)量更低，且PSNR相比于IMDN提高了0.08 dB；若不采用遞歸結(jié)構(gòu)，即不共享參數(shù)，此時參數(shù)量相比子網(wǎng)絡(luò)間遞歸的結(jié)構(gòu)增加了一倍，PSNR和SSIM也有微小提升。本文采用子網(wǎng)絡(luò)間遞歸的結(jié)構(gòu)，達到了參數(shù)量和網(wǎng)絡(luò)性能的平衡。

表4 參數(shù)量和網(wǎng)絡(luò)性能對比Table 4 The numbers of parameters and network performance comparison

3 結(jié) 論

為了有效提升東巴畫的分辨率，首先采集東巴畫數(shù)字圖像并整合成數(shù)據(jù)集用于網(wǎng)絡(luò)訓(xùn)練，然后針對東巴畫內(nèi)容豐富、線條疏密有致和顏色鮮艷等藝術(shù)特點，搭建基于殘差密集結(jié)構(gòu)的超分辨率網(wǎng)絡(luò)對東巴畫進行漸進式重建。漸進式的重建方式使各級子網(wǎng)絡(luò)標(biāo)簽共同指導(dǎo)重建，減少了東巴畫高頻信息丟失。殘差密集結(jié)構(gòu)增強了特征復(fù)用，使網(wǎng)絡(luò)在東巴畫數(shù)據(jù)集較少情況下提取到豐富特征用于重建。最后引入感知損失和對抗損失進行對抗訓(xùn)練，提升了重建東巴畫的清晰度。實驗結(jié)果表明，本文算法應(yīng)用于圖像線條繁雜、紋理細節(jié)豐富的東巴畫，有良好的重建效果。然而，由于GAN的生成存在隨機性，雖然重建圖像有更清晰的視覺效果，生成圖像會產(chǎn)生原圖不存在的紋理和邊緣細節(jié)。下一步考慮在生成器部分增加約束條件，對GAN的生成進行約束，獲得與原圖更加接近的高分辨率圖像。