基于方向引導(dǎo)的殘差去雨網(wǎng)絡(luò)

楊愛萍，張騰飛，王朝臣，邵明福，周雅然，丁學(xué)文

（1.天津大學(xué)電氣自動(dòng)化與信息工程學(xué)院，天津 300072；2.天津職業(yè)技術(shù)師范大學(xué)電子工程學(xué)院，天津 300222）

在降雨天氣采集到的圖像質(zhì)量下降嚴(yán)重，存在紋理遮擋、對(duì)比度下降及細(xì)節(jié)丟失等問(wèn)題，嚴(yán)重影響視覺效果，不利于圖像特征提取及辨識(shí)，導(dǎo)致戶外計(jì)算機(jī)視覺系統(tǒng)難以發(fā)揮效用.

近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)憑其出色的特征提取能力和強(qiáng)大的辨識(shí)能力被廣泛用于圖像去雨.Eigen等[1]首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于單幅圖像去雨，其構(gòu)造一個(gè) 3層卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)有雨和無(wú)雨圖像間的非線性映射.Fu 等[2]提出一種深度細(xì)節(jié)網(wǎng)絡(luò)，使用引導(dǎo)濾波從雨圖分離出高頻特征，但去雨后的圖像易丟失細(xì)節(jié)信息.Zhang 等[3]提出了一種基于條件生成對(duì)抗網(wǎng)絡(luò)的去雨方法，但去雨后的圖像不夠自然.Chen等[4]提出了一種基于誤差檢測(cè)和特征補(bǔ)償?shù)娜ビ攴椒?，借鑒自動(dòng)控制領(lǐng)域的閉環(huán)反饋思想，用潛在的高質(zhì)量特征替代低質(zhì)量特征，但存在雨紋殘留現(xiàn)象.

可見，上述方法都是在單階段或單一尺度下完成.然而，雨天圖像包含雨紋形狀、方向和密度信息等多樣性特征，單階段或單尺度網(wǎng)絡(luò)去除雨紋不夠徹底.為了解決雨紋殘留等問(wèn)題，很多學(xué)者從多尺度或多階段出發(fā)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)用于圖像去雨.Zhang等[5]基于密度感知構(gòu)建出一種新的雨圖成像模型，并結(jié)合擴(kuò)張卷積提出一種聯(lián)合雨水檢測(cè)和去除的多流密集網(wǎng)絡(luò)，該網(wǎng)絡(luò)對(duì)暴雨情況下雨水堆積有較好的去除效果，但部分圖像易出現(xiàn)細(xì)節(jié)模糊.Fu等[6]提出一種拉普拉斯金字塔網(wǎng)絡(luò)捕捉多尺度下雨紋特征并逐步完成去雨.Li等[7]結(jié)合壓縮激勵(lì)(squeeze-andexcitation，SE)模塊提出一種循環(huán)結(jié)構(gòu)獲取雨紋的多尺度信息，并逐步去除雨紋.Ren等[8]基于殘差網(wǎng)絡(luò)設(shè)計(jì)了一種由簡(jiǎn)單網(wǎng)絡(luò)模型組成的多階段去雨網(wǎng)絡(luò).Deng等[9]從細(xì)節(jié)修復(fù)角度設(shè)計(jì)了一種雙路并行網(wǎng)絡(luò)，分別用于去除雨紋和細(xì)節(jié)修復(fù).Jiang等[10]對(duì)不同尺度的雨紋進(jìn)行漸進(jìn)式融合處理，提出一種多尺度漸進(jìn)式融合網(wǎng)絡(luò).Wang等[11]在多尺度編解碼結(jié)構(gòu)基礎(chǔ)上加入殘差編碼支路補(bǔ)充細(xì)節(jié)信息，但該網(wǎng)絡(luò)以密集連接模塊為基礎(chǔ)構(gòu)建，存在參數(shù)量大等問(wèn)題.

為充分利用雨紋所蘊(yùn)含的方向信息，提升網(wǎng)絡(luò)的泛化能力，本文提出一種基于方向引導(dǎo)的殘差去雨網(wǎng)絡(luò)(direction-guided residual network，DGR-Net).網(wǎng)絡(luò)以帶有殘差校正模塊的編碼-解碼結(jié)構(gòu)作為主干網(wǎng)絡(luò)，可在有效利用多尺度特征的同時(shí)較好地保持圖像細(xì)節(jié).設(shè)計(jì)方向引導(dǎo)模塊和自適應(yīng)循環(huán)遞歸模塊(adaptive cycle recursion module，ACRM)組成特征提取子網(wǎng)絡(luò)，實(shí)現(xiàn)不同方向、不同感受野的特征提取和融合.為了進(jìn)一步改善圖像視覺效果，基于平滑擴(kuò)張卷積設(shè)計(jì)顏色修正模塊對(duì)復(fù)原圖像進(jìn)行優(yōu)化.所提方法去除雨紋較徹底，色彩及細(xì)節(jié)保持較好，優(yōu)于目前主流的去雨方法.

1 本文方法

本文提出基于方向引導(dǎo)的殘差去雨網(wǎng)絡(luò)總體結(jié)構(gòu)如圖1所示.網(wǎng)絡(luò)由帶有殘差校正模塊的編解碼主干網(wǎng)絡(luò)、基于方向引導(dǎo)的特征提取子網(wǎng)絡(luò)(direction guided feature extraction subnet，DGFESubNet)以及顏色修正模塊(color refine module，CRM)組成.主干網(wǎng)絡(luò)采用具有跳躍連接的編解碼框架，可實(shí)現(xiàn)不同尺度特征有效復(fù)用；主干網(wǎng)絡(luò)中融入殘差校正模塊(residual correction module，RCM)可學(xué)習(xí)低質(zhì)量特征表示到最優(yōu)特征表示映射，突出圖像的高頻細(xì)節(jié).特征提取子網(wǎng)絡(luò)包括方向引導(dǎo)模塊(direction guidance module，DGM)和自適應(yīng)循環(huán)遞歸模塊，可實(shí)現(xiàn)不同方向、不同感受野的雨紋特征提取和融合.另外，為了進(jìn)一步改善視覺質(zhì)量，修復(fù)去雨過(guò)程中損失的色彩信息，本文結(jié)合不同擴(kuò)張因子的平滑擴(kuò)張卷積設(shè)計(jì)顏色修正模塊，對(duì)色彩進(jìn)行信息補(bǔ)償，使復(fù)原后的圖像更加符合人眼視覺規(guī)律.

圖1 方向引導(dǎo)的殘差去雨網(wǎng)絡(luò)Fig.1 Direction-guided residual deraining network

1.1 基于殘差校正的編解碼網(wǎng)絡(luò)

常規(guī)編解碼結(jié)構(gòu)用于圖像復(fù)原往往存在邊緣模糊、細(xì)節(jié)丟失等問(wèn)題，其原因在于編碼器學(xué)習(xí)到的特征映射質(zhì)量不高.Wang等[11]提出通過(guò)殘差學(xué)習(xí)支路獲取低質(zhì)量表示到潛在最優(yōu)表示的方法.受此啟發(fā)，論文在編碼-解碼結(jié)構(gòu)的基礎(chǔ)上融入殘差校正模塊用于最優(yōu)特征表示，如圖1所示.主干網(wǎng)絡(luò)由3部分組成，分別是主編碼器、殘差校正模塊以及主解碼器.

為了減少信息干擾，主編碼器選用了兩個(gè)卷積核為 3×3的卷積層對(duì)輸入圖像進(jìn)行預(yù)處理，提取輸入圖像的淺層特征，并將卷積層的輸出進(jìn)行連接.為了保留足夠的空間信息進(jìn)行重構(gòu)，在編碼階段只進(jìn)行兩次下采樣，下采樣操作通過(guò)步長(zhǎng)為 2的殘差模塊完成.為了增強(qiáng)通道間特征相關(guān)性，在上、下采樣部分的殘差模塊中增加SE模塊.同時(shí)殘差校正模塊在結(jié)構(gòu)上與主編碼器部分保持一致.由于批歸一化(batch normalization，BN)層不利于復(fù)雜雨紋特征的提取，殘差塊(residual block，ResBlock)去除了BN層，只包含兩個(gè)卷積層進(jìn)行殘差連接.

在主解碼器部分，網(wǎng)絡(luò)基于普通卷積和PixelShuffle[12]實(shí)現(xiàn)通道間的像素重排從而得到高分辨率的特征圖，進(jìn)而完成上采樣操作，減少因上采樣造成的特征損失.最后，通過(guò)連續(xù)的 1×1卷積和 3×3卷積進(jìn)行特征融合，得到融合特征圖.

1.2 基于方向引導(dǎo)的特征提取子網(wǎng)絡(luò)

為了挖掘不同方向和感受野的雨紋深層特征，本文構(gòu)建基于方向引導(dǎo)的特征提取子網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，α為注意力圖的權(quán)重因子.可將其分為兩個(gè)支路，分別為方向引導(dǎo)模塊和自適應(yīng)循環(huán)遞歸模塊.通過(guò)方向引導(dǎo)模塊所在支路獲取雨紋注意力圖，通過(guò)自適應(yīng)循環(huán)遞歸模塊所在支路進(jìn)行雨紋特征的提取，同時(shí)方向引導(dǎo)模塊通過(guò)殘差加權(quán)的方式對(duì)特征提取支路進(jìn)行引導(dǎo).

圖2 方向引導(dǎo)的特征提取子網(wǎng)絡(luò)Fig.2 Direction-guided feature extraction subnet

1.2.1 方向引導(dǎo)模塊

方向引導(dǎo)模塊以循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)[13]為基礎(chǔ)進(jìn)行設(shè)計(jì)，在 8個(gè)方向提取雨紋特征，具體結(jié)構(gòu)如圖3所示.模塊分為兩個(gè)階段，第1階段設(shè)計(jì)兩個(gè)并行的8方向RNN支路提取不同方向的雨紋特征，同時(shí)使用通道注意力和空間注意力機(jī)制構(gòu)建注意力模塊獲取不同方向上的特征權(quán)重，并對(duì)兩條支路提取到的空間上、下文信息進(jìn)行加權(quán)和通道堆疊得到更加精細(xì)的注意力圖.第 2階段對(duì)提取到的特征圖進(jìn)行融合處理和信息補(bǔ)償，充分利用空間上、下文信息引導(dǎo)雨紋特征提取.

圖3 方向引導(dǎo)模塊Fig.3 Direction-guided module

1.2.2 自適應(yīng)循環(huán)遞歸模塊

自適應(yīng)循環(huán)遞歸模塊整體上采用分階段漸進(jìn)式特征提取思想，通過(guò)長(zhǎng)短時(shí)記憶(long short-term memory，LSTM)模塊進(jìn)行遞歸操作，在不增加網(wǎng)絡(luò)參數(shù)的前提下，挖掘不同階段之間的深層特征和相關(guān)性.同時(shí)，該模塊融入動(dòng)態(tài)選擇性核卷積(selective kernel convolution，SKConv)策略，實(shí)現(xiàn)感受野自適應(yīng)調(diào)節(jié)，并結(jié)合注意力機(jī)制實(shí)現(xiàn)特征融合，可顯著提升模塊的特征提取能力，模塊結(jié)構(gòu)如圖4所示.

圖4 自適應(yīng)循環(huán)遞歸模塊Fig.4 Adaptive cycle recursion module

將模塊劃分為若干階段進(jìn)行特征提取，每一階段均由基本的卷積網(wǎng)絡(luò)組成，包括卷積層、長(zhǎng)短時(shí)記憶模塊、選擇性核卷積及 ReLU激活函數(shù)等.各階段運(yùn)算過(guò)程可分別表示為

式中：t表示當(dāng)前遞歸階段；xt-0.5、st、z、xt分別表示圖中各層輸出；xt-1表示上一階段的輸出；y表示原始輸入圖像；st-1表示遞歸層上一階段的輸出；fin和 fout表示輸入層和輸出層運(yùn)算，采用普通卷積層進(jìn)行處理；frecurrent表示循環(huán)遞歸層，選用長(zhǎng)短時(shí)記憶模塊作循環(huán)輸入；fmid表示中間處理模塊，首尾兩個(gè)階段使用了選擇性核卷積＋ReLU實(shí)現(xiàn)不同感受野的特征選擇.除去首尾之外的中間階段，則是采用了殘差模塊進(jìn)行特征提取.最后，將方向引導(dǎo)模塊處理得到的注意力圖通過(guò)加權(quán)運(yùn)算并進(jìn)行殘差連接，這里α設(shè)置為 0.05，實(shí)驗(yàn)部分針對(duì)權(quán)重因子進(jìn)行了消融實(shí)驗(yàn).

1.3 基于信息補(bǔ)償?shù)念伾拚K

為了補(bǔ)償在去雨過(guò)程中損失的色彩信息，設(shè)計(jì)顏色修正模塊對(duì)去雨后的圖像進(jìn)行優(yōu)化.網(wǎng)絡(luò)模塊設(shè)計(jì)采用空間金字塔池化[14](spatial pyramid pooling，SPP)結(jié)構(gòu)，使用多尺度平滑擴(kuò)張卷積獲取形狀、顏色及空間特征的多尺度信息，對(duì)去雨后的圖像進(jìn)行色彩補(bǔ)償.平滑擴(kuò)張卷積可有效解決傳統(tǒng)池化和連續(xù)卷積造成的全局空間分辨率信息丟失問(wèn)題，在不降低分辨率的情況下增加感受野.同時(shí)，平滑擴(kuò)張卷積還可增加輸入單元或輸出單元之間的相互作用，有效消除網(wǎng)格效應(yīng).

顏色修正模塊結(jié)構(gòu)如圖5所示，其包含卷積層、平滑擴(kuò)張卷積支路和特征融合單元.輸入端通過(guò)兩個(gè)卷積層過(guò)濾干擾信息，4條設(shè)有不同擴(kuò)張因子(dilating factor，DF)的平滑擴(kuò)張卷積支路可提取不同尺度的特征信息，擴(kuò)張因子分別設(shè)置為 1、2、4、8；然后使用特征融合單元對(duì)提取到的特征進(jìn)行融合；輸出端采用殘差連接方式，通過(guò)學(xué)習(xí)與清晰無(wú)雨圖像之間的殘差對(duì)復(fù)原圖像進(jìn)行深層的細(xì)化.

圖5 顏色修正模塊Fig.5 Color refine module

1.4 損失函數(shù)

本文采用平滑L1損失、SSIM 損失和感知損失分別從逐像素重建、結(jié)構(gòu)相似性保持以及偽影去除等對(duì)網(wǎng)絡(luò)訓(xùn)練進(jìn)行約束，使去雨圖像與無(wú)雨清晰圖像更為逼近.其中，原始L1損失對(duì)去雨圖像和無(wú)雨圖像像素值之差進(jìn)行度量，這里對(duì)原始L1損失進(jìn)行平滑處理，可表示為

SSIM 損失從結(jié)構(gòu)相似性上約束網(wǎng)絡(luò)訓(xùn)練，使復(fù)原圖像在結(jié)構(gòu)上逼近原始無(wú)雨圖像，可以表示為

同時(shí)，為了消除圖像復(fù)原過(guò)程中可能引入的偽影現(xiàn)象，還使用感知損失[15]約束網(wǎng)絡(luò)訓(xùn)練.感知損失可衡量去雨圖像和對(duì)應(yīng)的清晰圖像之間語(yǔ)義特征差異，采用預(yù)訓(xùn)練的 VGG-16網(wǎng)絡(luò)輸出的特征圖φj(·)來(lái)計(jì)算，可表示為

總的損失函數(shù)可以表示為

式中Pλ為感知損失權(quán)重因子，實(shí)驗(yàn)設(shè)置為0.005.

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)設(shè)置及數(shù)據(jù)集

本文提出的去雨網(wǎng)絡(luò)基于 Pytorch框架實(shí)現(xiàn)，操作系統(tǒng)為Ubuntu，通過(guò)NVIDIA GTX 1080Ti GPU加速網(wǎng)絡(luò)訓(xùn)練過(guò)程.參數(shù)設(shè)置方面，batch size設(shè)置為28，每張圖像隨機(jī)截取的塊大小 patch size設(shè)置為112×112；優(yōu)化器則是選用了動(dòng)量衰減指數(shù)分別為β1= 0.9、β2= 0.999的 Adam優(yōu)化器；總迭代次數(shù)為800次，初始學(xué)習(xí)率設(shè)置為 0.001，分別在第 250、400、500、600、700次迭代進(jìn)行學(xué)習(xí)率的衰減，每次衰減為原來(lái)的一半.

合成數(shù)據(jù)集選取廣泛使用的 Rain200L[16]、Rain200H[16]、Rain800[3]以及 Rain1400[2]4 個(gè)合成數(shù)據(jù)集.真實(shí)數(shù)據(jù)集采用 SPANet[17]提供的數(shù)據(jù)集，該數(shù)據(jù)集中測(cè)試集包含有雨圖像和對(duì)應(yīng)的參考圖像，便于計(jì)算評(píng)價(jià)指標(biāo)，且場(chǎng)景豐富，雨紋密度多樣，可以充分驗(yàn)證所提方法的性能.

在合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上進(jìn)行大量實(shí)驗(yàn)，并將提出的方法與目前的優(yōu)勢(shì)去雨方法在主觀和客觀兩方面的實(shí)驗(yàn)效果進(jìn)行對(duì)比.對(duì)比方法包括 2個(gè)分別基于編碼和先驗(yàn)知識(shí)的傳統(tǒng)方法(DSC[18]，GMM[19])以及 8個(gè)基于深度學(xué)習(xí)的方法(DDN[2]，JORDER[16]，DID-MDN[5]，RESCAN[7]，PReNet[8]，DRD-Net[9]，MSPFN[10]，RLNet[4]).客觀評(píng)價(jià)方面，采用峰值信噪比(peak signal-to-noise ratio，PSNR)和結(jié)構(gòu)相似性(structural similarity，SSIM)作為度量標(biāo)準(zhǔn).

2.2 在合成數(shù)據(jù)集上實(shí)驗(yàn)

首先，在常用的 4個(gè)合成數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，各方法客觀評(píng)指標(biāo)結(jié)果如表1所示.可以看出，相較于現(xiàn)階段優(yōu)勢(shì)的去雨方法，本文方法在 Rain200L和Rain1400數(shù)據(jù)集上取得了最優(yōu)評(píng)價(jià)指標(biāo)，在Rain200H數(shù)據(jù)集上取得了次高 PSNR值和 SSIM值，在Rain800數(shù)據(jù)集上取得了次高PSNR值和最高SSIM值.

表1 在合成數(shù)據(jù)集上PSNR和SSIM結(jié)果Tab.1 PSNR and SSIM results on the synthetic dataset

Rain200H數(shù)據(jù)集是 Yang等[16]提出的一個(gè)合成數(shù)據(jù)集，圖像中的雨紋較為密集，具有更大的挑戰(zhàn)性.實(shí)驗(yàn)中，從 Rain200H數(shù)據(jù)集中選取了 3張人物圖和 3張自然景觀圖進(jìn)行主觀效果評(píng)價(jià).為了使主觀效果的對(duì)比更有說(shuō)服力，選取雨紋和背景細(xì)節(jié)重合較多的圖片進(jìn)行實(shí)驗(yàn).所對(duì)比的方法有 DDN[2]、RESCAN[7]、PReNet[8]、DRD-Net[9]、MSPFN[10].

由圖6可以看出，DDN[2]方法和RESCAN[7]雖然可以去除大部分雨紋，但有明顯的雨紋殘留現(xiàn)象，且局部細(xì)節(jié)丟失嚴(yán)重.PReNet[8]結(jié)果中沒(méi)有雨紋殘留現(xiàn)象，但仍然有一些偽影存在，并且有背景細(xì)節(jié)丟失現(xiàn)象.DRD-Net[9]雖然整體視覺效果良好，但部分細(xì)節(jié)恢復(fù)不理想.MSPFN[10]存在過(guò)度去雨現(xiàn)象，且對(duì)面部細(xì)節(jié)恢復(fù)較差.由圖6(g)可以看出，本文方法去雨較為徹底，基本沒(méi)有出現(xiàn)偽影現(xiàn)象，對(duì)細(xì)節(jié)恢復(fù)效果顯著，且色彩與原清晰圖像最為接近.

圖6 在合成數(shù)據(jù)集Rain200H上的實(shí)驗(yàn)結(jié)果Fig.6 Experimental results on the synthetic dataset Rain200H

為了進(jìn)一步驗(yàn)證所提方法的魯棒性，選取了Rain200L數(shù)據(jù)集中的 4幅圖像進(jìn)行了主觀對(duì)比，Rain200L數(shù)據(jù)集中雨紋較為稀疏，大部分深度學(xué)習(xí)方法去雨效果較好.由圖7可以看出，RESCAN[7]和MSPFN[10]方法存在部分雨紋殘留，DDN[2]方法存在過(guò)度平滑問(wèn)題，本文方法對(duì)于雨紋的去除及背景細(xì)節(jié)保持效果良好.

圖7 在合成數(shù)據(jù)集Rain200L上的實(shí)驗(yàn)結(jié)果Fig.7 Experimental results on the synthetic dataset Rain200L

2.3 在真實(shí)數(shù)據(jù)集上實(shí)驗(yàn)

為了驗(yàn)證所提出方法對(duì)真實(shí)場(chǎng)景的適用性和有效性，本節(jié)選取了 4幅真實(shí)雨天圖像進(jìn)行實(shí)驗(yàn)，并與目前的優(yōu)勢(shì)方法進(jìn)行比較，客觀評(píng)價(jià)指標(biāo)如表2所示.可以看出，本文方法在真實(shí)數(shù)據(jù)集上取得最高的SSIM 值，同時(shí) PSNR值也接近目前最優(yōu)方法，利用各方法去雨后的圖像如圖8所示.可以看出，其他方法能去除大部分雨水遮擋，但對(duì)于密集雨紋形成的霧紗層去除效果欠佳，同時(shí)也存在較大雨滴去除不徹底的問(wèn)題.由圖8(b)可以看出，DDN[2]處理的圖像存在明顯的雨紋殘留.由圖8(c)和(d)第 3張圖可以看出，JORDER[16]方法和 RESCAN[7]方法存在過(guò)度去雨現(xiàn)象，造成部分細(xì)節(jié)模糊.由圖8(f)第2和第4張圖可以看出 MSPFN[10]方法去除密集雨紋的能力較弱.由圖8(e)可以看出，PReNet[8]雖然可以去除大部分雨紋，但存在一定的顏色失真.由圖8(g)可以看出，本文方法可較為徹底地去除大部分雨紋，同時(shí)可較好地保持圖像的色彩和細(xì)節(jié).

圖8 在真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Fig.8 Experimental results on the real dataset

表2 在真實(shí)數(shù)據(jù)集上PSNR和SSIM結(jié)果Tab.2 PSNR and SSIM results on the real dataset

2.4 消融實(shí)驗(yàn)

為了驗(yàn)證所提去雨網(wǎng)絡(luò)每個(gè)模塊的有效性，本節(jié)進(jìn)行消融實(shí)驗(yàn)，分別針對(duì)殘差校正模塊、方向引導(dǎo)模塊以及顏色修正模塊進(jìn)行驗(yàn)證.實(shí)驗(yàn)方案如下：①主干網(wǎng)絡(luò)中去除殘差校正模塊，只使用普通的編碼-解碼結(jié)構(gòu)作為主干網(wǎng)絡(luò)；②不使用顏色修正模塊進(jìn)行色彩修正；③特征提取子網(wǎng)絡(luò)中去除方向引導(dǎo)模塊；④主干網(wǎng)絡(luò)中包含殘差校正模塊，且使用方向引導(dǎo)模塊引導(dǎo)網(wǎng)絡(luò)進(jìn)行特征提取、使用顏色修正模塊對(duì)色彩信息進(jìn)行修正，即本文方法.

消融實(shí)驗(yàn)在 Rain200H數(shù)據(jù)集上進(jìn)行，分別在相同實(shí)驗(yàn)配置下對(duì)上述實(shí)驗(yàn)方案進(jìn)行質(zhì)量評(píng)價(jià)，各種方案下得到的PSNR值和SSIM值如表3所示.選取其中一張去雨圖進(jìn)行主觀對(duì)比，結(jié)果如圖9所示.由表3可以看出，本文方法得到了最高的 PSNR值和SSIM值.同時(shí)，由圖9可以看出，方案1由于去除了殘差校正模塊導(dǎo)致學(xué)習(xí)到的特征表示質(zhì)量不高，下巴和右眼處存在明顯亮斑，且右眼處存在雨紋殘留；方案2沒(méi)有使用顏色修正模塊，去雨結(jié)果圖的色彩不夠自然(如圖9(c)中下巴周圍明顯偏綠)；方案 3由于沒(méi)有使用方向引導(dǎo)模塊，提取到的雨紋特征不完整，存在雨紋殘留(如圖9(d)中面部)，且衣服花紋存在模糊現(xiàn)象；可以看出，本文方法(方案4)去雨徹底，且可較好地保持圖像細(xì)節(jié)，色彩更為自然.

表3 在Rain200H數(shù)據(jù)集上消融實(shí)驗(yàn)結(jié)果對(duì)比Tab.3 Comparison of ablation experimental results on the Rain200H dataset

圖9 消融實(shí)驗(yàn)結(jié)果比較Fig.9 Comparison of the ablation experimental results

本文還對(duì)特征提取子網(wǎng)絡(luò)中方向引導(dǎo)模塊的權(quán)值因子α進(jìn)行消融實(shí)驗(yàn).根據(jù)經(jīng)驗(yàn)，分別將α值設(shè)置為 0、0.02、0.05、0.10、0.20 進(jìn)行對(duì)比，數(shù)據(jù)集為Rain200H，實(shí)驗(yàn)結(jié)果如表4所示.由客觀指標(biāo)數(shù)值及變化趨勢(shì)可以看出，將α值設(shè)置為 0.05附近可以取得最優(yōu)的去雨效果.

表4 不同α值的結(jié)果對(duì)比Tab.4 Comparison of results with different α

2.5 復(fù)雜度對(duì)比

為了驗(yàn)證所提方法的復(fù)雜度，本文將各主流方法的參數(shù)量和平均運(yùn)行時(shí)間進(jìn)行對(duì)比.選取圖像尺寸均為 512×512的真實(shí)數(shù)據(jù)集作為測(cè)試集，實(shí)驗(yàn)結(jié)果如表5所示.可以看出，兩種傳統(tǒng)去雨方法由于只能在 CPU 運(yùn)行，平均運(yùn)行時(shí)間較長(zhǎng).DDN[2]的參數(shù)量最小且平均運(yùn)行時(shí)間最短，但其網(wǎng)絡(luò)結(jié)構(gòu)過(guò)于簡(jiǎn)單，復(fù)原圖像存在細(xì)節(jié)丟失和雨紋殘留等問(wèn)題，去雨效果較差.本文方法在保證去雨性能的前提下，沒(méi)有明顯的復(fù)雜度提升，與主流方法的效率相當(dāng)，具有較低的復(fù)雜度和較高的實(shí)用性.

表5 參數(shù)量和運(yùn)行時(shí)間對(duì)比Tab.5 Comparison of parameter numbers and average running time

3 結(jié) 語(yǔ)

本文針對(duì)真實(shí)世界中雨紋方向存在多樣性提出了一種基于雨紋方向引導(dǎo)的殘差去雨網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過(guò)帶有殘差校正模塊的編解碼主干網(wǎng)絡(luò)獲取高質(zhì)量的特征表示，設(shè)計(jì)含有方向引導(dǎo)模塊的特征提取子網(wǎng)絡(luò)以提取不同方向的雨紋特征，同時(shí)結(jié)合自適應(yīng)循環(huán)遞歸模塊實(shí)現(xiàn)漸進(jìn)式特征提取.為了進(jìn)一步優(yōu)化復(fù)原圖像，采用顏色修正模塊增強(qiáng)復(fù)原后圖像的細(xì)節(jié)保持度.實(shí)驗(yàn)結(jié)果表明，本文方法能夠有效去除雨紋殘留，并保持較好的色彩細(xì)節(jié)，復(fù)原圖像細(xì)節(jié)豐富、顏色自然，更加符合人眼視覺規(guī)律.