基于輕量級神經(jīng)網(wǎng)絡(luò)的單幅圖像去雨滴模型

陳崢， 畢曉君

(1.哈爾濱工程大學(xué) 信息與通信工程學(xué)院，黑龍江 哈爾濱 150001； 2.中央民族大學(xué) 信息工程學(xué)院， 北京 100081)

下雨是最為常見的自然現(xiàn)象之一。下雨時不同大小形狀的雨滴往往會附著在玻璃窗或相機鏡頭上，導(dǎo)致一些戶外智能設(shè)備所采集到的圖像存在遮擋以及模糊的現(xiàn)象[1]。這些不清晰的圖像將直接影響各種后續(xù)的目標檢測，語義分割和場景解析等計算機視覺任務(wù)。因此，近年來圖像去雨滴任務(wù)受到學(xué)者們的廣泛關(guān)注，成為研究熱點[1-9]。

目前去雨滴方法可以被大致歸為2類：第1類是基于先驗知識的傳統(tǒng)算法[1-2]，第2類是基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法[3-9]。第1類方法通常需要手工設(shè)計或者估計雨滴的退化模型，并利用主觀的先驗知識進行建模。由于存在泛化能力差和計算時間多等缺點，近年來已逐漸被第2類方法所代替。Fu等[3]提出搭建深度細節(jié)網(wǎng)絡(luò)(DDN)直接學(xué)習(xí)有雨圖和干凈背景之間的映射。將殘差網(wǎng)絡(luò)作為主要結(jié)構(gòu)，以獲得有雨圖深層的圖像特征。盡管其過于單一的網(wǎng)絡(luò)結(jié)構(gòu)導(dǎo)致這種模型的性能有限，無法很好地處理下雨天的各種復(fù)雜場景，但是該模型的出現(xiàn)卻引發(fā)了深度學(xué)習(xí)方法在圖像去雨滴領(lǐng)域的研究熱潮。特別是近兩年，更多結(jié)構(gòu)復(fù)雜且設(shè)計精巧的神經(jīng)網(wǎng)絡(luò)應(yīng)運而生，去雨滴模型的性能有了很大的提高。具有代表性的有Shao等[6]提出了軟掩碼的新思路，用[-1,1]的值表示雨滴對背景圖像的模糊程度，并構(gòu)建一種多尺度金字塔網(wǎng)絡(luò)來移除雨滴。該方法在模型的精度方面確實取得了非常優(yōu)異的性能。然而，它的模型尺寸越來越大，推理速度也越來越慢。為了解決這一問題，Guo等[7]又設(shè)計了一種快速高效的網(wǎng)絡(luò)模型。該模型最重要的思想是把圖像去雨問題看成圖像的逐像素濾波問題。由于濾波操作是高度優(yōu)化的操作，因此該模型在GPU上的推理速度比較快，性能得到了很大提高。但是，該模型的部署和使用仍然需要較多的計算資源和內(nèi)存消耗。而對于像無人機、自動駕駛汽車或者AI芯片這些存儲空間十分受限的移動終端或者嵌入式設(shè)備而言，該模型的參數(shù)量仍無法滿足實際應(yīng)用的需求。因為一套成熟的圖像處理系統(tǒng)需要配備多個不同任務(wù)的圖像處理模型。去雨滴作為一種前端任務(wù)，如果能夠在保證性能的前提下盡量地減少內(nèi)存消耗，就會為其他更復(fù)雜的任務(wù)節(jié)省寶貴的存儲資源，從而使整個系統(tǒng)實現(xiàn)更有效的運轉(zhuǎn)。

基于以上分析，本文提出一種基于輕量級神經(jīng)網(wǎng)絡(luò)的單幅圖像去雨滴模型。首先，采用一種幻像特征生成殘差塊。通過結(jié)合逐點卷積[10]、分組卷積[11]以及通道注意力機制[12]，解決現(xiàn)有去雨滴模型存在高相似性和高冗余性特征圖的問題，從根本上減少參數(shù)量。然而，隨著參數(shù)的大幅減少，去雨滴模型的性能必然會下降。為此，進一步設(shè)計了一種復(fù)合折疊式重用機制，分別在內(nèi)部模塊及網(wǎng)絡(luò)整體結(jié)構(gòu)對有限數(shù)量的特征進行回顧式利用，一定程度上彌補了參數(shù)較少帶來的性能下降。最后，又提出一種輕量級門控循環(huán)單元。目的在于將輕量級去雨滴模型折疊計算前后的深層特征建立聯(lián)系，強化信息的交互，進一步提高輕量級去雨滴模型的性能。

1 單幅圖像去雨滴任務(wù)

目前，單幅圖像去雨滴已成為近年來圖像處理領(lǐng)域的研究熱點，其目的在于將被雨滴污染的模糊圖像復(fù)原為清晰的干凈背景，從而降低對后續(xù)計算機視覺任務(wù)的不利影響，圖1給出了去雨滴任務(wù)的示意圖。雨滴圖像的退化模型可以表示為：

圖1 單幅圖像去雨滴任務(wù)Fig.1 The raindrop removal task of single image

I(x)=(1-M(x))⊙B(x)+R(x)

(1)

式中：I(x)表示含雨滴的待恢復(fù)圖像；B(x)表示不含雨滴的干凈背景圖像，也就是監(jiān)督網(wǎng)絡(luò)訓(xùn)練時的正確標簽；M(x)表示一組二進制掩碼。M(x)=1時表示在像素點x的位置上包含雨滴區(qū)域，M(x)=0則表示該點位置為清晰背景區(qū)域；R(x)表示背景圖像與雨滴所反射光線的復(fù)雜混合。

現(xiàn)有的去雨滴深度卷積神經(jīng)網(wǎng)絡(luò)普遍包含大量的常規(guī)卷積操作。通常情況下，當網(wǎng)絡(luò)中輸入特征圖為X∈Rc×h×w，其中c為輸入通道數(shù)，h和w分別為輸入數(shù)據(jù)的高和寬時，如果希望生成n張輸出特征圖，則任意卷積層的計算可以被表示為：

Y=X*f+b

(2)

式中：b是偏置；Y∈Rh′×w′×n表示n通道的輸出特征圖；f∈Rc×k×k×n表示這一層的卷積核；h′和w′分別為輸出特征圖的高和寬；k表示卷積核的尺寸。經(jīng)計算，上述卷積操作所需要的參數(shù)量為n·c·k·k?？梢钥闯?，模型的參數(shù)量取決于輸入和輸出特征圖的維度。而目前去雨滴神經(jīng)網(wǎng)絡(luò)每一層的卷積核數(shù)量n以及通道數(shù)c的值都較大，最常見的為128或者256等[6]。這使得現(xiàn)有的去雨滴模型普遍具有大量的參數(shù)量，導(dǎo)致巨大的計算消耗和內(nèi)存占用。通過分析發(fā)現(xiàn)，現(xiàn)有去雨滴模型在卷積操作時會產(chǎn)生大量的特征圖，而這些特征圖的樣式有很多類似之處，存在較高的冗余性。為了減少模型的參數(shù)量，可考慮不再使用傳統(tǒng)卷積方式來逐一生成大量相似的特征圖，而是設(shè)計輕量級去雨滴網(wǎng)絡(luò)，通過對一部分已經(jīng)生成的特征圖進行特定的通道變換，直接完成一種圖到圖之間的線性映射，由此較好地解決現(xiàn)有去雨滴網(wǎng)絡(luò)模型特征圖存在高相似性和冗余性特征的問題，從根本上減少模型的參數(shù)量。但是，存在的問題是會導(dǎo)致模型的性能有所下降，為此需要通過進一步的模型改進以保證輕量級模型能夠接近目前深度模型的性能，滿足實際應(yīng)用的部署需求。

2 輕量級單幅圖像去雨滴模型構(gòu)建

本文設(shè)計了一種端到端的輕量級單幅圖像去雨滴模型，整體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。網(wǎng)絡(luò)的核心結(jié)構(gòu)由3部分構(gòu)成：1)幻像特征生成殘差塊；2)復(fù)合折疊式重用機制；3)輕量級門控循環(huán)單元。其中，幻像特征生成殘差塊用于減少模型的參數(shù)量，而復(fù)合折疊式重用機制和輕量級門控循環(huán)單元用于提高模型的性能。

圖2 輕量級單幅圖像去雨滴模型Fig.2 The lightweight model for single image raindrop removal

2.1 幻像特征生成殘差塊

幻像特征生成殘差塊是本文實現(xiàn)輕量級去雨滴網(wǎng)絡(luò)的核心輕量級組件，包括3部分結(jié)構(gòu)：1)幻像特征生成模塊；2)SE注意力機制[12]；3)殘差支路[13]，如圖3所示。其中，幻像特征生成模塊在模塊內(nèi)部對一部分已經(jīng)生成的特征圖進行特定的通道變換，以線性操作代替?zhèn)鹘y(tǒng)卷積操作。SE注意力機制可以為幻像特征生成模塊中的獨立通道賦予不同的權(quán)重因子，很好地擬合通道之間復(fù)雜的空間相關(guān)性。而殘差支路又能夠改善模塊中信息的流通，一定程度上降低了在反向傳播時模型發(fā)生梯度消失的概率。

圖3 幻像特征生成殘差塊Fig.3 The ghost feature generation residual block

圖4 幻像特征生成模塊Fig.4 The ghost feature generation block

作為幻像特征生成模塊的重點和難點，上述3種操作的特征圖通道數(shù)的選擇非常重要，將直接影響模塊中組卷積的具體分組機制，進而影響模塊的輕量級效果?？紤]到當輸出特征圖Y與最初的輸入特征圖X尺寸不一致時，需要引入額外的逐點卷積來調(diào)整不同模塊間的通道數(shù)，以保證正確構(gòu)建模型結(jié)構(gòu)。雖然這更有利于模塊內(nèi)部實現(xiàn)更好的信息融合，但不可避免地帶來更多的參數(shù)量以及更大的計算資源消耗，不利于模型的實際應(yīng)用。因此，本文選擇輸出特征圖Y與輸入特征圖X尺寸一致的情況，這樣將無需使用額外操作調(diào)整不同模塊間的通道數(shù)，可以使模塊的參數(shù)量達到最優(yōu)，也更利于模型在實際應(yīng)用中硬件的部署[15]。由此雖然將缺乏逐點卷積對模塊內(nèi)部信息的融合，但是可以通過后續(xù)對模型整體結(jié)構(gòu)的進一步改進彌補性能的少量損失。

假設(shè)幻像特征生成模塊的輸入特征圖X和最終的輸出特征圖Y尺寸一致，均為c個通道。若3種操作中逐點卷積f1×1的卷積核個數(shù)設(shè)為s，則生成的Y1具有s個通道。又因為Y2是由分離Y1所得到，所以Y2和Y1的尺寸相同。而由于Y1與Y存在部分恒等映射關(guān)系，所以Y3的通道數(shù)必須為c-s。這里需要討論c和s的關(guān)系，存在以下3種情況：1)當s/(c-s)>1，即Y1的通道數(shù)大于Y3的通道數(shù)時，此情況下需要由f1×1產(chǎn)生的較多數(shù)量的特征生成較少數(shù)量的幻像特征。這將無法發(fā)揮組卷積計算高效的優(yōu)勢，從而產(chǎn)生更大的計算消耗。同時也無法直接完成圖到圖之間的線性映射，所以此情況不符合設(shè)計本模塊的初衷。2)當s/(c-s)<1，即Y1的通道數(shù)小于Y3的通道數(shù)時，此情況下需要由f1×1產(chǎn)生的較少數(shù)量的特征直接生成較多數(shù)量的幻像特征。此情況下每一張原始特征圖將生成多張新的幻像特征圖，是一種一對多的映射。但是Y2中的每張?zhí)卣鲌D都會因此被分配多個卷積核，從而需要更多的參數(shù)量；3)當s/(c-s)=1，即Y1或Y2與Y3的通道數(shù)相等時，此情況下Y2中的分組卷積則自動變?yōu)橹鹕疃染矸e，即每一張原始特征圖將會對應(yīng)生成一張新的幻像特征圖，是一種一對一的映射。此時Y2中的每張?zhí)卣鲌D都只會被分配一個卷積核，從而達到參數(shù)量的最優(yōu)。綜上，幻像特征生成模塊將選擇s為c的一半，即Y1、Y2與Y3的通道數(shù)相同，將作為最終組卷積的分組機制，組卷積核的尺寸大小則成為進一步研究的對象，其設(shè)置需要通過實驗驗證達到最優(yōu)。

對于SE注意力機制和殘差支路，它們是構(gòu)建輕量級模塊的常用結(jié)構(gòu)。其中SE注意力機制對特征圖的寬度和高度進行了全局平均池化，然后使用了2個全連接層和非線性激活函數(shù)去建立通道間的連接，從而獲取幻像特征生成模塊通道維度上的相關(guān)性。而殘差連接則是將模塊的輸入和輸出直接進行線性相加，使信息的前后傳播更加順暢，最終使網(wǎng)絡(luò)的訓(xùn)練更加穩(wěn)定。

2.2 復(fù)合折疊式重用機制

上述幻像特征生成殘差塊較好解決了去雨滴網(wǎng)絡(luò)普遍存在參數(shù)量大的問題。然而由于其可學(xué)習(xí)的參數(shù)大幅減少，必然會導(dǎo)致輕量級模型的性能有所下降。這里專門設(shè)計了復(fù)合折疊式重用機制，可提高輕量級模型的性能，具體操作如圖2中折疊箭頭所示。

復(fù)合折疊式重用機制的設(shè)計受到了行為分割任務(wù)中多階段模型[16]的啟發(fā)，本質(zhì)上是對特征實現(xiàn)回顧式重用，也就是讓輕量級模型對有限數(shù)量的特征進行多次學(xué)習(xí)，能夠使特征以循環(huán)的方式重復(fù)通過網(wǎng)絡(luò)。而將此循環(huán)展開，就等效于特征被同一組參數(shù)的多個串聯(lián)的網(wǎng)絡(luò)模塊所提取，因此復(fù)合折疊式重用機制相當于將一個普通直筒式深度網(wǎng)絡(luò)折疊起來，實現(xiàn)了模型尺寸上的壓縮。而其學(xué)習(xí)特征的方式和深度模型幾乎一致，所以能夠使輕量級網(wǎng)絡(luò)實現(xiàn)接近于深度網(wǎng)絡(luò)的性能。主要的差異在于復(fù)合折疊式重用機制提取的特征多樣性稍弱，這源于輕量級模型本身的可學(xué)習(xí)參數(shù)較少。但這一不足可通過后續(xù)設(shè)計輕量級記憶單元很好地彌補。

具體而言，復(fù)合折疊式重用機制包括內(nèi)折疊和外折疊2部分操作。其中，內(nèi)折疊是網(wǎng)絡(luò)在前向傳播時對內(nèi)部的特征提取模塊進行操作。當模型在訓(xùn)練或者測試時，內(nèi)折疊操作將位置最后的特征提取模塊的輸出特征重新傳遞給位置最前的特征提取模塊作為輸入特征。此時特征在特征提取模塊的內(nèi)部進行循環(huán)和重用，是一種局部操作和局部的信息傳遞。外折疊是網(wǎng)絡(luò)在前向傳播時對模型的整體結(jié)構(gòu)進行操作。它是將模型位置最后的3×3卷積層的輸出特征重新傳遞給模型最初的3×3卷積層，并對整個網(wǎng)絡(luò)重復(fù)完成一次完整的前向傳播過程。此時特征在網(wǎng)絡(luò)整體結(jié)構(gòu)上進行循環(huán)和重用操作，是一種全局操作和全局的信息傳遞。通過內(nèi)折疊和外折疊的融合操作，可實現(xiàn)模型從局部到整體對特征的多次學(xué)習(xí)過程，最終能夠提高輕量級模型的性能。

2.3 輕量級門控循環(huán)單元

復(fù)合折疊式重用機制能夠通過特征重用在一定程度上提高輕量級模型的性能。但通過分析發(fā)現(xiàn)，其執(zhí)行折疊操作時生成的多組特征之間并沒有很好地建立聯(lián)系，缺少了模型內(nèi)部的信息交互過程，從而影響了模型的性能。因此可以在網(wǎng)絡(luò)中引入強化信息交互的模塊進一步提高輕量級模型的性能。這就類似于人腦對事物的感知和分析過程。當人腦中的信息越全面，且信息之間的聯(lián)系越清晰，則會有更大概率對某件事物做出正確判斷。常用的卷積門控循環(huán)單元(ConvGRU)[17]雖然能夠?qū)崿F(xiàn)上述需求，但仍存在結(jié)構(gòu)復(fù)雜，參數(shù)量大的缺點。對其直接使用不符合設(shè)計輕量級去雨滴模型的原則和初衷。所以需要設(shè)計一種新的輕量級門控循環(huán)單元?？紤]到2.1節(jié)幻像特征生成模塊自身的輕量級屬性，本文的輕量級門控循環(huán)單元選擇對ConvGRU的輸入Xt和隱藏狀態(tài)Ht-1引入幻像特征生成模塊。這既可以實現(xiàn)對門控循環(huán)單元的輕量化，同時也能夠使網(wǎng)絡(luò)模型保持結(jié)構(gòu)的一致性，更有利于模型的訓(xùn)練。

整體結(jié)構(gòu)如圖5所示，其更新門Zt、重置門Rt、候選隱藏狀態(tài)H′t以及隱藏狀態(tài)Ht可以被分別表示為：

圖5 輕量級門控循環(huán)單元Fig.5 The lightweight gated recurrent unit

Zt=σ(Wxz*Xt+Whz*Ht-1)

(3)

Rt=σ(Wxr*Xt+Whr*Ht-1)

(4)

H′t=tanh(Wxh*Xt+Rt°(Whh*Ht-1))

(5)

Ht=(1-Zt)°H′t+Zt°Ht-1

(6)

式中：σ表示sigmoid激活函數(shù)；W**表示對應(yīng)的權(quán)重張量。

由于復(fù)合折疊式重用機制包含了內(nèi)折疊和外折疊2種操作，所以分別將輕量級門控循環(huán)單元嵌入到內(nèi)、外折疊操作所在位置，如圖2所示。位于內(nèi)折疊操作所在位置的輕量級門控循環(huán)單元的作用在于整合特征提取模塊所產(chǎn)生的多組深層特征，實現(xiàn)了局部的信息交互。位于外折疊操作所在位置的輕量級門控循環(huán)單元則致力于對網(wǎng)絡(luò)學(xué)習(xí)到的全局特征進行融合和傳遞，實現(xiàn)了全局的信息交互。這二者的結(jié)合對模型學(xué)到的特征從局部到整體均建立了聯(lián)系，從而提高了輕量級模型最終的性能。

3 實驗及結(jié)果分析

為了驗證本文輕量級去雨滴模型的有效性，將進行以下3方面實驗：1)驗證不同結(jié)構(gòu)下幻像特征生成殘差塊的有效性；2)驗證提出的復(fù)合折疊式重用機制的有效性；3)驗證輕量級門控循環(huán)單元的有效性。為了驗證本文輕量級去雨滴模型的先進性，將與目前效果較好，具有代表性的5種不同類別的深度神經(jīng)網(wǎng)絡(luò)分別進行定量以及定性對比。

3.1 數(shù)據(jù)集的選取

本文所有實驗采用文獻[4]所提出的去雨滴數(shù)據(jù)集“Deraindrop”，因為該數(shù)據(jù)集在目前圖像去雨滴任務(wù)中最權(quán)威且最常用。它的訓(xùn)練集共有861組圖像對，每組圖像對包含一張雨滴圖像以及對應(yīng)的干凈背景。測試集分為2部分。測試集a有58張圖像，測試集b有249張圖像。測試集b比測試集a的場景更豐富，雨滴的多樣性更強，恢復(fù)的難度更大。

3.2 損失函數(shù)

為了保證本文輕量級網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性，本文采用平均絕對誤差(MAE)和結(jié)構(gòu)相似度(SSIM)[18]來共同監(jiān)督模型。MAE是2張圖像像素級別上的L1范數(shù)，因此可評價像素間的差距；SSIM則從亮度、對比度以及結(jié)構(gòu)來評價2張圖像的相似性。設(shè)計的整體損失函數(shù)為：

L=α·MAE(y,ygt)+(1-α)·(1-SSIM(y,ygt))(7)

式中：y表示網(wǎng)絡(luò)預(yù)測得到的無雨滴圖像；ygt表示真實的無雨滴圖像；α是2種損失之間的權(quán)重，經(jīng)實驗驗證，本文在網(wǎng)絡(luò)訓(xùn)練中將其固定設(shè)置為0.4。

3.3 實驗設(shè)置

本文模型以端到端的方式進行訓(xùn)練，沒有任何預(yù)訓(xùn)練及微調(diào)操作。使用圖像恢復(fù)領(lǐng)域中最權(quán)威最常用的峰值信噪比(PSNR)[19]和結(jié)構(gòu)相似度(SSIM)[18]作為客觀評價指標。其中，PSNR的值能夠反映恢復(fù)的圖像與原圖像二者之間像素值的差異，值越高表示恢復(fù)的效果越好。SSIM值的范圍在[-1,1]，越接近1表示2幅圖像在亮度，對比度和結(jié)構(gòu)上越相近。

本文所有實驗基于PyTorch1.6框架[20]，使用英偉達2080Ti GPU(11 G)進行計算加速。使用Adam優(yōu)化器更新模型參數(shù)。batch size設(shè)置為8，epoch設(shè)置為80。初始學(xué)習(xí)率設(shè)置為10-3，并在第20、40和60個epoch的時候減小5倍。

3.4 模型的有效性驗證

3.4.1 幻像特征生成殘差塊

本節(jié)實驗對組卷積核的尺寸設(shè)置進行討論。為了探索不同尺寸的組卷積核對幻像特征生成殘差塊性能的影響，選擇尺寸為1×1、3×3和5×5的常見卷積核來遍歷模塊中的線性操作φ1j和φ2j。實驗結(jié)果如表1所示。可以看到，單獨使用1×1卷積核會產(chǎn)生明顯的性能下降。這是因為1×1卷積核往往只會聚焦于逐個像素之間的聯(lián)系，而忽略了特征圖中的有效空間信息。此外，隨著卷積核尺寸的增加，模型的性能逐漸改善。當卷積核尺寸為3×3和5×5的組合時，達到了最優(yōu)效果。這是因為3×3和5×5的組合會為網(wǎng)絡(luò)提供更多不同范圍大小的感受野，從而網(wǎng)絡(luò)能夠更好更全面地感知和提取雨滴圖像的有效特征，最終使模型針對不同測試集均具有更優(yōu)秀的魯棒性和泛化能力。

表1 不同結(jié)構(gòu)幻像特征生成殘差塊的實驗結(jié)果Table 1 The experimental results of ghost feature generation residual modules with different structures

3.4.2 復(fù)合折疊式重用機制

本節(jié)實驗驗證復(fù)合折疊式重用機制的有效性，設(shè)計了4種實驗作為對比。分別為：無折疊操作、僅內(nèi)折疊、僅外折疊以及最終的復(fù)合折疊。其中，無折疊操作即表示直筒式網(wǎng)絡(luò)結(jié)構(gòu)。僅內(nèi)折疊表示模型只對幻像特征生成殘差塊實現(xiàn)局部的特征重用。僅外折疊表示模型只在全局結(jié)構(gòu)上實現(xiàn)特征重用。而最終的復(fù)合折疊則融合了上述內(nèi)外折疊2種操作。因為折疊操作并不會引入額外的卷積層，所以這4種架構(gòu)下的參數(shù)量始終保持一致。實驗結(jié)果如表2所示?？梢钥吹?，相比于無折疊操作，不論何種單獨的折疊操作均會帶來明顯的性能增益，而復(fù)合折疊式重用機制則取得了最優(yōu)的定量結(jié)果。上述結(jié)果表明，在設(shè)計輕量級去雨滴網(wǎng)絡(luò)時，常見的直筒式網(wǎng)絡(luò)并非最佳選擇，因為其具有特征利用弱的固有缺點。在參數(shù)量有限的情況下，復(fù)合折疊式重用機制可以彌補由參數(shù)較少帶來的性能下降，從而提高輕量級模型的表現(xiàn)能力。

表2 不同折疊操作下的實驗結(jié)果Table 2 The experimental results of different folding operations

3.4.3 輕量級門控循環(huán)單元

本節(jié)實驗驗證輕量級門控循環(huán)單元的有效性，共有4組對比實驗。分別為：無門控循環(huán)單元、門控內(nèi)循環(huán)單元、門控外循環(huán)單元以及門控內(nèi)/外循環(huán)單元。其中，無門控循環(huán)單元表示網(wǎng)絡(luò)中沒有記憶模塊。門控內(nèi)循環(huán)單元表示只對內(nèi)折疊操作所在位置引入輕量級門控循環(huán)單元。門控外循環(huán)單元表示只對外折疊操作所在位置引入輕量級門控循環(huán)單元。門控內(nèi)/外循環(huán)單元則表示模型對內(nèi)折疊以及外折疊操作所在位置均引入了輕量級門控循環(huán)單元。實驗結(jié)果如表3所示。對于本文復(fù)合折疊式的輕量級去雨滴網(wǎng)絡(luò)而言，即使在內(nèi)折疊操作或外折疊操作處單獨引入輕量級門控循環(huán)單元，也會帶來一定的性能提升。這說明輕量級門控循環(huán)單元能夠建立局部或全局特征之間的聯(lián)系。而復(fù)合折疊循環(huán)單元相比于無門控循環(huán)單元在測試集a中實現(xiàn)了接近1 dB的性能提高。這說明復(fù)合折疊循環(huán)單元能夠使輕量級模型在參數(shù)量一定的情況下，實現(xiàn)了信息從局部到整體的完整交互過程，最終最大化提高了模型的性能表現(xiàn)。

表3 輕量級門控循環(huán)單元的有效性驗證Table 3 Validation of lightweight gated recurrent units

3.5 模型的先進性驗證

為了驗證本文模型的先進性，選擇了5種最具代表性的先進模型作為對比。對這5種網(wǎng)絡(luò)的描述如下：

1)DDN[3](CVPR-17)：第1個基于神經(jīng)網(wǎng)絡(luò)的圖像去雨模型；

2)AttGAN[4](CVPR-18)：融合了注意力機制的生成對抗網(wǎng)絡(luò)；

3)DURN[5](CVPR-19)：以對偶殘差連接方式構(gòu)建的深度卷積神經(jīng)網(wǎng)絡(luò)；

4)UMAN[6](TIP-21)：結(jié)合軟掩碼編碼的多尺度金字塔網(wǎng)絡(luò)；

5)EfDerain[7](AAAI-21)：推理速度全面占優(yōu)的高效去雨模型。

表4展示了6種去雨滴算法的圖像復(fù)原結(jié)果，最優(yōu)和次優(yōu)結(jié)果分別以加粗和下劃線表示。從表4可以看出，本文在雨滴較稀疏的測試集a上取得了最好的定量結(jié)果。PSNR和SSIM指標分別比第2名的AttGAN和DURN高出0.15 dB和0.012。在場景更為復(fù)雜，恢復(fù)難度更大的測試集b上，本文取得了最好的PSNR指標以及第2名的SSIM結(jié)果。其中SSIM指標與第1名EfDerain只相差0.008 9。然而，本文輕量級模型的總參數(shù)量比目前效果較好且時間較新的算法降低了2個量級，即107～105。具體而言，本文模型相比于DURN節(jié)省了18倍的參數(shù)，相比于UMAN節(jié)省了37倍，以及比EfDerain節(jié)省了51倍。上述定量結(jié)果體現(xiàn)了本文輕量級模型的先進性。此外，圖6、7展示了在公開數(shù)據(jù)集上不同算法復(fù)原圖像的定性對比?？梢钥吹?，本文模型雖然減少了大量的參數(shù)，卻依然可以保證復(fù)原圖像的整體視覺效果。而且圖像的紋理細節(jié)也沒有因參數(shù)量的大幅減少而變得模糊或者丟失。綜上所述，本文輕量級去雨滴模型很好地實現(xiàn)了性能和參數(shù)量的平衡，較好地解決了深度學(xué)習(xí)去雨滴網(wǎng)絡(luò)在移動端或嵌入式設(shè)備中難部署的問題，從而充分體現(xiàn)了其潛在的實際應(yīng)用價值。

表4 不同算法去雨滴結(jié)果的定量對比Table 4 Quantitative comparison of raindrop removal results of different algorithms

圖6 背景目標復(fù)雜時的定性比較Fig.6 Qualitative comparison when the background target is complicated

圖7 在真實街道場景的去雨滴定性比較Fig.7 Qualitative comparison of raindrop removal in real street scenes

4 結(jié)論

1)本文面向圖像去雨滴任務(wù)提出了一種新穎的輕量級神經(jīng)網(wǎng)絡(luò)。解決了現(xiàn)有深度網(wǎng)絡(luò)由于特征圖具有高相似性和冗余性所帶來的參數(shù)量大，不利于實際應(yīng)用的問題。

2)本文提出一種幻像特征生成殘差塊，實現(xiàn)了模型參數(shù)量的大幅減少；同時提出復(fù)合折疊式重用機制以及輕量級門控循環(huán)單元，有效改善了輕量級去雨滴模型的性能。

3)在公開的基準數(shù)據(jù)集上的實驗結(jié)果表明，本文模型在性能持平或略高于現(xiàn)有先進方法的前提下，實現(xiàn)了參數(shù)量2個量級的壓縮，達到了實際應(yīng)用部署的模型要求。

4)本文模型的思路為今后設(shè)計新的輕量級去雨滴模型具有一定的指導(dǎo)意義。未來將會嘗試結(jié)合網(wǎng)絡(luò)結(jié)構(gòu)搜索技術(shù)進一步實現(xiàn)去雨滴網(wǎng)絡(luò)的更輕量化。