多尺度注意力密集連接網(wǎng)絡(luò)的單幅圖像去雨算法

李 宏 濤, 李 朋 鵬, 金 桂 月, 金 基 宇

( 大連工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院, 遼寧 大連 116034 )

0 引 言

雨水會造成嚴(yán)重的圖像模糊和視覺質(zhì)量下降,特別是雨霧、雨條紋與空氣中的雨水顆粒一起疊加在背景上形成的類似面紗的視覺降質(zhì),大大降低了場景的對比度和能見度[1]。因此,雨水天氣下的圖像復(fù)原成為一些圖像視覺任務(wù)中必不可少的前提步驟[2-3]。

近年來,單幅圖像去雨為眾多研究人員所關(guān)注,惡劣天氣圖像復(fù)原已經(jīng)逐漸從模型驅(qū)動過渡到數(shù)據(jù)驅(qū)動?；谀Ｐ万?qū)動的傳統(tǒng)方法包括基于濾波的方法和基于先驗的方法[4]。其中基于濾波的方法是利用物理濾波來恢復(fù)干凈圖像[5-6]?；谙闰灥姆椒ㄊ菍毫犹鞖獾膱D像復(fù)原視為一個優(yōu)化問題[7-8]。除此之外,還有高斯混合模型[9]等方法。這些基于模型驅(qū)動的方法只能濾除服從特定分布的噪聲(高斯噪聲等),得到的圖像清晰度有限,不能較好地表達(dá)惡劣天氣圖像的主要特征,復(fù)原效果受到限制。

與基于模型驅(qū)動的方法相比,數(shù)據(jù)驅(qū)動的方法則將惡劣天氣圖像復(fù)原視為學(xué)習(xí)非線性函數(shù)的過程[10]。在深度學(xué)習(xí)技術(shù)的推動下,研究人員使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)、生成對抗網(wǎng)絡(luò)(GAN)、半監(jiān)督/無監(jiān)督學(xué)習(xí)來研究單幅圖像去雨?；贑NN的研究方法,聯(lián)合雨水檢測和去除網(wǎng)絡(luò)(JORDER)[11]專注于去除大雨下重疊的雨條紋,在大雨條件下取得了令人印象深刻的結(jié)果,但它可能會錯誤地刪除一些紋理細(xì)節(jié)。為了避免錯誤刪除紋理細(xì)節(jié),深度細(xì)節(jié)網(wǎng)絡(luò)(DDN)[12]只將高頻細(xì)節(jié)作為輸入以達(dá)到更好的效果,但該方法不能處理過多的密集雨條紋。漸進(jìn)式遞歸去雨網(wǎng)絡(luò)(PReNet)[13]緩解了深度網(wǎng)絡(luò)結(jié)構(gòu)難以復(fù)現(xiàn)的問題。輕量金字塔網(wǎng)絡(luò)(LPNet)[14]由較少的參數(shù)組成從而使網(wǎng)絡(luò)變得簡單。然而,大多數(shù)現(xiàn)有的單幅圖像去雨網(wǎng)絡(luò)都沒有很好地注意到不同尺度下雨條紋的內(nèi)部聯(lián)系。RESCAN采用了擴(kuò)張卷積來獲取背景信息,并使用遞歸神經(jīng)網(wǎng)絡(luò)來重塑雨水特征[15]。GCANet采用平滑擴(kuò)張卷積代替擴(kuò)張卷積,并融合了上下文信息以提高恢復(fù)效果[16]。徐志京等[17]2021年提出了一個多尺度沙漏結(jié)構(gòu)的網(wǎng)絡(luò),該網(wǎng)絡(luò)通過多尺度提取、沙漏結(jié)構(gòu)信息融合和殘差密集連接更準(zhǔn)確地獲得雨條紋特征。

與基于CNN的方法相比,GAN的引入是為了捕捉惡劣天氣中一些不能被建模和合成的特性,以減少生成的結(jié)果與真實的干凈圖像之間的差距。Zhang等[18]直接將條件生成對抗網(wǎng)絡(luò)(CGAN)應(yīng)用于單幅圖像的去雨任務(wù),結(jié)果呈現(xiàn)出更好的光照、顏色和對比度分布。多尺度融合生成對抗網(wǎng)絡(luò)則是更好地保障了有雨圖像復(fù)原過程中圖像的語義信息和紋理結(jié)構(gòu)的一致性[17]。但是,基于GAN的方法不善于捕捉圖像的細(xì)節(jié)信息,因此對于具有多樣化雨條紋的圖像效果較差。為了進(jìn)一步提高對真實有雨圖像的恢復(fù)性能,半監(jiān)督和無監(jiān)督的學(xué)習(xí)方法已經(jīng)被提出[19-20]。這些方法直接從真實的雨水?dāng)?shù)據(jù)中學(xué)習(xí)特征,以此提高方法的泛化性和可擴(kuò)展性,但是相比在合成雨水?dāng)?shù)據(jù)中學(xué)習(xí)的方法效果較為一般,尤其是在處理大雨圖像時。

現(xiàn)有的單幅圖像去雨方法并沒有完全利用尺度-空間上的圖像特征相關(guān)性,從而導(dǎo)致存在細(xì)節(jié)紋理和信息恢復(fù)效果差等問題,而基于GAN與半監(jiān)督和無監(jiān)督的方法也存在很多局限性。受多尺度特征提取、知識蒸餾、密集連接網(wǎng)絡(luò)的啟發(fā),本文基于CNN設(shè)計了一個多尺度注意力密集連接網(wǎng)絡(luò)以有效地學(xué)習(xí)更豐富尺度-空間上的圖像特征,從而獲得良好的去雨效果,同時更好地保留圖像原本的紋理細(xì)節(jié)。

1 多尺度注意力密集連接網(wǎng)絡(luò)

所提出的單幅圖像去雨多尺度注意力密集連接網(wǎng)絡(luò)如圖1所示。整體網(wǎng)絡(luò)架構(gòu)主要由多尺度注意力模塊(multi-scale attention block,MAB)和并行注意力蒸餾模塊(concurrent attention distillation block,CADB)組成,分別用于特征提取和知識蒸餾。原始圖像通過多個密集連接的MAB模塊進(jìn)行雨條紋的特征提取,每個MAB的輸出又被作為CADB的輸入進(jìn)行蒸餾,以解決多個MAB模塊深度較深時圖像特征的表征能力減弱和產(chǎn)生大量冗余信息的問題。然后使用相減的方式與主干網(wǎng)絡(luò)所提取的特征進(jìn)行交互,將減弱的特征進(jìn)行加強,冗余的特征進(jìn)行剔除。

圖1 多尺度注意力密集連接網(wǎng)絡(luò)

1.1 并行注意力知識蒸餾模塊

為了更好地獲取雨條紋特征并對其表征,以便去除,采用一種簡單的注意力蒸餾模塊CADB,結(jié)構(gòu)如圖2所示。利用并行的通道和子空間注意力機(jī)制對特征信息進(jìn)行重新校準(zhǔn),實現(xiàn)特征提煉。通過結(jié)合通道注意力模塊[21]和子空間注意力模塊[22]實現(xiàn)并行結(jié)構(gòu),以消除大量冗余的特征并提取更多有用的圖像特征。此并行通道和子空間注意機(jī)制專注于獲取空間和通道特征信息,并只允許包含有用信息的特征進(jìn)一步傳輸。

圖2 并行注意力蒸餾模塊

1.2 多尺度注意力模塊

多尺度特征獲取方法有效地結(jié)合了不同尺度下的圖像特征,被廣泛應(yīng)用于提取目標(biāo)及其周圍環(huán)境的有用信息。為了進(jìn)一步提高網(wǎng)絡(luò)對于雨條紋特征的獲取和表征能力,提出了MAB,如圖3所示。采用層內(nèi)多尺度信息融合,實現(xiàn)不同尺度的特征之間的信息融合。這種結(jié)構(gòu)確保了輸入信息能夠通過所有的參數(shù)層進(jìn)行傳播,使原始圖像的特征信息得到更好的學(xué)習(xí)。

圖3 多尺度注意力模塊

參照多尺度注意力模型(圖3),MAB的輸入特征圖像設(shè)為Fin,通過卷積層,卷積核大小為1×1、3×3和5×5,輸出表示如式(1)～(3)所示。

(1)

(2)

(3)

(6)

(7)

(8)

(9)

由圖3可以發(fā)現(xiàn),MAB在經(jīng)過多尺度卷積層之后分別通過卷積核大小為1×1、3×3的卷積實現(xiàn)了層內(nèi)信息融合,最后引入一個CADB來提升圖像有用特征信息的表征能力,MAB的最終輸出如式(10)所示。

(10)

式中:Fout表示MAB的輸出,CADB(·)表示并行注意力蒸餾模塊,{δ1;δ2;δ3;δ4}表示MAB輸出的超參數(shù)。

1.3 損失函數(shù)

為了訓(xùn)練多尺度注意力密集連接網(wǎng)絡(luò),采用了一個混合損失函數(shù),包括結(jié)構(gòu)相似度指數(shù)(structural similarity,SSIM)Ls損失[23]和L1損失[24],如式(11)、(12)所示。SSIM損失被用于評估結(jié)構(gòu)相似性,可以更好地保留高頻結(jié)構(gòu)信息。L1損失提供了一種有效的方法來約束顏色和亮度特征之間的差異。

(11)

Ls=1-SSIM(R-GT)

(12)

式中:R為有雨圖像,GT為真實無雨圖像。

通過對SSIM損失和L1損失的加權(quán)和,得到混合損失函數(shù)如式(13)所示。

Ltot=L1+λLs

(13)

式中:λ是一個權(quán)重參數(shù),根據(jù)經(jīng)驗設(shè)定為0.2。

2 實驗結(jié)果和分析

2.1 實驗設(shè)置

數(shù)據(jù)集:合成數(shù)據(jù)集采用Rain100L[11]、Rain100H[11]、Rain800[18]、Rain1400[12]數(shù)據(jù)集,對應(yīng)各數(shù)據(jù)集的訓(xùn)練集和測試集大小分別為200和100、1 800和100、700和100、12 600和400。真實有雨圖像數(shù)據(jù)集為Li等[25-26]提出的兩個已有數(shù)據(jù)集,分別由185張和34張真實圖片組成。

評價指標(biāo):單幅圖像去雨性能通常根據(jù)峰值信噪比(peak signal to noise ratio,PSNR)和結(jié)構(gòu)相似度(SSIM)來評估。PSNR越高則從有雨圖像中恢復(fù)無雨圖像的性能就越好。SSIM為兩個不同圖像的相似度,其范圍為0～1,當(dāng)SSIM越接近1時去雨性能就越好。由于在真實世界中難以獲取完全干凈的圖像,定量地去衡量一個真實有雨圖像的恢復(fù)質(zhì)量非常困難。因此除了將PSNR和SSIM作為評價指標(biāo),也需要評估網(wǎng)絡(luò)在真實世界數(shù)據(jù)集上的視覺效果。

訓(xùn)練配置和參數(shù)細(xì)節(jié):為了更好地進(jìn)行特征提取,MAB的數(shù)量被設(shè)置為6。訓(xùn)練過程中,損失函數(shù)權(quán)重λ設(shè)置為0.2,并將輸入的訓(xùn)練圖像進(jìn)行隨機(jī)裁剪,大小為64×64。實驗的優(yōu)化方法為Adam,參數(shù)為初始學(xué)習(xí)率0.001,批次大小為32,其中β1和β2的默認(rèn)值分別為0.900和0.999。為了提高性能,對Rain100L/H數(shù)據(jù)集迭代訓(xùn)練200次,Rain800/1400數(shù)據(jù)集迭代訓(xùn)練100次。所有的訓(xùn)練和測試實驗均是基于Pytorch深度學(xué)習(xí)框架,其實現(xiàn)的工作站配置為CPU:Core i7-11700k;RAM:32 GB;GPU:NVIDIA Geforce RTX 3080Ti(12 GB)。

2.2 合成數(shù)據(jù)集的測試結(jié)果

在數(shù)據(jù)集Rain100L、Rain100H、Rain800和Rain1400上的實驗結(jié)果如表1所示?？梢钥闯鏊岢龅乃惴≒SNR和SSIM均有所提高。這表明所提出的算法具有更好的魯棒性和泛化性。

表1 測試數(shù)據(jù)集上的PSNR和SSIM

圖4為圖像去雨效果的直觀比較。在Rain100L和Rain100H中各挑選了一張圖像,分別使用不同方法進(jìn)行測試,并選擇了圖像中的一些細(xì)節(jié)將其放大。通過觀察放大后的局部區(qū)域,可以發(fā)現(xiàn)GCANet算法對于雨條紋的去除效果較差,殘留了大量雨條紋;JORDER、LPNet、PReNet和RESCAN雖然去除了大量的雨條紋,但是都會引起不同程度上的背景模糊,在保存圖像背景細(xì)節(jié)方面存在缺陷。LPNet在Rain100L/H數(shù)據(jù)集上的結(jié)果存在不同程度上的紋理失真和模糊;PReNet算法則帶來了局部細(xì)節(jié)的丟失和色彩失真。通過與參照的干凈圖像相比,本文算法取得了良好的效果,能夠在多種復(fù)雜雨天圖像上去掉絕大部分的雨條紋。因此,本文所提出的多尺度注意力密集連接網(wǎng)絡(luò)可以在有效地去除雨條紋的同時保留合成數(shù)據(jù)集上的背景細(xì)節(jié)。

(a) Rain100L

2.3 真實數(shù)據(jù)集的測試結(jié)果

因為真實數(shù)據(jù)集不存在完全相同背景下的有雨圖像和無雨圖像對,無法進(jìn)行訓(xùn)練,所以每個方法均使用從Rain100H數(shù)據(jù)集上獲得的預(yù)訓(xùn)練模型的權(quán)重,這樣也能體現(xiàn)方法的泛化性。真實數(shù)據(jù)集中有雨圖像的近景和遠(yuǎn)景雨條紋特征信息差異較大,而且由于雨水圖像的復(fù)雜性,這可能造成對比方法圖像恢復(fù)后的明顯模糊并導(dǎo)致取得較差效果。如圖5所示,從放大的局部細(xì)節(jié)可以看出GCANet有大量的雨條紋殘留,不能很好地恢復(fù)圖像;DDN算法也存在雨條紋殘留,并且沒有處理好局部特征,導(dǎo)致紋理丟失、圖像背景不清晰;JORDER和LPNet也存在圖像不清晰和色彩失真問題。本文提出的算法在真實數(shù)據(jù)集上處理得更自然、效果更好,可以更有效地去除真實世界有雨圖像中的雨條紋,并保留更多的紋理細(xì)節(jié)。

(a) 真實數(shù)據(jù)集(1)

3 結(jié) 論

本文所提出的多尺度注意力密集連接網(wǎng)絡(luò)采用密集連接來實現(xiàn)特征重用和充分傳播。為了更好地獲取和表征雨條紋的特征信息,引入了多尺度注意力模塊來提取局部和全局特征。應(yīng)用一個并行注意力蒸餾模塊,通過利用通道注意力和子空間注意力機(jī)制重新校準(zhǔn)層內(nèi)和層間圖像特征以減少無用的特征并保留空間和背景信息。在合成和真實數(shù)據(jù)集上的定量和視覺直觀結(jié)果表明,本文所提出的算法在真實數(shù)據(jù)集上處理得更自然、效果更好,可以更有效地去除真實世界有雨圖像中的雨條紋,并保留更多的紋理細(xì)節(jié)。