注意力殘差密集網(wǎng)絡(luò)的單幅圖像去霧算法

黃小芬，林麗群，盧 宇

(1.福建師范大學(xué)協(xié)和學(xué)院信息技術(shù)系，福建 福州 350117；2.福州大學(xué)物理與信息工程學(xué)院，福建 福州 350108)

霧霾天氣導(dǎo)致的室外圖像模糊、對比度差,直接影響高級計算機視覺的應(yīng)用性能，因此，需要用一些算法對這些低質(zhì)量圖像進行去霧處理，提高計算機視覺應(yīng)用系統(tǒng)的可用性和安全性[1].

近年來，單幅圖像的去霧算法主要集中在圖像增強、圖像復(fù)原[2]和深度學(xué)習(xí)3類.其中，圖像增強的去霧方法提高了圖像的對比度，卻沒有考慮成像機理，處理后的圖像往往會丟失一些原始圖像的細節(jié).以大氣散射模型為基礎(chǔ)的圖像復(fù)原的去霧算法通常要利用先驗知識.大氣散射模型可表示為：

I(x)=J(x)t(x)+A[1-t(x)],

(1)

t(x)=e-βd(x),

(2)

其中，I(x)是霧圖圖像；A為全球大氣光；J(x)是無霧圖像；t(x)為透射率；x為該像素在圖像中的位置；β是大氣散射系數(shù)；d(x)為場景深度.

由式(1)和式(2)可知，如果能得到合適的透射率和大氣光，霧圖圖像可以恢復(fù)為無霧圖像.傳統(tǒng)的方法主要采用先驗方法估算大氣光.如He等[3]的暗通道先驗DCP(dark channel prior)算法.該方法在某些情況下可以得到很好的結(jié)果，但當(dāng)實際情況與估計情況相反時，透射率的估計不準(zhǔn)確，會導(dǎo)致去霧效果不理想，經(jīng)常會出現(xiàn)色彩失真等問題.

近年，卷積神經(jīng)網(wǎng)絡(luò)CNN(convolutional neural network)被科研人員廣泛研究并用在圖像復(fù)原去霧方法中進行估算透射率和大氣光.例如，Cai等[4]提出了DehazeNet，借助卷積神經(jīng)網(wǎng)絡(luò)估計透射率；Li等[5]提出的AOD-Net(all-in-one dehazing network)將透射率圖和大氣光轉(zhuǎn)換為一個統(tǒng)一的變量K，通過CNN直接生成無霧圖像.CNN 的應(yīng)用極大地促進了圖像去霧技術(shù)的發(fā)展.但基于物理模型的神經(jīng)網(wǎng)絡(luò)方法高度依賴透射率和大氣光，如果這2個參數(shù)估計不準(zhǔn)確，輸出結(jié)果將受到很大影響.

也有一些學(xué)者將圖像去霧過程視為圖像轉(zhuǎn)換問題，提出了一些端到端的CNN圖像去霧算法.如Ren等[6]基于融合的編碼器-解碼器結(jié)構(gòu)，設(shè)計了多尺度門控融合的端到端網(wǎng)絡(luò)GFN(gated fusion network)，無需估計透射率和大氣光就能直接恢復(fù)清晰圖像.Dong等[7]提出了一種基于U-Net架構(gòu)的使用反投影反饋方案的密集特征融合模塊的多尺度去霧網(wǎng)絡(luò)MSBDN(multi-scale boosted dehazing network).上述方法雖然避免了大氣物理模型，但大多采用了通用的網(wǎng)絡(luò)體系結(jié)構(gòu)，沒有進一步優(yōu)化網(wǎng)絡(luò)架構(gòu).因此，輸出圖像經(jīng)常會出現(xiàn)細節(jié)模糊、細節(jié)丟失的現(xiàn)象.

針對上述問題，本文提出一種端到端的多模塊結(jié)合的深度網(wǎng)絡(luò)，通過融合多個不同尺度的特征圖提高捕獲輸入霧圖信息的能力，利用殘差提高圖像特征表示能力，使用殘差密集連接塊RDB (residual dense block)提取圖像特征，引入注意力機制融合特征圖.

1 本文方法

為了解決現(xiàn)有去霧方法去霧結(jié)果色彩失真、細節(jié)模糊、細節(jié)丟失等問題，本文提出一種端到端的深度網(wǎng)絡(luò)，無需估計大氣光和透射率，直接由輸入霧圖恢復(fù)出無霧圖像.

輸入霧圖首先經(jīng)一個可訓(xùn)練的預(yù)處理模塊生成輸入圖像的16張變體特征圖.現(xiàn)有手工選擇的預(yù)處理方法[6]通常旨在增強圖像域視覺上可識別的某些具體特征，實際上，可能存在比圖像域更適合后續(xù)操作的抽象變換域.本文提出的預(yù)處理模塊是完全可訓(xùn)練的，一個可訓(xùn)練的預(yù)處理模塊可以自由地識別變換域，利用更多的分集增益，以提供更靈活、更有針對性的圖像增強.此外，可訓(xùn)練的預(yù)處理模塊可以提高特征泛化能力和潛在關(guān)鍵特征的識別速度.如圖1所示，預(yù)處理模塊輸出的特征圖也可以通過上采樣和下采樣單元相互連接，形成行和列.通過這些連接，來自低尺度和高尺度的信息可以相互共享，高尺度流可以與低尺度流并行工作，低尺度流在更寬的感受野中攜帶更多的上下文信息.受Chen等[8]的啟發(fā)，引入了一種通道注意力機制來消除霧圖上的霧霾.為了實現(xiàn)更多的信息交互，通過注意力機制對不同尺度的特征圖進行融合.該機制的優(yōu)點是可以增強模型在特征融合中從不同尺度調(diào)整權(quán)重的能力.

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

去霧網(wǎng)絡(luò)架構(gòu)如圖1所示.它由3個模塊組成：預(yù)處理模塊(左邊pre-processing方塊)、密集注意力模塊(中間dense attention module方塊)和后處理模塊(右邊post-processing方塊).

圖1 去霧網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Structure diagram of defogging network

在預(yù)處理模塊利用多尺度卷積來提取模糊圖像的特征，進行拼接融合，再經(jīng)過一個1×1的卷積層將特征圖的數(shù)量降為16，最后經(jīng)過RDB塊生成16個不同的特征圖，經(jīng)網(wǎng)絡(luò)淺層獲取輸入霧圖的有效特征，作為密集注意力模塊的特征學(xué)習(xí)輸入.

受Wang等[9]的啟發(fā)，主干密集注意力模塊網(wǎng)絡(luò)采用網(wǎng)格網(wǎng)絡(luò)結(jié)構(gòu).網(wǎng)格網(wǎng)絡(luò)相對于編解碼網(wǎng)絡(luò)和廣泛用于圖像恢復(fù)的傳統(tǒng)多尺度網(wǎng)絡(luò)具有明顯的優(yōu)勢[6-7].它通過采用上采樣、下采樣塊跨不同尺度的密集連接，解決了編解碼網(wǎng)絡(luò)或傳統(tǒng)的多尺度網(wǎng)絡(luò)由于層次化結(jié)構(gòu)引起的瓶頸效應(yīng)問題.密集注意力模塊基于預(yù)處理模塊生成的特征圖進行特征提取與融合，它由2行4列構(gòu)成，每一行對應(yīng)不同的特征圖尺度大小，由3個RDB塊組成.第一行感受野小，主要提取局部特征.為了提取全局特征，通過2次下采樣得到2個全局分支，擴展了感受野.具體來說，在每次上采樣TU(transition up)或下采樣TD(transition down)中，特征圖(通道)的數(shù)量減少或增加2倍，而特征圖的大小增加或減少相同的倍數(shù)，每一列都保證了不同尺度之間的有效信息交換.詳細的TD及TU結(jié)構(gòu)如圖2所示.為了有效地融合這些局部和全局特征，提出一種視覺注意力機制特征融合方法，如2.2節(jié).經(jīng)過多次特征融合后，從2個分支提取的最終特征覆蓋了豐富的顏色、結(jié)構(gòu)和霧霾信息，可以有效緩解過度去霧和顏色失真.一個RDB由4個卷積層組成，前3個含批標(biāo)準(zhǔn)化(batch normalization,BN)和激活函數(shù)Relu的卷積層用于增加特征圖的數(shù)量，經(jīng)級聯(lián)融合操作后再經(jīng)過一個1×1的卷積層融合這些特征圖，同時將要輸出的特征圖數(shù)量降低至與RDB輸入一樣的數(shù)量，減少信息冗余[10].后處理模塊由1個RDB和1個帶Relu的卷積層構(gòu)成，可以對去霧后的圖像進行細化，去除殘余偽影，提高輸出圖像的視覺質(zhì)量.

圖2 TD和TU模塊的詳細結(jié)構(gòu)圖Fig.2 Detailed structural drawings of TD and TU modules

1.2 通道注意力機制

鑒于不同通道對最終去霧結(jié)果的影響是完全不同的，為了有效融合不同通道、不同尺度上的特征，受Li等[11]的啟發(fā)，提出一種生成可訓(xùn)練權(quán)值的特征融合方法即通道注意力機制融合方法.權(quán)重生成實現(xiàn)2個可訓(xùn)練參數(shù)對2個尺度的局部和全局特征進行權(quán)重計算.因此，在每個通道中，有效地將有用信息(如顏色、紋理、霧密度等)組合成一張?zhí)卣鲌D.文中采用權(quán)值求和方法，既降低了模型運算量，又很好地融合了水平方向和垂直方向的殘差特性.最終輸出可以表示為：

(3)

1.3 損失函數(shù)

已有研究表明[12]，結(jié)合SSIM損失和像素損失可以顯著提高恢復(fù)圖像的質(zhì)量.因此，本文提出將像素到像素的歐幾里得損失、SSIM損失和感知損失相結(jié)合，構(gòu)建去霧網(wǎng)絡(luò)的總損失函數(shù).歐幾里得距離用來測量兩樣本數(shù)值的差距，距離越大樣本區(qū)別越大；距離越小樣本間的相似程度越高，并且在不同的表示域變換后特征性質(zhì)保持不變[13].因此，歐幾里得損失用于保持去霧圖像的自然度.感知損失用于增強生成圖像的對比度，SSIM損失用于保持去霧圖像的結(jié)構(gòu).給定帶有c通道、寬度為W、高度為H的圖像對{x,y}，x是輸入霧圖，y是對應(yīng)的無霧清晰圖，LE表示估計殘差分量的逐像素歐幾里得損失.表示為：

(4)

其中φ(x)是產(chǎn)生去霧輸出的已訓(xùn)練網(wǎng)絡(luò).SSIM損失[12]在圖像恢復(fù)任務(wù)中被廣泛采用，它結(jié)合了結(jié)構(gòu)、對比度和亮度來估計兩幅圖像之間的差異.因此，本文提出將SSIM損失作為另一個可微損失函數(shù)來生成更美觀的圖像.SSIM損失函數(shù)定義為：

LS=SSIM(φ(x)-y),

(5)

此外，感知損失[14]已經(jīng)被證明比深度學(xué)習(xí)中使用的逐像素損失有更好的視覺性能.定義為:

(6)

其中V為非線性神經(jīng)網(wǎng)絡(luò)變換，采用預(yù)訓(xùn)練的VGG16權(quán)重來計算特征損失，以達到最小化高層特征圖之間的距離.最終的損失函數(shù)可表示為：

Lloss=LS+LE+λLP，

(7)

其中λ是一個用于調(diào)整感知損失組件的相對權(quán)重的參數(shù).經(jīng)實驗測試，文中將λ設(shè)置為0.02.

2 實驗結(jié)果與分析

2.1 實驗設(shè)置

由于從真實世界中很難獲得無霧和帶霧的圖像對.實驗中，采用一個大規(guī)模合成數(shù)據(jù)集Reside[6]進行模型的訓(xùn)練和測試.Reside數(shù)據(jù)集包括室內(nèi)和室外場景的圖像，其中室內(nèi)訓(xùn)練集(ITS)包括1 399張無霧圖像，每張無霧圖用式(1)、式(2)的大氣散射模型取散射系數(shù)β∈[0.6,1.8]和大氣光值A(chǔ)∈[0.7,1.0]合成10張霧圖，形成13 990張模糊室內(nèi)圖像.并選取室外訓(xùn)練集(OTS)10 000張模糊霧圖，共23 990張霧圖進行訓(xùn)練.采用綜合合成測試集(SOTS)進行測試，由500張室內(nèi)模糊圖像和500張室外模糊圖像組成.另外收集了100張真實世界霧圖進行測試.

本文算法基于pytorch框架實現(xiàn)模型，所有實驗(訓(xùn)練/測試)均在一臺帶有11 GB的 GPU顯存的NVIDIA GeForce RTX 2080Ti服務(wù)器上進行.實驗中，模型訓(xùn)練的圖像大小為256×256，訓(xùn)練100輪次.在每個輪次(epoch)中，迭代次數(shù)設(shè)置為200次，總迭代次數(shù)為20 000次.算法訓(xùn)練過程使用Adam[15]進行網(wǎng)絡(luò)優(yōu)化，采用其默認設(shè)置：beta1 = 0.9，beta2 = 0.999，epsilon = 10-8.網(wǎng)絡(luò)的初始學(xué)習(xí)率設(shè)置為0.001，每10個輪次學(xué)習(xí)率降低1/4，共訓(xùn)練100輪次.當(dāng)訓(xùn)練結(jié)束時，模型的損失函數(shù)降至0.000 5，得到了很好的收斂指標(biāo).

2.2 實驗對比

本節(jié)介紹算法在合成和真實數(shù)據(jù)集的實驗細節(jié)和評估結(jié)果.對合成數(shù)據(jù)集，因為有霧圖和無霧圖的圖像對，采用有參考評估指標(biāo)：峰值信噪比PSNR(peak signal-to-noise ratio)和結(jié)構(gòu)相似度指數(shù)SSIM(structural similarity index)來評價算法的去霧性能.對真實圖像數(shù)據(jù)集，由于不存在真實無霧圖像與其霧圖的圖像對，所以采用通過直觀視覺評估及盲評價指標(biāo)的信息熵H評估.將本文所提算法與以下最經(jīng)典和效果較好的方法進行比較：He[3]的DCP、Cai[4]的DehazeNet、Ren[6]的GFN、劉廣洲[10]的密集連接擴張卷積神經(jīng)網(wǎng)絡(luò).

2.2.1 合成數(shù)據(jù)集

從合成測試集(SOTS)的室內(nèi)(Indoor)和室外(Outdoor)測試集選擇比較典型的樣本，包括Indoor測試集中色彩比較明亮的偏紅色系和偏橘色系及色彩偏暗的室內(nèi)合成霧化測試圖；Outdoor測試集中帶有人物的色彩豐富的場景、前景與背景色差不大的及帶有大片天空區(qū)域的室外合成霧化測試圖.各種方法去霧結(jié)果對比圖如圖3所示，對于合成數(shù)據(jù)集He的DCP方法對圖3(1)、圖3(3)和圖3(6)的去霧結(jié)果色彩增強過甚出現(xiàn)色彩失真，而對圖3(2)、圖3(4)和圖3(5)的處理結(jié)果圖像偏暗；Cai的DehazeNet方法在多個合成霧圖的去霧結(jié)果圖中都存在去霧不徹底的問題；Ren的GFN方法、劉廣洲的密集連接擴張卷積神經(jīng)網(wǎng)絡(luò)都能較好地去除霧霾，但還是存在細節(jié)模糊、細節(jié)丟失等問題；相比較而言，本文所提方法能夠保留更多細節(jié)，視覺上色彩與清晰度和原始無霧圖像最接近.

圖3 合成數(shù)據(jù)集去霧結(jié)果對比Fig.3 Comparison of defogged results on the synthetic dataset

為了驗證本文所提算法的有效性，除了主觀評價，另外文中參考了基于深度學(xué)習(xí)算法的其他文獻[4,6,10]，接著從客觀評價指標(biāo)PSNR和SSIM來比較各種方法的去霧性能.表1為各方法在合成測試集SOTS上的PSNR和SSIM指標(biāo)的結(jié)果平均值.

由表1可見，本文方法相比現(xiàn)階段其他效果較好的去霧方法指標(biāo)最優(yōu).其中，PSNR值在Indoor、Outdoor兩個測試集的平均值分別達到30.38和30.08；SSIM平均值也分別達到比較方法中的最好結(jié)果：0.973 2和0.980 5.

表1 合成數(shù)據(jù)集上去霧結(jié)果的平均PSNR和SSIM值Tab.1 Average PSNR and SSIM values of defogged results on the synthetic dataset

2.2.2 真實數(shù)據(jù)集

對于真實霧圖，由于沒有可比較的霧圖與無霧圖像的圖像對，所以采用主觀評估及盲評價指標(biāo)的信息熵H進行評價.信息熵表示去霧圖像所包含的信息量，熵越大表示算法的去霧效果越好.現(xiàn)從100幅真實世界霧圖中隨機選擇3幅進行測試，各算法在真實圖像數(shù)據(jù)集的去霧結(jié)果對比圖如圖4所示.

由圖4可知，He的DCP去霧方法中圖4(1)前景模特的皮膚從白色變成了紅棕色，產(chǎn)生了比較大的顏色失真，圖4(3)石制材料建筑的部分色彩被增強，且其去霧圖像整體偏暗；與傳統(tǒng)的DCP方法比較Cai的DehazeNet方法基本克服了顏色失真，但依然存在去霧不徹底問題，如圖4(2)仍存在淡淡的霧，且整幅圖清晰度一樣，沒有了景深的感覺，圖像不夠真實；Ren的GFN方法去霧效果整體較好，但也存在對比度過增強等問題，如圖4(3)的石制建筑部分，且其色彩不夠自然，存在色彩失真；劉廣洲的密集連接擴張卷積神經(jīng)網(wǎng)絡(luò)的個別結(jié)果(如圖4(3))去霧不夠徹底；相比較而言，本文方法去霧結(jié)果比較自然，清晰度也好.

圖4 真實圖像各算法去霧結(jié)果對比Fig.4 Comparison of defogged results of different methods on real-world images

接著進一步用信息熵H對各算法進行評估.上述3幅圖的去霧結(jié)果信息熵比較見表2.

由表2分析可知，Cai的DehazeNet在3張樣例圖像的去霧結(jié)果圖的其中兩個信息熵值都是最小的，表明DehazeNet網(wǎng)絡(luò)的去霧性能對真實圖像的去霧性能在所給比較方法中是比較差的；Ren的GFN方法在3張樣例都得到了最高的信息熵，表明其對真實圖像的去霧性能表現(xiàn)良好；本文方法的全部3張圖像的處理結(jié)果均獲得接近最好性能的結(jié)果.總體而言，本文方法對真實數(shù)據(jù)集的去霧處理，不管是主觀視覺感受還是客觀指標(biāo)都獲得較好的性能.

表2 真實數(shù)據(jù)集去霧結(jié)果的信息熵HTab.2 Entropy H of defogged results on real dataset

3 消融實驗

為了驗證各模塊網(wǎng)絡(luò)的有效性，本文通過消減網(wǎng)絡(luò)各組成部分，形成不同網(wǎng)絡(luò)變體結(jié)構(gòu)來進行消融實驗.如圖1，本文提出的分模塊去霧網(wǎng)絡(luò)結(jié)構(gòu)包括了3個核心模塊，即預(yù)處理模塊、密集注意力模塊和后處理模塊.第一，網(wǎng)絡(luò)模型消減了基于注意力機制的通道特征融合；第二，網(wǎng)絡(luò)消減了后處理模塊；第三，網(wǎng)絡(luò)消減了感知損失.這3個變體結(jié)構(gòu)網(wǎng)絡(luò)按之前的方式進行訓(xùn)練，并在相同的數(shù)據(jù)集上進行測試，測試結(jié)果如表3所示.實驗結(jié)果表明，每個部分對整個網(wǎng)絡(luò)模型的性能都有自己的貢獻，證明了本文整體設(shè)計的有效性.

表3 去霧網(wǎng)絡(luò)消融實驗結(jié)果Tab.3 Results of ablation experiment

4 結(jié)束語

本文提出了一種新的用于單幅圖像去霧的端到端的深度卷積神經(jīng)網(wǎng)絡(luò).該網(wǎng)絡(luò)采用模塊化的設(shè)計思想增強去霧網(wǎng)絡(luò)的魯棒性和通用性.利用多尺度卷積獲取輸入霧圖的更多重要特征，將殘差密集網(wǎng)絡(luò)結(jié)合注意力機制，實現(xiàn)了更多的圖像上下文信息交互.利用視覺注意力機制有效融合特征信息，提高泛化能力.實驗結(jié)果表明本文方法可以有效去除不同條件下圖像中的霧霾，生成更清晰、自然的無霧圖像.在合成數(shù)據(jù)集上的性能優(yōu)于其他對比的先進方法，去霧的結(jié)果圖像更接近原始無霧圖像，在真實數(shù)據(jù)集上性能良好，色彩自然，但還有一定的性能提升空間，這是下一步研究的重點.