基于殘差密集塊與注意力機(jī)制的圖像去霧網(wǎng)絡(luò)

李碩士 劉洪瑞 甘永東 朱新山 張軍

摘? ?要：基于卷積神經(jīng)網(wǎng)絡(luò)的單幅圖像去霧算法雖然取得了一定進(jìn)展，但仍然存在去霧不完全和偽影等問(wèn)題. 基于這一現(xiàn)狀，提出了一種以編碼器-解碼器結(jié)構(gòu)為基本框架，融合注意力機(jī)制與殘差密集塊的單幅圖像去霧網(wǎng)絡(luò). 首先，利用網(wǎng)絡(luò)中的編碼器、特征恢復(fù)模塊和解碼器三個(gè)部分直接對(duì)去霧后的圖像進(jìn)行預(yù)測(cè);然后，在網(wǎng)絡(luò)中引入本文所設(shè)計(jì)的帶有注意力機(jī)制的殘差密集塊，提升網(wǎng)絡(luò)的特征提取能力;最后，基于注意力機(jī)制提出自適應(yīng)跳躍連接模塊，增強(qiáng)網(wǎng)絡(luò)對(duì)去霧圖像細(xì)節(jié)的恢復(fù)能力. 實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有去霧方法相比，提出的去霧網(wǎng)絡(luò)在合成有霧圖像數(shù)據(jù)集和真實(shí)有霧圖像上均取得了較為理想的去霧效果.

關(guān)鍵詞：圖像去霧;深度神經(jīng)網(wǎng)絡(luò);編碼器-解碼器;注意力機(jī)制

中圖分類(lèi)號(hào)：TP391.4? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)志碼：A

Image Dehazing Network Based on Residual Dense

Block and Attention Mechanism

LI Shuoshi1，2，LIU Hongrui1，GAN Yongdong1，ZHU Xinshan1，2?，ZHANG Jun1

（1. School of Electrical and Information Engineer，Tianjin University，Tianjin 300072，China;

2. State Key Laboratory of Digital Publishing Technology，Beijing 100871，China）

Abstract：Although the single image dehazing algorithms based on the deep convolutional neural network have made significant progress，there are still some problems， such as poor visibility and artifacts. To overcome these shortcomings，we present a single image dehazing network， taking the encoder-decoder structure as the basic frame and combining the attention mechanism and residual dense block. First，the scheme integrates an encoder， a feature recovery module and the decoder to directly predict the clear images. Then， the residual dense block with attention mechanism is introduced into the dehazing network so as to improve the network's feature extraction ability. Finally， based on the attention mechanism， an adaptive skip connection module is proposed to enhance the network recovering ability for the clear images details. Experimental results show that the proposed dehazing network provides better dehazing results on synthetic datasets and real-world images.

Key words：image dehazing;deep neural networks;encoder-decoder;attention mechanism

在霧、霾等天氣下，霧氣中懸浮顆粒會(huì)對(duì)光線的散射造成影響，導(dǎo)致圖像傳感器所捕捉到的圖像出現(xiàn)對(duì)比度下降等圖像質(zhì)量退化問(wèn)題. 這些退化的圖像無(wú)法真實(shí)反應(yīng)場(chǎng)景中所存在物體的結(jié)構(gòu)、顏色等信息，降低了其在圖像分類(lèi)[1]、目標(biāo)檢測(cè)[2]等計(jì)算機(jī)視覺(jué)任務(wù)中的應(yīng)用價(jià)值. 因此，圖像去霧是目前計(jì)算機(jī)視覺(jué)研究中的一個(gè)重要問(wèn)題.

目前已有的圖像去霧方法主要可以分為兩類(lèi)，一類(lèi)是基于先驗(yàn)知識(shí)的去霧方法，另一類(lèi)是基于深度學(xué)習(xí)的去霧方法. 基于先驗(yàn)知識(shí)的去霧方法通常對(duì)有霧圖像進(jìn)行統(tǒng)計(jì)以獲取先驗(yàn)知識(shí)，然后利用先驗(yàn)知識(shí)對(duì)大氣散射模型[3-4]中的傳輸圖與大氣光值這兩個(gè)未知參數(shù)進(jìn)行求解以實(shí)現(xiàn)圖像去霧. 該類(lèi)方法中最具有代表性的是He等[5]提出的暗通道先驗(yàn)（Dark Channel Prior，DCP）去霧方法，該方法利用其統(tǒng)計(jì)得到的暗通道先驗(yàn)，對(duì)大氣散射模型中的傳輸圖進(jìn)行了估計(jì)，在不引入額外參數(shù)的情況下較好地達(dá)到了圖像去霧的目的，但是當(dāng)有霧圖像整體趨于白色時(shí)，該方法將不能取得良好的去霧效果，并且該方法有著相對(duì)較大的計(jì)算量. Zhu等[6]通過(guò)對(duì)大量有霧圖像的遠(yuǎn)景、中景、近景進(jìn)行分析發(fā)現(xiàn)霧的濃度與圖像的亮度和飽和度之差呈正比，并利用這一規(guī)律提出了一個(gè)簡(jiǎn)單但有效的線性去霧模型. Tan[7]發(fā)現(xiàn)無(wú)霧圖像相比于有霧圖像有著更高的局部對(duì)比度，于是使用了馬爾可夫隨機(jī)場(chǎng)對(duì)有霧圖像的局部對(duì)比度進(jìn)行了最大化以實(shí)現(xiàn)圖像的去霧. Berman等[8]指出無(wú)霧圖像中的像素點(diǎn)的顏色在RGB空間上可以聚類(lèi)成幾百個(gè)緊致的團(tuán)簇，并提出了基于該先驗(yàn)知識(shí)的去霧算法. 基于先驗(yàn)知識(shí)的去霧方法近年來(lái)取得了一定的進(jìn)展，并比較好地完成了基本的圖像去霧任務(wù)，但是這些方法提出的先驗(yàn)知識(shí)并不是在所有的場(chǎng)景都成立的，所以基于先驗(yàn)知識(shí)的去霧方法具有很大的局限性.

隨著深度學(xué)習(xí)的不斷發(fā)展與大型去霧數(shù)據(jù)集[9]的建立，研究人員開(kāi)始采用基于深度學(xué)習(xí)的方法對(duì)單幅圖像進(jìn)行去霧. 最初，研究人員主要通過(guò)構(gòu)建神經(jīng)網(wǎng)絡(luò)對(duì)大氣散射模型中的未知參數(shù)進(jìn)行估計(jì)，然后利用估計(jì)的參數(shù)實(shí)現(xiàn)圖像的去霧. Cai等[10]提出的DehazeNet去霧模型，通過(guò)特征提取、多尺度特征映射、局部極值求取與非線性回歸四個(gè)步驟實(shí)現(xiàn)了對(duì)大氣散射模型中傳輸圖的估計(jì). Ren等[11]提出了多尺度深度去霧網(wǎng)絡(luò)（Multi-Scale CNN，MSCNN），使用多尺度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了傳輸圖由粗到細(xì)的估計(jì). Li等[12]將大氣散射模型進(jìn)行了轉(zhuǎn)化，將大氣光值與傳輸圖這兩個(gè)未知參數(shù)合并為了一個(gè)未知參數(shù)，并設(shè)計(jì)了一種輕量的具有多尺度融合的一體化網(wǎng)絡(luò)（All-in-One Network，AOD-Net），對(duì)該未知參數(shù)進(jìn)行了估計(jì). Zhang等[13]提出的密集金字塔去霧網(wǎng)絡(luò)（Densely Connected Pyramid Dehazing Network，DCPDN） 將大氣散射模型的公式嵌入到了其所構(gòu)建的神經(jīng)網(wǎng)絡(luò)之中，在網(wǎng)絡(luò)中分別對(duì)大氣光值與傳輸圖兩個(gè)參數(shù)進(jìn)行了估計(jì). 由于在現(xiàn)實(shí)中，霧的形成并不是嚴(yán)格符合大氣散射模型，所以有一些研究人員脫離物理模型，使用卷積神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)有霧圖像與無(wú)霧圖像中的映射關(guān)系. Ren等[14]首先對(duì)有霧圖像分別進(jìn)行了白平衡操作、對(duì)比度增強(qiáng)與伽馬變換，得到了三幅增強(qiáng)后的有霧圖像，然后使用其所提出的門(mén)控融合網(wǎng)絡(luò)（Gated Fusion Network，GFN）對(duì)這三幅圖像進(jìn)行融合，恢復(fù)出了最終的去霧圖像. Liu等[15]設(shè)計(jì)了一種基于注意力機(jī)制的多尺度神經(jīng)網(wǎng)絡(luò)GridDehazeNet，實(shí)現(xiàn)了多尺度的特征融合，進(jìn)一步提升了單幅圖像去霧的效果.

目前，基于深度學(xué)習(xí)的去霧方法在公開(kāi)數(shù)據(jù)集上取得了良好的效果，但是仍有一些不足之處. 作為一個(gè)低級(jí)視覺(jué)任務(wù)，圖像去霧網(wǎng)絡(luò)除了要對(duì)圖像中的霧進(jìn)行去除之外，還需要保留原始圖像的色彩與細(xì)節(jié)等信息. 這就要求網(wǎng)絡(luò)在設(shè)計(jì)時(shí)綜合利用各個(gè)尺度的特征信息，使用深層次的特征恢復(fù)出無(wú)霧圖像的主體，并結(jié)合底層的特征對(duì)圖像的細(xì)節(jié)信息進(jìn)行豐富. 在對(duì)深層次的特征進(jìn)行提取時(shí)，若使用下采樣操作，則會(huì)在一定程度上丟失圖像的特征信息，若不使用下采樣操作，則有著較低的特征提取效率與較高的運(yùn)算復(fù)雜度. 如何高效率地進(jìn)行特征提取與多尺度特征融合是目前需要解決的一個(gè)重要問(wèn)題. 針對(duì)這個(gè)問(wèn)題，本文基于注意力機(jī)制，提出了一個(gè)端到端的單幅圖像去霧網(wǎng)絡(luò). 該網(wǎng)絡(luò)使用帶有注意力機(jī)制的殘差密集塊（Residual Dense Block with Attention，RDBA）作為模型的基本模塊，有效地提升了網(wǎng)絡(luò)的特征提取能力. 此外，本文基于注意力機(jī)制設(shè)計(jì)了一種自適應(yīng)跳躍連接（Adaptive Skip Connection，ASC），有側(cè)重地從編碼器中提取特征信息以對(duì)圖像的細(xì)節(jié)進(jìn)行補(bǔ)充. RDBA模塊與ASC模塊的使用，有效提升了網(wǎng)絡(luò)的恢復(fù)能力，使得網(wǎng)絡(luò)取得了良好的去霧效果.

1? ?模型框架

1.1? ?網(wǎng)絡(luò)的整體結(jié)構(gòu)

由于編碼-解碼結(jié)構(gòu)在圖像超分辨率[16-17]等低級(jí)視覺(jué)任務(wù)中取得了極大的成功，所以本文采用了U-net[18]這一被廣泛使用的編碼-解碼結(jié)構(gòu)作為了模型的基本框架. 如圖1所示，模型由編碼器、特征恢復(fù)模塊與解碼器三部分組成. 模型的輸入是一張有霧圖像，該圖像依次經(jīng)過(guò)3個(gè)模塊，得到最終的去霧圖像.

編碼器由卷積層、帶有注意力機(jī)制的殘差密集塊、下采樣模塊組成. 殘差密集塊[19] （Residual Dense Block，RDB）與普通的卷積層相比，在同等參數(shù)下具有更復(fù)雜的結(jié)構(gòu)和更好的特征提取能力，所以本文使用改進(jìn)的帶有注意力機(jī)制的殘差密集塊作為網(wǎng)絡(luò)的基本塊. 下采樣模塊的作用是降低特征圖的尺寸以增大感受野，同時(shí)減少后續(xù)計(jì)算的復(fù)雜度，在本文中，下采樣模塊是通過(guò)卷積核大小為3、步長(zhǎng)為2的卷積操作實(shí)現(xiàn)的. 特征恢復(fù)模塊由多個(gè)帶有注意力機(jī)制的殘差密集塊串聯(lián)組成，其作用是對(duì)編碼器得到的特征進(jìn)行進(jìn)一步的處理，以便于更好地恢復(fù)出無(wú)霧圖像的內(nèi)容信息. 在本文中，殘差塊的數(shù)量為9. 解碼器與編碼器的結(jié)構(gòu)對(duì)稱(chēng)，由卷積層、帶有注意力機(jī)制的殘差密集塊、上采樣模塊組成. 上采樣模塊的作用是在空間上將特征恢復(fù)到輸入圖像的大小，在該模塊中，本文首先將輸入的特征圖進(jìn)行雙線性插值，然后使用卷積核大小為3、步長(zhǎng)為1的卷積層對(duì)插值后的特征進(jìn)行進(jìn)一步轉(zhuǎn)化. 卷積層的作用是從特征圖中恢復(fù)出無(wú)霧的圖像，得到網(wǎng)絡(luò)的輸出.

由于高級(jí)特征更關(guān)注圖像的整體風(fēng)格而不是圖像的紋理等內(nèi)容信息，為了使得模型所恢復(fù)的圖像具有豐富的細(xì)節(jié)信息，本文在編碼器與解碼器之間使用了本文所設(shè)計(jì)的自適應(yīng)跳躍連接. 此外，在超分辨率等以峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity Index，SSIM）為主要評(píng)價(jià)指標(biāo)的低級(jí)視覺(jué)任務(wù)中，去除批量歸一化（Batch Normalization，BN）層[20]已經(jīng)被證明有助于增強(qiáng)網(wǎng)絡(luò)的性能和減少計(jì)算的復(fù)雜度，同時(shí)也對(duì)生成圖像偽影的去除有一定的幫助，因此在本文所提出的網(wǎng)絡(luò)中，所有的模塊都沒(méi)有使用BN 層.

1.2? ?通道注意力機(jī)制

卷積神經(jīng)網(wǎng)絡(luò)的核心在于使用卷積算子對(duì)特征圖所包含的特征信息進(jìn)行提取，在這里，將特征圖記為F，F(xiàn)∈RC × H × W，其中，H與W分別為特征圖的高度與寬度，C為特征圖的通道數(shù). 由于特征圖的各個(gè)通道往往具有不同的重要程度，所以如果平等地對(duì)各個(gè)通道的特征信息進(jìn)行利用，難免會(huì)造成計(jì)算資源的浪費(fèi)，限制網(wǎng)絡(luò)的特征表達(dá)能力. 因此，本文引入了通道注意力機(jī)制[21]，有區(qū)別地對(duì)待特征圖中不同通道的特征信息. 通道注意力機(jī)制的計(jì)算過(guò)程表示為：

FA = βF? ? ? ? ? ? ? ? ? ? ?（1）

式中：β為特征圖中各個(gè)通道的權(quán)重，β∈RC × 1 × 1;FA為經(jīng)過(guò)通道注意力操作后，得到的加權(quán)后的特征圖; 表示元素相乘. 為了通過(guò)F得到β，首先對(duì)F進(jìn)行全局池化，然后使用卷積等操作，對(duì)β進(jìn)行求取，該過(guò)程可以表示為：

β = σ（Conv（δ（Conv（G））））? ? ? ? （2）

式中：G是對(duì)F全局池化得到的結(jié)果，G∈RC × 1 × 1;Conv表示卷積操作;δ為ReLu激活函數(shù);σ表示sigmoid激活函數(shù)，用來(lái)將權(quán)重限制到0～1.

1.3? ?帶有注意力機(jī)制的殘差密集塊

殘差密集塊同時(shí)使用了殘差連接[22]與密集連接[23]兩種網(wǎng)絡(luò)設(shè)計(jì)方式，其中，密集連接部分充分使用了各個(gè)層級(jí)的卷積所提取的特征，有較高的特征提取能力，并且可以防止因網(wǎng)絡(luò)過(guò)深而出現(xiàn)梯度消失的現(xiàn)象. 殘差連接使得正向傳播的特征得以保留，即每一層的結(jié)果都是在之前的結(jié)果的基礎(chǔ)上得到的，這樣的連接方式不僅可以防止網(wǎng)絡(luò)梯度的消失，還有益于網(wǎng)絡(luò)的收斂. 本文在殘差密集塊的基礎(chǔ)上增加了注意力機(jī)制，在本文中，每個(gè)RDBA包括4個(gè)卷積核大小為3的卷積層，1個(gè)卷積核大小為1 的卷積層與1個(gè)通道注意力模塊. 如圖2 所示，RDBA的前四層卷積層采用了密集連接的方式以獲取更多的特征信息，最后一層卷積層將這些特征信息進(jìn)行融合，融合后的特征通過(guò)通道注意力模塊對(duì)不同的通道進(jìn)行加權(quán)，加權(quán)后的特征作為殘差與RDBA的輸入以對(duì)應(yīng)通道相加的形式進(jìn)行融合. 和大多數(shù)文獻(xiàn)一樣，本文將密集連接部分的增長(zhǎng)率設(shè)置為16. 在不同尺度下，RDBA輸入的特征圖的通道數(shù)是不同的，特征圖的大小越大，其通道數(shù)越少. 在本文中，RDBA在輸入圖像尺度、1/2輸入圖像尺度與1/4輸入圖像尺度下輸入輸出的特征圖的通道數(shù)分別為16、32、64.

1.4? ?自適應(yīng)跳躍連接

為了獲得足夠大的感受野，獲取更多的上下文信息，編碼器中常常使用下采樣操作，但是下采樣操作常常會(huì)帶來(lái)特征圖的細(xì)節(jié)信息丟失的問(wèn)題. 在U-net等編碼解碼結(jié)構(gòu)中，編碼器與解碼器之間往往采用跳躍連接的方式對(duì)解碼器中的特征進(jìn)行增強(qiáng). 一般來(lái)講，跳躍連接主要有兩種形式，一種是將編碼器中的特征信息與對(duì)應(yīng)的解碼器中的特征信息以通道相加的方式進(jìn)行融合;另一種是將編碼器中的特征信息與對(duì)應(yīng)的解碼器中的特征信息進(jìn)行堆疊，然后使用堆疊的特征進(jìn)行后續(xù)處理. 這兩種跳躍連接的方式均起到了細(xì)節(jié)補(bǔ)充的效果，但是同時(shí)也引入了許多的無(wú)用信息. 針對(duì)這一問(wèn)題，本文設(shè)計(jì)了一種自適應(yīng)跳躍連接方式，如圖3所示，該方式主要包括以下4個(gè)步驟.

1）特征的初步融合. 將編碼器中的特征信息FE與對(duì)應(yīng)的解碼器中的特征信息FD以通道相加的方式進(jìn)行初步融合.

2）特征提取. 使用卷積核大小為3的卷積層對(duì)融合后的特征進(jìn)行提取.

3）通道加權(quán). 使用通道注意力機(jī)制對(duì)提取的特征各個(gè)通道進(jìn)行加權(quán)，進(jìn)一步提取出有用的特征信息.

4）特征增強(qiáng). 將通道加權(quán)后的特征與步驟1中的解碼器中的特征信息FD以通道相加的方式融合，得到增強(qiáng)后的特征FS.

自適應(yīng)跳躍連接可以有側(cè)重地進(jìn)行特征融合，使得解碼器獲取到其所需要的增強(qiáng)信息，取得更好的特征融合效果.

1.5? ?損失函數(shù)

為了得到一個(gè)好的模型，需要設(shè)計(jì)合適的損失函數(shù)來(lái)衡量模型所預(yù)測(cè)的結(jié)果與訓(xùn)練數(shù)據(jù)中的真實(shí)值的吻合程度. 由于目前圖像去霧的評(píng)價(jià)指標(biāo)主要為客觀評(píng)價(jià)指標(biāo)PSNR，所以大多數(shù)去霧網(wǎng)絡(luò)采用均方差（Mean Square Error，MSE）損失或MSE損失與感知損失[24]、生成對(duì)抗損失[25]相結(jié)合的方式作為模型的損失函數(shù)以取得更好的客觀評(píng)價(jià)質(zhì)量. 為了減少計(jì)算量，提升模型的訓(xùn)練速度，本文采用了簡(jiǎn)單的均方差損失對(duì)輸出圖像的各個(gè)像素點(diǎn)進(jìn)行監(jiān)督，模型的損失函數(shù)為：

LMSE = ‖Ji（x） - Ii（x）‖2

2? ? ? （3）

式中：Ji（x）與Ii（x）分別表示去霧圖像與真實(shí)無(wú)霧圖像中像素x的第i個(gè)顏色通道的像素值;N為單個(gè)通道內(nèi)像素的總個(gè)數(shù).

2? ?實(shí)驗(yàn)結(jié)果與分析

2.1? ?實(shí)驗(yàn)數(shù)據(jù)與評(píng)價(jià)指標(biāo)

為了與其他的模型進(jìn)行對(duì)比，模型的訓(xùn)練是在公開(kāi)數(shù)據(jù)集RESIDE[9]上進(jìn)行的，該數(shù)據(jù)集由合成的室內(nèi)有霧圖像集與合成的室外有霧圖像集組成. 對(duì)于室內(nèi)圖像去霧，本文直接使用了RESIDE中的室內(nèi)訓(xùn)練集（Indoor Training Set，ITS）作為訓(xùn)練集，該數(shù)據(jù)集由1 339張?jiān)嫉膱D像與13 990張有霧圖像組成，有霧圖像是由原始圖像使用大氣散射模型合成的，其中，全局大氣光值的取值范圍為0.8～1.0，大氣散射參數(shù)的取值范圍為0.04～0.2. 對(duì)于室外圖像去霧，RESIDE中的室外訓(xùn)練集（Outdoor Training Set，OTS）中有部分原始圖像與測(cè)試集的標(biāo)簽是一致的，這些圖像可能影響實(shí)驗(yàn)結(jié)果，不能真實(shí)體現(xiàn)模型的性能，所以本文采用了文獻(xiàn)[15]對(duì)OTS清洗后的數(shù)據(jù)集進(jìn)行了訓(xùn)練，該數(shù)據(jù)集共包含296 695張合成有霧圖像與8 447張?jiān)紙D像. 本文以RESIDE中的合成客觀測(cè)試集（Synthetic Objective Testing Set，SOTS）為測(cè)試集對(duì)所提出的模型進(jìn)行了客觀與主觀評(píng)價(jià)，該測(cè)試數(shù)據(jù)共包括500張室內(nèi)合成圖像與500張室外合成圖像. 在評(píng)價(jià)指標(biāo)的選擇上，本文采取了兩種最常用的圖像客觀質(zhì)量評(píng)價(jià)指標(biāo)PSNR與SSIM. 此外，本文還在文獻(xiàn)[14]所提供的真實(shí)有霧圖像上對(duì)提出的模型進(jìn)行了主觀評(píng)價(jià).

2.2? ?訓(xùn)練細(xì)節(jié)

本文方法使用pytorch實(shí)現(xiàn)，運(yùn)行環(huán)境為Ubuntu，模型訓(xùn)練是在NVIDIA 1080Ti GPU上完成的. 訓(xùn)練時(shí)，對(duì)圖像以隨機(jī)裁剪方式進(jìn)行處理，模型輸入的圖像塊大小為240×240. 使用批尺寸為24 的ADAM優(yōu)化器對(duì)模型進(jìn)行訓(xùn)練，其中，動(dòng)量參數(shù)β1與β2分別采用默認(rèn)值0.9和0.999. 模型的初始學(xué)習(xí)率為0.001，對(duì)于ITS 的訓(xùn)練，進(jìn)行了100次迭代，每20個(gè)迭代學(xué)習(xí)率衰減為之前的一半;對(duì)于OTS 的訓(xùn)練，進(jìn)行了10次迭代，每2個(gè)迭代學(xué)習(xí)率衰減為之前的一半. 選取了具有代表性的去霧方法進(jìn)行了對(duì)比，包括經(jīng)典的去霧方法DCP[5]以及基于深度學(xué)習(xí)去霧方法AOD-Net[12]和GridDehazeNet[15]. 其中，AOD-Net和GridDehazeNet采取了和本文相同的訓(xùn)練方式.

2.3? ?在合成數(shù)據(jù)集上的測(cè)試結(jié)果

從SOTS中選取了4張有霧圖像以進(jìn)行主觀質(zhì)量評(píng)價(jià)，圖4展示了使用上述幾種去霧方法所得到的去霧結(jié)果，其中，第1行和第2行為室內(nèi)圖像的去霧結(jié)果，第3行和第4 行為室外圖像的去霧結(jié)果. 由圖4（b）與圖4（f）可以看到，DCP方法所生成的去霧圖像相較于真實(shí)無(wú)霧圖像有時(shí)會(huì)出現(xiàn)色彩的失真（如圖4（b）第1幅圖像的地板）與邊緣的模糊（如圖4（b）第1幅圖像的標(biāo)記區(qū)域），這是因?yàn)樵摲椒ǖ娜レF是依賴(lài)于其所提出的先驗(yàn)知識(shí)的，當(dāng)先驗(yàn)知識(shí)不滿(mǎn)足時(shí)，該方法便會(huì)出現(xiàn)較差的去霧效果. 由圖4（c）可以看到，AOD-Net也取得了一定的去霧效果，但是該方法生成的去霧圖像在物體的邊緣處有時(shí)會(huì)出現(xiàn)一些明顯的偽影（如圖4（c）第1幅圖像的標(biāo)記區(qū)域）. 由圖4（d）和圖4（e）可以看到，GridDehazeNet和本文提出的方法都取得了相對(duì)較好的去霧效果，但是GridDehazeNet所生成的去霧圖像有時(shí)會(huì)出現(xiàn)一些比較小的偽影（如圖4（d）第2幅圖像的墻面與第3幅圖像的路面），而本文所提出的去霧方法所生成的去霧圖像在各個(gè)方面均比較接近真實(shí)的無(wú)霧圖像.

此外，表1 給出了各方法在SOTS上的客觀評(píng)價(jià)結(jié)果. 可以看到，在室內(nèi)測(cè)試集ITS上，本文所提出的方法取得了最高的PSNR值與次高的SSIM值，其中，PSNR值相較于GridDehazeNet有著0.5 dB的提升. 在室外測(cè)試集OTS上，本文提出的方法在PSNR與SSIM上均優(yōu)于其他方法，其中，PSNR值為33.21 dB，比排在第2名的去霧方法高將近2.5 dB.

2.4? ?在真實(shí)數(shù)據(jù)集上的測(cè)試結(jié)果

圖5展示了各去霧模型在真實(shí)數(shù)據(jù)集中的測(cè)試結(jié)果. 可以看到，上述幾種去霧方法基本完成了去霧任務(wù)，最終生成的圖像相較于有霧圖像有著更高的清晰度，但是各個(gè)方法也存在一些不足之處. 由圖5（b）可以看到，DCP方法在處理天空等區(qū)域時(shí)，容易出現(xiàn)顏色的失真. 由圖5（c）可以看到，AOD-Net方法所生成的去霧圖像有著較低的亮度，并且在物體的邊緣處會(huì)出現(xiàn)偽影（如圖5（c）的第1幅去霧圖像的屋頂區(qū)域）. 由圖5（d）可以看到，GridDehazeNet的主要缺點(diǎn)是經(jīng)常會(huì)產(chǎn)生一些小的、暗的偽影（見(jiàn)圖5（d）第2幅圖像的路面與第3幅圖像的標(biāo)記區(qū)域）. 相比之下，本文提出的方法在恢復(fù)圖像清晰度的同時(shí)，具有更真實(shí)的色彩效果和更少的偽影，但是本網(wǎng)絡(luò)仍存在去霧不徹底的問(wèn)題，對(duì)于場(chǎng)景中遠(yuǎn)處的霧以及濃霧不能很好地去除.

2.5? ?消融研究

本文設(shè)計(jì)了4個(gè)消融實(shí)驗(yàn)對(duì)所提出模型各個(gè)模塊的有效性進(jìn)行驗(yàn)證：1）以RDB為基本模塊的網(wǎng)絡(luò)模型（模型Ⅰ）;2）以RDBA為基本模塊的網(wǎng)絡(luò)模型（模型Ⅱ）;3）以RDB為基本模塊并帶有自適應(yīng)跳躍連接的網(wǎng)絡(luò)模型（模型Ⅲ）;4）以RDBA為基本模塊并帶有自適應(yīng)跳躍連接的網(wǎng)絡(luò)模型（模型Ⅳ）. 4種模型在SOTS中室內(nèi)數(shù)據(jù)集的表現(xiàn)如表2所示，可以看到，相較于模型Ⅰ，單獨(dú)使用RDBA模塊的模型Ⅱ和單獨(dú)使用ASC模塊的模型Ⅲ在PSNR指標(biāo)上都有著超過(guò)1 dB的提升，在SSIM指標(biāo)上也有著一定的改進(jìn). 綜合使用RDBA模塊與ASC模塊的模型Ⅳ相較于模型Ⅰ則有著更大的提升，在PSNR指標(biāo)上有著將近2 dB的提升，在SSIM指標(biāo)上也有著明顯的提升. 綜上所述，RDBA模塊與ASC模塊的引入，有效地提升了模型的去霧性能.

3? ?結(jié)? ?論

本文提出了一種基于注意力機(jī)制的多尺度單幅圖像去霧網(wǎng)絡(luò)，該網(wǎng)絡(luò)不依賴(lài)于大氣散射模型，可以直接對(duì)無(wú)霧圖像進(jìn)行預(yù)測(cè). 為了充分發(fā)揮網(wǎng)絡(luò)的性能，本文分別設(shè)計(jì)了RDBA模塊和ASC模塊，其中，RDBA模塊有效提升了網(wǎng)絡(luò)的特征提取性能，在一定程度上避免了特征信息的冗余;ASC模塊的引入實(shí)現(xiàn)了解碼器中細(xì)節(jié)信息的針對(duì)性補(bǔ)充，在引入少量參數(shù)的情況下提升了模型的精度. 實(shí)驗(yàn)結(jié)果表明，在公開(kāi)數(shù)據(jù)集上，本文提出的去霧網(wǎng)絡(luò)相對(duì)于所比較的方法有著更高的客觀評(píng)價(jià)指標(biāo)與更好的視覺(jué)效果. 但是，本文提出的網(wǎng)絡(luò)也具有一定的局限性，當(dāng)霧的濃度過(guò)大時(shí)，本文的模型同樣會(huì)出現(xiàn)去霧不徹底的問(wèn)題.

參考文獻(xiàn)

[1]? ? 薛亞?wèn)|，李宜城.基于深度學(xué)習(xí)的盾構(gòu)隧道襯砌病害識(shí)別方法[J]. 湖南大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，45（3）：100—109.

XUE Y D，LI Y C. A method of disease recognition for shield tunnel lining based on deep learning[J]. Journal of Hunan University（Natural Sciences），2018，45（3）：100—109. （In Chinese）

[2]? ? 夏燁，陳李沐，王君杰，等. 基于SSD的橋梁主動(dòng)防船撞目標(biāo)檢測(cè)方法與應(yīng)用[J]. 湖南大學(xué)學(xué)報(bào)（自然科學(xué)版），2020，47（3）：97—105.

XIA Y，CHEN L M，WANG J J，et al.Single shot multibox detector based vessel detection method and application for active anti-collision monitoring[J]. Journal of Hunan University（Natural Sciences），2020，47（3）：97—105. （In Chinese）

[3]? ? NARASIMHAN S G，NAYAR S K. Vision and the atmosphere[J]. International Journal of Computer Vision，2002，48（3）：233—254.

[4]? ? NARASIMHAN S G，NAYAR S K. Chromatic framework for vision in bad weather[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Hilton Head Island，SC，USA：IEEE，2000：598—605.

[5]? ? HE K M，SUN J，TANG X O. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（12）：2341—2353.

[6]? ? ZHU Q S，MAI J M，SHAO L. A fast single image haze removal algorithm using color attenuation prior[J]. IEEE Transactions on Image Processing，2015，24（11）：3522—3533.

[7]? ? TAN R T. Visibility in bad weather from a single image[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Anchorage，AK，USA：IEEE，2008：1—8.

[8]? ? BERMAN D，TREIBITZ T，AVIDAN S. Non-local image dehazing [C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas，NV，USA：IEEE，2016：1674—1682.

[9]? ? LI B Y，REN W Q，F(xiàn)U D P，et al. Benchmarking single-image dehazing and beyond[J]. IEEE Transactions on Image Processing，2019，28（1）：492—505.

[10]? CAI B L，XU X M，JIA K，et al. DehazeNet：an end-to-end system for single image haze removal[J]. IEEE Transactions on Image Processing，2016，25（11）：5187—5198.

[11]? REN W Q，LIU S，ZHANG H，et al. Single image dehazing via multi-scale convolutional neural networks[C]// Proceedings of 2016 European Conference on Computer Vision. Amsterdam，The Netherlands：Springer，2016：154—169.

[12]? LI B Y，PENG X L，WANG Z Y，et al. AOD-Net：all-in-one dehazing network[C]// Proceedings of 2017 IEEE International Conference on Computer Vision. Venice，Italy：IEEE，2017：4780—4788.

[13]? ZHANG H，PATEL V M. Densely connected pyramid dehazing network[C]// Proceedings of 2018 IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City，UT，USA：IEEE，2018：3194—3203.

[14]? REN W Q，MA L，ZHANG J W，et al. Gated fusion network for single image dehazing[C]//Proceedings of 2018 IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City，UT，USA：IEEE，2018：3253—3261.

[15]? LIU X H，MA Y R，SHI Z H，et al. GridDehazeNet：attention-based multi-scale network for image dehazing [C]//Proceedings of IEEE International Conference on Computer Vision. Seoul，Korea （South）：IEEE，2019：7313—7322.

[16]? LIM B，SON S，KIM H，et al. Enhanced deep residual networks for single image super-resolution[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. Honolulu，HI，USA：IEEE，2017：1132—1140.

[17]? WANG X T，YU K，WU S X，et al. Esrgan：enhanced super-resolution generative adversarial networks [C]//Proceedings of 2018 European Conference on Computer Vision Workshops. Munich，Germany：Springer，2018：63—79.

[18]? RONNEBERGER O，F(xiàn)ISCHER P，BROX T. U-net：Convolutional networks for biomedical image segmentation[C]//Proceedings of International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich，Germany：Springer，2015：234—241.

[19]? ZHANG Y L，TIAN Y P，KONG Y，et al. Residual dense network for image super-resolution[C]//Proceedings of 2018 IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City，UT，USA：IEEE，2018：472—481.

[20]? IOFFE S，SZEGEDY C. Batch normalization：accelerating deep network training by reducing internal covariate shift [C]//Proceedings of IEEE International Conference Machine Learning. Lille，F(xiàn)rance：IMLS，2015：1—11.

[21]? HU J，SHEN L，ALBANIE S，et al. Squeeze-and-excitation networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42（8）：2011—2023.

[22]? HE K M，ZHANG X Y，REN S Q，et al. Deep residual learning for image recognition[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas，NV，USA：IEEE，2016：770—778.

[23]? HUANG G，LIU Z，VAN DER MAATEN L，et al. Densely connected convolutional networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu，HI，USA：IEEE，2017：2261—2269.

[24]? JOHNSON J，ALAHI A，LI F F. Perceptual losses for real-time style transfer and super-resolution[C]//Proceedings of 2016 European Conference on Computer Vision. Amsterdam，The Netherlands：Springer，2016：694—711.

[25]? GOODFELLOW I J，POUGET-ABADIE J，MIRZA M，et al. Generative adversarial nets [C]// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge：MIT Press，2014：2672—2680.