基于深度學(xué)習(xí)的多尺度輕量級圖像去霧網(wǎng)絡(luò)

毛青宇，楊曉敏

(四川大學(xué)電子信息學(xué)院，成都610065)

0 引言

霧霾是一種常見的自然天氣狀況，由于大氣中存在著漂浮的塵土、顆粒和水滴，大氣光在通過這些懸浮顆粒物時導(dǎo)致觀測物體的反射光在到達(dá)成像設(shè)備前產(chǎn)生衰減與模糊，最終采集的圖像因色彩衰減嚴(yán)重、對比飽和度降低等質(zhì)量問題，給人們的生活與各種計(jì)算機(jī)視覺系統(tǒng)應(yīng)用帶來了嚴(yán)重的影響(如圖片識別、分類、無人駕駛和監(jiān)控視頻分析等)。因此，圖像去霧作為恢復(fù)惡劣天氣下獲取的退化圖像的關(guān)鍵技術(shù)受到了人們的關(guān)注。

由于霧霾導(dǎo)致的圖像退化過程可以用經(jīng)典大氣散射模型[1，2]表示:

I(x)=J(x)t(x)+A(1-t(x) )

(1)

式(1)中，I(x)表示成像設(shè)備獲取的霧霾圖像；J(x)表示真實(shí)場景圖像或稱理想的清晰圖像；t(x)表示大氣傳輸圖；A表示全球大氣光。在這里我們假設(shè)大氣光值是均勻的，此時大氣傳輸圖可以表示為t(x)=e(-βd(x))，其中β表示大氣散射系數(shù)，d表示景深。

現(xiàn)有的單幅圖像去霧方法可以簡要的分為兩類：基于傳統(tǒng)先驗(yàn)知識的圖像去霧方法和基于深度學(xué)習(xí)的圖像去霧方法。在2016年以前，基于傳統(tǒng)先驗(yàn)知識的圖像去霧算法占據(jù)主流。Fattal等人[3]根據(jù)先驗(yàn)知識和主成分分析提出了一種估計(jì)場景反射率的物理模型方法；He等人[4]通過分析清晰圖像與霧霾圖像在顏色通道的不同表現(xiàn)，提出了暗通道先驗(yàn)方法(Dark Channel Prior，DCP)，取得了明顯的去霧效果提升，但對于天空、雪地等物體顏色與大氣光強(qiáng)度相似時的場景，恢復(fù)圖像會產(chǎn)生嚴(yán)重的顏色失真。為了解決暗通道方法存在的問題，許多基于DCP的改進(jìn)算法[5]被提出并取得了良好的去霧效果。然而，基于傳統(tǒng)先驗(yàn)知識的算法都強(qiáng)烈依賴于先驗(yàn)知識的選擇，當(dāng)成像環(huán)境發(fā)生變化時，此類方法往往不能很好地處理所有的霧霾圖像。隨著深度學(xué)習(xí)的發(fā)展以及大規(guī)?；鶞?zhǔn)數(shù)據(jù)集的提出，越來越多的學(xué)者嘗試使用深度學(xué)習(xí)工具直接預(yù)測大氣傳輸圖或最終恢復(fù)圖像。DehazeNet[6]首先提出使用卷積神經(jīng)網(wǎng)絡(luò)估計(jì)霧霾圖像的大氣傳輸圖，取得了一定的性能提升。Li等人[7]修改了經(jīng)典的大氣散射模型，使用輕量級卷積神經(jīng)網(wǎng)絡(luò)直接預(yù)測最終恢復(fù)圖像，而避免了錯誤估計(jì)大氣傳輸圖導(dǎo)致的性能下降。GCA-Net[10]使用平滑擴(kuò)張獲取更多的上下文信息，并采用門控子網(wǎng)融合不同級別的特征，取得了明顯的性能提升。隨著近年來基于深度學(xué)習(xí)的圖像去霧算法性能的提升，網(wǎng)絡(luò)的規(guī)模與參數(shù)量也越來越大了。網(wǎng)絡(luò)計(jì)算量和存儲量的增加導(dǎo)致訓(xùn)練難度劇增并降低了運(yùn)算效率，這種存儲規(guī)模的圖像去霧網(wǎng)絡(luò)很難應(yīng)用到實(shí)際的場景中。另外，由于霧霾圖像中的霧霾分布不均勻不規(guī)則，使用固定尺度的卷積核往往無法有效處理不同大小的霧霾信息，這會影響網(wǎng)絡(luò)的去霧性能。

基于以上問題，本文提出了多尺度的輕量級圖像去霧網(wǎng)絡(luò)(Multi-scale Lightweight Network，MLNet)，這樣的模型能夠部署到諸多移動監(jiān)控設(shè)備上實(shí)時處理霧霾圖像便于后續(xù)的計(jì)算機(jī)視覺系統(tǒng)應(yīng)用，并且通過不同尺度的處理能夠得到優(yōu)異的去霧性能。

1 算法實(shí)現(xiàn)

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

在本節(jié)中，我們將詳細(xì)介紹我們的多尺度輕量級圖像去霧模型。整個模型的架構(gòu)如圖1所示。輸入圖像首先經(jīng)過一個3×3的64通道卷積層提出淺層信息。為了實(shí)現(xiàn)網(wǎng)絡(luò)的多尺度處理，我們的網(wǎng)絡(luò)結(jié)構(gòu)在三個并行的支路分別對不同尺度下的特征進(jìn)行處理，每個支路包含數(shù)量不等的基本模塊。

圖1 MLN整體框架圖

每個尺度下的特征空間存在著互補(bǔ)的信息，為了中間信息的相互流通，在每個基本模塊處理后都會將特征信息上下采樣后傳遞到其他尺度的特征中去。在三條支路處理完相應(yīng)的尺度特征后，使用上采樣層逐層將多尺度信息進(jìn)行結(jié)合。不同尺度特征疊加得到一個192通道的特征圖，再經(jīng)過后續(xù)的64通道輸出的卷積層和3通道輸出的卷積層，最終得到的3通道特征圖以全局殘差的方式與輸入霧霾圖像疊加得到恢復(fù)的無霧圖像，使用全局殘差也能降低模型的訓(xùn)練難度。在這里我們注明，除了上下采樣層以及基本模塊內(nèi)的卷積層，其他卷積層的卷積核大小均為3×3。

通常來說，大尺寸的卷積核擁有更大的感受野，這樣能或者更多的特征信息，然而大尺寸的卷積核包含大量的參數(shù)，這會顯著影響模型的計(jì)算效率。因此，用一些小尺寸的卷積核擬合大尺寸卷積核得到與大卷積核相同的感受野并減小參數(shù)量是一個合理的方法。在此，我們采用GoogleNet[8]的部分結(jié)構(gòu)作為我們的基本模塊，我們稱之為多尺度輕量塊(Multi-scale Lightweight Block，MLB)，結(jié)構(gòu)如圖2所示。該模塊含有四個支路、一個平均池化層和一個連接層，連接層用于連接四個支路的輸出特征。每個1×1的卷積層首先用于改變輸入維度，左邊的兩個3×3的卷積層用于替代一個5×5的卷積層，平均池化層的卷積核大小為3×3。通過這樣的方式能大大降低運(yùn)算難度，并且在網(wǎng)絡(luò)的三個尺度通道內(nèi)又分別構(gòu)成了多尺度處理。最終，沿著四個分支的四個輸出被整合為一個特征圖，以便下一個階段可以同時提取不同的尺度提取特征。

圖2 所使用的網(wǎng)絡(luò)基本模塊MLB

整個網(wǎng)絡(luò)模型是一個基于卷積神經(jīng)網(wǎng)絡(luò)的端到端模型。以RGB霧霾圖像作為輸入，直接生成相應(yīng)的恢復(fù)清晰圖像。該模型包含一個預(yù)處理卷積層，三個含有不同數(shù)目MLB的支路，兩個后續(xù)卷積層和一個全局跳躍鏈接。MLB和多尺度支路設(shè)計(jì)使網(wǎng)絡(luò)從不同尺度獲取特征信息。小尺寸卷積核的疊加大大降低了運(yùn)算規(guī)模。最后經(jīng)過兩次卷積使輸出維度(殘差圖像)與輸入圖像相同，全局鏈接進(jìn)一步保證了輸出圖像的細(xì)節(jié)。

1.2 網(wǎng)絡(luò)細(xì)節(jié)

在所提出的網(wǎng)絡(luò)模型中，除了MLB內(nèi)部的卷積層外，所有的卷積層后都連接著批處理歸一化層(Batch Normalization，BN)和ReLU激活函數(shù)，每個連接層后連接ReLU激活函數(shù)。BN層有助于防止網(wǎng)絡(luò)過擬合以及加速收斂，激活函數(shù)也是連接層后所必需的。

為了訓(xùn)練本文所提出的網(wǎng)絡(luò)，我們采用了一個雙分量損失函數(shù)，第一項(xiàng)采用L1像素?fù)p失度量恢復(fù)圖像和真實(shí)圖像的相似性，第二項(xiàng)采用L1梯度損失幫助構(gòu)建具有更加豐富邊緣信息的圖像。像素?fù)p失如下：

(2)

其中，Iin表示輸入霧霾圖像，Igt表示真實(shí)圖像，MLN(Iin)表示為將霧霾圖像輸入網(wǎng)絡(luò)得到的最終恢復(fù)圖像。梯度損失可以表示為：

(3)

其中，φ(·)表示梯度運(yùn)算，在本文中我們使用Sobel算子計(jì)算梯度圖像。由此我們的總損失可以表示為：

Ltotal=LPix+αLGra

(4)

式中，α用來平衡兩個損失項(xiàng)。在訓(xùn)練過程中，我們根據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)將其設(shè)為0.5。

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)設(shè)置

本文使用大規(guī)?；鶞?zhǔn)數(shù)據(jù)集RESIDE[9]對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，RESIDE數(shù)據(jù)集包含室內(nèi)訓(xùn)練集ITS(13990對圖像)，室外訓(xùn)練集OTS(60246對圖像)和綜合目標(biāo)測試集SOTS(500張室內(nèi)圖像和492張室外圖像)。在訓(xùn)練過程中，我們分別對ITS和OTS進(jìn)行訓(xùn)練并在SOTS數(shù)據(jù)集上測試，在本文中我們采用峰值信噪比PSNR和結(jié)構(gòu)相似性SSIM兩個客觀指標(biāo)再RGB通道上驗(yàn)證所提出模型的去霧效果。

所有訓(xùn)練集內(nèi)的圖片會首先進(jìn)行水平垂直隨機(jī)翻轉(zhuǎn)，然后裁剪為240×240的圖像塊送入MLNet中。訓(xùn)練時，我們使用Adam優(yōu)化器并將其參數(shù)設(shè)為默認(rèn)值。對于ITS和OTS訓(xùn)練集，我們分別訓(xùn)練3×105和5×105次迭代，學(xué)習(xí)率分別初始化為1×10-4和5×10-5，并采用余弦退火策略使學(xué)習(xí)率漸變至0。三個多尺度分支的MLB數(shù)量分別設(shè)置為3，4，5。所有的實(shí)驗(yàn)均在PyTorch框架下進(jìn)行，使用的GPU型號為GTX 2080Ti。

2.2 實(shí)驗(yàn)結(jié)果

為了充分驗(yàn)證所提出模型的有效性，我們比較了幾個先進(jìn)的傳統(tǒng)圖像去霧算法和基于深度學(xué)習(xí)的圖像去霧算法，其中包括DCP[4]、AOD-Net[7]、DehazeNet[6]、GCANet[10]和PFFNet[11]。在SOTS測試集上的測試結(jié)果如表1所示。

表1 客觀指標(biāo)對比結(jié)果

表1是各個算法在SOTS測試集下的客觀指標(biāo)所取得的值。其中PSNR和SSIM的數(shù)值越大表示圖像效果越好，算法越優(yōu)越。從表1可以看出，所提出的MLNet在兩個客觀指標(biāo)上都取得了較為明顯的優(yōu)勢，這也證明了文中所提的MLNet由于其他的對比算法。下圖展示了幾種算法與所提出算法在SOTS測試集上的一些測試結(jié)果，我們可以看到DCP，DehazeNet和GCANet在室外圖像測試中導(dǎo)致圖像整體發(fā)生色彩畸變，這是錯誤估計(jì)大氣傳輸圖像導(dǎo)致的，AOD-Net與PFFNet對于室內(nèi)圖像的去霧效果非常差，并且造成整體背景偏白偏亮。我們所提出的MLNet在室內(nèi)室外都取得了優(yōu)異的去霧效果，在整體上去霧程度明顯，并且對于室外條件下的近景霧霾能夠進(jìn)行有效去除。

圖3 不同方法在SOTS測試集上的表現(xiàn)

3 結(jié)語

本文提出了一種多尺度的輕量級圖像去霧算法，該算法采用小尺寸卷積核以及多尺度支路并行的設(shè)計(jì)，使網(wǎng)絡(luò)不僅能在多尺度內(nèi)部進(jìn)行特征傳遞并且能跨尺度傳遞特征信息，而小尺寸卷積核使整個網(wǎng)絡(luò)的參數(shù)量以及運(yùn)算量大大減少，能夠高效快速地完成圖像去霧任務(wù)。我們的網(wǎng)絡(luò)結(jié)構(gòu)仍有很多改進(jìn)空間，在保證網(wǎng)絡(luò)性能的前提下可以進(jìn)一步通過減少支路或更改卷積形式，繼續(xù)降低參數(shù)使用量提高運(yùn)算速度。