適用于多場景的ResNet單幅圖像去霧算法*

姜冰 陸健強(qiáng) 王衛(wèi)星 李旺枝 黃德威 林佳翰

?

適用于多場景的ResNet單幅圖像去霧算法*

姜冰 陸健強(qiáng) 王衛(wèi)星 李旺枝 黃德威 林佳翰

（華南農(nóng)業(yè)大學(xué)電子工程學(xué)院）

針對傳統(tǒng)去霧算法需要人工提取特征，無法在不同應(yīng)用場景中保證穩(wěn)定的去霧效果，適用性不足的問題，提出一種基于殘差網(wǎng)絡(luò)的去霧算法。利用卷積神經(jīng)網(wǎng)絡(luò)自動提取圖像特征；設(shè)計多種損失函數(shù)和激活函數(shù)；加入GANs網(wǎng)絡(luò)恢復(fù)圖像的紋理信息；擬合同一場景有霧圖像和清晰圖像的映射關(guān)系，訓(xùn)練網(wǎng)絡(luò)參數(shù)，輸出去霧后清晰圖像。實(shí)驗(yàn)表明：本文算法在農(nóng)田、山間、校園、城市和果園等多個場景去霧性能和適用性較好。

多場景；去霧算法；神經(jīng)網(wǎng)絡(luò)；殘差網(wǎng)絡(luò)

0 　引言

霧是一種常見的自然天氣現(xiàn)象。霧霾天氣拍攝的圖像色彩衰減，可視效果較差。在視頻監(jiān)控、自動駕駛以及目標(biāo)檢測等應(yīng)用中，霧霾天氣拍攝的圖像會使圖像處理系統(tǒng)的性能急劇降低。因此，對霧霾天氣拍攝的圖像進(jìn)行有效去霧和還原具有重要意義[1-4]。

He等人通過對大量戶外無霧清晰圖像的統(tǒng)計得到暗通道先驗(yàn)法，其假設(shè)圖像中不存在大面積亮域，如天空或白色場景，某些像素至少一個顏色通道具有較低的值，該方法對有天空區(qū)域和大面積白色區(qū)域的圖像去霧適用性較差[5-6]。Tarel等人在假設(shè)大氣光幕局部變化平緩的情況下，提出大氣光幕散射模型，利用模型實(shí)現(xiàn)圖像去霧，該方法采用中值濾波器復(fù)原圖像，圖像的邊緣信息不能很好保留[7]。

本文基于殘差網(wǎng)絡(luò)（residual networks, ResNet）提出一種適用于多場景的去霧算法。利用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks, CNN）提取圖像特征，優(yōu)化損失函數(shù)和激活函數(shù)；加入生成式對抗網(wǎng)絡(luò)（generative adversarial networks, GANs）保持圖像的紋理。圖像近景處去霧干凈，遠(yuǎn)景處天空區(qū)域無光暈效應(yīng)。

1 　基于ResNet單幅圖像去霧模型

1.1　模型設(shè)計

圖1 　基于ResNet單幅圖像去霧模型結(jié)構(gòu)

圖2 　ResNet模塊結(jié)構(gòu)

1.2 　損失函數(shù)與激活函數(shù)設(shè)計

1.2.1均方誤差

本文采用均方誤差（mean squared error, MSE）函數(shù)作為網(wǎng)絡(luò)損失函數(shù)，MSE函數(shù)為

MSE函數(shù)只能整體衡量2幅圖像之間的差異，無法確保其具有相似性。如圖3所示，不同的像素值有相同的均方誤差，其中圖3(b)、圖3(c)相對于圖3(a)具有相同的MSE，但圖像內(nèi)容卻不一致，因此網(wǎng)絡(luò)需要增加其他損失函數(shù)以確保圖像的相似性。

圖3　 相同均方誤差不同像素

1.2.2色彩損失函數(shù)

在圖像像素具有相似性時，MSE會造成色彩失真，且輸入的有霧圖像自身也存在色彩失真，因此需要設(shè)計用于矯正色彩失真的損失函數(shù)。本文采用巴氏距離來衡量2個圖像直方圖的相似性。直方圖相似度定義為

當(dāng)2個直方圖一致時，直方圖相似度值為1，但不代表2個圖像的內(nèi)容一致。如圖4所示，圖4(a)和圖4(b)的直方圖相似度為1，圖像內(nèi)容卻不同。

圖4　 不同像素相同圖像直方圖

1.2.3紋理損失函數(shù)

通過GANs衡量去霧后圖像與清晰圖像之間的紋理關(guān)系。GANs的輸入為去霧后圖像和清晰圖像，訓(xùn)練目的是判別輸入圖像是去霧后圖像還是清晰圖像，并使去霧后圖像紋理特性趨近于清晰圖像的紋理。紋理判別器網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5　 紋理判別器網(wǎng)絡(luò)結(jié)構(gòu)

GANs通過優(yōu)化去霧后圖像和清晰圖像的交叉熵進(jìn)行訓(xùn)練，其損失函數(shù)為

1.2.4結(jié)構(gòu)相似性損失函數(shù)

圖6　 多尺度結(jié)構(gòu)相似性損失框架

1.2.5總損失函數(shù)

GANs的紋理損失函數(shù)結(jié)合MSE、色彩和結(jié)構(gòu)損失函數(shù)構(gòu)成整體損失函數(shù)。本文算法總損失函數(shù)為

1.2.6激活函數(shù)

神經(jīng)網(wǎng)絡(luò)中有多種激活函數(shù)，選取合適的激活函數(shù)對訓(xùn)練網(wǎng)絡(luò)至關(guān)重要。Sigmoid激活函數(shù)飽和區(qū)會發(fā)生梯度彌散現(xiàn)象且近飽和區(qū)域收斂速度慢。ReLU激活函數(shù)在正半軸能夠保證梯度，在負(fù)半軸梯度為0，具有稀疏性，且不能保證圖像像素值位于[0,1]區(qū)間內(nèi)。為更好地結(jié)合Sigmoid和ReLU激活函數(shù)的特性，本文采用截斷ReLU激活函數(shù)如式(6)所示。

1.3 　訓(xùn)練神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)獲取

本文網(wǎng)絡(luò)訓(xùn)練使用NYU Depth數(shù)據(jù)集[12]；采用大氣散射模型合成部分有霧圖像，實(shí)際拍攝有霧圖像和合成有霧圖像數(shù)據(jù)集共47351張，實(shí)際有霧圖像與其對應(yīng)的清晰圖像1364組；采用角點(diǎn)匹配算法對拍攝圖像進(jìn)行校正和裁剪。

2　實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)的電腦操作系統(tǒng)采用Ubuntu14.04；軟件平臺Tensorflow和Matlab2014Ra；處理器Intel Xeon(R) CPU E5-2620 v4 @ 2.10 GHz ×16；內(nèi)存64 G；GPU為GTX TIAN X。

2.1　定性分析

將本文算法與Tarel算法和He算法進(jìn)行對比，并進(jìn)行定性定量分析。圖7從上到下分別為農(nóng)田、山間、校園、城市和果園5個不同場景的圖像；從左到右依次為原圖、Tarel算法、He算法和本文算法對比圖。

由圖7可以看出：采用Tarel算法和He算法的農(nóng)田、山間、城市和果園圖像天空區(qū)域出現(xiàn)光暈效應(yīng)和塊狀效應(yīng)；校園圖像邊緣出現(xiàn)殘霧，且圖像整體色彩偏暗；采用本文算法的農(nóng)田、山間和果園天空區(qū)域平滑，近景區(qū)域去霧較為徹底；校園樹葉邊緣殘霧較少，顏色較為自然；城市和果園遠(yuǎn)景區(qū)域色彩協(xié)調(diào)、顏色自然，近景去霧干凈。

由此說明：本文算法能夠有效解決天空域出現(xiàn)明顯失真及圖像亮域復(fù)原時容易出現(xiàn)光暈效應(yīng)的問題，同時對不同場景具有很好的適應(yīng)性，復(fù)原圖邊緣不會出現(xiàn)殘霧和色彩失真。

2.2　定量分析

采用MSE[13]對上述實(shí)驗(yàn)圖像進(jìn)行定量分析。MSE數(shù)學(xué)定義為

表1　 3種去霧算法的MSE

表2　 3種去霧算法的綜合客觀評價值

表3 　3種去霧算法的盲評指標(biāo)

1）由表1可以看出：本文算法去霧后的圖像與原圖像的像素顏色MSE最小，Tarel算法和He算法比本文算法的MSE高10%以上；Tarel算法和He算法去霧后圖像與原圖像的像素顏色偏差較大。

2）由表2可以看出：本文算法綜合評價指標(biāo)的數(shù)值比Tarel算法平均高37.35%、比He算法平均高45.91%。

綜合表1、表2和表3的實(shí)驗(yàn)結(jié)果，本文算法在MSE指標(biāo)、綜合評價指標(biāo)和盲評指標(biāo)3個評價中都比He算法和Tarel算法取得更好的效果，因此可認(rèn)為本文算法在多個場景中的單幅圖像去霧效果更佳。

3　結(jié)論

本文基于ResNet單幅圖像去霧算法解決了局限于特定應(yīng)用場景的去霧問題，對農(nóng)田、山間、校園、城市和果園等不同場景均表現(xiàn)較好的去霧效果，且具有較好的適應(yīng)性，同時解決了天空區(qū)域出現(xiàn)的光暈效應(yīng)和塊狀效應(yīng)。但是由于霧天圖像較為模糊，近景處去霧后效果邊緣信息清晰，遠(yuǎn)景處去霧后的圖像邊緣信息損失較多，不能完全復(fù)原圖像。另外，基于深度神經(jīng)網(wǎng)絡(luò)的圖像去霧算法，參數(shù)和計算量存在著較多的冗余，模型有一定的壓縮空間。

[1] 胡子昂,王衛(wèi)星,陸健強(qiáng),等.視頻圖像去霧霾技術(shù)研究綜述與展望[J].電子技術(shù)與軟件工程,2015(22):94-95.

[2] 南棟,畢篤彥,許悅雷,等.基于暗原色先驗(yàn)的圖像去霧算法[J]. 中南大學(xué)學(xué)報(自然科學(xué)版),2013(10):4101-4108.

[3] 涂雅瑗.霧天降質(zhì)圖像的對比度增強(qiáng)方法研究[D].大連:大連海事大學(xué),2009.

[4] 周雪智.圖像增強(qiáng)算法研究及其在圖像去霧中的應(yīng)用[D].長沙:湖南師范大學(xué),2015.

[5] He Kaiming, Sun J, Tang Xia. Single image haze removal using dark channel prior[C]. Computer Vision and Pattern Recognition, 2009:1956-1963.

[6] He Kaiming, Sun J, Tang X. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12):2341-2353.

[7] Tarel J P, Hautière N. Fast visibility restoration from a single color or gray level image[C]. IEEE, International Conference on Computer Vision, 2009:2201-2208.

[8] Zhang K, Zuo W, Chen Y,et al. Beyond a Gaussian denoiser: residual learning of deep CNN for image denoising[J]. IEEE Transactions on Image Processing, 2017,26; 26(7):3142-3155.

[9] Szegedy C, Vanhoucke V, Ioffe S, et al. Rethinking the inception architecture for computer vision[J]. Computer Science, 2016:2818-2826.

[10] Ioffe S , Szegedy C . Batch normalization: accelerating deep network training by reducing internal covariate shift[C]. International Conference on International Conference on Machine Learning. JMLR.org, 2015, 37: 448-456.

[11] 姜中敏,周穎梅.基于多尺度結(jié)構(gòu)相似度的印刷圖像質(zhì)量評價研究[J].包裝工程,2016,37(9):134-137.

[12] Silberman N, Hoiem D, Kohli P, et al. Indoor segmentation and support inference from RGBD images[C]. European Conference on Computer Vision. Springer, Berlin, Heidelberg, 2012:746-760.

[13] 麥嘉銘,王美華,梁云,等.特征學(xué)習(xí)的單幅圖像去霧算法[J]. 中國圖象圖形學(xué)報,2016,21(4):464-474.

[14] 胡子昂,王衛(wèi)星,陸健強(qiáng),等.視覺信息損失先驗(yàn)的圖像分層去霧方法[J].中國圖象圖形學(xué)報,2016,21(6):711-722.

[15] 黃德威,陸健強(qiáng),陳可昕,等.基于大氣光值圖的自適應(yīng)去霧算法[J].計算機(jī)工程與設(shè)計,2018,39(4):1130-1135.

[16] He Kaiming, Sun J, Tang X. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6):1397-1409.

[17] Hautiere N, Labayrade R, Aubert D. Real-time disparity contrast combination for onboard estimation of the visibility distance[J]. IEEE Transactions on Intelligent Transportation Systems, 2006, 7(2):201-212.

ResNet Single Image Defogging Algorithm for Multiple Scenes

Jiang Bing Lu Jianqiang Wang Weixing Li Wangzhi Huang Dewei Lin Jiahan

(School of Electronic Engineering, South China Agricultural University)

The traditional defogging algorithm requires manual extraction of features, and it is impossible to ensure a stable defogging effect in different application scenarios, and the applicability is insufficient. This paper proposes a neural network image dehazing algorithm based on neural network to automatically extract image features, design various loss functions and activation functions, join GANs network to recover image texture information, and fit the fog map and clear image mapping of the same scene. Relationship, training network parameters, output clear image after defogging. Experiments show that the algorithm has good applicability to fogging in farmland, mountain, campus, city and orchard. The fogging performance of fog images in different scenes is good, and it can be applied to multi-scene fogging.

Multiple Scenes; Defogging Algorithm; Neural Network; Residual Network

姜冰，男，1994年生，碩士研究生，主要研究方向：圖像處理。E-mail: bing9783@163.com

陸健強(qiáng)（通信作者），男，1980年生，高級實(shí)驗(yàn)師，碩士生導(dǎo)師，主要研究方向：圖像處理。E-mail: 646346@qq.com

廣西科技計劃重點(diǎn)研發(fā)計劃項(xiàng)目（桂科AB16380286）；2018年省級鄉(xiāng)村振興戰(zhàn)略專項(xiàng)資金（2018LM2163）；廣州市科技計劃項(xiàng)目創(chuàng)新平臺建設(shè)與共享專項(xiàng)（201605030013）。