基于半監(jiān)督學(xué)習(xí)的圖像去霧算法

紀(jì)連順 魏偉波 潘振寬 楊霞 朱麗君 程田田

摘要：為使霧天拍攝照片清晰，改善合成數(shù)據(jù)集泛化能力不足的缺點，提出了一種基于半監(jiān)督學(xué)習(xí)的圖像去霧算法。算法包含了監(jiān)督訓(xùn)練和無監(jiān)督訓(xùn)練兩個部分，分別使用人工合成數(shù)據(jù)集和真實有霧圖像交替訓(xùn)練網(wǎng)絡(luò)，在網(wǎng)絡(luò)中引入了平滑擴張卷積來提高感受野并消除網(wǎng)格偽影。無監(jiān)督訓(xùn)練部分將生成對抗網(wǎng)絡(luò)作為基礎(chǔ)，采用馬爾可夫判別器以提高網(wǎng)絡(luò)對細節(jié)的恢復(fù)能力。實驗結(jié)果表明，所提算法在去霧程度、紋理清晰度等方面都有所提升，提高了算法對真實圖像的泛化能力。

關(guān)鍵詞：圖像復(fù)原;圖像去霧;深度學(xué)習(xí);半監(jiān)督學(xué)習(xí);生成對抗網(wǎng)絡(luò)

中圖分類號：TP391.41??????? 文獻標(biāo)志碼：A

霧是一種常見的自然天氣現(xiàn)象，由于光線在霧天傳播中發(fā)生散射、折射、吸收，導(dǎo)致成像設(shè)備在霧天的成像質(zhì)量大幅度下降。目前多數(shù)設(shè)備都是依賴于清晰圖像而設(shè)計的，在霧天中會出現(xiàn)性能快速下降，相關(guān)功能受到影響等問題[1-2]，因此將有霧圖像恢復(fù)為無霧圖像成為當(dāng)下研究的熱點。當(dāng)前去霧算法可分為基于圖像增強的去霧方法、基于物理模型的去霧方法和基于深度學(xué)習(xí)的去霧方法。如，基于對比度增強的去霧方法，通過局部對比度最大化來恢復(fù)圖像的可見性，但恢復(fù)后的圖像色彩失真嚴(yán)重[3];或基于清晰圖像中單個像素至少有一個顏色通道的值是很小的一個數(shù)字的先驗知識，提出了暗通道先驗去霧方法[4];根據(jù)有霧圖像的亮度和飽和度之差與霧濃度呈正相關(guān)關(guān)系，提出了基于顏色衰減先驗的方法[5];而無霧圖像中的每個顏色簇由于不同的透射系數(shù)而在相應(yīng)的有霧圖像中形成霧線，基于此引入了非局部先驗方法[6]。隨著深度學(xué)習(xí)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（CNN）被廣泛應(yīng)用于去霧領(lǐng)域[7]。如，DehazeNet深度學(xué)習(xí)網(wǎng)絡(luò)[8]，利用大氣散射模型[9-10]恢復(fù)無霧圖像;AOD-Net將大氣散射模型公式變形，使算法可以因輸入圖像不同而自適應(yīng)調(diào)節(jié)[11]。Zhang等[12]設(shè)計了一種密集連接金字塔去霧網(wǎng)絡(luò)（DCPDN）聯(lián)合估計大氣光、透射率圖和無霧圖像。Ren等[13]提出了一種多尺度門控融合網(wǎng)絡(luò)（GFN），將置信度圖與相應(yīng)的輸入融合得到去霧圖像;將平滑擴張卷積引入網(wǎng)絡(luò)，在擴大感受野的同時很好的解決了偽影的問題[14-15];或者利用半監(jiān)督學(xué)習(xí)去霧算法，引入了變分損失和暗通道損失作為無監(jiān)督損失[16]。綜上所述，基于深度學(xué)習(xí)的去霧方法在近些年來成為主流，該類方法依賴大量成對的數(shù)據(jù)集[17-18]進行訓(xùn)練，但上述數(shù)據(jù)集的有霧圖像均使用算法合成和煙霧機模擬霧天情況，存在霧濃度、數(shù)據(jù)多樣性等方面與真實有霧圖像差距較大的問題。因此現(xiàn)有基于深度學(xué)習(xí)的去霧算法通常在數(shù)據(jù)集上擁有較為良好的表現(xiàn)，卻不能很好地推廣到真實有霧圖像中。為解決上述問題，本文提出了一種基于半監(jiān)督訓(xùn)練的去霧算法，核心是交替使用人工合成數(shù)據(jù)集和真實有霧圖像進行訓(xùn)練，并且引入了GAN模型進行無監(jiān)督訓(xùn)練，提高網(wǎng)絡(luò)對真實有霧圖像的去霧效果，增強其泛化能力。

1 基于半監(jiān)督學(xué)習(xí)的圖像去霧算法

本文算法分為兩個部分，第一部分是監(jiān)督訓(xùn)練，讓去霧網(wǎng)絡(luò)快速學(xué)習(xí)有霧圖像與無霧圖像間的映射關(guān)系，以生成高質(zhì)量的無霧圖像。第二部分是無監(jiān)督訓(xùn)練，目標(biāo)是增強網(wǎng)絡(luò)在真實有霧圖像上的泛化能力，使網(wǎng)絡(luò)在實際應(yīng)用上有更好的表現(xiàn)。

1.1 深度學(xué)習(xí)模型設(shè)計

本文去霧網(wǎng)絡(luò)采用了encoder-decoder結(jié)構(gòu)，其中降采樣層、升采樣層分別使用兩次，并且使用跳躍連接（Skip Connection）連接降采樣和升采樣層。因為在網(wǎng)絡(luò)降采樣和升采樣后會使特征圖損失一些信息，跳躍連接可以保持特征信息的完整性。在Conv1-Conv17層后均銜接批量歸一化（Batch Normalization，BN）和ReLU激活函數(shù)，Conv18層僅后使用tanh激活函數(shù)，將輸出結(jié)果歸一化。網(wǎng)絡(luò)輸出僅為有霧圖像和無霧圖像的殘差，因此還需要將輸入圖像與輸出相加得到最終的無霧圖像。整體網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)參數(shù)分別如圖1和表1所示。

表1中Res1-Res6層為殘差塊層，在殘差塊中本文采用了平滑擴張卷積[14]來代替普通卷積，前三層和后三層的卷積核擴張系數(shù)（Dilation）分別為2和4。

使用平滑擴張卷積可以在不增加參數(shù)的情況下擴大網(wǎng)絡(luò)感受野，同時有效消除網(wǎng)格偽影。殘差塊的結(jié)構(gòu)如表2所示。

在無監(jiān)督訓(xùn)練的部分，本文使用了PatchGAN[19]中的馬爾科夫判別器。判別器的作用是區(qū)分圖像的真假，以往的GAN模型判別器只輸出一個[0，1]的值表示圖像為真的概率，只能在圖像全局上進行判別。而馬爾科夫判別器將輸入圖像分成多個N×N大小的矩陣，再分別對每個矩陣進行判別，最后將多個判別值取平均值作為最終輸出。使用馬爾科夫判別器的好處是可以不限制輸入圖像的大小，并且可以增強生成圖像的細節(jié)，對生成高分辨率圖像有著更好的效果。研究發(fā)現(xiàn)，N=70時馬爾科夫判別器的性能最好[19]。本文中使用的馬爾科夫判別器參數(shù)如表3所示。

1.2 損失函數(shù)

本文就監(jiān)督訓(xùn)練和無監(jiān)督訓(xùn)練的兩個部分分別使用了不同的損失函數(shù)。

1.2.1 監(jiān)督訓(xùn)練損失 （1）監(jiān)督訓(xùn)練總損失（Total Loss）。將均方誤差損失、感知損失和結(jié)構(gòu)相似度損失結(jié)合起來，此舉有利于加快網(wǎng)絡(luò)參數(shù)收斂、提升網(wǎng)絡(luò)的魯棒性。經(jīng)多次實驗調(diào)試總結(jié)后，構(gòu)建了監(jiān)督訓(xùn)練的總損失

LT=Lm+0.001*Lp+0.001*Ls（1）

其中，Lm、Lp、Ls分別為均方誤差損失、感知損失和結(jié)構(gòu)相似性損失。

（2）均方誤差損失（MSE Loss）。均方誤差損失是深度學(xué)習(xí)中一種常用損失，可以計算有霧圖像和與之成對的無霧圖像之間的像素級差距

Lm（J，J︿）=1N∑Ni=1Ji-J︿i2（2）

其中，J和J︿分別表示無霧圖像和去霧圖像，N表示圖片總數(shù)。

（3）感知損失（Perceptual Loss）。為了使無霧圖像J和去霧圖像J︿在深層的語義信息上更加類似，使用經(jīng)過ImageNet預(yù)先訓(xùn)練的VGG-19網(wǎng)絡(luò)[20]來構(gòu)建感知損失[21]

Lp（J，J︿）=1N∑Ni=1VGG（Ji）-VGG（J︿i）2=LmVGG（Ji，VGG（J︿i））（3）

其中，VGG（Ji和VGG（J︿i）是無霧圖像J和去霧圖像J︿在VGG-19網(wǎng)絡(luò)的Conv3-3層輸出的特征圖。

（4）結(jié)構(gòu)相似性損失（SSIM Loss）。結(jié)構(gòu)相似性損失是一種用于比較兩張照片結(jié)構(gòu)相似程度的指標(biāo)，分別從圖像的亮度、對比度、結(jié)構(gòu)三個方面進行比較[22]

SSIM（J，J︿）=2μJμJ︿+C1μ2J+μ2J︿+C1·2σJJ︿+C2σ2J+σ2J︿+C2（4）

其中，μx和σ2x分別表示x的平均值和方差，σxy是x和y的協(xié)方差，C1，C2是兩個常數(shù)。SSIM的取值范圍是0到1，因此將SSIM Loss定義為

Ls（J，J︿）=1-SSIM （J，J︿）（5）

1.2.2 無監(jiān)督訓(xùn)練損失 為了使去霧網(wǎng)絡(luò)在真實有霧圖像上擁有更好的去霧效果，本文使用了生成對抗網(wǎng)絡(luò)來進行無監(jiān)督訓(xùn)練。真實有霧圖像往往對應(yīng)的無霧圖像，因此無法應(yīng)用于監(jiān)督訓(xùn)練。因此使用判別器D去分辨圖片是真實有霧圖像經(jīng)生成器G生成的去霧圖像J︿，還是真實的無霧圖像J，促使去霧網(wǎng)絡(luò)生成更加逼真的去霧圖像。其中去霧網(wǎng)絡(luò)G和判別器D的損失函數(shù)分別為

GLoss=EJ︿log （1-DJ︿）（6）

DLoss=-EJlogDJ+EJ︿log1-DJ︿（7）

其中，E表示數(shù)學(xué)期望。

2 實驗結(jié)果與分析

2.1 訓(xùn)練過程

在訓(xùn)練的過程中，去霧網(wǎng)絡(luò)和馬爾可夫判別器均使用Adam[23]優(yōu)化器，其中參數(shù)β1=0.9、β2=0.999、eps=10-8，訓(xùn)練的batchsize大小為4。訓(xùn)練總計迭代10萬次，去霧網(wǎng)絡(luò)的初始學(xué)習(xí)率為0.000 1，學(xué)習(xí)率從迭代的第5萬次開始每1萬次衰減10%。而判別器的初始學(xué)習(xí)率為0.000 1，并且在訓(xùn)練中保持恒定。在硬件上本文使用了一塊英偉達GTX1080ti顯卡訓(xùn)練去霧網(wǎng)絡(luò)，軟件上選擇了Pytorch深度學(xué)習(xí)框架。為了提升去霧網(wǎng)絡(luò)的魯棒性，對輸入圖像進行了如下預(yù)處理操作：隨機裁切圖像為256×256大小;隨機水平和垂直翻轉(zhuǎn)圖像;像素值歸一化到[0，1]區(qū)間。

2.2 數(shù)據(jù)集

實驗選擇了RESIDE數(shù)據(jù)集[17]，該數(shù)據(jù)集包含：室內(nèi)圖像訓(xùn)練集（ITS）、室外圖像訓(xùn)練集（OTS）、合成目標(biāo)測試集（SOTS）、真實世界圖像測試集（RTTS）、混合主觀測試集（HSTS）、未標(biāo)注的真實世界有霧圖像集（URHI）。在網(wǎng)絡(luò)訓(xùn)練過程中，監(jiān)督訓(xùn)練和無監(jiān)督訓(xùn)練兩個部分使用了RESIDE數(shù)據(jù)集中不同的部分，分別從ITS和OTS數(shù)據(jù)集中各隨機抽取2 500張成對的圖像用于監(jiān)督訓(xùn)練。對于無監(jiān)督訓(xùn)練部分，在ITS和OTS數(shù)據(jù)集剩余圖像中隨機抽取2 500張無霧圖像作為真實無霧圖像，在URHI中隨機抽取2 500張圖像作為真實有霧圖像。

2.3 實驗結(jié)果

為了評估所提出的方法的性能，本文與一些性能優(yōu)秀的去霧方法進行了比較，包括DCP[4]，DehazeNet[8]，AOD-Net[11]，GFN[13]和FD-GAN[24]，除去DCP方法為先驗知識方法，剩余均為深度學(xué)習(xí)方法。在圖像去霧領(lǐng)域，峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）被廣泛用于評價圖像質(zhì)量，因此本文也采用上述兩種指標(biāo)。測試集方面，本文使用了RESIDE數(shù)據(jù)集中的SOTS測試集來評估上述各個方法，其中SOTS測試集包含了500張室內(nèi)和500張室外的有霧圖像。圖2為合成有霧圖像實驗結(jié)果，圖3為放大后細節(jié)比較結(jié)果，表4為不同方法在SOTS數(shù)據(jù)集上的結(jié)果。

由圖2和表4可知，本文提出的半監(jiān)督訓(xùn)練模型在SOTS數(shù)據(jù)集上擁有較好的表現(xiàn)，去霧效果明顯、色彩不失真。由圖3的放大細節(jié)可知，本文提出的方法在邊緣細節(jié)的處理上更加平滑，天空與建筑物交界處的噪聲較少。

在真實有霧圖像的應(yīng)用上，本文也與上述5種方法進行了比較，結(jié)果如圖4所示?？芍褂帽疚乃惴ㄌ幚砗蟮膱D像清晰度高、紋理細節(jié)信息豐富、色彩飽和度自然，但在輕軌圖中遠處樓房的去霧效果弱于DCP方法，暴露了本文方法針對遠景去霧不足的缺點。

2.4 運行時間分析

本文計算了所提算法的運行時間，并且與上述5種算法進行了比較。在SOTS數(shù)據(jù)集中隨機抽取50張圖片并調(diào)整為512×512像素，取算法處理單張圖片的平均運行時間作為結(jié)果。所有算法均在一臺搭載因特爾i5-8500T CPU的臺式電腦上運行，結(jié)果見表5。本文算法的運行時間僅優(yōu)于部分算法，整體耗時較長，其根本原因是算法的網(wǎng)絡(luò)層數(shù)多，導(dǎo)致運行時間長。

2.5 GAN模塊有效性分析

為進一步證明本文算法中GAN模塊的有效性，對是否使用GAN模塊進行了定量分析。在保證訓(xùn)練相關(guān)參數(shù)相同的情況下，將圖1所示的GAN分支去除且不使用非成對的真實有霧圖像數(shù)據(jù)集，僅保留監(jiān)督訓(xùn)練部分又進行了一次訓(xùn)練。表6為有無GAN模塊在SOTS數(shù)據(jù)集上的結(jié)果，圖5為GAN模塊的有效性對比結(jié)果。加入GAN模塊參與訓(xùn)練后，PSNR和SSIM指標(biāo)均在SOTS數(shù)據(jù)集上得到了小幅度的提升。并且網(wǎng)絡(luò)在真實有霧圖像上的泛化能力得到加強，去霧后的圖像細節(jié)豐富、清晰，圖像內(nèi)各部分過度自然，失真較少。

3 結(jié)論

本文提出了一種基于半監(jiān)督訓(xùn)練的去霧算法，該算法引入了以生成對抗網(wǎng)絡(luò)為基礎(chǔ)的無監(jiān)督學(xué)習(xí)，并使用合成數(shù)據(jù)集和真實有霧圖像來共同訓(xùn)練網(wǎng)絡(luò)，使去霧網(wǎng)絡(luò)能更好的應(yīng)用在真實有霧圖像。實驗表明，本文算法在SOTS數(shù)據(jù)集的圖像質(zhì)量評價指標(biāo)和真實有霧圖像的主觀評價上要優(yōu)于過去的部分算法，處理后的照片細節(jié)紋理保留較多、色彩自然無失真，去霧效果明顯，但針對遠景去霧效果不佳且運行時間較長，下一步研究將繼續(xù)優(yōu)化。

參考文獻

[1]蔣華偉， 楊震， 張鑫，等.圖像去霧算法研究進展[J].吉林大學(xué)學(xué)報（工學(xué)版），2021，51（4）：1169-1181.

[2]李帥， 魏偉波， 潘振寬，等.基于逐層搜索法與快速導(dǎo)向濾波的圖像去霧算法[J].青島大學(xué)學(xué)報（自然科學(xué)版），2018，31（4）：83-88+94.

[3]TAN R T. Visibility in bad weather from a single image[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Anchorage， 2008： 2347-2354.

[4]HE K M， SUN J，TANG X O.Single image haze removal using dark channel prior[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2011，33（12）：2341-2353.

[5]ZHU Q S， MAI J M， SHAO L.A fast single image haze removal algorithm using color attenuation prior[J].IEEE Transactions on Image Processing，2015，24（11）：3522-3533.

[6]BERMAN D， TREIBITZ T， AVIDAN S. Non-local image dehazing[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas， 2016： 1674-1682.

[7]趙慧， 魏偉波， 王曉麗，等.基于暗原色先驗與OSV分解的圖像去霧算法[J].青島大學(xué)學(xué)報（自然科學(xué)版），2020，33（4）：9-19.

[8]CAI B L， XU X M， JIA K，et al.DehazeNet： An end-to-end system for single image haze removal[J].IEEE Transactions on Image Processing，2016，25（11）：5187-5198.

[9]NARASIMHAN S G， NAYAR S K.Contrast restoration of weather degraded images[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2003，25（6）：713-724.

[10]NAYAR S K， NARASIMHAN S G. Vision in bad weather[C]// IEEE International Conference on Computer Vision. Kerkyra， 1999，2： 820-827.

[11]LI B Y， PENG X L， WANG Z Y，et al. AOD-net： All-in-one dehazing network[C]// 16th IEEE International Conference on Computer Vision （ICCV）. Venice， 2017： 4780-4788.

[12]ZHANG H， PATEL V M. Densely connected pyramid dehazing network[C]// 31st IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Salt Lake City， 2018： 3194-3203.

[13]REN W Q， MA L， ZHANG J W，et al. Gated fusion network for single image dehazing[C]// 31st IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Salt Lake City， 2018： 3253-3261.

[14]WANG Z Y， JI S W. Smoothed dilated convolutions for improved dense prediction[C]// 24th ACM SIGKDD Conference on Knowledge Discovery and Data Mining （KDD）. London， 2018： 2486-2495.

[15]CHEN D， HE M， FAN Q，et al. Gated context aggregation network for image dehazing and deraining[C]// 19th IEEE Winter Conference on Applications of Computer Vision （WACV）. Waikoloa Village， 2019： 1375-1383.

[16]LI L， DONG Y L， REN W Q，et al.Semi-supervised image dehazing[J].IEEE Transactions on Image Processing，2020，29：2766-2779.

[17]LI B Y， REN W Q， FU D P，et al.Benchmarking single image dehazing and beyond[J].IEEE Transactions on Image Processing，2018，28：492-505.

[18]ZHANG Y F， LI D， SHARMA G. HazeRD： An outdoor scene dataset and benchmark for single image dehazing[C]// 24th IEEE International Conference on Image Processing （ICIP）. Beijing， 2018： 3205-3209.

[19]ISOLA P， ZHU J Y， ZHOU T，et al. Image-to-image translation with conditional adversarial networks[C]// 30th IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu， 2017： 5967-5976.

[20]RUSSAKOVSKY O， DENG J， SU H， et al. ImageNet large scale visual recognition challenge[J].International Journal of Computer Vision，2015，115（3）：211-252.

[21]JOHNSON J， ALAHI A， LI F F. Perceptual losses for real-time style transfer and super-resolution[C]// 14th European Conference on Computer Vision. Amsterdam， 2016： 694-711.

[22]WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment ： From error visibility to structural similarity[J]. IEEE Transactions on Image Processing，2004，13：600-612.

[23]KINGMA D P， BA L J. Adam： A Method for Stochastic Optimization[DB/OL]. [2021-06-04]. https：//arxiv.org/abs/1412.6980v4

[24]DONG Y， LIU Y H， ZHANG H，et al. FD-GAN： Generative adversarial networks with fusion-discriminator for single image dehazing[C]// 34th AAAI Conference on Artificial Intelligence， New York， 2020：10729-10736.

Image Dehazing Algorithm Based on Semi-supervised Learning

JI Lian-shuna， WEI Wei-boa， PAN Zhen-kuana， YANG Xiab，

ZHU Li-juna， CHENG Tian-tiana

（a.School of Computer Science and Technology， b.Shandong Provincial Key Laboratory of

Digital Medicine and Computer-assisted Surgery， The Affiliated Hospital of

Qingdao University， Qingdao 266071， China）

Abstract：

In order to make the photos taken in foggy days clear and improve the shortcomings of insufficient generalization ability of synthetic datasets， an image dehazing algorithm based on semi-supervised learning is proposed. The algorithm includes supervised training and unsupervised training， using artificial synthetic data sets and real haze images to alternately train the network. And the smooth dilated convolution is introduced in the network to improve the receptive field and eliminate grid artifacts. The unsupervised training part is based on the generation of adversarial networks， and Markov discriminator is used to improve the network's ability to recover details. The experimental results show that the proposed algorithm has improved the degree of haze removal and texture definition， which improves the generalization ability of the algorithm to real images.

Keywords：

image restoration; image dehazing; deep learning; semi-supervised learning; generative adversarial net

收稿日期：2021-09-05

基金項目：

國家自然科學(xué)基金 （批準(zhǔn)號：61772294）資助;山東省藝術(shù)科學(xué)重點課題（批準(zhǔn)號：ZD201906108）資助。

通信作者：

魏偉波，男，博士，副教授，主要研究方向為數(shù)字圖像處理、生物特征識別、目標(biāo)識別與跟蹤。E-mail：njustwwb@163.com