基于多先驗(yàn)約束和一致性正則的半監(jiān)督圖像去霧算法

蘇延召 何 川 崔智高 姜 柯 蔡艷平 李艾華

(火箭軍工程大學(xué)作戰(zhàn)保障學(xué)院 西安 710025)

1 引言

在霧、霾等惡劣天氣條件下，視覺(jué)傳感器產(chǎn)生的圖像將出現(xiàn)模糊、對(duì)比度下降等明顯退化現(xiàn)象，進(jìn)而導(dǎo)致目標(biāo)檢測(cè)、語(yǔ)義分割等高層視覺(jué)任務(wù)性能嚴(yán)重下降[1]。因此，在智能交通、無(wú)人駕駛等諸多應(yīng)用領(lǐng)域，圖像去霧不僅要提高去霧圖像的視覺(jué)質(zhì)量，同時(shí)還需保證高層視覺(jué)任務(wù)模型在霧霾等惡劣環(huán)境中的性能[2]。

由于霧霾圖像成像過(guò)程非常復(fù)雜，研究中常采用文獻(xiàn)[3]提出的簡(jiǎn)化物理模型對(duì)霧霾圖像形成進(jìn)行描述。為估計(jì)該模型參數(shù)(大氣透射率和全局光照)進(jìn)而得到復(fù)原圖像，許多研究提出利用統(tǒng)計(jì)先驗(yàn)如暗通道、顏色衰減以及顏色線等對(duì)模型中的透射率參數(shù)進(jìn)行估計(jì)[4–6]。然而由于這些先驗(yàn)并不適用于所有場(chǎng)景，因而其去霧結(jié)果容易出現(xiàn)過(guò)度增強(qiáng)、偽影、顏色偏差等現(xiàn)象。近年來(lái)，大量基于深度學(xué)習(xí)的去霧算法被提出。文獻(xiàn)[7]和文獻(xiàn)[8]分別利用邊緣約束的多尺度網(wǎng)絡(luò)和結(jié)合先驗(yàn)設(shè)計(jì)的網(wǎng)絡(luò)估計(jì)大氣散射模型的透射率參數(shù)，取得了較好的去霧效果。但上述方法均采用傳統(tǒng)方法估計(jì)場(chǎng)景光照信息，容易出現(xiàn)顏色漂移等問(wèn)題。Zhang等人[9]同時(shí)利用兩個(gè)神經(jīng)網(wǎng)絡(luò)分別估計(jì)透射率與大氣光照參數(shù)，進(jìn)而獲得清晰圖像。由于簡(jiǎn)化模型并不能完全描述復(fù)雜霧霾場(chǎng)景，因此該方法容易受參數(shù)估計(jì)噪聲干擾，對(duì)真實(shí)霧霾場(chǎng)景適應(yīng)性不高。

為解決上述問(wèn)題，研究人員提出直接通過(guò)端到端網(wǎng)絡(luò)學(xué)習(xí)將霧霾圖像映射為清晰圖像[10]。文獻(xiàn)[11]和文獻(xiàn)[12]分別提出基于多尺度boosting機(jī)制和基于注意力機(jī)制融合多尺度特征的去霧模型，可直接恢復(fù)清晰結(jié)果。然而，由于沒(méi)有圖像退化機(jī)理模型約束，上述方法不僅需要大量合成樣本進(jìn)行訓(xùn)練，并且容易出現(xiàn)過(guò)擬合現(xiàn)象，在真實(shí)霧霾場(chǎng)景中性能下降明顯。Su等人[13]提出利用傳統(tǒng)先驗(yàn)去霧結(jié)果引導(dǎo)條件生成對(duì)抗網(wǎng)絡(luò)的去霧方法，進(jìn)而提升合成樣本訓(xùn)練模型在真實(shí)場(chǎng)景中的去霧效果。Li等人[14]提出了同時(shí)在合成與真實(shí)霧霾圖像上訓(xùn)練的半監(jiān)督去霧算法，結(jié)果表明該方法在真實(shí)場(chǎng)景具有較好的去霧性能。Shao等人[15]將真實(shí)霧霾與合成霧霾圖像視作不同的域進(jìn)行相互轉(zhuǎn)化，提出了基于領(lǐng)域自適應(yīng)的圖像去霧算法。Chen等人[16]利用多種先驗(yàn)知識(shí)作為約束條件，對(duì)合成樣本上訓(xùn)練的去霧模型進(jìn)行遷移學(xué)習(xí)，有效提高了真實(shí)場(chǎng)景去霧結(jié)果的視覺(jué)質(zhì)量以及高層視覺(jué)任務(wù)性能。

受上述方法啟發(fā)，本文提出基于多先驗(yàn)約束和一致性正則的半監(jiān)督圖像去霧算法。與文獻(xiàn)[14]不同，本文采用多種局部正確的先驗(yàn)去霧結(jié)果作為監(jiān)督約束，能夠更好地恢復(fù)出場(chǎng)景結(jié)構(gòu)信息；與文獻(xiàn)[15]不同，本文無(wú)需針對(duì)不同霧霾場(chǎng)景進(jìn)行領(lǐng)域適應(yīng)，并且取得更好的結(jié)果；與文獻(xiàn)[16]不同，本文進(jìn)一步利用多霧霾圖像及多先驗(yàn)去霧隨機(jī)增強(qiáng)對(duì)局部正確去霧結(jié)果進(jìn)行一致性約束，較好地克服了先驗(yàn)去霧結(jié)果差異以及所含噪聲的干擾，并且同樣可以適應(yīng)多種已有端到端的去霧網(wǎng)絡(luò)結(jié)構(gòu)。

2 本文算法

2.1 算法原理

本文提出的基于多先驗(yàn)約束和一致性正則的半監(jiān)督圖像去霧算法，其總體框架如圖1所示。

圖1 本文算法總體框架示意圖

2.2 去霧網(wǎng)絡(luò)結(jié)構(gòu)

在許多圖像增強(qiáng)與復(fù)原研究中，編碼器-解碼器網(wǎng)絡(luò)是最為常見(jiàn)的一種形式[17,18]。受文獻(xiàn)[19]啟發(fā)，本文在去霧網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)上采用基本的編碼器-殘差-解碼器結(jié)構(gòu)，具體設(shè)計(jì)如表1所示。在編碼器部分，有霧圖像首先通過(guò)由一個(gè)卷積核大小為7，步長(zhǎng)為1的卷積模塊進(jìn)行初始特征提取，然后再利用3個(gè)連續(xù)下采樣卷積塊(卷積核大小為4，步長(zhǎng)為2)將圖像特征分辨率減小為原來(lái)的1/8。為增強(qiáng)去霧網(wǎng)絡(luò)的特征表征能力，本文采用連續(xù)16個(gè)殘差塊作為特征變換模塊以學(xué)習(xí)霧霾特征與清晰圖像特征之間的變換關(guān)系。解碼器與編碼器在結(jié)構(gòu)上保持對(duì)稱，在對(duì)解碼器特征進(jìn)行2倍上采樣(除去最后一個(gè)卷積層)后通過(guò)跳連接與編碼器特征相連，然后再通過(guò)兩個(gè)3×3卷積對(duì)疊加特征進(jìn)行處理，進(jìn)而逐步恢復(fù)出清晰圖像。

表1 本文圖像去霧網(wǎng)絡(luò)結(jié)構(gòu)詳細(xì)設(shè)計(jì)表(數(shù)字表示圖像序號(hào))

2.3 合成霧霾圖像去霧

通過(guò)合成霧霾圖像能夠?qū)W習(xí)霧霾圖像與清晰圖像之間的映射函數(shù)。以JS表示真實(shí)場(chǎng)景清晰圖像，IS表示合成霧霾圖像，fθ(·)表示去霧網(wǎng)絡(luò)，則利用合成霧霾圖像對(duì)fθ(·)進(jìn)行訓(xùn)練，可將輸出結(jié)果與真實(shí)圖像之間的偏差表示為

其中，φ(·)表示損失函數(shù)。常用的圖像處理?yè)p失函數(shù)包括L1, L2損失，但這兩種類型損失將每個(gè)像素視為獨(dú)立變量，并沒(méi)有充分考慮圖像的局部相似性。因此，本文采用負(fù)結(jié)構(gòu)相似性函數(shù)(Structural SIMilarity, SSIM)[20]作為損失函數(shù)，φ(·)可表示為式(2)：

其中，N表示圖像總像素，SSIM(P?)表示區(qū)域P的結(jié)構(gòu)相似性指標(biāo)，P?表示該區(qū)域的中心點(diǎn)。通過(guò)計(jì)算損失函數(shù)值，并將梯度反傳進(jìn)而對(duì)fθ(·)的參數(shù)θ進(jìn)行更新。

2.4 真實(shí)霧霾圖像去霧

由于合成霧霾圖像與真實(shí)霧霾圖像之間存在較大差異，且真實(shí)霧霾圖像缺乏像素級(jí)對(duì)應(yīng)的參考真值，難以直接進(jìn)行監(jiān)督學(xué)習(xí)。為此本文引入多種先驗(yàn)去霧結(jié)果對(duì)真實(shí)場(chǎng)景進(jìn)行監(jiān)督，并通過(guò)多張真實(shí)霧霾圖像隨機(jī)混合與多先驗(yàn)混合輸出的一致性對(duì)多種先驗(yàn)知識(shí)的差異與缺陷進(jìn)行正則，以提高真實(shí)場(chǎng)景去霧效果。

2.4.1 多先驗(yàn)去霧結(jié)果監(jiān)督

傳統(tǒng)去霧方法雖然不適用于所有場(chǎng)景，但具有較好的泛化應(yīng)用能力。如圖2所示，傳統(tǒng)先驗(yàn)去霧結(jié)果在一定程度上已經(jīng)能夠恢復(fù)出真實(shí)霧霾場(chǎng)景的結(jié)構(gòu)信息，但不同先驗(yàn)知識(shí)的側(cè)重點(diǎn)不同，其恢復(fù)結(jié)果也存在明顯差異。

圖2 不同先驗(yàn)去霧方法處理結(jié)果對(duì)比

2.4.2 混合霧霾圖像一致性正則

2.5 總體損失函數(shù)

由于本文方法通過(guò)參數(shù)共享的方式，同時(shí)對(duì)合成樣本與真實(shí)霧霾圖像進(jìn)行訓(xùn)練，因此網(wǎng)絡(luò)訓(xùn)練時(shí)其總體損失函數(shù)包括合成樣本的監(jiān)督損失、真實(shí)霧霾圖像的半監(jiān)督損失以及一致性損失3部分，具體如式(6)所示。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)置

為有效驗(yàn)證所提方法，本文從廣泛使用的圖像去霧訓(xùn)練數(shù)據(jù)集RESIDE[26]中隨機(jī)抽取合成霧霾圖像以及真實(shí)場(chǎng)景的霧霾圖像對(duì)去霧網(wǎng)絡(luò)進(jìn)行訓(xùn)練。RESIDE數(shù)據(jù)集中包括了室內(nèi)與室外的合成數(shù)據(jù)集(ITS和OTS)以及真實(shí)霧霾圖像數(shù)據(jù)集(URHI)，具體訓(xùn)練時(shí)本文分別從ITS和OTS中各抽取1000對(duì)合成樣本，從URHI中抽取2000張真實(shí)霧霾圖像。同時(shí)，對(duì)于真實(shí)霧霾圖像以文獻(xiàn)[21](簡(jiǎn)寫為BDCP)和文獻(xiàn)[22](簡(jiǎn)寫為NLD)的兩種先驗(yàn)去霧方法為例，對(duì)其進(jìn)行去霧，從而得到4000對(duì)真實(shí)霧霾圖像訓(xùn)練樣本。

網(wǎng)絡(luò)訓(xùn)練時(shí)采用Adam優(yōu)化器進(jìn)行優(yōu)化，初始學(xué)習(xí)率為0.0002，每隔5輪訓(xùn)練進(jìn)行線性衰減，總計(jì)訓(xùn)練30輪。每次訓(xùn)練時(shí)輸入合成樣本、真實(shí)樣本以及混合真實(shí)樣本，相當(dāng)于樣本批量大小為4?？傮w損失函數(shù)中的權(quán)重超參數(shù)λ1,λ2,λ3根據(jù)經(jīng)驗(yàn)分別設(shè)置為1, 0.4, 0.4。

算法測(cè)試時(shí)，本文分別選取RESIDE中的SOTS、合成數(shù)據(jù)集HAZERD[27]、真實(shí)場(chǎng)景的IHAZE[28], OHAZE[29], BeDDE數(shù)據(jù)集[30]以及部分傳統(tǒng)真實(shí)霧霾場(chǎng)景對(duì)圖像去霧效果進(jìn)行驗(yàn)證，并與現(xiàn)有代表性算法BDCP[21]，NLD[22], MSBDN[12],SED[14], DAAD[15], PSD[16]進(jìn)行對(duì)比分析。此外，為進(jìn)一步驗(yàn)證圖像去霧對(duì)高層視覺(jué)任務(wù)性能提升能力，本文還在RESIDE的RTTS數(shù)據(jù)集上進(jìn)行目標(biāo)檢測(cè)任務(wù)性能測(cè)試。實(shí)驗(yàn)對(duì)比分析時(shí)，對(duì)圖像去霧結(jié)果評(píng)價(jià)采用常見(jiàn)的SSIM, PSNR(Peak Signal to Noise Ratio)以及文獻(xiàn)[30]提出的VI(Visibility Index)，RI(Realness Index)指標(biāo)進(jìn)行分析，而目標(biāo)檢測(cè)任務(wù)則采用平均準(zhǔn)確率(Average Precision,AP)和總體平均準(zhǔn)確率(mean of Average Precision,mAP)指標(biāo)進(jìn)行結(jié)果對(duì)比。最后，在HAZERD和RTTS數(shù)據(jù)集上對(duì)算法的不同關(guān)鍵部件設(shè)計(jì)進(jìn)行消融實(shí)驗(yàn)驗(yàn)證。

3.2 實(shí)驗(yàn)結(jié)果

3.2.1 圖像去霧實(shí)驗(yàn)

(1)定性實(shí)驗(yàn)結(jié)果

圖3和圖4分別顯示了本文算法在合成數(shù)據(jù)集及真實(shí)場(chǎng)景中與現(xiàn)有代表性算法的定性實(shí)驗(yàn)對(duì)比結(jié)果。

圖3 本文方法與現(xiàn)有代表性方法在合成數(shù)據(jù)集上的去霧處理結(jié)果對(duì)比

圖4 本文方法與現(xiàn)有代表性方法在真實(shí)場(chǎng)景中的去霧處理結(jié)果對(duì)比

從圖3可以看到傳統(tǒng)先驗(yàn)去霧方法存在過(guò)度增強(qiáng)或去霧不充分的問(wèn)題，如圖3(a)中BDCP方法結(jié)果在地面出現(xiàn)明顯的顏色偏差，而圖3(b)中傳統(tǒng)方法在柜子以及墻體等位置均出現(xiàn)了明顯的顏色失真?；谏疃葘W(xué)習(xí)的方法在大量數(shù)據(jù)驅(qū)動(dòng)下能夠較好地恢復(fù)室內(nèi)圖像如圖3(a)和圖3(b)中MSBDN和DAAD的處理結(jié)果。相比較于側(cè)重解決真實(shí)霧霾場(chǎng)景的SED, PSD等方法，本文方法能夠得到視覺(jué)質(zhì)量更好的去霧圖像。在室外場(chǎng)景的去霧結(jié)果中，傳統(tǒng)方法能夠更好地處理場(chǎng)景中遠(yuǎn)處?kù)F霾比較嚴(yán)重的區(qū)域，但其去霧結(jié)果在色調(diào)和亮度等方面出現(xiàn)了明顯偏差(如圖3(c)和圖3(d)所示)。MSBDN方法對(duì)場(chǎng)景中霧比較濃的區(qū)域復(fù)原效果不佳，存在明顯的霧霾殘留。引入真實(shí)霧霾圖像作為訓(xùn)練樣本SED, DAAD以及PSD方法具有一定的遠(yuǎn)景區(qū)域去霧能力，但其去霧結(jié)果仍然存在較多霧霾殘留(如圖3(d)所示)。相比之下，本文方法能夠有效去除參考圖像中存在的部分霧霾(如圖3(c)所示)，并且在亮度、色調(diào)等方面沒(méi)有明顯偏差。圖3(e)和圖3(f)展示了7種去霧方法在合成數(shù)據(jù)集HazeRD中的去霧結(jié)果。從結(jié)果中可以發(fā)現(xiàn)，傳統(tǒng)方法能夠適應(yīng)多種霧霾場(chǎng)景，但其突出問(wèn)題仍然是容易過(guò)度增強(qiáng)，如圖3(f)中NLD去霧結(jié)果。如圖3(e)所示，除了PSD方法外，本文方法與MSBDN, SED, DAAD方法均取得了較好的去霧效果(如場(chǎng)景中的草地部分，色差相對(duì)較小)。圖3(f)中測(cè)試圖像的霧霾程度比較嚴(yán)重，導(dǎo)致SED算法去霧結(jié)果存在明顯的霧霾殘留和偽影區(qū)域，本文方法與DAAD方法對(duì)高樓附近的霧霾區(qū)域具有一定的復(fù)原能力，能夠提升其清晰度。綜合對(duì)比分析，本文方法能夠減少傳統(tǒng)方法過(guò)度去霧的影響，并且能夠泛化到不同合成場(chǎng)景。

圖4為不同方法在真實(shí)場(chǎng)景中的圖像去霧結(jié)果對(duì)比示意。從圖中可以發(fā)現(xiàn)傳統(tǒng)方法BDCP和NLD雖然能夠恢復(fù)場(chǎng)景結(jié)構(gòu)信息，但其去霧圖像呈現(xiàn)明顯的過(guò)度增強(qiáng)。如圖4(a)—圖4(f)所示，BDCP方法其去霧圖像整體偏亮，而NLD方法的去霧結(jié)果則相對(duì)較暗。相比之下，MSBDN方法在真實(shí)場(chǎng)景中其去霧圖像存在明顯殘留，如圖4(b)中樹(shù)林區(qū)域和圖4(f)中遠(yuǎn)景區(qū)。SED方法利用了先驗(yàn)知識(shí)與真實(shí)場(chǎng)景數(shù)據(jù)進(jìn)行訓(xùn)練，其去霧結(jié)果明顯好于MSBDN。但如圖4(a)、圖4(b)所示，由于暗通道先驗(yàn)的約束會(huì)導(dǎo)致圖像整體偏暗，在樹(shù)林局部區(qū)域以及火車頭附近其亮度存在明顯區(qū)別，此外在圖中還可以發(fā)現(xiàn)較多的霧霾殘留。DAAD方法和PSD方法的去霧結(jié)果相對(duì)比較自然。與PSD方法相比，DAAD方法去霧相對(duì)比較徹底，但面對(duì)不同真實(shí)場(chǎng)景時(shí)，部分結(jié)果(如圖4(c)和圖4(d)所示)也出現(xiàn)了明顯的顏色漂移。不同于上述方法，本文方法的去霧結(jié)果在視覺(jué)效果上更貼近于真實(shí)場(chǎng)景，去霧效果明顯優(yōu)于其他方法，說(shuō)明本文方法能夠較好克服局部正確先驗(yàn)去霧結(jié)果存在的不足與多種先驗(yàn)知識(shí)之間差異，并且能夠較好地泛化到不同的真實(shí)霧霾場(chǎng)景。

(2)定量實(shí)驗(yàn)結(jié)果

為了進(jìn)一步對(duì)所提算法性能進(jìn)行驗(yàn)證，本文分別在合成數(shù)據(jù)集與真實(shí)場(chǎng)景霧霾圖像數(shù)據(jù)集上進(jìn)行了定量實(shí)驗(yàn)對(duì)比分析。表2為不同方法在合成與真實(shí)圖像數(shù)據(jù)上的定量對(duì)比結(jié)果，其中所選擇的評(píng)價(jià)指標(biāo)值越大，說(shuō)明去霧圖像質(zhì)量越好。

從表2可以看到，在合成數(shù)據(jù)集SOTS上，總體性能最好的是深度學(xué)習(xí)算法MSBDN，本文方法排在第3位，與基于領(lǐng)域適應(yīng)的DAAD方法和半監(jiān)督方法SED基本相當(dāng)。其主要原因在于MSBDN方法采用了大量成對(duì)合成樣本進(jìn)行訓(xùn)練，并且對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行精心設(shè)計(jì)，而本文方法只使用了2000對(duì)合成樣本與4000對(duì)真實(shí)場(chǎng)景霧霾圖像對(duì)常規(guī)的編碼器與解碼器網(wǎng)絡(luò)進(jìn)行優(yōu)化訓(xùn)練。但在合成數(shù)據(jù)集HAZERD上，本文方法的SSIM指標(biāo)最優(yōu)，PSNR指標(biāo)排名第2。與MSBDN, PSD, BDCP, NLD等方法相比，本文方法具有更好的泛化能力。對(duì)于IHAZE, OHAZE以及BeDDE等真實(shí)場(chǎng)景霧霾測(cè)試數(shù)據(jù)，本文方法同樣在VI, SSIM等指標(biāo)上優(yōu)于MSBDN, PSD以及SED方法，與典型代表算法DAAD基本相當(dāng)，但本文方法在VI以及SSIM指標(biāo)上略微優(yōu)于DAAD。上述定量分析結(jié)果進(jìn)一步驗(yàn)證了本文方法對(duì)真實(shí)霧霾場(chǎng)景的有效性。

表2 圖像去霧定量實(shí)驗(yàn)結(jié)果對(duì)比(紅色表示第1，綠色表示第2，藍(lán)色表示第3)

3.2.2 霧霾圖像目標(biāo)檢測(cè)實(shí)驗(yàn)

本文在圖像去霧視覺(jué)質(zhì)量實(shí)驗(yàn)對(duì)比的基礎(chǔ)上，進(jìn)一步分析對(duì)比了7種去霧方法對(duì)霧霾圖像目標(biāo)檢測(cè)任務(wù)性能的提升能力。參照文獻(xiàn)[16]和文獻(xiàn)[14]，本文采用YOLO V3[31]作為目標(biāo)檢測(cè)器，在RTTS數(shù)據(jù)集上將7種去霧方法處理之后的圖像送入目標(biāo)檢測(cè)器，并對(duì)人(person)、自行車(bicycle)、摩托車(motorbike)、小汽車(car)以及公交車(bus)5類目標(biāo)的檢測(cè)精度進(jìn)行對(duì)比，其結(jié)果如表3所示。

從表3結(jié)果可以看到，傳統(tǒng)方法對(duì)圖像進(jìn)行去霧之后，其目標(biāo)檢測(cè)結(jié)果準(zhǔn)確率反而低于未進(jìn)行去霧的檢測(cè)結(jié)果，其可能原因是傳統(tǒng)方法通常會(huì)過(guò)度增強(qiáng)霧霾圖像，在提升視覺(jué)質(zhì)量的同時(shí)也放大了噪聲，甚至破壞了圖像的局部空間結(jié)構(gòu)?；谏疃葘W(xué)習(xí)的去霧方法通常能夠提升目標(biāo)檢測(cè)準(zhǔn)確率，但從表3可以看到提升的比例并不高，單純基于數(shù)據(jù)驅(qū)動(dòng)的MSBDN方法僅能提升0.27%。在所有方法中，本文方法對(duì)目標(biāo)檢測(cè)準(zhǔn)確率的提升最為明顯，達(dá)到1.28%，PSD方法排名第2，能夠提升0.69%。綜合前文結(jié)果可以發(fā)現(xiàn)，雖然PSD方法的視覺(jué)質(zhì)量定量指標(biāo)不高，但對(duì)于目標(biāo)檢測(cè)任務(wù)卻有較好提升，超過(guò)了DAAD與SED方法，說(shuō)明對(duì)于高層視覺(jué)任務(wù)圖像的視覺(jué)質(zhì)量不一定是影響其性能的關(guān)鍵。

表3 霧霾圖像目標(biāo)檢測(cè)實(shí)驗(yàn)結(jié)果對(duì)比(紅色表示第1，綠色表示第2，藍(lán)色表示第3)

3.2.3 消融實(shí)驗(yàn)

為了充分說(shuō)明設(shè)計(jì)提出方法的有效性，本文在BeDDE和RTTS兩個(gè)真實(shí)數(shù)據(jù)集上分別對(duì)不同的變體方法進(jìn)行圖像增強(qiáng)以及霧霾場(chǎng)景目標(biāo)檢測(cè)消融實(shí)驗(yàn)分析。實(shí)驗(yàn)對(duì)比包括一個(gè)基準(zhǔn)去霧網(wǎng)絡(luò)和4類變體：(1)基準(zhǔn)方法：利用表1的去霧網(wǎng)絡(luò)作為基準(zhǔn)進(jìn)行監(jiān)督學(xué)習(xí)，即不利用真實(shí)場(chǎng)景霧霾圖像進(jìn)行訓(xùn)練；(2)變體1：在基準(zhǔn)方法基礎(chǔ)上結(jié)合真實(shí)霧霾圖像進(jìn)行半監(jiān)督學(xué)習(xí)，但不引入先驗(yàn)去霧結(jié)果，只是通過(guò)真實(shí)圖像去霧隨機(jī)拼接進(jìn)行一致性約束；(3)變體2：在變體1的基礎(chǔ)上，引入一種先驗(yàn)去霧結(jié)果(如文獻(xiàn)[21])進(jìn)行監(jiān)督，同時(shí)保留一致性約束；(4)變體3：變體2的基礎(chǔ)上將先驗(yàn)去霧方法替換為文獻(xiàn)[22]的方法；(5)變體4：在變體3的基礎(chǔ)上進(jìn)一步引入兩種先驗(yàn)去霧結(jié)果進(jìn)行監(jiān)督，不采用一致性正則；(6)按照本文所提方法進(jìn)行訓(xùn)練。消融實(shí)驗(yàn)結(jié)果如表4所示。從表中結(jié)果可以看到，變體1能夠提升去霧網(wǎng)絡(luò)的泛化性能以及目標(biāo)檢測(cè)任務(wù)性能，表明加入真實(shí)場(chǎng)景霧霾圖像進(jìn)行一致性正則訓(xùn)練對(duì)去霧有益。變體2和變體3的實(shí)驗(yàn)結(jié)果表明，引入先驗(yàn)去霧圖像作為監(jiān)督標(biāo)簽后，對(duì)比原始先驗(yàn)去霧結(jié)果不論在圖像視覺(jué)質(zhì)量還是對(duì)于高層視覺(jué)任務(wù)提升上均有提高，說(shuō)明結(jié)合數(shù)據(jù)學(xué)習(xí)與先驗(yàn)知識(shí)進(jìn)行去霧能夠取得更好的去霧效果。在此基礎(chǔ)上，變體4的結(jié)果表明通過(guò)結(jié)合兩種先驗(yàn)去霧方法能夠進(jìn)一步增強(qiáng)圖像去霧性能，說(shuō)明通過(guò)數(shù)據(jù)驅(qū)動(dòng)能夠自動(dòng)從多種先驗(yàn)去霧結(jié)果學(xué)習(xí)其共性特征，從而更好地適應(yīng)真實(shí)去霧場(chǎng)景。本文方法在變體4的基礎(chǔ)上進(jìn)一步利用一致性約束方式對(duì)兩種先驗(yàn)之間的差異進(jìn)行正則，增強(qiáng)了去霧模型訓(xùn)練的穩(wěn)定性，并能夠微弱提升去霧網(wǎng)絡(luò)的性能。

表4 消融實(shí)驗(yàn)結(jié)果對(duì)比

3.2.4 其他場(chǎng)景去霧霾測(cè)試

本文方法雖然在城市場(chǎng)景中進(jìn)行訓(xùn)練，但對(duì)于其他圖像退化場(chǎng)景如水下霧霾圖像以及沙塵天氣不加微調(diào)也能進(jìn)行增強(qiáng)，得到視覺(jué)效果較好的清晰圖像，其結(jié)果如圖5所示[32]。從圖5可以看到，本文方法能夠較好地克服水下以及沙塵天氣的退化圖像導(dǎo)致的模糊、對(duì)比度下降等問(wèn)題，但從結(jié)果中也可以看出，對(duì)于水下以及沙塵天氣導(dǎo)致的顏色偏差，本文方法無(wú)法有效恢復(fù)出對(duì)應(yīng)的清晰顏色。因此對(duì)于特殊的退化場(chǎng)景還需要針對(duì)性建模和訓(xùn)練，從而消除惡劣環(huán)境導(dǎo)致的顏色差異。

圖5 本文方法在其他場(chǎng)景去霧霾結(jié)果

3.2.5 算法運(yùn)行時(shí)間分析

本文通過(guò)統(tǒng)一的測(cè)試環(huán)境對(duì)5種基于深度學(xué)習(xí)的去霧方法的運(yùn)行時(shí)間進(jìn)行驗(yàn)證分析。測(cè)試采用SOTS 500張室內(nèi)圖像去霧，以其平均時(shí)間作為每種去霧方法的運(yùn)行時(shí)間。測(cè)試對(duì)比結(jié)果如表5所示，從表中可以看到本文算法運(yùn)行時(shí)間低于MSBDN,PSD以及DAAD 3種代表性算法，對(duì)于620×460大小的圖片處理時(shí)間約為0.028 s，且本文所提算法性能與上述方法基本相當(dāng)，因而從整體上看本文所提方法在實(shí)際應(yīng)用中具有一定優(yōu)勢(shì)。

表5 5種去霧方法運(yùn)行時(shí)間對(duì)比(s)

4 結(jié)論

本文以提升真實(shí)霧霾場(chǎng)景中的圖像去霧及高層視覺(jué)任務(wù)性能為目標(biāo)，提出了一種基于多先驗(yàn)約束和一致性正則的半監(jiān)督圖像去霧算法。本文方法的主要貢獻(xiàn)如下：(1)提出利用去霧網(wǎng)絡(luò)參數(shù)共享的方式分別對(duì)合成圖像與真實(shí)霧霾圖像進(jìn)行訓(xùn)練，并通過(guò)多種先驗(yàn)去霧結(jié)果與一致性正則增強(qiáng)了網(wǎng)絡(luò)對(duì)真實(shí)霧霾圖像的去霧效果；(2)提出一種利用局部正確的多先驗(yàn)去霧結(jié)果半監(jiān)督方法，通過(guò)數(shù)據(jù)驅(qū)動(dòng)的方式自動(dòng)學(xué)習(xí)多種先驗(yàn)去霧的共性優(yōu)點(diǎn)，從而較好地恢復(fù)霧霾圖像的結(jié)構(gòu)信息，增強(qiáng)去霧模型在真實(shí)場(chǎng)景中的泛化能力；(3)提出一種基于隨機(jī)混合增強(qiáng)的一致性正則方法，能夠消除多種先驗(yàn)去霧結(jié)果的偏差以及去霧噪聲的影響，提升圖像去霧質(zhì)量。實(shí)驗(yàn)結(jié)果表明，本文方法能夠有效提高真實(shí)場(chǎng)景圖像去霧視覺(jué)效果以及高層視覺(jué)任務(wù)性能，具有較強(qiáng)的泛化能力。后續(xù)還將進(jìn)一步研究將圖像去霧作為高層視覺(jué)任務(wù)的預(yù)處理步驟，其增強(qiáng)結(jié)果對(duì)高層視覺(jué)任務(wù)提升不明顯的問(wèn)題，以解決惡劣天氣條件下通用視覺(jué)模型應(yīng)用瓶頸。