物理成像模型的分解合成循環(huán)細(xì)化去霧網(wǎng)絡(luò)

馮燕茹，王一斌

（1. 防災(zāi)科技學(xué)院 信息工程學(xué)院，河北 三河 065201；2. 四川師范大學(xué) 工學(xué)院，四川 成都 610068）

1 引 言

霧天條件下拍攝的戶(hù)外圖像，受大氣中懸浮氣溶膠等顆粒對(duì)光線的散射和吸收作用影響，會(huì)出現(xiàn)對(duì)比度低，色彩飽和度差，細(xì)節(jié)丟失等圖像降質(zhì)問(wèn)題，為后續(xù)計(jì)算機(jī)視覺(jué)任務(wù)，如遙感監(jiān)測(cè)、交通監(jiān)控、目標(biāo)跟蹤與識(shí)別等，帶來(lái)了不利的影響。因此，如何消除霧氣造成的影響，復(fù)原清晰的無(wú)霧圖像具有實(shí)際應(yīng)用價(jià)值和研究意義［1］。

目前，單幅圖像去霧的算法可分為兩類(lèi)：基于先驗(yàn)的圖像去霧算法和基于神經(jīng)網(wǎng)絡(luò)的去霧算法?；谙闰?yàn)的去霧算法以大氣散射物理成像模型為理論依據(jù)，通過(guò)先驗(yàn)信息來(lái)估計(jì)模型中的透射率及大氣光，最終獲取清晰圖像。例如，He 等人提出的暗通道先驗(yàn)Dark Channel Prior（DCP）表明，戶(hù)外圖像中非天空區(qū)域的局部鄰域內(nèi)總有像素的某個(gè)顏色通道具有較低的像素值［2］。Fattal 等人發(fā)現(xiàn)透射率與場(chǎng)景反射不相關(guān)，并由此構(gòu)建求解透射率的約束方程［3］。Meng等人提出了基于邊緣及紋理約束先驗(yàn)Boundary Constraint and Contextual Regularization（BCCR）的去霧算法［4］。Yoon 等人發(fā)現(xiàn)了光的波長(zhǎng)與成像時(shí)場(chǎng)景目標(biāo)的顏色相關(guān)，提出了基于波長(zhǎng)自適應(yīng)先驗(yàn) Wavelength-adapitve Prior（WAP）的圖像去霧算法［5］。然而，依據(jù)觀察或信息統(tǒng)計(jì)獲得的先驗(yàn)信息無(wú)法泛化到所有的霧天場(chǎng)景，算法的魯棒性較差，去霧精度不高。例如，DCP 無(wú)法描述霧圖中白色的前景目標(biāo)，導(dǎo)致估計(jì)的透射率精度較低，去霧結(jié)果存在色差。

隨著深度學(xué)習(xí)的快速發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的圖像去霧算法廣受關(guān)注。例如，Zhang 等人提出了金字塔稠密連接網(wǎng)絡(luò)Densely Connected Pyra?mid Dehazing Network（DCPDN），聯(lián)合估計(jì)透射率，大氣光及清晰圖像［6］。Yin 等人進(jìn)一步將金字塔模塊與編碼解碼網(wǎng)絡(luò)相結(jié)合，提出了Residu?al Dense Pyramid Network（RDPN），它能從霧圖中捕捉有效的上下文信息，以直接估計(jì)清晰圖像［7］。受此啟發(fā)，Chen 等人提出了 Gated Con?text Aggregation Network（GCAN），進(jìn)一步利用門(mén)限融合機(jī)制自適應(yīng)融合多層次的上下文特征來(lái)實(shí)現(xiàn)去霧［8］。隨著研究的深入，Shao［9］和 Yin［10］等人提出了基于先驗(yàn)信息的圖像去霧網(wǎng)絡(luò)。具體來(lái)說(shuō)，Shao 等人提出Domain Adaptation De?hazing Network（DADN），它利用領(lǐng)域自適應(yīng)知識(shí)獲得合成霧圖與真實(shí)霧圖間的分布差異，引導(dǎo)網(wǎng)絡(luò)去霧［9］。而 Yin 等人提出的 Attentive U-Re?current Network（AURN），將循環(huán)網(wǎng)絡(luò)生成的透射率圖視為先驗(yàn)信息，引導(dǎo)后續(xù)的編碼解碼網(wǎng)絡(luò)實(shí)現(xiàn)去霧［10］。雖然此網(wǎng)絡(luò)具有較好的去霧效果，但仍存在以下問(wèn)題：①網(wǎng)絡(luò)僅考慮了透射率對(duì)清晰圖像估計(jì)時(shí)的單向輔助作用，而未考慮清晰圖像對(duì)透射率估計(jì)的輔助作用，從而忽略了透射率與清晰圖像間的依賴(lài)關(guān)系；②網(wǎng)絡(luò)未充分利用透射率與清晰圖像間存在的物理約束，降低了去霧的精度；③多尺度上下文信息未充分利用，約束網(wǎng)絡(luò)表現(xiàn)力和性能。

針對(duì)上述問(wèn)題，本文提出了嵌入大氣散射物理成像模型的分解合成循環(huán)細(xì)化網(wǎng)絡(luò)，該模型由兩個(gè)并行的多尺度金字塔編碼解碼網(wǎng)絡(luò)分支作為結(jié)構(gòu)框架，并將Long Short-Term Memory（LSTM）［11］循環(huán)單元和多尺度金字塔模塊嵌入到兩個(gè)網(wǎng)絡(luò)分支中。為探索透射率與清晰圖像間的依賴(lài)關(guān)系，充分利用兩者滿(mǎn)足的物理約束，該模型分別用兩個(gè)網(wǎng)絡(luò)分支估計(jì)透射率和清晰圖像，并將輸出的透射率，清晰圖像依據(jù)大氣散射物理成像模型合成霧圖，連同估計(jì)的透射率和清晰圖像循環(huán)作為網(wǎng)絡(luò)模型的輸入。使得清晰圖估計(jì)分支能在透射率和合成霧圖的引導(dǎo)下循環(huán)細(xì)化清晰圖像，同時(shí)透射率估計(jì)分支在清晰圖像和合成霧圖的輔助下循環(huán)細(xì)化透射率。其間，為了充分利用多尺度上下文信息，在兩個(gè)多尺度金字塔編碼解碼網(wǎng)絡(luò)的瓶頸處分別插入LSTM循環(huán)單元，增強(qiáng)循環(huán)間的信息交互。另一方面，網(wǎng)絡(luò)最后的多尺度金字塔模塊，能有效地利用多尺度上下文信息預(yù)測(cè)結(jié)果。實(shí)驗(yàn)證明，算法在合成霧圖及真實(shí)圖像上均能取得較好的去霧效果，在視覺(jué)評(píng)價(jià)和客觀評(píng)價(jià)方面優(yōu)于現(xiàn)有的去霧算法。

2 大氣散射物理成像模型

依據(jù)1976 年McCartney 提出的大氣散射物理成像模型，霧天拍攝的降質(zhì)圖像可描述為：

其中：(x，y)為像素的坐標(biāo)位置索引；I為霧天圖像；A為大氣光；J為清晰圖像；t為透射率，它與場(chǎng)景的深度和霧的濃度分布有關(guān)，可表示為：

其中：d(x，y)表示場(chǎng)景的深度，β為散射系數(shù)。t值越小，霧濃度越大；t值越大，霧濃度越小。

由此可知，t和J不但滿(mǎn)足公式（1）的約束關(guān)系，且t中包含的霧濃度信息可作為清晰圖像J估計(jì)的先驗(yàn)信息，而清晰圖像J中包含的深度信息亦可作為透射率t估計(jì)的先驗(yàn)信息。受此啟發(fā)，本文提出嵌入物理成像模型的分解合成循環(huán)細(xì)化去霧網(wǎng)絡(luò)。

3 嵌入物理成像模型的分解合成循細(xì)化網(wǎng)絡(luò)

3.1 算法原理

算法原理如圖1 所示，從中可見(jiàn)，本文所提的去霧算法為分解合成的循環(huán)結(jié)構(gòu)。在循環(huán)開(kāi)始時(shí)，首先輸入初始霧圖，并利用網(wǎng)絡(luò)模型中的透射率估計(jì)分支和清晰圖估計(jì)分支分別從初始霧圖中估計(jì)出透射率和去霧后的清晰圖像，以實(shí)現(xiàn)分解操作；隨后依據(jù)大氣散射物理成像模型（公式（1））將估計(jì)的透射率和清晰圖像合成霧圖，以實(shí)現(xiàn)合成操作；最后，合成的霧圖級(jí)聯(lián)本次循環(huán)時(shí)估計(jì)的透射率和清晰圖像一起作為下次循環(huán)時(shí)網(wǎng)絡(luò)的輸入。循環(huán)執(zhí)行上述過(guò)程，直到循環(huán)數(shù)達(dá)到預(yù)先設(shè)置的最大循環(huán)數(shù)時(shí)停止。此時(shí)，清晰圖估計(jì)分支輸出的去霧結(jié)果，即為算法最終的結(jié)果。

圖1 嵌入物理成像模型的分解合成循環(huán)網(wǎng)絡(luò)模型流程圖Fig.1 Flowchart of decomposition-composition and re?current refinement network based on the physical imaging model

具體來(lái)說(shuō)，本文所提的分解合成循環(huán)細(xì)化網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，主要包括兩個(gè)結(jié)構(gòu)相同的多尺度金字塔編碼解碼網(wǎng)絡(luò)分支，即透射率估計(jì)分支和清晰圖像估計(jì)分支，分別預(yù)測(cè)并循環(huán)細(xì)化透射率和清晰圖像。在網(wǎng)絡(luò)循環(huán)的過(guò)程中，模型將上次循環(huán)時(shí)估計(jì)的透射率，清晰圖像以及合成的霧圖共同作為模型下次循環(huán)的輸入，此操作不但能使上次循環(huán)時(shí)估計(jì)的透射率和清晰圖像分別作為本次循環(huán)時(shí)，清晰圖像估計(jì)分支和清晰圖像估計(jì)分支的引導(dǎo)信息，還能將兩分支估計(jì)結(jié)果合成的霧圖，循環(huán)作為網(wǎng)絡(luò)的輸入，以達(dá)到充分利用兩者間物理約束，實(shí)現(xiàn)去霧的目的。相關(guān)的函數(shù)表示如下：

圖2 嵌入物理成像模型的分解合成循環(huán)細(xì)化網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 The architecture of decomposition-composition and recurrent refinement network based on physical imaging model

其中：n為循環(huán)次數(shù)；tn-1，Jn-1，In-1分別為第n-1 次循環(huán)時(shí)網(wǎng)絡(luò)輸出的透射率，清晰圖像以及合成的霧圖；tn，Jn，In分別為第n次循環(huán)時(shí)獲得透射率，清晰圖像以及合成的霧圖。[?]為級(jí)聯(lián)操作。Ht及Hj分別為透射率估計(jì)分支函數(shù)及清晰圖像估計(jì)分支函數(shù)。

如圖1 所示，n-1 次循環(huán)時(shí)網(wǎng)絡(luò)的輸出tn-1，Jn-1，級(jí)聯(lián)霧圖In-1，作為本次循環(huán)網(wǎng)絡(luò)的輸入，并由公式（3）的Ht和公式（4）的Hj分別預(yù)測(cè)第n次循環(huán)時(shí)的tn和Jn，以實(shí)現(xiàn)分解操作。隨后公式（5）依據(jù)大氣散射物理成像模型（公式（1））將網(wǎng)絡(luò)分支預(yù)計(jì)的tn和Jn合成霧圖In，并進(jìn)一步級(jí)聯(lián)tn和Jn作為n+1 次循環(huán)時(shí)網(wǎng)絡(luò)的輸入，以實(shí)現(xiàn)合成操作。

3.2 多尺度金字塔編碼解碼的網(wǎng)絡(luò)分支

網(wǎng)絡(luò)中透射率估計(jì)分支及清晰圖像估計(jì)分支均具有相同的循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)，即多尺度金字塔的編碼解碼網(wǎng)絡(luò)。它在編碼解碼網(wǎng)絡(luò)中添加了LSTM 循環(huán)單元及多尺度金字塔模塊，以便加強(qiáng)循環(huán)間的信息交互，充分利用多尺度上下文信息。以透射率估計(jì)分支Ht為例，各組件的描述如下：

（1）編碼器

從 輸 入tn-1，Jn-1，In-1提 取 特 征 。 它 包 含 1個(gè)卷積池化層，3 個(gè)稠密模塊?？紤]到卷積池化層組合被廣泛用于圖像分類(lèi)，以實(shí)現(xiàn)空間維度減少，感受野增大，我們?cè)诰W(wǎng)絡(luò)的初始階段設(shè)計(jì)了1個(gè)核為3×3，步長(zhǎng)為2 的卷積層；以及1 個(gè)核為5×5，步長(zhǎng)為2 的最大池化層。隨后，為了最大化信息流，確保網(wǎng)絡(luò)的快速收斂，卷積池化層輸出的信息進(jìn)入 dense-net121 網(wǎng)絡(luò)［6］所提供的 3 個(gè)稠密模塊。這里每個(gè)稠密模塊的最后均包含一個(gè)轉(zhuǎn)換層，以提供下采樣操作。故編碼器輸出的特征大小為輸入圖像大小的1 32。相關(guān)函數(shù)：

其中：Hcp為卷積池化層函數(shù)，He為編碼器中加轉(zhuǎn)換層的稠密模塊函數(shù)，en為第n次循環(huán)編碼器輸出。

（2）LSTM 循環(huán)單元

基于編碼解碼的循環(huán)網(wǎng)絡(luò)，僅利用網(wǎng)絡(luò)的輸出作為輸入來(lái)實(shí)現(xiàn)循環(huán)，忽略了循環(huán)時(shí)中間層信息的交互。為解決該問(wèn)題，我們?cè)诰幋a器與解碼器的中間嵌入卷積LSTM 循環(huán)單元，以便將本次循環(huán)時(shí)中間層捕獲的信息用于下次循環(huán)。

其中：Hlstm為卷積 LSTM 循環(huán)單元的函數(shù)，hn為當(dāng)前第n次循環(huán)時(shí)卷積LSTM 循環(huán)單元的輸出。更多卷積LSTM 循環(huán)單元細(xì)節(jié)詳見(jiàn)3.3 節(jié)。

（3）解碼器

為將特征重構(gòu)為與輸入圖像大小一致的透射率，我們堆疊5 個(gè)稠密模塊［6］來(lái)構(gòu)成解碼器。與編碼器對(duì)應(yīng)，每個(gè)稠密模塊最后都添加一個(gè)上采樣操作，以逐步增大空間維度。相關(guān)函數(shù)如下：

其中：Hd為解碼器中添加了上采樣操作的稠密模塊函數(shù)，dn為當(dāng)前第n次循環(huán)時(shí)解碼器的輸出。

（4）多尺度金字塔模塊

雖然嵌入LSTM 循環(huán)單元的編碼解碼網(wǎng)絡(luò)能充分利用網(wǎng)絡(luò)的中間信息，強(qiáng)化循環(huán)操作間的信息交互，但忽略了霧天場(chǎng)景在不同尺度下的全局信息。受全局上下文信息在目標(biāo)分類(lèi)及圖像分割任務(wù)中應(yīng)用的啟發(fā)［12-14］，在編碼解碼網(wǎng)絡(luò)的最后插入多尺度金字塔模塊，估計(jì)最終結(jié)果。這里，本文不但利用大的池化尺度來(lái)捕捉全局上下文信息，還利用小的池化尺度來(lái)獲取體現(xiàn)場(chǎng)景結(jié)構(gòu)的局部信息。

函數(shù)如下：

其中：HP1，HP2，HP3，HP4為池化層函數(shù)，分別提取池化大小為 1 32，1 16，1 8，1 4 特征；↑ 為上采樣操作，它將池化后的特征上采樣為與輸入圖像大小相同的特征；Hr為映射層，它采用核為3×3，步長(zhǎng)為1 的卷積層將級(jí)聯(lián)的多尺度特征映射為透射率tn。

3.3 卷積LSTM 循環(huán)單元

受文獻(xiàn)［10］啟發(fā)，編碼器及解碼器中間層提取的特征，包含與視覺(jué)任務(wù)相關(guān)的豐富信息，在此處添加LSTM 循環(huán)單元，可最大程度捕獲當(dāng)前循環(huán)時(shí)，與任務(wù)相關(guān)的重要信息，用于下次循環(huán)。這里采用卷積LSTM 實(shí)現(xiàn)該操作，它具有參數(shù)少，實(shí)現(xiàn)簡(jiǎn)單的優(yōu)點(diǎn)。其結(jié)構(gòu)如圖3 所示，包含輸入門(mén)P，輸入門(mén)控制單元G，輸出門(mén)控制單元O和記憶單元C，遺忘門(mén)控制單元R。輸入門(mén)P和輸入門(mén)控制單元G共同控制進(jìn)入記憶單元C的信息；遺忘門(mén)控制單元R控制記憶單元C中的信息被保留或被刪除；輸出門(mén)控制單元O控制從卷積LSTM 中輸出信息。其中P，G，O，R各包含 2 個(gè)卷積層，且2 個(gè)卷積層的輸入分別為編碼器的輸出en（見(jiàn)公式（6））以及第n-1 次循環(huán)時(shí)Hlstm的隱藏狀態(tài)hn-1，而LSTM 的輸出為當(dāng)前第n次循環(huán)時(shí)隱藏狀態(tài)hn（見(jiàn)公式（7））。相同的LSTM 循環(huán)單元同樣嵌入到清晰圖像估計(jì)分支Hd中。

圖3 LSTM 循環(huán)單元結(jié)構(gòu)示意圖Fig.3 The architecture of LSTM recurrent unit

從圖4 可見(jiàn)，在實(shí)現(xiàn)的過(guò)程中，對(duì)于透射率估計(jì)分支和清晰圖像估計(jì)分支而言，第n-1次循環(huán)時(shí)LSTM 輸出的hn-1將作為第n次循環(huán)時(shí)LSTM 輸入，從而加強(qiáng)了循環(huán)時(shí)的信息交互，充分利用了編碼解碼中間層捕獲的豐富信息。

圖4 LSTM 單元的工作機(jī)制Fig.4 The work mechanism of LSTM units

4 損失函數(shù)

考慮到分解合成循環(huán)細(xì)化網(wǎng)絡(luò)在實(shí)施過(guò)程中，涉及到透射率和清晰圖像的分解合成操作，因此損失函數(shù)包括兩部分：透射率和清晰圖像估計(jì)的損失函數(shù)和合成霧圖的損失函數(shù)。假設(shè)i=1，2，…，m分別為一組Ht估計(jì)的透射率和真實(shí)透射率，其中為第n次循環(huán)時(shí)Ht估計(jì)的透射率。故Ht對(duì)應(yīng)的損失函數(shù)Lt表示為：

其中：k為分解合成循環(huán)細(xì)化網(wǎng)絡(luò)的最大循環(huán)次數(shù)，‖ ‖2為 2 范數(shù)操作。

假設(shè)Ii和i=1，2，…，m分別為一組輸入的初始霧圖和合成霧圖，則合成操作對(duì)應(yīng)的損失函數(shù)Lh為：

5 實(shí)驗(yàn)結(jié)果與分析

5.1 數(shù)據(jù)集及實(shí)施細(xì)節(jié)

考慮到本網(wǎng)絡(luò)的訓(xùn)練集需包含霧圖，真實(shí)透射率，清晰圖像，故利用 RESIDE［15］和 data-DCP?DN 數(shù)據(jù)集［6］來(lái)創(chuàng)建本文的訓(xùn)練集及測(cè)試集。從data-DCPDN 選取4 000 對(duì)室內(nèi)霧圖，透射率和清晰圖像，這里霧圖和透射率圖利用公式（1）和公式（2）合成，且合成參數(shù)設(shè)置A∈｛0.5，1.0｝，β∈｛0.4，1.6｝同文獻(xiàn)［6］中參數(shù)設(shè)置。進(jìn)一步從RESIDE 中選擇4000 對(duì)不同霧濃度的室外圖像對(duì)，利用公式（1）和公式（2）合成霧圖和透射率圖時(shí) ，合 成 參 數(shù)A∈｛0.8，0.85，0.9，1.0｝，β∈｛0.04，0.06，0.08，0.1，0.12，0.16，0.2｝取值同文獻(xiàn)［15］。故本文的訓(xùn)練集共包含8000 對(duì)室內(nèi)室 外 圖 像 。 同 理 ，從 RESIDE［15］和 data-DCP?DN［6］額外選取 400 張室外圖像對(duì)和 400 張室內(nèi)圖像對(duì)，組成包含800 對(duì)圖像的測(cè)試集Test O。最后，選取包含不同霧濃度的500 張室內(nèi)圖像及500 張室外圖像的公共測(cè)試集SOTS 來(lái)進(jìn)一步測(cè)試算法性能。

算法在NVIDIA RTX 2080 Ti GPU 的PC機(jī)上，通過(guò)搭建Pytorch 深度學(xué)習(xí)的網(wǎng)絡(luò)框架實(shí)現(xiàn)。網(wǎng)絡(luò)最大循環(huán)次數(shù)n=3。初始J0設(shè)為輸入霧圖I，初始t0設(shè)為初值為0.5 的透射率圖。優(yōu)化算法選用改進(jìn)的梯度下降法Adaptive Moment Estimation（Adam）算法來(lái)更新網(wǎng)絡(luò)模型的參數(shù)，其更新的操作如下所示：

其中：k為時(shí)間步，gk為時(shí)間步為k時(shí)的梯度，mk和vk分別為k時(shí)梯度的一階矩（梯度均值）和二階矩（方差），mk-1和vk-1分別為k-1 時(shí)梯度的一階矩和二階矩估計(jì)，β1和β2分別為一階矩和二階矩的指數(shù)衰減率，θk和θk+1分別為時(shí)間步為k和k+1時(shí)的參數(shù)，η為學(xué)習(xí)率，ε為維持?jǐn)?shù)值穩(wěn)定性而添加的常數(shù)分別為mk和vk的偏差修正。

從公式（14）至公式（16）可見(jiàn)，利用Adam 來(lái)更新網(wǎng)絡(luò)權(quán)重時(shí)，首先利用公式（14）對(duì)梯度gk和梯度平方進(jìn)行滑動(dòng)平均，使得mk和vk的每次更新都與歷史值相關(guān)。隨后，利用公式（15）對(duì)mk和vk進(jìn)行偏差修正。最后，Adam 算法利用學(xué)習(xí)率η及 修 正 的對(duì) 模 型 中 的 參 數(shù)θk進(jìn) 行 更新，獲取θk+1。同其他去霧網(wǎng)絡(luò)［6-7，10］，本文也選用Adam 算法的默認(rèn)參數(shù)β1=0.9，β2=0.999，ε=10-8來(lái)設(shè)置實(shí)施優(yōu)化。

5.2 模型結(jié)構(gòu)及參數(shù)分析

為了選取最優(yōu)的網(wǎng)絡(luò)循環(huán)參數(shù)n，我們分別設(shè)置n=1，2，3，4，5。其中n=1 時(shí)，網(wǎng)絡(luò)無(wú)循環(huán)，此時(shí)清晰圖像估計(jì)分支Hj獲得的結(jié)果即為最終結(jié)果。不同參數(shù)設(shè)置下的模型在SOTS 測(cè)試集上測(cè)得的量化結(jié)果如表1 所示。可見(jiàn)隨著n值的增加，模型的性能逐漸提高，但當(dāng)n≥3 時(shí)，模型的性能逐減穩(wěn)定。為平衡模型的去霧精度及計(jì)算成本，本文設(shè)置網(wǎng)絡(luò)參數(shù)n=3。在此基礎(chǔ)上，進(jìn)一步驗(yàn)證分解合成結(jié)構(gòu)及多尺度金字塔模塊的有效性。首先，我們從模型中移除透射率估計(jì)分支Ht，僅留下清晰圖像估計(jì)分支Hj，故網(wǎng)絡(luò)的分解合成結(jié)構(gòu)去除，第n次循環(huán)時(shí)公式（4）中Hj的輸入更新為Jn-1，對(duì)應(yīng)的變異模型為w/oHt。隨后，我們從初始模型的Ht和Hj中移除多尺度金字塔模塊，使得公式（8）的輸出dn直接進(jìn)入映射層Hr，對(duì)應(yīng)的變異模型為w/op。w/oHt和w/op在SOTS 測(cè)試集上測(cè)得的量化結(jié)果如表1 所示，可 見(jiàn)w/oHt和w/op的 SSIM 值 和 PSRN 值 均 低于初始的網(wǎng)絡(luò)模型（n=3），證明分解合成結(jié)構(gòu)及多尺度金字塔模塊能幫助網(wǎng)絡(luò)性能提升。

表1 不同參數(shù)設(shè)置及網(wǎng)絡(luò)結(jié)構(gòu)的SSIM 和PSNR 值Tab.1 Different parameters setting and network architec?ture in terms of SSIM and PSNR

5.3 透射率結(jié)果對(duì)比

綜上所述，在分解合成循環(huán)細(xì)化網(wǎng)絡(luò)中，透射率估計(jì)分支與清晰圖像估計(jì)分支相互輔助和相互約束，共同生成高精度的透射率圖和清晰圖像。為驗(yàn)證透射率估計(jì)分支的有效性，選取DCP［2］，BCCR［4］，WAP［5］，DCPDN［6］算法的透射率估計(jì)結(jié)果，與本算法透射率估計(jì)結(jié)果相對(duì)比。不同算法在測(cè)試集Test O 和SOTS 的平均SSIM值如表2 所示，從中可見(jiàn)本文算法在所有數(shù)據(jù)集上均具有最高的SSIM 值，透射率估計(jì)的準(zhǔn)確度較高。

表2 不同算法的透射率SSIM 值Tab.2 Transmission map by different algorithms in terms of SSIM

5.4 合成圖像去霧結(jié)果對(duì)比

為驗(yàn)證算法有效性，本小節(jié)選取DADN［9］，DCPDN［6］，GCAN［8］，DNPAB［10］，RDPN［7］算法與所提算法的去霧結(jié)果進(jìn)行對(duì)比。從Test O 中選取的3 幅室內(nèi)和室外霧圖，各算法的視覺(jué)對(duì)比結(jié)果如圖 5 所示。圖 5（b）~5（f）為對(duì)比算法的去霧結(jié)果，圖 5（g）為本文算法結(jié)果，圖 5（h）為真實(shí)清晰圖像。為了更好地觀察去霧效果，圖5 第三行及第五行分別為圖5 第二行及第四行對(duì)應(yīng)圖片的局部放大圖。從中可見(jiàn)，GCAN 算法，RDPN 算法和DNPAB 算法雖能去除霧氣，但去霧結(jié)果仍有明顯的顏色偏移。如第一行圖5（d）的窗簾顏色過(guò)白，圖 5（e）的窗簾呈現(xiàn)藍(lán)綠色，圖 5（f）的窗簾存在明顯的黑影。此外，第五行的圖5（d）和圖5（f）存在顏色過(guò)暗或過(guò)亮的問(wèn)題。DCPDN 算法結(jié)果則存在色彩對(duì)比度過(guò)大的問(wèn)題，如圖5（c）第一行的窗簾頂部為粉紅色，圖5（c）第二行和第四行的天空出現(xiàn)了失真的亮白色。DADN 算法結(jié)果存在明顯的霧殘余，如圖5（b）的第一行和第三行的柜子和人群處的殘霧。相比而言，本文算法能徹底除霧，其去霧結(jié)果（如圖5（g））與真實(shí)結(jié)果（如圖5（h））最接近，視覺(jué)效果最好。圖5 下方標(biāo)出的PSNR/SSIM 值以及表3 列出的各算法在Test O 及SOTS 上的平均量化結(jié)果表明，本文算法在所有數(shù)據(jù)集上均具有最高的PSNR 和SSIM值。以SOTS 數(shù)據(jù)集上測(cè)得的PSNR 為例，本文算法較次優(yōu)的DADN 算法至少提高了12%。

表3 不同算法的去霧結(jié)果Tab.3 Dehazing results by different algorithms

圖5 合成圖去霧結(jié)果對(duì)比（PSNR/SSIM 值標(biāo)于圖像下方，最優(yōu)結(jié)果加黑）Fig.5 The comparison of dehazing results on synthetic images（The PSNR/SSIM values are marked under each image with best results in bold）

5.5 真實(shí)圖像去霧結(jié)果對(duì)比

真實(shí)圖像的去霧結(jié)果如圖6 所示。為了更好的觀察細(xì)節(jié)及色調(diào)信息，第二行和第四行分別展示了第一行，第三行圖像中的局部細(xì)節(jié)。從中可見(jiàn) DADN［9］，GCAN［8］，DNPAB［10］和 RDPN［7］的去霧結(jié)果均存在不同程度的霧殘余，如圖6（b）、6（d）、6（e）和圖 6（f）中第二行的樹(shù)林因霧殘余而導(dǎo)致綠色樹(shù)林的鮮艷度不高，此外第四行的樓房墻壁處也有明顯的霧氣。DCPDN 算法［6］結(jié)果存在對(duì)比度大，局部區(qū)域顏色偏亮的問(wèn)題，如圖6（c）第一行天空顏色明顯失真。本算法結(jié)果（見(jiàn)圖6（g））清晰度和顏色保真度最高。

圖6 真實(shí)圖去霧結(jié)果對(duì)比Fig.6 The comparison of dehazing results on synthetic images

為進(jìn)一步驗(yàn)證本算法處理真實(shí)霧圖的有效性，采用無(wú)參考的圖像質(zhì)量評(píng)估指標(biāo)量化結(jié)果［16］，如圖像對(duì)比度（CG）、視覺(jué)對(duì)比度（VCM）、信息熵（ENT）。CG 體現(xiàn)了圖像的色彩程度，VCM 體現(xiàn)了圖像的可視度，ENT 體現(xiàn)了去霧圖像所包含的信息量。上述三個(gè)指標(biāo)值越高，表明算法的去霧效果越好。表 4 為［6-7］提供的 30 張富有挑戰(zhàn)性的真實(shí)霧圖去霧量化結(jié)果。由此可見(jiàn)，本文算法在三個(gè)指標(biāo)上均具有較高的值，清晰度和對(duì)比度優(yōu)于已有的算法。

表4 不同算法的去霧結(jié)果Tab.4 Dehazing results by different algorithms

6 運(yùn)行時(shí)間

由于本文所提的分解合成循環(huán)細(xì)化網(wǎng)絡(luò)包含分解、合成，循環(huán)細(xì)化操作，因此算法的運(yùn)行時(shí)間值得關(guān)注。本節(jié)比較本文算法與DCP［2］，DADN［9］，DCPDN［6］，GCAN［8］，DNPAB［10］算 法的平均運(yùn)行時(shí)間。值得一提的是，DCP 算法是傳統(tǒng)去霧算法，算法運(yùn)行平臺(tái)為Matlab，其余算法為基于神經(jīng)網(wǎng)絡(luò)的去霧算法，算法運(yùn)行平臺(tái)為Pytorch。傳統(tǒng)算法DCP 可直接運(yùn)行代碼來(lái)實(shí)施去霧，而基于神經(jīng)網(wǎng)絡(luò)的去霧算法，如DADN，DCPDN，GCAN，DNPAB 算法，需預(yù)先訓(xùn)練獲得去霧模型后，再進(jìn)一步進(jìn)行運(yùn)行時(shí)間的對(duì)比。不同算法的單張圖像平均運(yùn)行時(shí)間如表5 所示。從中可見(jiàn)，本算法的運(yùn)行時(shí)間位于第二，明顯優(yōu)于DADN，DCPDN，DCPDN 和 DCP 算法的運(yùn)行時(shí)間。GCAN 因采用單個(gè)編碼解碼網(wǎng)絡(luò)及門(mén)限融合機(jī)制實(shí)施去霧，網(wǎng)絡(luò)結(jié)構(gòu)較輕，算法效率較高，運(yùn)行時(shí)間最短。相比之下，本文算法采用兩個(gè)金字塔多尺度編碼解碼網(wǎng)絡(luò)分別估計(jì)透射率和清晰圖像，較GCAN 算法的運(yùn)行時(shí)間僅相差0.026 s，但算法的精度值，如PSNR，較GCAN提高了近19%。故算法能更好地平衡運(yùn)行時(shí)間和精度。

表5 不同算法的單張圖像平均運(yùn)行時(shí)間Tab.5 Average running time of different methods processing single image

7 結(jié) 論

為充分挖掘去霧先驗(yàn)，探索透射率與清晰圖像間的約束關(guān)系，提高去霧算法的精度，提出了嵌入物理成像模型的分解合成循環(huán)細(xì)化網(wǎng)絡(luò)。此網(wǎng)絡(luò)共包含兩個(gè)結(jié)構(gòu)相同的并行循環(huán)分支：透射率估計(jì)分支及清晰圖像估計(jì)分支。前者估計(jì)透射率，后者估計(jì)清晰圖像。每次循環(huán)時(shí)，兩分支預(yù)測(cè)的透射率及清晰圖像將共同作為網(wǎng)絡(luò)的輸入，因此透射率估計(jì)分支能在包含深度信息的清晰圖像引導(dǎo)下，估計(jì)和優(yōu)化透射率；而清晰圖像估計(jì)分支能在包含霧濃度信息的透射率引導(dǎo)下，估計(jì)和優(yōu)化清晰圖。此外，每次循環(huán)時(shí)兩分支估計(jì)的結(jié)果，將通過(guò)大氣散射物理成像模型合成的霧圖并輸入到網(wǎng)絡(luò)中，以確保透射率估計(jì)分支和清晰圖像估計(jì)分支的預(yù)測(cè)結(jié)果滿(mǎn)足大氣散射物理成像模型的約束關(guān)系。值得一提的是，為了提高各分支的預(yù)測(cè)精度，采用嵌入LSTM 循環(huán)單元的多尺度金字塔編碼解碼網(wǎng)絡(luò)作為分支的框架，它不但能利用LSTM 捕捉每次循環(huán)時(shí)與任務(wù)相關(guān)的豐富信息用于下次循環(huán)，還能利用多尺度金字塔模塊挖掘上下文特征用于透射率估計(jì)和圖像去霧。在合成圖及真實(shí)圖上的測(cè)試表明，本文所提的嵌入物理成像模型的雙向協(xié)助網(wǎng)絡(luò)，能高效估計(jì)透射率和清晰圖像，且去霧精度較已有去霧算法至少提高了12%，單張霧圖的平均處理時(shí)間僅為0.037 s，可用于圖像去霧的工程實(shí)踐中。