基于遷移學(xué)習(xí)的三子網(wǎng)圖像去霧方法

武明虎 丁 暢 王 娟 陳關(guān)海 劉子杉 郭力權(quán)

(湖北工業(yè)大學(xué)湖北能源互聯(lián)網(wǎng)工程技術(shù)研究中心 武漢 430068)

(湖北工業(yè)大學(xué)太陽能高效利用與儲(chǔ)能運(yùn)行控制湖北省實(shí)驗(yàn)室 武漢 430068)

1 引言

霧霾天氣中大量懸浮粒子會(huì)對(duì)大氣光產(chǎn)生反射、折射、吸收等作用，降低場(chǎng)景的能見度，導(dǎo)致在視覺采集過程中得到的圖像細(xì)節(jié)模糊，圖像對(duì)比度低，場(chǎng)景色彩失真，圖像信息丟失等問題，因此對(duì)采集后圖像進(jìn)行去霧復(fù)原處理至關(guān)重要。在去霧算法中，通常使用大氣散射模型[1]描述霧霾圖像與無霧圖像之間的關(guān)系

早期用于去霧的圖像增強(qiáng)方法包括直方圖均化[2]、同態(tài)濾波[3]、小波變換[4]和Retinex[5]等，該類算法基于圖像的低對(duì)比度、低飽和度等特點(diǎn)通過增強(qiáng)圖像中的有用信息而抑制或刪除不需要的信息來提高圖像質(zhì)量和圖像清晰度。而后基于先驗(yàn)知識(shí)的方法在去霧工作上利用模型中參數(shù)的特征作為假設(shè)，使參數(shù)可解。暗原色(Dark Channel Prior, DCP)[6]先驗(yàn)算法是基于先驗(yàn)知識(shí)的霧霾圖像復(fù)原方法的典型代表，以局部區(qū)域的最小值作為疊加環(huán)境光的初步估計(jì)，結(jié)合大氣散射模型的邊緣優(yōu)化算法可以直接恢復(fù)無霧圖像。最大化局部對(duì)比度算法(Maximum Contrast, MC)[7]基于無霧圖像比霧圖像對(duì)比度高的特點(diǎn)，提高了霧圖像的對(duì)比度，獲得了高能見度的圖像。近年傳統(tǒng)方法，楊燕等人[8]使用改進(jìn)后的暗通道模型自適應(yīng)地估算并擬合獲取暗通道圖像，以得到最佳透射率用于霧圖復(fù)原。Raikwar等人[9]將傳輸估計(jì)問題轉(zhuǎn)化為模糊圖像與無霧圖像最小顏色通道差的估計(jì)用于圖像去霧工作。

隨后出現(xiàn)的基于深度學(xué)習(xí)的方法在低級(jí)圖像處理領(lǐng)域上進(jìn)行實(shí)驗(yàn)后，發(fā)現(xiàn)其效果對(duì)比于傳統(tǒng)方法在圖像去霧、去模糊[10]和去噪等小方向上得到了處理速度和圖像質(zhì)量的進(jìn)步，去霧算法通過網(wǎng)絡(luò)自行學(xué)習(xí)圖像與圖像之間的特征對(duì)應(yīng)關(guān)系從而達(dá)到快速且有效果的圖像去霧目的。DehazeNet[11]作為早期使用了神經(jīng)網(wǎng)絡(luò)和先驗(yàn)知識(shí)結(jié)合的網(wǎng)絡(luò)，使用多尺度的深層卷積神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)霧圖到透射率之間的映射關(guān)系。端到端去霧算法(an All-in-One Network,AOD-Net)[12]是首個(gè)將端到端網(wǎng)絡(luò)使用在深度學(xué)習(xí)去霧中的算法，提出了一種通過估計(jì)參數(shù)K來恢復(fù)無霧圖像的卷積神經(jīng)網(wǎng)絡(luò)，其為網(wǎng)絡(luò)的端到端和輕量化提供了設(shè)計(jì)思路。密集金字塔去霧算法(Densely Connected Pyramid Dehazing Network, DCPDN)[13]提出了帶邊緣保留的金字塔編碼器-解碼器網(wǎng)絡(luò)結(jié)構(gòu)，通過邊緣保留損失函數(shù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練優(yōu)化，同時(shí)由于大氣散射模型估計(jì)的透射率與霧圖相關(guān)，算法還使用了生成對(duì)抗網(wǎng)絡(luò)對(duì)樣本進(jìn)行判定。Grid-DehazeNet[14]提出了一種端到端可訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)，算法中可訓(xùn)練預(yù)處理模塊相較于手工選擇的預(yù)處理方法，可以產(chǎn)生更加豐富的信息多樣性和更強(qiáng)針對(duì)性的輸入。主干模塊使用了新的基于注意力機(jī)制的多尺度估計(jì)方法，極大地解決了傳統(tǒng)圖像多尺度方法中的信息傳遞問題。密集特征融合多尺度增強(qiáng)去霧網(wǎng)絡(luò)(Multi-Scale Boosted Dehazing Network, MSBDN)[15]提出了一種基于U-Net的具有密集特征融合的多尺度增強(qiáng)去霧網(wǎng)絡(luò)，基于boosting和誤差反饋原理設(shè)計(jì)，并在模型解碼器中使用增強(qiáng)-操作-減去(strengthen-operate-subtract)策略用于圖像去霧。兩階段弱監(jiān)督去霧算法(RefineDNet)[16]將基于先驗(yàn)和基于深度學(xué)習(xí)的知識(shí)進(jìn)行結(jié)合，并將去霧分為兩個(gè)子任務(wù)，包括能見度恢復(fù)和真實(shí)度提高，算法通過暗通道恢復(fù)圖像可見性，再使用對(duì)抗學(xué)習(xí)提高圖像真實(shí)感，最后使用感知融合用于混合多類信息以得到最終去霧輸出。除去以上算法外還使用了集成學(xué)習(xí)的算法、兩分支去霧算法(Two-Branch)[17]、域適應(yīng)算法(Domain Adaptation,DA)[18]、基于生成對(duì)抗網(wǎng)絡(luò)或?qū)箤W(xué)習(xí)的算法融合鑒別器的生成對(duì)抗網(wǎng)絡(luò)(Fusion-Discriminator GAN, FD-GAN)[19]、非齊次離散小波變換去霧網(wǎng)絡(luò)(Discrete Wavelet transform GAN, DW-GAN)[20]和基于潛在集成結(jié)構(gòu)和對(duì)抗學(xué)習(xí)的深度去霧網(wǎng)絡(luò)(Deep Dehazing Network, DDN)[21]，視頻去霧算法[22]等適用于去霧工作。

大自然界中絕大多數(shù)圖像都有著相似的特性，例如圖像花叢部分經(jīng)常呈現(xiàn)高對(duì)比度和較為劇烈的邊緣改變特性等，因此遷移學(xué)習(xí)可以通過使用現(xiàn)有研究中他人已經(jīng)在自然界圖像中學(xué)習(xí)到的特征進(jìn)一步對(duì)特定圖像數(shù)據(jù)集有針對(duì)性地訓(xùn)練以減少網(wǎng)絡(luò)的初始化和起步階段的試錯(cuò)困難程度。基于此，本文將遷移學(xué)習(xí)用于去霧工作中，使得模型快速學(xué)習(xí)自然界中圖像色彩規(guī)律，保證去霧算法模型處理后的圖像更加貼近自然圖像。

模型的遷移學(xué)習(xí)體現(xiàn)在使用ImageNet[23]已學(xué)習(xí)后的初步參數(shù)作為本文模型中編碼器初始參數(shù)以替代隨機(jī)參數(shù)，以此縮短網(wǎng)絡(luò)初步學(xué)習(xí)困難度并規(guī)范網(wǎng)絡(luò)學(xué)習(xí)方向。通過這種方法可以做到克服現(xiàn)有算法中出現(xiàn)的長(zhǎng)時(shí)間訓(xùn)練和數(shù)據(jù)集針對(duì)性等問題。本文的主要?jiǎng)?chuàng)新點(diǎn)如下：

(1)通過遷移學(xué)習(xí)的方法降低網(wǎng)絡(luò)訓(xùn)練過程中的不確定性和困難程度，避免了網(wǎng)絡(luò)初始化時(shí)的隨機(jī)參數(shù)給網(wǎng)絡(luò)訓(xùn)練目標(biāo)帶來的偏差，加速網(wǎng)絡(luò)收斂過程。同時(shí)，使用少量數(shù)據(jù)圖像訓(xùn)練得到良好的模型質(zhì)量，增強(qiáng)網(wǎng)絡(luò)模型在實(shí)際工作中使用的可行性。

(2)本文提出的3子網(wǎng)各有側(cè)重，缺一不可。模型使用整體特征子網(wǎng)增強(qiáng)網(wǎng)絡(luò)在全局特征提取上的能力。使用平滑膨脹卷積和大尺度卷積保證模型擁有更大的卷積感受野，有效避免網(wǎng)格偽影，達(dá)到去霧圖像擁有更均衡的整體特征信息的目的。實(shí)驗(yàn)結(jié)果證明了3子網(wǎng)集成的有效性。

2 相關(guān)理論

2.1 遷移學(xué)習(xí)

遷移學(xué)習(xí)作為一種機(jī)器學(xué)習(xí)思想，具體實(shí)行過程為將某個(gè)領(lǐng)域、工作上已學(xué)習(xí)到的知識(shí)或參數(shù)應(yīng)用到相似問題中的網(wǎng)絡(luò)模型中幫助新模型的訓(xùn)練。因?yàn)橄嗨茊栴}中大部分?jǐn)?shù)據(jù)是具有相關(guān)性的，故使用遷移學(xué)習(xí)可以加速模型的訓(xùn)練過程。其中遷移學(xué)習(xí)使用的手段包含以下：(1)Transfer learning，固定預(yù)訓(xùn)練模型中的全部卷積層，單獨(dú)訓(xùn)練新模型的全連接層。(2)Extract feature vector，首先提取出預(yù)訓(xùn)練模型對(duì)于參數(shù)的特征向量，再訓(xùn)練新模型的簡(jiǎn)易網(wǎng)絡(luò)。(3)Fine-tuning，固定預(yù)訓(xùn)練模型中部分卷積網(wǎng)絡(luò)層，只對(duì)其余網(wǎng)絡(luò)層進(jìn)行訓(xùn)練。將遷移學(xué)習(xí)嵌入去霧算法可以達(dá)到快速訓(xùn)練和更佳的模型處理效果的結(jié)果，模型對(duì)于含霧圖像的復(fù)原過程中，可以得到更加貼近于自然色彩結(jié)構(gòu)的去霧圖像。

2.2 集成學(xué)習(xí)

機(jī)器學(xué)習(xí)中被訓(xùn)練模型常出現(xiàn)單獨(dú)偏好的情況，這表明了單一的常用模型對(duì)于多方面任務(wù)并沒有完全的掌握能力。而集成學(xué)習(xí)則是通過構(gòu)建、結(jié)合多個(gè)學(xué)習(xí)器集眾家之所長(zhǎng)來完成多方面需求任務(wù)，如果算法能達(dá)到適當(dāng)?shù)亩鄻有?，每個(gè)學(xué)習(xí)器(子網(wǎng))的誤差不同，通過一定的策略進(jìn)行組合可以達(dá)到減少總體誤差，增強(qiáng)模型最終效果的作用。集成學(xué)習(xí)可以用于分類、特征選取和檢測(cè)等各類機(jī)器學(xué)習(xí)、深度學(xué)習(xí)問題，集成學(xué)習(xí)可分類為Bagging，Boosting和Stacking。集成學(xué)習(xí)用于去霧算法中可以將多種針對(duì)不同圖像特征的子網(wǎng)進(jìn)行結(jié)合，綜合各類子網(wǎng)關(guān)注特征以達(dá)到單一算法完成各類圖像特征學(xué)習(xí)的作用。

3 網(wǎng)絡(luò)結(jié)構(gòu)

本節(jié)將詳細(xì)介紹本文模型結(jié)構(gòu)，包括網(wǎng)絡(luò)中的3子網(wǎng)：殘差特征子網(wǎng)、局部特征子網(wǎng)和整體特征子網(wǎng)，并在尾部進(jìn)行融合。由于本模型主要側(cè)重于像素級(jí)圖像信息復(fù)原，全局特征作為信息補(bǔ)充子網(wǎng)權(quán)重占比略小，因此算法設(shè)定3者比例為1:1:0.5。局部特征子網(wǎng)因?yàn)槠鋵?duì)于圖像細(xì)節(jié)特征的把控能力，其去霧圖像在物體細(xì)節(jié)邊沿及顏色的保留程度較高，但是過于注重局部特征而導(dǎo)致較大像素級(jí)的目標(biāo)信息保留不完整，因此本文在其基礎(chǔ)上加上了整體特征子網(wǎng)，其與局部特征子網(wǎng)相結(jié)合以達(dá)到大小目標(biāo)信息都能得到保留的目的。如圖1所示。

3.1 殘差特征子網(wǎng)絡(luò)

在Res2Net[24]被提出后，殘差網(wǎng)絡(luò)結(jié)構(gòu)被應(yīng)用于各類主流網(wǎng)絡(luò)模型之中用于網(wǎng)絡(luò)訓(xùn)練過程中更新過的梯度的相關(guān)性保留，以便網(wǎng)絡(luò)更好地進(jìn)行擬合學(xué)習(xí)，編碼器-解碼器結(jié)構(gòu)作為常規(guī)的特征提取結(jié)構(gòu)被應(yīng)用于本文網(wǎng)絡(luò)中，將以上兩者結(jié)合成殘差特征提取子網(wǎng)絡(luò)。

從模型處理效率方面考慮，模型將局部特征子網(wǎng)的殘差通道注意力組和殘差通道注意力塊數(shù)量分別置為3和5，在保證圖像質(zhì)量的前提下控制模型參數(shù)、提高處理效率。

為了盡可能多地保留圖像信息，因此沒有使用上下采樣的步驟。在殘差連接的編碼器部分，在訓(xùn)練開始前預(yù)先加載ImageNet預(yù)訓(xùn)練模型參數(shù)，與隨機(jī)的初始化的參數(shù)相比，ImageNet中的參數(shù)將會(huì)更好地幫助提取并學(xué)習(xí)特征。對(duì)于殘差網(wǎng)絡(luò)的調(diào)用而言，本文模型采用的是Res2Net，16次下采樣的前端。

3.2 局部特征子網(wǎng)

由于上節(jié)中的子網(wǎng)使用編碼器-解碼器結(jié)構(gòu)只能提取基礎(chǔ)的圖像特征信息，而更加精細(xì)的物體信息無法進(jìn)行學(xué)習(xí)，因此在本節(jié)中將殘差通道注意力模塊應(yīng)用于其中，該部分所提取的精細(xì)的圖像特征可作為殘差特征提取子網(wǎng)絡(luò)的信息補(bǔ)充。為了盡可能多地保留細(xì)節(jié)圖像信息，本文使用了CBL(卷積+批量歸一化+LeakyReLU)模塊，通過Leaky-ReLU激活函數(shù)給負(fù)值賦予非零的斜率，在子網(wǎng)輸入部分作用于保留圖像信息。

局部特征子網(wǎng)首先由CBL模塊作為輸入的第1個(gè)處理模塊，再用4個(gè)殘差編碼塊對(duì)輸入特征圖進(jìn)行特征提取和3次下采樣，縮小特征圖大小，然后經(jīng)過4個(gè)通道注意力模塊進(jìn)行3次上采樣達(dá)到圖像局部特征的精細(xì)處理的目的，最后將還原后的特征圖加入尾部進(jìn)行融合。

3.3 整體特征子網(wǎng)

以上兩類子網(wǎng)，通過遷移學(xué)習(xí)和注意力機(jī)制將網(wǎng)絡(luò)的訓(xùn)練目標(biāo)轉(zhuǎn)移到小目標(biāo)、小感受野的環(huán)境中。網(wǎng)絡(luò)層傳遞過程中卷積核所對(duì)應(yīng)的圖像感受野較小，網(wǎng)絡(luò)中較多注意力集中于局部特征而忽略圖像中局部特征相關(guān)性。因此，3子網(wǎng)模型中添加了整體特征子網(wǎng)作為信息補(bǔ)充子網(wǎng)，該子網(wǎng)使用膨脹卷積[25]和少量5×5大尺度卷積代替殘差特征子網(wǎng)和局部特征子網(wǎng)中常用的3×3卷積核，以增加卷積過程中卷積核的感受野并避免出現(xiàn)網(wǎng)格偽影。膨脹卷積和大尺度卷積的多次使用保證了網(wǎng)絡(luò)層的深度。算法保留了平滑膨脹卷積塊中5層中的第1,3,5層在門控融合塊中進(jìn)行了信息融合，進(jìn)一步增強(qiáng)不同層次圖像信息的保留程度。

同時(shí)，為了保持模型整體參數(shù)量不激增，整體特征子網(wǎng)只采用了一次上下采樣。由于一個(gè)周期內(nèi)訓(xùn)練中的輸入圖像數(shù)量較少，使用實(shí)例歸一化(Instance Normalization, IN)以防止網(wǎng)絡(luò)訓(xùn)練中的梯度消失，并使網(wǎng)絡(luò)更加關(guān)注單幅圖像的整體信息而非一次迭代內(nèi)的所有圖像的相關(guān)特征信息，以便獲得更好質(zhì)量的訓(xùn)練模型。最后，整體特征子網(wǎng)使用門控融合子網(wǎng)集合不同級(jí)別的特征。通過以上模塊組合構(gòu)成整體特征子網(wǎng)，以補(bǔ)充網(wǎng)絡(luò)中圖像全局特征提取能力。

3.4 損失函數(shù)

損失函數(shù)用于規(guī)范網(wǎng)絡(luò)訓(xùn)練中參數(shù)的學(xué)習(xí)方向，本文方法模型的損失函數(shù)由4個(gè)類型函數(shù)組成，分別為重建損失函數(shù)、多尺度結(jié)構(gòu)相似損失函數(shù)、視覺損失函數(shù)和對(duì)抗損失函數(shù)。重建損失函數(shù)作為主要規(guī)范函數(shù)，用于圖像像素級(jí)的差異修正，多尺度結(jié)構(gòu)相似損失函數(shù)與視覺損失函數(shù)結(jié)合用于規(guī)范處理后圖像符合人類視覺感知，最后使用對(duì)抗損失用于規(guī)范網(wǎng)絡(luò)中生成對(duì)抗結(jié)構(gòu)的訓(xùn)練平衡。

3.4.1 重建損失

重建損失由L1和L2兩類像素級(jí)損失函數(shù)結(jié)合作用，使得去霧后圖像的像素信息更加接近于清晰圖像的信息，算法給予兩類函數(shù)各自的權(quán)重α1和α2，其中，i代表圖像像素，y和y?分別代表去霧后和無霧圖形

3.4.2 多尺度結(jié)構(gòu)相似損失

多尺度結(jié)構(gòu)相似損失從多尺度圖像大小的亮度、對(duì)比度和結(jié)構(gòu)3個(gè)指標(biāo)進(jìn)行考慮，使用該損失規(guī)范網(wǎng)絡(luò)處理后的圖像更加符合人眼視覺感知

3.4.3 視覺損失

通過使用VGG預(yù)訓(xùn)練網(wǎng)絡(luò)模型的參數(shù)來評(píng)價(jià)模型處理后圖像與清晰圖像之間的高級(jí)感知信息和其語義差異，為網(wǎng)絡(luò)訓(xùn)練過程中圖像復(fù)原提供更加全面的規(guī)范條件

3.4.4 對(duì)抗損失

生成對(duì)抗網(wǎng)絡(luò)中為還原圖像的真實(shí)性，對(duì)抗損失是最為常用的一類損失函數(shù)，除了以上3類損失函數(shù)，3子網(wǎng)模型將其共同使用以恢復(fù)圖像更多細(xì)節(jié)

綜上所述，總體的損失函數(shù)為

4 實(shí)驗(yàn)

本節(jié)將介紹模型訓(xùn)練與測(cè)試所使用的數(shù)據(jù)集、運(yùn)行環(huán)境、訓(xùn)練過程中所設(shè)定的參數(shù)和圖像評(píng)價(jià)指標(biāo)。同時(shí)為了證明本文模型的有效性，本章也會(huì)將本文模型結(jié)果與現(xiàn)存算法進(jìn)行比較分析。

4.1 數(shù)據(jù)集

為了驗(yàn)證本文模型對(duì)于較困難的非均勻霧圖的處理能力，本文選擇了兩個(gè)非均勻的公開霧圖數(shù)據(jù)集NTIRE2020和NTIRE2021作為模型的訓(xùn)練數(shù)據(jù)集和測(cè)試集，其中NTIRE2020中包含了45張非均勻霧圖，NTIRE2021包含了25張非均勻霧圖，每張霧圖都有對(duì)應(yīng)的無霧圖像。兩個(gè)數(shù)據(jù)集圖像都是真實(shí)場(chǎng)景霧圖，使用此類數(shù)據(jù)集可以更好地驗(yàn)證算法模型在實(shí)際項(xiàng)目中的去霧效果，其中共70張圖像選用60張用于訓(xùn)練，10張用于測(cè)試。

因選擇的兩個(gè)數(shù)據(jù)集屬于同類型的數(shù)據(jù)，訓(xùn)練前將其合并作為單一數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試，但由于兩個(gè)數(shù)據(jù)集收集時(shí)的環(huán)境光不同，會(huì)造成圖像亮度不同，模型在亮度不同、風(fēng)格略有差異的圖像中進(jìn)行訓(xùn)練時(shí)會(huì)出現(xiàn)學(xué)習(xí)效率低下的問題。為了解決這個(gè)問題，兩類數(shù)據(jù)集進(jìn)行灰度直方圖分析，然后對(duì)于整體灰度值較低的數(shù)據(jù)集進(jìn)行伽馬矯正，將兩個(gè)數(shù)據(jù)集中圖像的亮度保持一致，以便獲得更好的網(wǎng)絡(luò)訓(xùn)練效果。

4.2 訓(xùn)練設(shè)置

對(duì)于訓(xùn)練數(shù)據(jù)集，本文未使用過于繁雜的增強(qiáng)技術(shù)，僅采用了圖像剪裁方法，將60對(duì)1600×1200大小的訓(xùn)練圖像每張平均剪裁分為4張800×600大小的圖像用于增加訓(xùn)練數(shù)據(jù)集的數(shù)量。網(wǎng)絡(luò)中Adam優(yōu)化器使用默認(rèn)參數(shù)β1= 0.9,β2= 0.999，學(xué)習(xí)率設(shè)定為1e-4，整體訓(xùn)練迭代次數(shù)為2000，batchsize為4，損失函數(shù)L1與L2的權(quán)重α1和α2分別為0.6和0.4。本文所有涉及模型運(yùn)行環(huán)境均為英偉達(dá)GTX 1660 SUP，神經(jīng)網(wǎng)絡(luò)框架為Pytorch。

4.3 實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)對(duì)NTIRE2020和NTIRE2021兩個(gè)真實(shí)世界霧圖數(shù)據(jù)結(jié)合而成的數(shù)據(jù)集進(jìn)行測(cè)試，并與近年的去霧方法進(jìn)行定量和定性的比較，本文選取了3種評(píng)價(jià)標(biāo)準(zhǔn)，包括峰值信噪比(PSNR)、結(jié)構(gòu)相似性(SSIM)和深度特征度量圖像相似度(LPIPS)，運(yùn)行時(shí)間為算法對(duì)于單幅圖像的導(dǎo)入、處理和保存的整體流程時(shí)間，如圖2和表1所示。

表1 3子網(wǎng)模型結(jié)果與主流去霧算法去霧圖像數(shù)值比較表

由于算法DCP是基于先驗(yàn)知識(shí)設(shè)計(jì)的模型，去霧效果受到先驗(yàn)知識(shí)的限制，圖像處理過程使用手工特征遍歷圖像，因此處理速度較為復(fù)雜緩慢，在非均勻霧圖的情況下得到的圖像出現(xiàn)了顏色偏移現(xiàn)象。AOD-Net和GCA-Net類似，都屬于輕量級(jí)的神經(jīng)網(wǎng)絡(luò)，GCA-Net去霧視覺效果較好，但圖像整體顏色偏深，而AOD-Net對(duì)于非均勻和濃霧部分處理效果較差。兩者的PSNR較DCP有8.15%和2.78%的提升，但AOD-Net的SSIM有11.76%的提升。GDNet使用了U-Net作為主體框架進(jìn)行去霧工作，結(jié)果中可以看出其去霧效果圖未發(fā)生嚴(yán)重的色彩偏移，SSIM指標(biāo)較前3算法均取得了提升，但其去霧圖仍殘留了較大面積的帶霧部分。DMSHN框架設(shè)計(jì)目標(biāo)為非均勻霧去除，結(jié)果圖中展示了大面積霧區(qū)域的處理效果較好，小面積霧仍有殘留。算法MSBDN對(duì)于濃霧區(qū)域無法進(jìn)行圖像復(fù)原，大面積的霧區(qū)域殘留嚴(yán)重。

本文算法使用了遷移學(xué)習(xí)，將ImageNet的參數(shù)作為模型初始參數(shù)權(quán)重，以幫助模型明確訓(xùn)練方向，加速收斂速度，并使用3子網(wǎng)通過集成學(xué)習(xí)的方法構(gòu)建模型。從結(jié)果圖中可看出，本文算法對(duì)于非均勻霧圖進(jìn)行了完整的去霧，在3個(gè)圖像評(píng)價(jià)指標(biāo)上分別提升了16.01%, 18.96%和13.29%。圖像中未出現(xiàn)大面積的殘留霧區(qū)域，且色彩還原度較高。

3子網(wǎng)結(jié)構(gòu)涵蓋了包括整體、局部特征信息，其中整體特征子網(wǎng)主要注重圖像全局特征和結(jié)構(gòu)相關(guān)性方面信息學(xué)習(xí)，因此模型SSIM和LPIPS指標(biāo)數(shù)值結(jié)果更佳，而局部特征信息子網(wǎng)側(cè)重于像素級(jí)圖像信息學(xué)習(xí)，對(duì)PSNR指標(biāo)有著較大的提升作用。由于3子網(wǎng)模型組成部分中卷積、轉(zhuǎn)置卷積和上下采樣等大計(jì)算量和參數(shù)量的操作少于MSBDN，因此模型處理速度高于DCP和MSBDN等傳統(tǒng)或復(fù)雜神經(jīng)網(wǎng)絡(luò)算法，卻低于AOD-Net和DMSHN等簡(jiǎn)單網(wǎng)絡(luò)層連接方式的端到端小計(jì)算量和參數(shù)量算法的處理時(shí)間。

4.4 消融實(shí)驗(yàn)

模型框架分為3個(gè)部分進(jìn)行對(duì)比結(jié)果如圖3和圖4(整體與細(xì)節(jié)圖)，從(b)組圖像中可以看出僅使用全局特征提取子網(wǎng)后的去霧圖對(duì)比度較高，濃霧區(qū)域無法得到還原且色偏移嚴(yán)重。(c)組圖像對(duì)于顏色和物體細(xì)節(jié)的還原度較高，但整體圖像對(duì)比度仍然略高，真實(shí)性欠缺，濃霧處無法恢復(fù)或補(bǔ)充信息。本文方法整體顏色更加貼近于無霧圖，濃霧處進(jìn)行了丟失信息的補(bǔ)充，使得圖像完整性提高，圖像整體對(duì)比度偏低，符合現(xiàn)實(shí)生活中成像設(shè)備展現(xiàn)的風(fēng)格。本文算法圖對(duì)濃霧區(qū)域進(jìn)行了信息補(bǔ)充，雖然復(fù)原程度仍然不充足，但在視覺感官上有著更佳的效果。

表2數(shù)據(jù)顯示本文算法對(duì)比于前兩種結(jié)構(gòu)在PSNR和SSIM兩個(gè)指標(biāo)上分別取得了55.54%, 2.50%和17.37%, 1.22%的提升，證明了本文算法結(jié)合兩種子網(wǎng)得到的圖像整體信息特征更加均衡。但本文方法LPIPS指標(biāo)落后于局部特征提取子網(wǎng)模型0.006，這是由于本文方法舍棄掉了部分局部特征模塊。本文模型在保證了整體模型參數(shù)穩(wěn)定的情況下，去霧圖像質(zhì)量相較全局特征提取子網(wǎng)和局部特征提取子網(wǎng)兩者都有提升。

表2 3子網(wǎng)模型結(jié)果與2子網(wǎng)去霧圖像質(zhì)量數(shù)值對(duì)比

5 結(jié)束語

針對(duì)非均勻霧圖去霧困難和算法模型泛化能力較差的問題，本文提出了一種基于遷移學(xué)習(xí)的多子網(wǎng)算法，通過結(jié)合全局特征提取子網(wǎng)、局部特征提取子網(wǎng)和殘差子網(wǎng)，將圖像中的物體顏色、輪廓和結(jié)構(gòu)等特征信息進(jìn)行提取并包含在網(wǎng)絡(luò)學(xué)習(xí)的目標(biāo)中。為了保證模型的運(yùn)行速度和參數(shù)量，算法對(duì)3子網(wǎng)結(jié)合后進(jìn)行了剪枝。通過遷移學(xué)習(xí)方法將預(yù)訓(xùn)練的ImageNet模型初始參數(shù)權(quán)重導(dǎo)入本文的網(wǎng)絡(luò)中，使模型更加容易學(xué)習(xí)并達(dá)到預(yù)期性能，這種方法對(duì)于實(shí)際場(chǎng)景中的小數(shù)據(jù)集霧圖環(huán)境更為友好，為小數(shù)據(jù)集霧圖場(chǎng)景的去霧算法訓(xùn)練提供了更高的可行性。實(shí)驗(yàn)結(jié)果證明了本文算法模型的有效性和泛化能力得到了提升。后續(xù)工作中，算法可在遷移學(xué)習(xí)的基礎(chǔ)上整合3子網(wǎng)的部分功能并進(jìn)行信息共享和進(jìn)一步模型剪枝，在不損失圖像質(zhì)量的前提下提高模型對(duì)于大批量實(shí)際場(chǎng)景霧圖的處理效率。