基于AOD-Net改進(jìn)的單幅圖像去霧算法研究

金彬峰 黃金煒 趙慧勐

摘? 要：針對(duì)霧天拍攝圖像不清晰的問(wèn)題，提出了一種基于改進(jìn)AOD-Net的單幅圖像去霧算法。即在已有AOD-Net去霧算法的基礎(chǔ)上，針對(duì)其存在的參數(shù)估計(jì)不均導(dǎo)致累計(jì)誤差，從而使得去霧后的圖像色彩失真以及低照度下效果不佳等缺陷，對(duì)AOD-Net去霧算法的損失函數(shù)進(jìn)行了改進(jìn)，同時(shí)引入一個(gè)低照度增強(qiáng)模塊。由實(shí)驗(yàn)結(jié)果可知，改進(jìn)的方法在真實(shí)圖像和人工合成圖像上去霧效果都有了較大的提升，有效地提高了圖像質(zhì)量，在PSNR和SSIM指標(biāo)上均優(yōu)于其他對(duì)比算法。

關(guān)鍵詞：圖像去霧；AOD-Net；低照度增強(qiáng)模塊；PSNR；SSIM

中圖分類號(hào)：TP391? 文獻(xiàn)標(biāo)識(shí)碼：A? ? 文章標(biāo)號(hào)：2096-4706（2023）01-0080-04

Research on Improved Single Image Defogging Algorithm Based on AOD-Net

JIN Binfeng， HUANG Jinwei， ZHAO Huimeng

（School of Computer Science and Engineering， Anhui University of Science and Technology， Huainan? 232001， China）

Abstract： In order to solve the problem of unclear images taken in fog， a single image defogging algorithm based on improved AOD-Net is proposed. That is， based on the existing AOD-Net defogging algorithm， the loss function of AOD-Net defogging algorithm is improved， and a low illumination enhancement module is introduced at the same time， aiming at the defects that the uneven parameter estimation leads to cumulative error， which leads to the color distortion of the image after defogging and the poor effect under low illumination. From the experimental results， we can see that the improved method has greatly improved the defogging effect in both real images and synthetic images， and effectively improved the image quality， and is superior to other comparison algorithms in terms of PSNR and SSIM indicators.

Keywords： image defogging; AOD-Net; Low illumination enhancement module; PSNR; SSIM

0? 引? 言

近年來(lái)，工業(yè)的蓬勃發(fā)展一方面提高了人們生活質(zhì)量，另一方面也給社會(huì)帶來(lái)了一定程度的負(fù)面影響，汽車尾氣排放和工業(yè)污染的加重導(dǎo)致PM2.5濃度上升，霧霾天氣也出現(xiàn)得越來(lái)越頻繁。霧霾不僅會(huì)對(duì)人的身心健康造成嚴(yán)重的危害，還會(huì)加劇交通事故的發(fā)生，對(duì)社會(huì)生產(chǎn)生活也有廣泛的影響。因此對(duì)圖像去霧技術(shù)的研究逐漸成為計(jì)算機(jī)視覺(jué)領(lǐng)域不可缺少的課題。

為了降低霧霾對(duì)圖像質(zhì)量產(chǎn)生的影響，從20世紀(jì)末開(kāi)始研究者提出許多不同方法。目前，對(duì)霧天圖像處理的方法主要分為三類：

（1）基于圖像增強(qiáng)的去霧算法，這類算法不用考慮圖像退化的原因，主要是通過(guò)提高細(xì)節(jié)信息以及對(duì)比度來(lái)提高圖像視覺(jué)質(zhì)量，代表性的算法有基于Retinex理論的方法[1]、直方圖均衡化方法[2]和頻域?yàn)V波等方法，但這類方法容易造成圖像失真或過(guò)增強(qiáng)現(xiàn)象。

（2）基于圖像復(fù)原的去霧算法，這類算法主要依靠大氣散射模型，對(duì)大氣散射作用進(jìn)行建模，實(shí)現(xiàn)復(fù)原。代表性的算法有何凱明博士的暗通道去霧算法[3]，以及后續(xù)的基于導(dǎo)向?yàn)V波的暗通道去霧算法[4]，但這類算法過(guò)于依賴于對(duì)模型參數(shù)進(jìn)行有效估計(jì)。

（3）基于深度學(xué)習(xí)的去霧算法，近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)和圖像處理方向取得了很大的進(jìn)展，也出現(xiàn)了大量的基于CNN的去霧算法。大致分為兩類，第一類還是基于大氣退化模型，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)估計(jì)模型中的參數(shù)，早期的方法基本都是依據(jù)這種思想。第二類直接以有霧圖像為輸入，直接輸出無(wú)霧圖像，即深度學(xué)習(xí)中的端到端?；贑NN代表性的算法有Cai等人提出的端到端的去霧網(wǎng)絡(luò)-DehazeNet[5]、多尺度卷積神經(jīng)網(wǎng)絡(luò)（Multi Scale CNN， MSCNN）[6]、多尺度融合的一體化網(wǎng)絡(luò)（All in One Dehazing Network， AOD-Net）[7]，雖然這類算法同傳統(tǒng)的算法相比去霧效果有了顯著的提高，但仍存在著一些不足。

針對(duì)以上算法存在的不足，本文基于深度學(xué)習(xí)，提出了一種基于改進(jìn)AOD-Net的單幅圖像去霧算法，以原有AOD-Net作為主干網(wǎng)絡(luò)，對(duì)其損失函數(shù)進(jìn)行改進(jìn)，并且引入一個(gè)亮度增強(qiáng)模塊，實(shí)驗(yàn)結(jié)果表明，本文算法得到的去霧圖像視覺(jué)效果更好，圖片更加自然飽滿。

1? 基本原理

1.1? AOD-Net去霧算法

AOD-Net提出了一種使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）構(gòu)建的圖像去霧模型，稱為多合一去霧網(wǎng)絡(luò)（AOD-Net），網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，它是根據(jù)重新制定的大氣散射模型設(shè)計(jì)的。AOD-Net不像以前大多數(shù)模型那樣分別估計(jì)傳輸矩陣和大氣光，而是直接通過(guò)輕量級(jí)CNN生成干凈的圖像。

AOD-Net算法主要由以下五個(gè)步驟組成：

步驟一：大氣散射模型轉(zhuǎn)換及公式更改。在計(jì)算機(jī)視覺(jué)中，大氣散射模型可表示為以下公式：

I（x）=J（x）t（x）+A（I-t（x））? ? ? ? ? ? ? ? ? ? ? ? （1）

其中I（x）表示待去霧的圖像（原始圖像），J（x）表示去霧后的圖像，A表示無(wú)窮遠(yuǎn)處的大氣光成分，t（x）表示透射率，要恢復(fù)無(wú)霧圖像，則必須精準(zhǔn)估計(jì)其他參數(shù)的值，AOD-Net核心思想就是將（1）中的I（x）和A兩個(gè)未知量統(tǒng)一成一個(gè)參數(shù)，即K（x），K（x）的變換公式如式（2）所示，直接在圖像像素域上最小化重建誤差，得到簡(jiǎn)化的大氣散射模型如式（3）所示：

（2）

J（x）=K（x）I（x）-K（x）+b? ? ? ? ? ? ? ? ? ? ? ? （3）

步驟二：AOD-Net為了增強(qiáng)特征提取能力，采用了一種多尺度特征融合方式。在AOD-Net的網(wǎng)絡(luò)層中，結(jié)構(gòu)如圖1所示，concat1層連接了來(lái)自conv1和conv2層的特征。同樣地，concat2連接來(lái)自conv2和conv3的特征，concat3連接了來(lái)自conv1、conv2、conv3和conv4的特征。這種多尺度的設(shè)計(jì)通過(guò)不同尺度捕獲特征，其中它的中間連接層也彌補(bǔ)了卷積過(guò)程中的信息損失，同時(shí)，AOD-Net每個(gè)卷積層都只用了3個(gè)過(guò)濾器，這是該模型輕量的原因。這樣的網(wǎng)絡(luò)結(jié)構(gòu)分明，也有利于更好地進(jìn)行運(yùn)算。

步驟三：創(chuàng)建合成數(shù)據(jù)集。AOD-Net通過(guò)設(shè)置不同大氣光值，統(tǒng)一選擇通道，把NYU2數(shù)據(jù)集拓展成含有不同濃度的有霧圖像數(shù)據(jù)集。

步驟四：使用了均方誤差損失函數(shù)，如式（4）：

LMSE=（Ji-F（Xi））2? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（4）

其中Xi表示有霧圖像，Ji表示合成的無(wú)霧圖像，F(xiàn)（Xi）表示通過(guò)網(wǎng)絡(luò)后得到的去霧圖像。

步驟五：通過(guò)訓(xùn)練后，AOD-Net網(wǎng)絡(luò)可以得到訓(xùn)練好的網(wǎng)絡(luò)各層的權(quán)值，通過(guò)加載權(quán)值，用AOD-Net網(wǎng)絡(luò)讀取有霧圖像，直接獲得去霧圖像。

1.2? 損失函數(shù)的改進(jìn)

雖然AOD-Net同傳統(tǒng)的去霧算法相比，在去霧效果上有了顯著的提升，但是對(duì)于部分圖片仍有去霧效果不佳、對(duì)比度過(guò)高、對(duì)于一些邊緣細(xì)節(jié)處理不完善等缺陷。本文保留AOD-Net原本的網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)其損失函數(shù)進(jìn)行改進(jìn)，以達(dá)到提升去霧的效果。

SSIM作為衡量圖片相似程度的指標(biāo)，公式如式（5）：

（5）

其中μx是x的平均值，σx2是x的方差，σxy是x和y的協(xié)方差，μx和σx是x對(duì)于亮度和對(duì)比度的估值。（ p）和cs（ p）是x像素和y像素亮度以及對(duì)比度的相似性測(cè)量，根據(jù)x和y的變化對(duì)其結(jié)構(gòu)相似性進(jìn)行評(píng)價(jià)。

SSIM損失函數(shù)如式（6）：

（6）

但是在現(xiàn)實(shí)情況下，SSIM函數(shù)的訓(xùn)練效果并不會(huì)很穩(wěn)定，會(huì)受到參數(shù)的影響，導(dǎo)致去霧效果差等問(wèn)題。引入了一種多尺度SSIM損失函數(shù)，使用M個(gè)級(jí)別的σ值對(duì)SSIM進(jìn)行改進(jìn)，多尺度SSIM如式（7）：

（7）

其中l(wèi)M是l（ p）以M為刻度定義的，csj是cs（ p）以j為刻度定義的，把α和β設(shè)置為1，使用中心像素? 近似計(jì)算區(qū)域損失為：

（8）

式（8）轉(zhuǎn)換為導(dǎo)數(shù)形式得到式（9）：

（9）

對(duì)比于AOD-Net使用的均方誤差函數(shù)，使用該損失函數(shù)能夠減少與清晰圖片的差異，無(wú)論是對(duì)比度還是細(xì)節(jié)處都有明顯的提升。

1.3? 低照度增強(qiáng)模塊

針對(duì)輸入圖像在照度低的情況下成像不清晰，以及AOD-Net去霧后可能導(dǎo)致亮度和清晰度明顯降低的問(wèn)題。在AOD-Net模塊中加入一個(gè)低照度增強(qiáng)模塊，在對(duì)比文獻(xiàn)中，發(fā)現(xiàn)Zhu等提出的一種新的三分支全卷積神經(jīng)網(wǎng)絡(luò)RRD-Net[8]的效果較好，它不需要任何先前的圖像示例或先前的訓(xùn)練，而是通過(guò)將輸入圖像分解為三個(gè)分量：照明、反射和噪聲，通過(guò)對(duì)loss進(jìn)行迭代來(lái)有效估計(jì)出噪聲和恢復(fù)光照，從而明確預(yù)測(cè)噪聲以達(dá)到去噪的目的。RRD-Net在提升圖像亮度和清晰度的同時(shí)，也避免了過(guò)度曝光，RRD-Net如圖2所示。

首先進(jìn)行分解，由三個(gè)分支輸出組成：分量反射率圖R、照度圖S和噪聲圖N，公式如式（10）：

I（x）=R（x）S（x）+N（x）? ? ? ? ? ? ? ? ? ? ? ? ?（10）

分別對(duì)應(yīng)估計(jì)反射分量、光照及噪聲。反射分量和光照通過(guò)sigmoid函數(shù)層結(jié)束，保證強(qiáng)度范圍能在[0，1]之間。特殊的是，為了讓加性噪聲更加擬合，在其結(jié)尾使用了tanh層，能保證噪聲值范圍在[-1，1]之間。

其次是進(jìn)行恢復(fù)，經(jīng)過(guò)伽馬變換光照分量可以調(diào)整為式（11）：

（11）

這中間γ表示一個(gè)預(yù)定義的參數(shù)，將輸入圖減去噪聲圖N并除以S后進(jìn)行變換得到估計(jì)的反射圖。公式如式（12）：

（12）

根據(jù)調(diào)整后的光照強(qiáng)度以及無(wú)噪聲的反射率，最后可以計(jì)算得到其需要恢復(fù)的結(jié)果。公式如式（13）：

（13）

選取了夜間的圖片對(duì)RRD-Net進(jìn)行了實(shí)驗(yàn)，原圖和增強(qiáng)后的對(duì)比如圖3所示。

通過(guò)對(duì)比可以看出RRD-Net的一些優(yōu)點(diǎn)：能較好地增強(qiáng)低光照?qǐng)D像，也不存在過(guò)度曝光或者局部曝光等現(xiàn)象。

2? 實(shí)驗(yàn)過(guò)程與結(jié)果分析

本文選取有霧圖像RESIDE的公開(kāi)數(shù)據(jù)集，RESIDE是一個(gè)由真實(shí)霧霾和人工合成霧霾組成的一個(gè)數(shù)據(jù)集，由五個(gè)子集構(gòu)成，其每個(gè)子集根據(jù)不同的需求來(lái)進(jìn)行訓(xùn)練以及評(píng)估，實(shí)驗(yàn)選取了ITS以及搜集到的霧天圖像進(jìn)行訓(xùn)練和測(cè)試。良好的硬件和軟件對(duì)訓(xùn)練模型起著至關(guān)重要的作用，本文訓(xùn)練的硬件環(huán)境為CPU：Intel Corei7-11370H，GPU：Nvdia RTX 3060，內(nèi)存16 GB。軟件環(huán)境為：操作系統(tǒng)：Windows 11，深度學(xué)習(xí)框架：Pytorch，Python 3.7。采用圖像去霧領(lǐng)域最廣泛使用的評(píng)價(jià)指標(biāo)峰值信噪比PSNR（Peak Signal-to-Noise Ratio）以及結(jié)構(gòu)相似性SSIM（Structural Similarity）對(duì)實(shí)驗(yàn)進(jìn)行客觀評(píng)價(jià)，其值越高，證明霧度去除效果越佳。

實(shí)驗(yàn)分為合成有霧圖和真實(shí)場(chǎng)景有霧圖進(jìn)行，并與傳統(tǒng)的去霧算法、DCP、雙邊濾波，以及基于深度學(xué)習(xí)的DehazeNet、AOD-Net算法進(jìn)行比較。

2.1? 合成有霧圖去霧測(cè)試

因?yàn)檫€要考慮低照度下的圖像成像，所以選取了一些照度低的有霧圖像進(jìn)行測(cè)試，其對(duì)合成有霧圖去霧結(jié)果如圖4所示。各個(gè)算法PSNR及SSIM實(shí)驗(yàn)結(jié)果如表1所示，可以看出本文算法在評(píng)價(jià)指標(biāo)上都優(yōu)于對(duì)比算法。

2.2? 真實(shí)場(chǎng)景有霧圖去霧測(cè)試

由于合成數(shù)據(jù)集的霧氣是人為添加的，所以可能存在著部分偏差。為了更好地驗(yàn)證改進(jìn)算法的效率，圖5是在真實(shí)環(huán)境下對(duì)有霧圖像進(jìn)行去霧的結(jié)果。明顯能看出DCP表現(xiàn)最差，光暈嚴(yán)重。雙邊濾波去霧后圖像有點(diǎn)失真，DehazeNet去霧效果不錯(cuò)，但是對(duì)比度偏高，AOD-Net去霧效果一般，部分細(xì)節(jié)還是沒(méi)處理好，且亮度較暗，對(duì)比之下，本文改進(jìn)的算法不僅在圖像去除霧方面得到了不錯(cuò)的提升，對(duì)于低照度的圖片也有較好的增強(qiáng)效果。

3? 結(jié)? 論

針對(duì)AOD-Net去霧算法存在的一些不足，本文提出的基于改進(jìn)AOD-Net的單幅圖像去霧算法，引入新的損失函數(shù)和低照度增強(qiáng)模塊進(jìn)行了優(yōu)化，從PSNR、SSIM上與其他經(jīng)典算法進(jìn)行比較，本文改進(jìn)的算法在對(duì)比中比經(jīng)典算法具有更好的去霧效果?；谏疃葘W(xué)習(xí)的去霧算法目前在公共安全以及交通管理方面也有很大的前景，在接下來(lái)的工作中也將研究去霧算法在此類環(huán)境下的應(yīng)用。

參考文獻(xiàn)：

[1] RAHMAN Z，JOBSON D J，WOODELL G A. Multi-scale Ret-inex for color image enhancement [C]//Proceedings of 3rd IEEE International Conference on Image Processing.Lausanne：IEEE，1996：1003-1006.

[2] THANH L T，THANH D N H，HUE N M，et al. Single image dehazing based on adaptive histogram equalization and linearization of gamma correction [C]//2019 25th Asia－Pacific Conference on Communications（APCC）．Ho Chi Minh City：IEEE，2019：36-40．

[3] HE K M，SUN J，TANG X O，et al. Single image haze removal using dark channel prior [EB/OL].[2022-08-29].https：//www.docin.com/p-824571919.html.

[4] HE K M，SUN J，TANG X O. Guided image filtering [J].IEEE transactions on pattern analysis and machine intelligence，2013，35（6）：1397-1409.

[5] CAI B L，XU X M，JIA K，et al. DehazeNet：An End-to-End System for Single Image Haze Removal [J].IEEE Transactions on Image Processing，2016，25（11）：5187-5198.

[6] ZHANG J，TAO D C． FAMED－Net：AFast and Accurate Multi-Scale End－to-End Dehazing Network [J].IEEE Transactions on Image Processing，2020，29（1）：72-84.

[7] LI B Y，PENG X L，WANG Z Y，et al． AOD-net：All-in-one dehazing network [C]//2017 IEEE International Conference on Computer Vision（ICCV）.Vision：IEEE，2017：4770－4778.

[8] ZHU A Q，ZHANG L，SHEN Y，et al.Zero-Shot Restoration of Underexposed Images via Robust Retinex Decomposition [J].2020 IEEE International Conference on Multimedia and Expo（ICME）.London：IEEE，2020：1-6.

作者簡(jiǎn)介：金彬峰（1997—），男，漢族，浙江湖州人，碩士在讀，研究方向：圖像處理；黃金煒（1999—），男，漢族，江蘇南通人，碩士在讀，研究方向：圖像處理；趙慧勐（2000—），男，漢族，山東濟(jì)寧人，碩士在讀，研究方向：圖像處理。

收稿日期：2022-09-22