基于卷積神經(jīng)網(wǎng)絡(luò)的弱光照?qǐng)D像增強(qiáng)算法

程宇 鄧德祥 顏佳 范賜恩

摘 要：針對(duì)現(xiàn)有的弱光照?qǐng)D像增強(qiáng)算法強(qiáng)烈依賴于Retinex理論、需人工調(diào)整參數(shù)等問(wèn)題，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的弱光照?qǐng)D像增強(qiáng)算法。首先，利用四種圖像增強(qiáng)手段處理弱光照?qǐng)D像得到四張派生圖，分別為：限制對(duì)比度自適應(yīng)直方圖均衡派生圖、伽馬變換派生圖、對(duì)數(shù)變換派生圖、亮通道增強(qiáng)派生圖;然后，將弱光照?qǐng)D像及其四張派生圖輸入到CNN中;最后經(jīng)過(guò)CNN的激活，輸出增強(qiáng)圖像。所提算法直接端到端地實(shí)現(xiàn)弱光照?qǐng)D像到正常光照?qǐng)D像的映射，不需要按照Retinex模型先估計(jì)光照?qǐng)D像或反射率圖像，也無(wú)需調(diào)整任何參數(shù)。所提算法與NPEA（Naturalness Preserved Enhancement Algorithm for non-uniform illumination images）、LIME（Low-light image enhancement via Illumination Map Estimation）、LNET（LightenNet）等算法進(jìn)行了對(duì)比。在合成弱光照?qǐng)D像的實(shí)驗(yàn)中，所提算法的均方誤差（MSE）、峰值信噪比（PSNR）、結(jié)構(gòu)相似度（SSIM）指標(biāo)均優(yōu)于對(duì)比算法。在真實(shí)弱光照?qǐng)D像實(shí)驗(yàn)中，所提算法的平均自然圖像質(zhì)量評(píng)價(jià)度量（NIQE）、熵指標(biāo)為所有對(duì)比方法中最優(yōu)，平均對(duì)比度增益指標(biāo)在所有方法中排名第二。實(shí)驗(yàn)結(jié)果表明：相對(duì)于對(duì)比算法，所提算法的魯棒性較好;經(jīng)所提算法增強(qiáng)后，圖像的細(xì)節(jié)更豐富，對(duì)比度更高，擁有更好的視覺(jué)效果和圖像質(zhì)量。

關(guān)鍵詞：弱光照?qǐng)D像增強(qiáng);Retinex模型;派生圖;卷積神經(jīng)網(wǎng)絡(luò);自然圖像質(zhì)量評(píng)價(jià)

中圖分類號(hào)：TP391.4

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-9081（2019）04-1162-08

0?引言

在很多計(jì)算機(jī)視覺(jué)任務(wù)中，如目標(biāo)檢測(cè)、圖像檢索、圖像分割等，都要求輸入圖像亮度合適、細(xì)節(jié)清晰。然而，在弱光照或者曝光不足的情況下，采集到的圖像存在亮度低、色彩不飽和、細(xì)節(jié)模糊等缺點(diǎn)，這些缺點(diǎn)將影響到后續(xù)的計(jì)算機(jī)視覺(jué)任務(wù)。因此，研究弱光照?qǐng)D像的增強(qiáng)很有必要。為了改善這類圖像的視覺(jué)效果，需要對(duì)其進(jìn)行增強(qiáng)處理，基本增強(qiáng)手段主要包括：1）通過(guò)調(diào)整對(duì)比度來(lái)增強(qiáng)圖像邊緣和細(xì)節(jié);

2）通過(guò)調(diào)節(jié)動(dòng)態(tài)范圍抑制噪聲等手段來(lái)改善圖像清晰度;

3）通過(guò)提高較暗區(qū)域的亮度，使圖像亮度保持均勻;

4）通過(guò)調(diào)整圖像的顏色飽和度使其獲得良好的視覺(jué)效果等。

近年來(lái)，深度學(xué)習(xí)發(fā)展迅速，在高層次視覺(jué)任務(wù)中應(yīng)用非常廣泛，如圖像識(shí)別[1]、語(yǔ)義分割[2]等。

與此同時(shí)，也有一些研究人員嘗試用深度學(xué)習(xí)算法去解決低層次圖像領(lǐng)域問(wèn)題，如圖像去噪[3]、圖像去霧[4-5]、圖像超分辨率[6]等，這些算法也取得了較好的成績(jī)。相對(duì)于傳統(tǒng)算法，深度學(xué)習(xí)算法具有不需要人工設(shè)計(jì)特征提取方法，可直接端到端地訓(xùn)練和輸出結(jié)果等優(yōu)勢(shì)。

因此，在深度學(xué)習(xí)廣泛應(yīng)用的背景下，本文嘗試用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）算法對(duì)傳統(tǒng)的弱光照?qǐng)D像增強(qiáng)問(wèn)題進(jìn)行改進(jìn)。

1?Retinex理論和相關(guān)工作

1.1?Retinex理論

弱光照?qǐng)D像增強(qiáng)是圖像處理領(lǐng)域的一個(gè)經(jīng)典問(wèn)題。該問(wèn)題旨在從亮度偏暗、細(xì)節(jié)模糊、質(zhì)量較低的圖像中恢復(fù)出亮度適中、細(xì)節(jié)明顯、有良好視覺(jué)效果的圖像。

Retinex理論模型[7]是弱光照?qǐng)D像增強(qiáng)領(lǐng)域的一個(gè)基礎(chǔ)理論模型。模型的基本假設(shè)是原始圖像是光照?qǐng)D像和反射率圖像的乘積，可表示為下式形式：

其中：x表示像素點(diǎn);I（x）表示采集到的原始圖像;L（x）表示光照?qǐng)D像;R（x）表示反射率圖像?；赗etinex模型的圖像增強(qiáng)算法的一般處理順序是先從原始圖像中估計(jì)出光照?qǐng)D像L（x），進(jìn)而算出反射率圖像R（x），消除L（x）中弱光照的影響后得到亮度適中的增強(qiáng)光照?qǐng)D像Len（x），Len（x）與R（x）相乘得到增強(qiáng)圖像。目前大多數(shù)弱光照增強(qiáng)算法的研究都是基于Retinex理論模型，這類算法的主要難點(diǎn)在于利用人工提取的圖像特征和統(tǒng)計(jì)先驗(yàn)估計(jì)光照?qǐng)D像。

1.2?相關(guān)工作

弱光照?qǐng)D像增強(qiáng)算法的相關(guān)研究一直在進(jìn)行，從中發(fā)展出了許多不同類型的算法。例如，文獻(xiàn)[8-9]根據(jù)直方圖調(diào)整圖像的灰度動(dòng)態(tài)范圍來(lái)增強(qiáng)圖像，此類算法計(jì)算簡(jiǎn)單易于實(shí)現(xiàn)，但在圖像較暗區(qū)域的增強(qiáng)效果不足，較亮區(qū)域又容易過(guò)度增強(qiáng)，導(dǎo)致顏色失真。后來(lái)，很多研究者提出基于Retinex模型的算法，這類算法的一般步驟都是先從弱光照?qǐng)D像中估計(jì)出光照?qǐng)D像，然后根據(jù)式（1）得到反射率圖像，通過(guò)一定的增強(qiáng)手段增強(qiáng)光照?qǐng)D像，最后與反射率圖像相乘得到增強(qiáng)圖像。Guo等[10]提出了LIME（Low-light image enhancement via Illumination Map Estimation）算法，該算法通過(guò)優(yōu)化弱光照?qǐng)D像的亮通道圖得到全局平滑且邊緣清晰的光照?qǐng)D像，光照?qǐng)D像經(jīng)伽馬變換后得到增強(qiáng)的光照?qǐng)D像。文獻(xiàn)[11-12]中均用高斯分布和拉普拉斯分布來(lái)擬合光照?qǐng)D像和反射率圖像的分布規(guī)律，以弱光照?qǐng)D像的V通道圖像為初始光照?qǐng)D像，經(jīng)ADMM（Alternating Direction Method of Multipliers）算法迭代求得光照?qǐng)D像和反射率圖像的最優(yōu)解;然后與文獻(xiàn)[10]一樣，使用伽馬變換得到增強(qiáng)的光照?qǐng)D像。文獻(xiàn)[13]中提出了NPEA（Naturalness Preserved Enhancement Algorithm for non-uniform illumination images）算法，該算法設(shè)計(jì)了一個(gè)光照敏感的濾波器，使用該濾波器對(duì)弱光照?qǐng)D像濾波得到光照?qǐng)D像，然后用改進(jìn)的對(duì)數(shù)變換對(duì)光照?qǐng)D像進(jìn)行調(diào)節(jié)得到增強(qiáng)的光照?qǐng)D像。然而，根據(jù)式（1）可知，在反射率圖像R（x）未知的條件下，根據(jù)原始圖像I（x）估計(jì)光照?qǐng)D像L（x）是一個(gè)病態(tài)問(wèn)題，估計(jì)的光照?qǐng)D像并不完全準(zhǔn)確，光照?qǐng)D像估計(jì)錯(cuò)誤會(huì)導(dǎo)致增強(qiáng)圖像中出現(xiàn)亮度不自然的問(wèn)題，這也是所有基于Retinex模型的算法的固有缺陷。

圖1是個(gè)典型例子，文獻(xiàn)[11]算法因?yàn)楣庹請(qǐng)D像估計(jì)錯(cuò)誤導(dǎo)致增強(qiáng)失敗，本文算法則能得到視覺(jué)效果良好的增強(qiáng)圖像。

Fu等[14]提出了基于多派生光照?qǐng)D像融合的算法MF（Multi-scale derived images Fusion）。首先根據(jù)亮通道方法得到光照?qǐng)D像和反射率圖像，使用引導(dǎo)濾波優(yōu)化光照?qǐng)D像;然后用三種增強(qiáng)手段處理光照?qǐng)D像得到三個(gè)派生光照?qǐng)D像;最后根據(jù)人工設(shè)計(jì)的權(quán)重參數(shù)，融合三個(gè)派生光照?qǐng)D像得到增強(qiáng)的光照?qǐng)D像，反射率圖像和增強(qiáng)的光照?qǐng)D像相乘得到增強(qiáng)圖像。該算法能有效改善圖像較暗區(qū)域的視覺(jué)效果，同時(shí)保持明亮區(qū)域不出現(xiàn)失真現(xiàn)象;但是該算法的融合權(quán)重參數(shù)需要人工設(shè)計(jì)，且融合權(quán)重參數(shù)不是基于學(xué)習(xí)的方法得到的，不具有統(tǒng)計(jì)規(guī)律，因而魯棒性不佳。

此外，有研究者發(fā)現(xiàn)弱光照?qǐng)D像取反的結(jié)果類似于有霧圖片。

Dong等[15]提出的快速有效低光照視頻增強(qiáng)算法，將弱光照?qǐng)D像取反后，用暗通道去霧算法對(duì)其進(jìn)行處理，然后將結(jié)果再次取反得到增強(qiáng)圖像。這類算法的增強(qiáng)效果取決于去霧處理中透射率圖估計(jì)的準(zhǔn)確程度。而由霧形成的物理模型可知，直接根據(jù)霧圖像估計(jì)透射率圖也是一個(gè)病態(tài)問(wèn)題[4]，所以基于Retinex模型的算法的缺陷同樣也存在于這類方法中。

有別于傳統(tǒng)增強(qiáng)算法，近年來(lái)發(fā)展出了一些基于學(xué)習(xí)的增強(qiáng)算法。Fotiadou等[16]提出一種基于稀疏表示的增強(qiáng)算法。首先，分別在暗光條件下和正常光照條件對(duì)相同場(chǎng)景采集圖像，將暗光圖像集和正常圖像集用于聯(lián)合字典學(xué)習(xí)，得到兩個(gè)圖像集的聯(lián)合字典及具有匹配關(guān)系的暗光條件編碼與正常光照條件編碼;然后，用聯(lián)合字典對(duì)輸入的弱光照?qǐng)D像編碼，得到暗光條件編碼，根據(jù)匹配關(guān)系找到對(duì)應(yīng)正常光照條件下的編碼;最后，再由正常光照條件下的編碼和聯(lián)合字典恢復(fù)出增強(qiáng)圖像。在深度學(xué)習(xí)廣泛運(yùn)用于計(jì)算機(jī)視覺(jué)的各個(gè)領(lǐng)域的情況下，也有研究人員嘗試用深度學(xué)習(xí)來(lái)解決弱光照?qǐng)D像增強(qiáng)問(wèn)題。Li等[17]提出了卷積神經(jīng)網(wǎng)絡(luò)弱光照?qǐng)D像增強(qiáng)算法LNET（LightenNet），該算法使用卷積神經(jīng)網(wǎng)絡(luò)來(lái)估計(jì)光照?qǐng)D像，然后使用引導(dǎo)濾波優(yōu)化光照?qǐng)D像，最后根據(jù)Retinex模型得到增強(qiáng)圖像。Lore等[18] 受到深度學(xué)習(xí)在圖像去噪中應(yīng)用的啟發(fā)，將一個(gè)經(jīng)典的圖像去噪自編碼器SSDA（Stack Sparse Denoising Autoencoder）運(yùn)用在弱光照?qǐng)D像增強(qiáng)上。文獻(xiàn)[17-18]的嘗試表明深度學(xué)習(xí)算法在弱光照?qǐng)D像增強(qiáng)問(wèn)題上同樣適用，因此本文結(jié)合傳統(tǒng)圖像增強(qiáng)手段和卷積神經(jīng)網(wǎng)絡(luò)，提出了基于卷積神經(jīng)網(wǎng)絡(luò)的弱光照?qǐng)D像增強(qiáng)算法。本文算法擺脫了Retinex模型的限制，不需要估計(jì)光照?qǐng)D像或反射率圖像，直接端到端地實(shí)現(xiàn)弱光照?qǐng)D像增強(qiáng)。

2?本文算法

本文提出的卷積神經(jīng)網(wǎng)絡(luò)簡(jiǎn)稱為MDIIN（Multiple Derived Image Inputs Network）。MDIIN的作用是激活原始弱光照?qǐng)D像和由其生成的四張派生圖，輸出增強(qiáng)圖像。通過(guò)在合成數(shù)據(jù)集上的訓(xùn)練，MDIIN成功學(xué)習(xí)到了映射規(guī)律，有效地實(shí)現(xiàn)了弱光照?qǐng)D像的增強(qiáng)。

2.1?派生圖

弱光照條件下采集到的圖像存在以下問(wèn)題：圖像的對(duì)比度低，整體亮度偏低，暗處區(qū)域的細(xì)節(jié)不清晰。針對(duì)以上的問(wèn)題，本文算法首先采用傳統(tǒng)增強(qiáng)手段生成四種派生圖，這四種派生圖在對(duì)比度、亮度、顏色飽和度上均優(yōu)于原圖。

1）限制對(duì)比度自適應(yīng)直方圖均衡派生圖：直方圖均衡可提升圖像的對(duì)比度，提高圖像中弱光照區(qū)域的亮度。直方圖均衡的方法有很多種，簡(jiǎn)單的直方圖均衡計(jì)算復(fù)雜度低、耗時(shí)短;但是由于這種方法是全局均衡，對(duì)于整體亮度偏低的圖像的增強(qiáng)效果有限，而且可能導(dǎo)致顏色失真。為了克服簡(jiǎn)單直方圖均衡的缺點(diǎn)，文獻(xiàn)[9]中提出了限制對(duì)比度自適應(yīng)直方圖均衡算法CLAHE（Contrast Limited Adaptive Histogram Equalization），CLAHE的分塊操作使圖像的整體亮度得到提升，亮度分布也更加均勻。CLAHE算法中帶閾值限制的圖像子塊直方圖均衡可適當(dāng)?shù)卦鰪?qiáng)圖像的對(duì)比度。因此，本文選取CLAHE算法生成第一張派生圖Ich：Ich=CLAHE（I）（2）

2）伽馬變換派生圖：伽馬變換是一種非線性地改變圖像亮度的方法。本文選用伽馬變換生成第二張派生圖Igm：Igm=αIγ（3）

當(dāng)γ<1時(shí)，伽馬變換可提升圖像的亮度，增強(qiáng)圖像暗處的細(xì)節(jié)。本文中α=1，γ=0.4。如圖2（c）所示，伽馬變換可有效提高圖像的整體亮度。

3）對(duì)數(shù)變換派生圖：與伽馬變換一樣，對(duì)數(shù)變換也是一種非線性地改變圖像亮度的方法。兩者的區(qū)別是伽馬變換對(duì)低亮度區(qū)域的亮度提升作用更大，對(duì)數(shù)變換對(duì)高亮度區(qū)域的亮度提升作用更大。本文算法中，兩種變換互為補(bǔ)充，能夠更合理地提升圖像亮度。對(duì)數(shù)變換公式如下：Ilog=c·log（1+v）（1+I·v）（4）

本文中c=1，v=10。

4）亮通道增強(qiáng)派生圖：首先將原始弱光照?qǐng)D像的亮通道圖像當(dāng)作光照?qǐng)D像L[10]，由式（1）可得到反射率圖像R。對(duì)原始圖像做α=1，γ=0.5的伽馬變換得到增強(qiáng)的光照?qǐng)D像Len，Len和R相乘得到亮通道增強(qiáng)派生圖Ile：

如圖2（e）所示，相對(duì)于原圖，亮通道增強(qiáng)派生圖的顏色飽和度、亮度都有提升。

2.2?網(wǎng)絡(luò)結(jié)構(gòu)

MDIIN是一個(gè)基于Encoder-Decoder結(jié)構(gòu)的網(wǎng)絡(luò)。在圖像去噪[19]、顏色校正[20]、圖像去霧[21]、延時(shí)攝影視頻生成[22]等領(lǐng)域中，Encoder-Decoder結(jié)構(gòu)得到了廣泛的應(yīng)用，這說(shuō)明Encoder-Decoder結(jié)構(gòu)非常適用于圖像生成網(wǎng)絡(luò)。

MDIIN在Encoder-Decoder結(jié)構(gòu)中增加了跳躍連接，將Encoder的特征圖和淺層Decoder的特征圖輸入到Decoder的最后一層。跳躍連接在網(wǎng)絡(luò)淺層和深層之間增加了通路，可以大幅加快網(wǎng)絡(luò)訓(xùn)練的收斂速度[19]，而且跳躍連接讓每一層的特征圖得到了更充分的利用，有助于生成細(xì)節(jié)更清晰的增強(qiáng)圖像。

圖3為MDIIN的結(jié)構(gòu)。MDIIN包含15個(gè)卷積層和3個(gè)反卷積層，卷積操作的步長(zhǎng)都為1，每個(gè)卷積層和反卷積層后面都連接著一個(gè)Leaky ReLU（Leaky Rectified Linear Unit）激活層，Leaky ReLU激活函數(shù)的負(fù)半?yún)^(qū)的斜率為0.1。MDIIN中的所有卷積操作都是空洞卷積，空洞卷積未增加網(wǎng)絡(luò)的計(jì)算量，卻能增大局部感受野的大小，利用更多的圖像信息。

MDIIN的網(wǎng)絡(luò)參數(shù)設(shè)置如表1所示，其中：Block表示卷積塊類型，Layer表示層類型，conv表示卷積層，deconv表示反卷積層，Weight Dimension表示卷積核參數(shù)維度，Dilation表示空洞卷積的間隔像素點(diǎn)個(gè)數(shù)，Padding表示卷積時(shí)邊緣補(bǔ)充像素的數(shù)量。網(wǎng)絡(luò)輸入為弱光照?qǐng)D像及其四張派生圖，因此Encoder1的輸入通道數(shù)為15，輸出為增強(qiáng)圖像，因此Decoder3輸出通道數(shù)為3。將Encoder1、Encoder2、Encoder3、Decoder1、Decoder2的輸出和Decoder3中第二個(gè)卷積層的輸出聚合，然后全部輸入到Decoder3的最后一個(gè)卷積層，因此Decoder3的最后一個(gè)卷積層的輸入通道數(shù)為192。

2.3?損失函數(shù)

本文采用均方誤差（Mean Square Error， MSE）和L1范數(shù)損失作為MDIIN的損失函數(shù)。在圖像生成類任務(wù)中，MSE是最常用的損失函數(shù)。近期有研究顯示，訓(xùn)練中使用復(fù)合形式的損失函數(shù)比使用單一的MSE損失函數(shù)能得到表現(xiàn)更好的網(wǎng)絡(luò)[23]。因此，除MSE外，本文還加入L1范數(shù)損失以提高增強(qiáng)結(jié)果的圖像質(zhì)量。最終的損失函數(shù)公式如下：L（w）=

3?實(shí)驗(yàn)與結(jié)果分析

3.1?實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

MDIIN訓(xùn)練時(shí)，輸入圖像塊大小設(shè)置為128×128，優(yōu)化算法為ADAM（Adaptive Moment Estimation）[24]，批處理圖像塊數(shù)量為10，初始學(xué)習(xí)率為0.00001，每20000次迭代學(xué)習(xí)率衰減75%，總迭代次數(shù)為60000。訓(xùn)練使用的GPU型號(hào)為Nvidia K80，在該環(huán)境下，訓(xùn)練一次耗時(shí)12h。

3.2?訓(xùn)練數(shù)據(jù)

訓(xùn)練數(shù)據(jù)直接決定了卷積神經(jīng)網(wǎng)絡(luò)能學(xué)習(xí)到什么映射規(guī)律。在弱光照?qǐng)D像增強(qiáng)領(lǐng)域，目前還沒(méi)有既包含弱光照?qǐng)D像又包含其對(duì)應(yīng)正常光照?qǐng)D像的數(shù)據(jù)集，因此，本文利用正常清晰光照的圖像合成弱光照?qǐng)D像。

圖4是一個(gè)合成弱光照?qǐng)D像的例子。首先，在互聯(lián)網(wǎng)和其他圖像數(shù)據(jù)集上找到600張光照正常對(duì)比度高的圖像;然后，將圖像轉(zhuǎn)換到HSV（Hue Saturation Value）空間，對(duì)V通道圖像V做伽馬變換得到合成弱光照?qǐng)D像的V通道圖像Vdark：Vdark=αVγ，其中α∈（0.8，1），γ∈（1.8，3.4）;然后用Vdark替換V，其他兩個(gè)通道不變，轉(zhuǎn)換回RGB（Red Green Blue）空間得到合成弱光照?qǐng)D像。對(duì)每一張正常光照?qǐng)D像，隨機(jī)選取7組參數(shù)，生成7張弱光照?qǐng)D像，最終一共得到4200張訓(xùn)練圖像。從中選取由100張正常光照?qǐng)D像合成的700張合成圖像作為測(cè)試集，剩余的作為訓(xùn)練集。

3.3?實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文算法的有效性，本文在真實(shí)弱光照?qǐng)D像和合成弱光照?qǐng)D像上均進(jìn)行了對(duì)比實(shí)驗(yàn)。對(duì)比的算法有：Dong算法[15]、LIME算法[10]、MF算法[14]、NPEA[13]、LNET算法[17]。各算法的參數(shù)值均為原文獻(xiàn)中的推薦值。

3.3.1?合成弱光照?qǐng)D像增強(qiáng)對(duì)比實(shí)驗(yàn)

首先，在合成弱光照?qǐng)D像上將本文算法與其他算法對(duì)比。合成弱光照?qǐng)D像的方法和3.2節(jié)中網(wǎng)絡(luò)訓(xùn)練集的合成方法相同，總共選取50張合成圖片。為了保證實(shí)驗(yàn)的公正性，這50張圖片都未在訓(xùn)練集中出現(xiàn)過(guò)。為了說(shuō)明本文算法在不同光照條件下的魯棒性，本文選取的合成圖像中場(chǎng)景包括室內(nèi)、野外、圖像的光照條件有整體光照偏弱、光照不均勻等。

圖5是部分實(shí)驗(yàn)結(jié)果。觀察圖5可看出，Dong算法對(duì)圖像的亮度有一定提升，但是提升能力不足，圖像整體亮度仍然很低，細(xì)節(jié)仍然不清晰。LIME算法的增強(qiáng)效果非常明顯，增強(qiáng)后圖像的平均亮度也是所有算法中最高的，但是這也帶來(lái)了增強(qiáng)過(guò)度的問(wèn)題，圖像中出現(xiàn)過(guò)曝和失真現(xiàn)象，如圖5的station中火車頭左上角的光暈和ride中的石子路。LNET算法在station上增強(qiáng)效果較好，在owl上不明顯，owl增強(qiáng)后亮度仍然偏暗，在room中出現(xiàn)了過(guò)曝現(xiàn)象，如地板和窗簾的亮度。MF算法和NPEA的增強(qiáng)圖像的亮度介于Dong算法和LIME算法之間。由station的增強(qiáng)結(jié)果可看出，這兩種算法對(duì)光照不均勻但平均亮度較高的圖像的增強(qiáng)效果不錯(cuò)，但是當(dāng)圖像整體亮度都偏暗時(shí)，如owl和ride，增強(qiáng)后圖像亮度仍偏暗、視覺(jué)效果欠佳。這也說(shuō)明MF，NPEA的魯棒性不夠好，需要針對(duì)不同場(chǎng)景和光照情況調(diào)整參數(shù)才能得到較為理想的結(jié)果。而本文算法是基于學(xué)習(xí)的算法，在訓(xùn)練中學(xué)習(xí)了不同的場(chǎng)景和光照條件，對(duì)于光照各異的輸入圖片，無(wú)需調(diào)整任何參數(shù)就能輸出較理想的增強(qiáng)結(jié)果。圖5中也能看出，本文算法的增強(qiáng)結(jié)果最接近正常光照?qǐng)D像，增強(qiáng)后的圖像亮度適中、顏色自然、細(xì)節(jié)清晰、具有最好的視覺(jué)效果。所以，從主觀視覺(jué)感受上來(lái)說(shuō)，本文算法比其他算法更有優(yōu)勢(shì)。

除了主觀評(píng)判外，本文還在MSE、峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）、結(jié)構(gòu)相似度（Structural SIMilarity index， SSIM）三項(xiàng)客觀指標(biāo)上對(duì)幾種算法進(jìn)行對(duì)比。表2是幾種算法在50張合成樣本上實(shí)驗(yàn)結(jié)果的平均指標(biāo)。表2可看出，本文算法的平均MSE、PSNR指標(biāo)是所有算法中最優(yōu)的。而且，盡管本文算法在訓(xùn)練時(shí)使用的損失函數(shù)是MSE和L1范數(shù)，但在SSIM指標(biāo)對(duì)比中，本文算法仍然是所有算法中最優(yōu)。在合成圖像上實(shí)驗(yàn)結(jié)果表明，無(wú)論是從主觀視覺(jué)感受還是客觀評(píng)價(jià)指標(biāo)來(lái)說(shuō)，本文算法對(duì)弱光照?qǐng)D像的增強(qiáng)能力均優(yōu)于其他幾種算法。

3.3.2?真實(shí)弱光照?qǐng)D像增強(qiáng)對(duì)比實(shí)驗(yàn)

為了進(jìn)一步說(shuō)明本文算法的優(yōu)勢(shì)，本文也在真實(shí)弱光照?qǐng)D像上進(jìn)行了對(duì)比實(shí)驗(yàn)，圖6是實(shí)驗(yàn)結(jié)果。從圖6可看出，各算法在真實(shí)圖像上的增強(qiáng)表現(xiàn)跟合成圖像上的表現(xiàn)基本一致：Dong算法增強(qiáng)后圖像亮度整體偏暗，細(xì)節(jié)處的視覺(jué)效果提升不明顯，如girl中的車窗和mountain中的山體部分;MF算法的魯棒性一般，部分圖片增強(qiáng)后亮度較好，如girl、house、duck，其他剩余圖片仍然偏暗;NPEA的增強(qiáng)結(jié)果整體偏暗，且出現(xiàn)失真，如tower中右側(cè)樹枝的亮度不自然;從meeting和girl的增強(qiáng)結(jié)果可看出，LIME算法依然存在增強(qiáng)過(guò)度的問(wèn)題，增強(qiáng)后圖像的光照不自然;LNET中增強(qiáng)過(guò)度的現(xiàn)象更明顯，如tower、house中的天空與road中的馬路，都出現(xiàn)了過(guò)曝問(wèn)題;本文算法的增強(qiáng)結(jié)果較為自然，在提升原圖暗處的同時(shí)，很好地保持了原圖亮度區(qū)域不過(guò)曝，增強(qiáng)后的圖像有良好的視覺(jué)觀感。

為了更客觀地對(duì)比各算法的增強(qiáng)表現(xiàn)，還需要測(cè)試實(shí)驗(yàn)結(jié)果的客觀評(píng)價(jià)指標(biāo)。不同于合成圖像，真實(shí)弱光照?qǐng)D像無(wú)對(duì)應(yīng)的正常光照?qǐng)D像，無(wú)法測(cè)試MSE、PSNR等指標(biāo)。本文以圖像的自然圖像質(zhì)量評(píng)價(jià)度量（Natural Image Quality Evaluator， NIQE）、熵（Entropy）、對(duì)比度增益（Contrast Gain）三項(xiàng)指標(biāo)來(lái)對(duì)比各算法。NIQE是一個(gè)根據(jù)圖像的自然統(tǒng)計(jì)特征得到的圖像質(zhì)量參考值，數(shù)值越小表示圖像質(zhì)量越高;熵是度量圖像中信息量多少的指標(biāo)，可以反映圖像細(xì)節(jié)豐富程度，熵越大，說(shuō)明圖像包含信息越多，細(xì)節(jié)越豐富;對(duì)比度增益反映了圖像增強(qiáng)前后對(duì)比度提升的程度，值越大表示對(duì)比度提升越明顯。

表3中記錄了圖6實(shí)驗(yàn)結(jié)果的三項(xiàng)指標(biāo)。具體分析如下：1）在NIQE的對(duì)比中，本文算法在其中的四張圖片上排名第一，在其中三張圖片上排名第二，在其中一張圖片上排名第四，平均排名第一。排名第四的圖片名為house，觀察圖6可知，本文算法增強(qiáng)后，house中整體亮度過(guò)于平均，未形成較高的對(duì)比度，這可能是影響該圖片NIQE指標(biāo)的因素。綜合比較NIQE指標(biāo)可以說(shuō)明，相對(duì)于其他方法，本文算法增強(qiáng)后圖像的有更高的圖像質(zhì)量。

2）在熵的對(duì)比中，本文算法在其中的四張圖片上排名第一，在其中的兩張圖片上排名第二，另外兩張圖片mountain和tower分別排名第三和第四，平均排名第一。理論上熵最大的情況為圖像中每個(gè)像素的灰度值都不一樣，本文算法增強(qiáng)結(jié)果在圖片mountain中的山體部分和tower中的地面部分的灰度值分布變化很少，因此這兩張圖片的熵指標(biāo)相對(duì)較低。但是，在八張圖片上熵指標(biāo)的綜合比較中，本文算法仍然是最優(yōu)的。這說(shuō)明相對(duì)于其他方法，經(jīng)本文算法增強(qiáng)后圖像的細(xì)節(jié)更豐富。

3）在對(duì)比度增益的對(duì)比中，本文算法的平均對(duì)比度增益排名第二，排名第一的為L(zhǎng)IME算法。前文的主觀視覺(jué)感受對(duì)比中可以發(fā)現(xiàn)，LIME有過(guò)度增強(qiáng)的傾向，因此LIME算法的高對(duì)比度增益是建立在過(guò)度增強(qiáng)的基礎(chǔ)之上。

通過(guò)對(duì)比NIQE、熵、對(duì)比度增益三項(xiàng)指標(biāo)，可以說(shuō)明本文算法在真實(shí)弱光照?qǐng)D像上的增強(qiáng)表現(xiàn)更好，本文算法增強(qiáng)后的圖像有較高的圖像質(zhì)量與較豐富的細(xì)節(jié);而且，本文算法在保持增強(qiáng)效果自然性的前提下，能較好地提升圖像對(duì)比度。

3.3.3?派生圖對(duì)增強(qiáng)結(jié)果的影響

本文針對(duì)各派生圖對(duì)增強(qiáng)結(jié)果的影響進(jìn)行了分析。卷積神經(jīng)網(wǎng)絡(luò)的映射作用不可用解析表達(dá)式表示，因此無(wú)法直接通過(guò)公式分析各派生圖的作用。最終，本文選擇使用替換方法對(duì)此進(jìn)行分析。具體實(shí)施過(guò)程為：保持MDIIN的其他輸入不變，將其中一張派生圖用原始弱光照?qǐng)D像代替，得到增強(qiáng)結(jié)果。

圖7中顯示了將四張派生圖依次用原始弱光照?qǐng)D像代替后的增強(qiáng)結(jié)果：由圖7（a）～（b）中球面的紋路及衣服上的褶皺可看出，限制對(duì)比度自適應(yīng)直方圖均衡派生圖影響到增強(qiáng)結(jié)果的局部對(duì)比度，將限制對(duì)比度自適應(yīng)直方圖均衡派生圖用原圖代替后，圖像的局部對(duì)比度降低;圖7（c）與圖7（a）相比，圖像的整體亮度降低，這說(shuō)明伽馬校正派生圖對(duì)增強(qiáng)結(jié)果的全局亮度有較大提升作用;圖7（d）與圖7（a）相比，顏色飽和度嚴(yán)重下降，這表明亮通道增強(qiáng)派生圖起到了提升增強(qiáng)結(jié)果顏色飽和度的作用，也間接影響到圖像的主觀視覺(jué)感受。圖7（e）是將對(duì)數(shù)變換派生圖用原圖替換后的增強(qiáng)結(jié)果，替換后，圖像出現(xiàn)過(guò)曝的現(xiàn)象，這說(shuō)明在MDIIN的映射中，對(duì)數(shù)變換派生圖與最終增強(qiáng)結(jié)果的亮度為負(fù)相關(guān)關(guān)系。

3.3.4?時(shí)間復(fù)雜度分析

此外，本文也對(duì)各算法的時(shí)間復(fù)雜度進(jìn)行了比較。表4中記錄了各算法分別處理mesh、meeting、girl、mountain四張圖片的時(shí)間。Dong算法、LIME、MF、NPEA、LNET算法均在Matlab2017中運(yùn)行，本文算法在深度學(xué)習(xí)框架Pytorch中運(yùn)行，代碼中使用GPU加速。電腦的CPU型號(hào)為Intel Core i7-7700HQ，GPU型號(hào)為Nvidia 1080TI。

從表4可看出：NPEA的處理時(shí)間最長(zhǎng);LNET算法由于未使用GPU加速，因此時(shí)間也較長(zhǎng);Dong算法、LIME、MF算法的處理時(shí)間較短，均在1s以內(nèi);本文算法的處理時(shí)間最短，只需0.1s左右。因此，在算法處理速度上本文算法也具有優(yōu)勢(shì)。

5?結(jié)語(yǔ)

本文提出一種將傳統(tǒng)圖像增強(qiáng)手段與深度學(xué)習(xí)算法結(jié)合的弱光照?qǐng)D像增強(qiáng)算法。與原始圖像相比，四種傳統(tǒng)增強(qiáng)手段生成的派生圖在對(duì)比度、亮度、顏色飽和度上均有提升。卷積神經(jīng)網(wǎng)絡(luò)可充分激活各派生圖的優(yōu)點(diǎn)從而輸出光照明亮視覺(jué)效果良好的增強(qiáng)圖像。本文算法不受Retinex模型約束，無(wú)需估計(jì)光照?qǐng)D像和反射率圖像，直接端到端生成增強(qiáng)圖像。由于訓(xùn)練數(shù)據(jù)集中包含豐富的場(chǎng)景和光照條件，因此本文算法也無(wú)需調(diào)整任何參數(shù)，在光照較弱和光照不均勻的情況下均表現(xiàn)突出。本文在合成弱光照?qǐng)D像和真實(shí)弱光照?qǐng)D像上均進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果從主觀感受和客觀評(píng)價(jià)指標(biāo)兩方面都驗(yàn)證了本文算法的有效性。與對(duì)比算法相比，本文算法的增強(qiáng)圖像在圖像質(zhì)量、圖像細(xì)節(jié)豐富程度、圖像對(duì)比度上均具有優(yōu)勢(shì)。

在分析各派生圖作用時(shí)，本文算法中對(duì)數(shù)變換派生圖與最終增強(qiáng)結(jié)果的亮度之間為負(fù)相關(guān)關(guān)系，這有可能是伽馬變換派生圖與對(duì)數(shù)變換派生圖作用重疊導(dǎo)致的。因此，在下一步研究中，嘗試保留伽馬變換派生圖和對(duì)數(shù)變換派生圖中的一個(gè)進(jìn)行實(shí)驗(yàn)。

參考文獻(xiàn)（References）

[1] 康曉東， 王昊， 郭軍， 等.無(wú)監(jiān)督深度學(xué)習(xí)彩色圖像識(shí)別方法[J]. 計(jì)算機(jī)應(yīng)用， 2015， 35（9）： 2636-2639. （TANG X D， WANG H， GUO J， et al. Unsupervised deep learning method for color image recognition[J]. Journal of Computer Applications， 2015， 35（9）： 2636-2639.）

[2] 楊朔， 陳麗芳， 石瑀， 等.基于深度生成式對(duì)抗網(wǎng)絡(luò)的藍(lán)藻語(yǔ)義分割[J]. 計(jì)算機(jī)應(yīng)用， 2018， 38（6）： 1554-1561. （YANG S， CHEN L F， SHI Y， et al. Semantic segmentation of blue-green algae based on deep generative adversarial net[J]. Journal of Computer Applications， 2018， 38（6）： 1554-1561.）

[3] LI H M. Deep learning for image denoising[J]. International Journal of Signal Processing， Image Processing and Pattern Recognition， 2014， 7（3）： 171-180.

[4] CAI B， XU X， JIA K， et al. DehazeNet： an end-to-end system for single image haze removal[J]. IEEE Transactions on Image Processing， 2016， 25（11）： 5187-5198.

[5] REN W， LIU S， ZHANG H， et al. Single image dehazing via multi-scale convolutional neural networks[C]// ECCV 2016： Proceedings of the 2016 European Conference on Computer Vision. Berlin： Springer， 2016： 154-169.

[6] LIM B， SON S， KIM H， et al. Enhanced deep residual networks for single image super-resolution[C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway， NJ： IEEE， 2017： 136-144.

[7] LAND E H. The Retinex[J]. American Scientist， 1964， 52（2）： 247-264.

[8] LEE C， LEE C， KIM C S. Contrast enhancement based on layered difference representation of 2D histograms[J]. IEEE Transactions on Image Processing， 2013， 22（12）： 5372-5384.

[9] PISANO E D， ZONG S， HEMMINGER B M， et al. Contrast limited adaptive histogram equalization image processing to improve the detection of simulated spiculations in dense mammograms[J]. Journal of Digital Imaging， 1998， 11（4）： 193-200.

[10] GUO X， LI Y， LING H. LIME： low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing， 2017， 26（2）： 982-993.

[11] FU X， LIAO Y， ZENG D， et al. A probabilistic method for image enhancement with simultaneous illumination and reflectance estimation[J]. IEEE Transactions on Image Processing， 2015， 24（12）： 4965-4977.

[12] FU X， ZENG D， HUANG Y， et al. A weighted variational model for simultaneous reflectance and illumination estimation[C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2016： 2782-2790.

[13] WANG S， ZHENG J， HU H M， et al. Naturalness preserved enhancement algorithm for non-uniform illumination images[J]. IEEE Transactions on Image Processing， 2013， 22（9）： 3538-3548.

[14] FU X， ZENG D， HUANG Y， et al. A fusion-based enhancing method for weakly illuminated images[J]. Signal Processing， 2016， 129： 82-96.

[15] DONG X， WANG G， PANG Y， et al. Fast efficient algorithm for enhancement of low lighting video[C]// Proceedings of the 2011 IEEE International Conference on Multimedia and Expo. Piscataway， NJ： IEEE， 2011： 1-6.

[16] FOTIADOU K， TSAGKATAKIS G， TSAKALIDES P. Low light image enhancement via sparse representations[C]// ICIAR 2014： Proceedings of the 2014 International Conference on Image Analysis and Recognition. Berlin： Springer， 2014： 84-93.

[17] LI C， GUO J， PORIKLI F， et al. LightenNet： a convolutional neural network for weakly illuminated image enhancement[J]. Pattern Recognition Letters， 2018， 104： 15-22.

[18] LORE K G， AKINTAYO A， SARKAR S. LLNet： a deep autoencoder approach to natural low-light image enhancement[J]. Pattern Recognition， 2017， 61： 650-662.

[19] MAO X J， SHEN C， YANG Y B. Image restoration using very deep convolutional encoder-decoder networks with symmetric skip connections[C]// Proceedings of the 30th International Conference on Neural Information Processing Systems. New York： Curran Associates， 2016： 2810-2818.

[20] TSAI Y H， SHEN X， LIN Z， et al. Deep image harmonization[C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2017： 2799-2807.

[21] REN W， MA L， ZHANG J， et al. Gated fusion network for single image dehazing[C]// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2018： 3253-3261.

[22] XIONG W， LUO W， MA L， et al. Learning to generate time-lapse videos using multi-stage dynamic generative adversarial networks[C]// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2018： 2364-2373.

[23] LIU Y， ZHAO G， GONG B， et al. Improved techniques for learning to dehaze and beyond： a collective study [EB/OL]. [2018-07-26]. https：//arxiv.org/pdf/1807.00202.

[24] KINGMA D P， BA J L. ADAM： a method for stochastic optimization [EB/OL]. [2018-05-10]. https：//simplecore.intel.com/nervana/wp-content/uploads/sites/53/2017/06/1412.6980.pdf.

[25] 王一寧， 秦品樂(lè)， 李傳朋， 等.基于殘差神經(jīng)網(wǎng)絡(luò)的圖像超分辨率改進(jìn)算法[J]. 計(jì)算機(jī)應(yīng)用， 2018， 38（1）： 246-254. （WANG Y N， QIN P L， LI C P， et al. Improved algorithm of image super resolution based on residual neural network[J]. Journal of Computer Applications， 2018， 38（1）： 246-254.）

[26] 梁中豪， 彭德巍， 金彥旭， 等.基于交通場(chǎng)景區(qū)域增強(qiáng)的單幅圖像去霧方法[J]. 計(jì)算機(jī)應(yīng)用， 2018， 38（5）： 1420-1426. （LIANG Z H， PENG D W， JIN Y X， et al. Single image dehazing algorithm based on traffic scene region enhancement[J]. Journal of Computer Applications， 2018， 38（5）： 1420-1426.）