基于深度卷積神經(jīng)網(wǎng)絡(luò)的無(wú)參考低照度圖像增強(qiáng)

陳 勇 陳 東 劉煥淋 黃美永 汪 波

①(重慶郵電大學(xué)工業(yè)物聯(lián)網(wǎng)與網(wǎng)絡(luò)化控制教育部重點(diǎn)實(shí)驗(yàn)室 重慶 400065)

②(重慶郵電大學(xué)光纖通信技術(shù)重點(diǎn)實(shí)驗(yàn)室 重慶 400065)

1 引言

低照度環(huán)境通常指較差的照明條件，例如多云、夜間和室內(nèi)等場(chǎng)景。此外，由于拍攝設(shè)備成像過(guò)程中，不可避免地引入成像噪聲。而由于低照度圖像本身的照度比較低，會(huì)突出設(shè)備成像過(guò)程中引入的噪聲，于是這些噪聲在低照度圖像中尤為明顯。因此，對(duì)低照度圖像進(jìn)行適當(dāng)?shù)脑鰪?qiáng)和去噪顯得十分必要[1-3]。

目前低照度圖像增強(qiáng)方法主要分為基于Retinex理論[4]的方法和基于去霧模型的方法。胡正平等人[5]采用極大灰度頻數(shù)抑制和動(dòng)態(tài)直方圖均衡相結(jié)合的方式對(duì)傳統(tǒng)直方圖均衡技術(shù)進(jìn)行改進(jìn)，實(shí)現(xiàn)對(duì)過(guò)度增強(qiáng)情況的抑制，同時(shí)做到用戶對(duì)于對(duì)比度增強(qiáng)的可控性。為實(shí)現(xiàn)對(duì)于圖像的照射分量和反射分量的準(zhǔn)確估計(jì)，F(xiàn)u等人[6]提出了一種加權(quán)變分模型(Simultaneous Reflectance and Illumination Estimation, SRIE)，同時(shí)對(duì)圖像的照射分量和反射分量進(jìn)行估計(jì)，并對(duì)噪聲進(jìn)行了一定程度的抑制；Guo等人[7]在低照度圖像增強(qiáng)(Low Light Image Enhancement, LIME)中認(rèn)為只需對(duì)照射分量進(jìn)行約束即可獲得較好的增強(qiáng)圖像，具體過(guò)程為通過(guò)結(jié)構(gòu)先驗(yàn)不斷修正原始光照射，從而獲得最終的照射分量，最后將反射分量通過(guò)3D 塊匹配(Block Matching 3D, BM3D)[8]降噪后作為增強(qiáng)的結(jié)果，然而先增強(qiáng)后去噪的做法可能會(huì)產(chǎn)生圖像的細(xì)節(jié)信息因去噪而丟失的情況。近年來(lái)有學(xué)者開(kāi)始嘗試將數(shù)據(jù)驅(qū)動(dòng)方法與Retinex理論相結(jié)合并取得不俗的效果。2017年，Lore等人[9]提出了經(jīng)典的堆疊稀疏降噪自動(dòng)編碼機(jī)框架來(lái)訓(xùn)練低照度網(wǎng)(Low Light Net, LLNet)，以實(shí)現(xiàn)低照度圖像增強(qiáng)；Chen等人[10]構(gòu)建了一個(gè)由短曝光和長(zhǎng)曝光圖像對(duì)組成的數(shù)據(jù)集，并設(shè)計(jì)了一個(gè)全連接卷積神經(jīng)網(wǎng)絡(luò)在該數(shù)據(jù)集上進(jìn)行端到端的訓(xùn)練，取得了超越傳統(tǒng)方法的增強(qiáng)效果；Wei等人[11]在RetinexNet中使用深度卷積神經(jīng)網(wǎng)絡(luò)提取輸入圖像的反射分量和照射分量，并通過(guò)損失函數(shù)的約束實(shí)現(xiàn)較好的增強(qiáng)結(jié)果；Ma等人[12]利用一個(gè)分解網(wǎng)絡(luò)和兩個(gè)判別網(wǎng)絡(luò)搭建生成對(duì)抗網(wǎng)絡(luò)實(shí)現(xiàn)不成對(duì)圖像訓(xùn)練，進(jìn)而達(dá)到圖像增強(qiáng)的目的。上述的數(shù)據(jù)驅(qū)動(dòng)方法均采用有參考圖像的訓(xùn)練方式，導(dǎo)致最終的增強(qiáng)結(jié)果常受到參考圖像的制約，即參考圖像質(zhì)量的高低將直接影響增強(qiáng)結(jié)果的好壞。最近，Guo等人[13]提出不使用參考圖像可以直接對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，損失函數(shù)的設(shè)計(jì)成為關(guān)鍵；文獻(xiàn)[14]將低照度圖像反轉(zhuǎn)并當(dāng)作霧天圖像處理，并將處理的結(jié)果反轉(zhuǎn)后得到增強(qiáng)的結(jié)果；Dong等人[15]將上述方法進(jìn)一步拓展到對(duì)低照度視頻的處理中并取得一定的效果，但將低照度圖像反轉(zhuǎn)后視作霧天圖像來(lái)進(jìn)行圖像增強(qiáng)，同樣缺乏較強(qiáng)的物理模型支撐。

針對(duì)上述存在的問(wèn)題，本文利用深度卷積神經(jīng)網(wǎng)絡(luò)從低照度圖像中提取照射分量和反射分量；將經(jīng)BM3D去噪的效果與反射分量的優(yōu)化網(wǎng)絡(luò)相結(jié)合實(shí)現(xiàn)增強(qiáng)圖像細(xì)節(jié)信息的同時(shí)對(duì)圖像中噪聲進(jìn)行抑制；最后，采用無(wú)參考圖像訓(xùn)練的方式，并設(shè)計(jì)一種新的趨勢(shì)一致性損失函數(shù)對(duì)輸出圖像的趨勢(shì)一致性約束，在一定程度上突破參考圖像對(duì)增強(qiáng)結(jié)果的制約。

2 本文方法

基于Retinex理論，本文設(shè)計(jì)一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)。Retinex理論認(rèn)為圖像傳感器所獲得的圖像S可以看作一個(gè)反射分量R和一個(gè)照射分量I的乘積，即可表述為

為此，將BM3D去噪過(guò)程融入到反射分量的優(yōu)化中，在無(wú)參考圖像的情況下通過(guò)損失函數(shù)的約束實(shí)現(xiàn)低照度圖像增強(qiáng)。圖1給出了所設(shè)計(jì)網(wǎng)絡(luò)整體框架。

圖1 網(wǎng)絡(luò)整體框架

網(wǎng)絡(luò)整體框架主要由分解網(wǎng)絡(luò)和優(yōu)化網(wǎng)絡(luò)兩部分組成，其中優(yōu)化網(wǎng)絡(luò)又由反射分量?jī)?yōu)化網(wǎng)絡(luò)和照射分量調(diào)整網(wǎng)絡(luò)組成。輸入的低照度圖S像首先經(jīng)由分解網(wǎng)絡(luò)分別提取照射分量I和反射分量R，再將這兩個(gè)分量分別輸入到照射分量?jī)?yōu)化網(wǎng)絡(luò)和反射分量?jī)?yōu)化網(wǎng)絡(luò)中進(jìn)行優(yōu)化處理，最后將優(yōu)化后的兩個(gè)分量I? 和R? 相乘得到最終的增強(qiáng)后的圖像S?。下面分別就分解網(wǎng)絡(luò)和優(yōu)化網(wǎng)絡(luò)的設(shè)計(jì)思想進(jìn)行描述。

2.1 分解網(wǎng)絡(luò)

分解網(wǎng)絡(luò)由兩個(gè)分支組成，上層分支用于提取反射分量，下層分支用于提取照射分量，如圖2所示。圖中DownSample為下采樣層，用于縮小輸入的特征圖的尺寸，卷積核大小為4×4，步長(zhǎng)為2；Deconv為反卷積層，用于擴(kuò)大輸入的特征圖的尺寸，卷積核大小為4×4，步長(zhǎng)為2；Concat為拼接層，用于按通道拼接傳遞來(lái)的特征圖；其余均為普通尺寸不變卷積層，圖中每一層之后的數(shù)字表示該層的通道數(shù)，卷積核大小均為3×3。

圖2 分解網(wǎng)絡(luò)

分解網(wǎng)絡(luò)的任務(wù)是從輸入的低照度圖像中提取出其對(duì)應(yīng)的照射分量和反射分量，而這是一個(gè)高度病態(tài)的問(wèn)題，必須通過(guò)合理設(shè)計(jì)損失函數(shù)對(duì)網(wǎng)絡(luò)的輸出進(jìn)行一定的約束。依據(jù)Retinex理論，照射分量應(yīng)當(dāng)具有平滑特性，而反射分量應(yīng)當(dāng)盡可能保留輸入圖像的紋理細(xì)節(jié)特征[18]。因此對(duì)于初始反射分量的損失函數(shù)為

2.2 優(yōu)化網(wǎng)絡(luò)

優(yōu)化網(wǎng)絡(luò)中的下采樣層、反卷積層和拼接層的卷積核大小及步長(zhǎng)與分解網(wǎng)絡(luò)中的設(shè)置相同。該網(wǎng)絡(luò)由反射分量?jī)?yōu)化網(wǎng)絡(luò)和照射分量調(diào)整網(wǎng)絡(luò)兩部分組成，其中照射分量調(diào)整網(wǎng)絡(luò)由一組尺寸不變的卷積層組成，對(duì)于該網(wǎng)絡(luò)參數(shù)的調(diào)整將由優(yōu)化網(wǎng)絡(luò)整體的損失函數(shù)實(shí)現(xiàn)。反射分量?jī)?yōu)化網(wǎng)絡(luò)的任務(wù)是進(jìn)一步提升反射分量中的紋理細(xì)節(jié)信息同時(shí)對(duì)噪聲進(jìn)行抑制，具體如圖3所示。

經(jīng)BM3D算法去噪后，圖像的細(xì)節(jié)信息將會(huì)有一些損失。對(duì)此，利用深度卷積網(wǎng)絡(luò)提取紋理信息強(qiáng)的特點(diǎn)，對(duì)上述缺陷進(jìn)行一定程度的彌補(bǔ)。如圖3將去噪之后的反射分量提取不同大小尺寸融入到網(wǎng)絡(luò)的不同卷積層中，在抑制噪聲的同時(shí)增強(qiáng)反射分量的紋理信息。由于采取無(wú)參考圖像的方式對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，缺少正常光照?qǐng)D像對(duì)于網(wǎng)絡(luò)輸出的引導(dǎo)，因此需要通過(guò)合理設(shè)計(jì)的損失函數(shù)對(duì)于最終的增強(qiáng)結(jié)果進(jìn)行約束，使得網(wǎng)絡(luò)能夠向著正確的方向收斂。受文獻(xiàn)[14]啟發(fā)，設(shè)計(jì)了如下3種損失函數(shù)。

圖3 反射分量?jī)?yōu)化網(wǎng)絡(luò)

2.2.1 空間一致性損失

一般對(duì)于反射圖的約束都是基于輸出反射圖的梯度圖與輸入圖像的梯度圖之間的相似性，二者的相似性越高，則代表反射圖中紋理和邊緣信息與輸入的低照度圖像的紋理和邊緣信息越相近[11]。但是，對(duì)于低照度圖像，由于輸入的低照度圖像中紋理細(xì)節(jié)受到照射分量和反射分量的共同作用，由低照度圖像計(jì)算出的梯度圖的值相較于正常照射圖像的梯度圖的值必然是偏小的，因此，為使得反射分量能夠保留更多的細(xì)節(jié)信息，應(yīng)當(dāng)適當(dāng)放寬對(duì)于反射分量的梯度限制。為驗(yàn)證上述想法，從低照度(LOw-Light, LOL)數(shù)據(jù)集[11]中選取一對(duì)低照度圖像和正常照射圖像，在圖4(b)和圖4(d)相同的位置如隨機(jī)選取所對(duì)應(yīng)的200和400處(圖4的紅線)分別計(jì)算其梯度得到200和400處變化趨勢(shì)如圖4(e)和圖4(f)，從圖4(e)和圖4(f)可以看出，正常光照的圖像和低照度圖像的變化趨勢(shì)，在某些像素的鄰域中存在稍些波動(dòng)，但在整體上是呈現(xiàn)一致的。在某些像素的鄰域中存在的波動(dòng)，是由低照度使得一些目標(biāo)物體的邊緣等細(xì)節(jié)變得模糊所導(dǎo)致的。雖然低照度圖像的光照相對(duì)于正常光照發(fā)生了變化，但紋理趨勢(shì)依然是一致的。如果嚴(yán)格要求低照度圖的梯度圖與正常照度圖像的梯度圖完全一致，由于低照度圖像的梯度在一些細(xì)節(jié)處較平滑，則基于Retinex理論，分解低照度圖所獲得的照射分量的梯度圖，將在這些細(xì)節(jié)存在波動(dòng)，未達(dá)到所期望的均勻的照射分量?；谏鲜鏊伎迹诔Ｒ?guī)的圖像梯度圖計(jì)算的基礎(chǔ)上提出趨勢(shì)圖計(jì)算方式

圖4 不同光照下圖像同一位置的梯度變化趨勢(shì)

其中，N表示隨機(jī)選取的不重疊局部區(qū)域數(shù)目(本文設(shè)置為10，區(qū)域大小為16×16)，Yk表示第k個(gè)局部區(qū)域的像素值均值，E表示曝光等級(jí)。曝光等級(jí)表示圖像的平均亮度情況，根據(jù)圖像中所有像素的亮度值取平均來(lái)計(jì)算，將曝光等級(jí)從0～1分為10個(gè)等級(jí)。其中，1為正常曝光，0為極低照度(本文E選擇為0.6)。

2.2.3 色彩一致性損失

為遏制增強(qiáng)圖像中的色彩失真現(xiàn)象，可以使得增強(qiáng)圖像中不同通道的平均像素值占比與輸入的低照度圖像中的占比趨于一致，其損失函數(shù)為

所提算法總的損失函數(shù)為

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)配置為：Intel(R) Xeon(R) E5-2620 v4 CPU，4塊NVIDIA GTX 1080 Ti GPU，64 GB內(nèi)存。網(wǎng)絡(luò)訓(xùn)練階段使用GPU，測(cè)試階段使用CPU。

網(wǎng)絡(luò)的輸入圖像大小為256×256×3，訓(xùn)練樣本為100個(gè)，訓(xùn)練周期為200代，學(xué)習(xí)率初始設(shè)置為0.002，采用Adam算法對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化，Adam參數(shù)設(shè)置為：b1=0.9, b2=0.999。本文模型的訓(xùn)練時(shí)間為30 h。訓(xùn)練樣本的圖像數(shù)據(jù)集來(lái)自Synthetic Low Light[20]中的低照度圖像，共計(jì)22471張，其中80%作為訓(xùn)練數(shù)據(jù)集，其余作為測(cè)試數(shù)據(jù)集；由于合成的低照度圖像不能完全等同于真實(shí)場(chǎng)景下的低照度圖像，因此，本文還從主流的低照度圖像增強(qiáng)論文中收集了一些真實(shí)場(chǎng)景下的低照度圖像，共計(jì)30張作為補(bǔ)充測(cè)試使用。

選擇 (Dong)[15]、 同時(shí)估計(jì)反射分量和照射分類(lèi)( Simultaneous Reflectance and Illumination Estimation, SRIE)[6]、對(duì)抗生成網(wǎng)絡(luò)和Retinex模型 (Generative Adversarial Network and Retinex Mode, RetinexGAN)[12]和低照度圖像增強(qiáng) (Lowlight image Enhancement, LIME)[7]作為本文的對(duì)比算法，其算法的參數(shù)設(shè)置均采用作者原文中的設(shè)置。評(píng)價(jià)指標(biāo)為峰值信噪比(Peak Signal to Noise Ratio, PSNR)、結(jié)構(gòu)相似度(Structural SIMilarity,SSIM)[21]、自然圖像質(zhì)量評(píng)價(jià)(Natural Image Quality Evaluator, NIQE)[22]，三者組合起來(lái)可以在一定程度上較為全面地反映增強(qiáng)圖像的增強(qiáng)效果。其中PSNR和SSIM是全參考評(píng)價(jià)指標(biāo)，即二者的輸入都為增強(qiáng)圖像和參考圖像，輸出為相應(yīng)指標(biāo)的得分；而NIQE是無(wú)參考評(píng)價(jià)指標(biāo)，即其輸入只有增強(qiáng)圖像，輸出為指標(biāo)得分。其中，PSNR主要用于從全局衡量增強(qiáng)圖像與參考圖像之間的相似性，其值越大代表增強(qiáng)效果越好；SSIM從亮度、對(duì)比度和結(jié)構(gòu)3方面衡量增強(qiáng)圖像和參考圖像之間的相似性，其值越高代表增強(qiáng)結(jié)果越接近參考圖像；NIQE主要用于評(píng)價(jià)增強(qiáng)圖像的自然程度，其值越低代表增強(qiáng)圖像效果越佳，具體計(jì)算方式為計(jì)算增強(qiáng)圖像特征模型參數(shù)和預(yù)先建立的模型參數(shù)之間的距離。為驗(yàn)證本文算法的有效性，將從主觀評(píng)價(jià)和客觀評(píng)價(jià)進(jìn)行實(shí)驗(yàn)。

3.2 主觀評(píng)價(jià)

3.2.1 合成的低照度圖像的增強(qiáng)

如圖5和圖6所示，本文首先展現(xiàn)了不同算法對(duì)測(cè)試集中部分圖像的處理效果。以圖5輸入圖像的人臉為例，對(duì)比的其他算法均未能很好地表現(xiàn)出人臉的結(jié)構(gòu)，但本文的處理結(jié)果可以清晰地看出其中的人臉構(gòu)型，所提算法的處理結(jié)果在細(xì)節(jié)表現(xiàn)上與參考圖像更為接近。此外，針對(duì)參考圖6中汽車(chē)周?chē)脑朦c(diǎn)分布情況，以LIME的處理結(jié)果為例，其處理的效果明顯過(guò)度曝光，其噪聲的抑制較差；而RetinexGAN的處理結(jié)果雖未發(fā)生過(guò)度曝光，但圖像的整體亮度和噪聲抑制均遜于所提算法的處理效果。

圖5 不同算法對(duì)于在合成的低照度圖像的處理結(jié)果(1)

圖6 不同算法對(duì)于在合成的低照度圖像的處理結(jié)果(2)

3.2.2 真實(shí)場(chǎng)景下的低照度圖像的增強(qiáng)

圖7展示不同算法在真實(shí)場(chǎng)景下的處理效果。相對(duì)于Dong的處理結(jié)果，本文的結(jié)果沒(méi)有明顯的輪廓現(xiàn)象；相較于SRIE的處理結(jié)果，本文算法的整體效果更為明亮；LIME方法對(duì)圖像的右上角的屋頂部分的增強(qiáng)明顯不足，而所提算法卻實(shí)現(xiàn)了較好的增強(qiáng)；RetinexGAN的結(jié)果雖然整體亮度較高，但圖像出現(xiàn)了明顯的色彩失真。

圖7 不同算法對(duì)于真實(shí)低照度圖像的處理結(jié)果

綜上所述，所提算法在主觀感受上取得在圖像亮度提升、噪聲抑制和色彩保持上的平衡的綜合效果。

3.3 客觀評(píng)價(jià)

為進(jìn)一步驗(yàn)證本文算法的有效性，本文選擇了低照度圖像增強(qiáng)領(lǐng)域中較為常用PSNR, SSIM和NIQE作為評(píng)判標(biāo)準(zhǔn)。所有指標(biāo)的得分均為在測(cè)試集上獲得的平均得分其結(jié)果如表1所示。

由表1可以看出，在PSNR和SSIM的得分上本文取得了最好成績(jī)，由此可知所提算法在細(xì)節(jié)信息的保持上取得了較好的成績(jī)，驗(yàn)證了本文所提出的趨勢(shì)一致性的有效性。雖然本文算法在NIQE上未取得最優(yōu)結(jié)果，但與較為突出的RetinexGAN和LIME的得分較為接近，表明本文算法還具有一定的保持圖像自然性的能力，但對(duì)于輸出圖像的色彩約束尚需進(jìn)一步改進(jìn)。綜上所述，本文算法在提升圖像亮度、降低噪聲干擾和保持圖像自然性上取得了較好的平衡。

表1 不同算法處理結(jié)果的客觀評(píng)價(jià)指標(biāo)得分

圖8展示的是本文算法在測(cè)試集上對(duì)于PSNR,SSIM和NIQE的得分分布情況，從圖中可以看出本文的算法對(duì)于大部分圖像的得分均較高，驗(yàn)證了本文算法具有較強(qiáng)的魯棒性。

圖8 本文算法在測(cè)試集上的各項(xiàng)指標(biāo)得分分布情況

3.4 算法復(fù)雜度

表2給出不同算法對(duì)不同大小的測(cè)試集圖像的處理時(shí)間。Dong的算法涉及圖像的不同空間變換，相應(yīng)的執(zhí)行時(shí)間也較長(zhǎng)；SRIE和LIME均采用變分理論進(jìn)行圖像增強(qiáng)，相對(duì)于本文算法采用的數(shù)據(jù)驅(qū)動(dòng)方法在時(shí)間上具有一定的優(yōu)勢(shì)；與同類(lèi)型的RetinexGAN相比，由于本文算法的模型結(jié)構(gòu)較為復(fù)雜，算法處理時(shí)間會(huì)占更多的開(kāi)銷(xiāo)。進(jìn)一步改善圖像質(zhì)量同時(shí)降低算法復(fù)雜度是下一步研究的重點(diǎn)。

表2 算法處理時(shí)間對(duì)比(s)

3.5 泛化能力

為驗(yàn)證本文算法的泛化能力，本文從LOL數(shù)據(jù)集中隨機(jī)選取30張圖像進(jìn)行測(cè)試，具體結(jié)果如表3所示。

從表3可以看出，本文算法在SSIM上取得最好成績(jī)，在PSNR上與最優(yōu)的LIME較為接近，由此可見(jiàn)所提算法在LOL數(shù)據(jù)集依然能取得較好結(jié)果，驗(yàn)證了本文算法具有良好的泛化能力。

表3 不同算法在LOL數(shù)據(jù)集上的測(cè)試結(jié)果

4 結(jié)束語(yǔ)

通過(guò)分析正常照度圖像的梯度圖與低照度圖像的梯度圖之間的關(guān)系，對(duì)梯度圖計(jì)算方式進(jìn)行改進(jìn)，提出并構(gòu)造了趨勢(shì)一致性損失。同時(shí)為實(shí)現(xiàn)噪聲抑制的需求，將BM3D的去噪效果融合進(jìn)反射分量?jī)?yōu)化網(wǎng)絡(luò)中。最后，采用無(wú)參考圖像訓(xùn)練的方式，使得增強(qiáng)結(jié)果在一定程度上突破參考圖像的限制，達(dá)到更好的增強(qiáng)效果。實(shí)驗(yàn)結(jié)果的主客觀分析表明所提算法能夠在增強(qiáng)低照度圖像亮度和細(xì)節(jié)信息的同時(shí)，保持圖像的自然性。但對(duì)于輸出圖像的色彩約束依然不足，尚需進(jìn)一步研究使得輸出圖像的色彩更加豐富。