結(jié)合視覺顯著性與注意力機(jī)制的低光照圖像增強(qiáng)

尚曉可 安 南 尚敬捷 張韶岷 丁 鼐,4

在圖像獲取過程中，時常存在多種不理想的光照條件，造成曝光不足,而此類圖像中包含的信息往往視覺不可見，嚴(yán)重限制諸多高層視覺任務(wù)(如目標(biāo)檢測[1]、視覺跟蹤[2])的性能,因此學(xué)者們開始設(shè)計(jì)有效的低光照圖像增強(qiáng)算法.根據(jù)算法設(shè)計(jì)思路的不同，現(xiàn)有方法可粗略分為基于模型的傳統(tǒng)方法和基于數(shù)據(jù)的深度網(wǎng)絡(luò)方法.基于模型的傳統(tǒng)方法以建立正則項(xiàng)約束的優(yōu)化模型為核心，構(gòu)造迭代算法為目標(biāo).基于數(shù)據(jù)的深度網(wǎng)絡(luò)方法的關(guān)鍵在于啟發(fā)式地設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)，以海量的數(shù)據(jù)訓(xùn)練端到端的網(wǎng)絡(luò)模型.

基于模型的傳統(tǒng)方法以Retinex模型[3]為核心,初始通用策略是基于Retinex模型，利用高斯濾波器實(shí)現(xiàn)低光照圖像增強(qiáng).Jobson等[4]提出SSR(Single-Scale Retinex)，在對數(shù)域?qū)Φ凸庹蛰斎脒M(jìn)行高斯濾波以產(chǎn)生光照，進(jìn)行減法運(yùn)算，得到增強(qiáng)結(jié)果.Rahman等[5]在SSR的基礎(chǔ)上，引入多尺度信息，進(jìn)一步構(gòu)造MSR(Multi-scale Retinex)，在多個尺度上多次執(zhí)行高斯濾波，產(chǎn)生多個光照，再對基于SSR的增強(qiáng)結(jié)果進(jìn)行加權(quán)求和，得到最終輸出.Jobson等[6]提出MSRCR(MSR with Color Restoration)，引入權(quán)重，進(jìn)行顏色的校正，實(shí)現(xiàn)更優(yōu)的增強(qiáng)效果.Guo等[7]直接利用圖像平滑模型估計(jì)光照，并基于Retinex模型得到增強(qiáng)結(jié)果，雖然顯著提升亮度，但在多數(shù)情況下會出現(xiàn)過曝現(xiàn)象.Zhang等[8]提出增加額外的正則項(xiàng)約束,輔助估計(jì)更好的光照信息，進(jìn)一步避免過曝現(xiàn)象的產(chǎn)生，然而由于多種正則項(xiàng)的引入，測試代價明顯變高.Li等[9]同時優(yōu)化光照與反射，在增強(qiáng)亮度的同時克服一些顯著的噪聲，但受限于正則項(xiàng)的表征能力，僅能使用在一些簡單情形中.總之，現(xiàn)有的基于傳統(tǒng)方法的低光照圖像增強(qiáng)技術(shù)普遍依賴于正則項(xiàng)的設(shè)計(jì)與求解算法的構(gòu)造，往往存在大量需要人工設(shè)定的參數(shù)，在面對不同的低光照場景時，需要消耗大量資源與時間以獲取最佳的增強(qiáng)效果.

近年來，得益于數(shù)據(jù)的井噴式增長，深度學(xué)習(xí)技術(shù)取得蓬勃發(fā)展，一系列行之有效的深度網(wǎng)絡(luò)架構(gòu)隨之產(chǎn)生.然而，區(qū)別于深度學(xué)習(xí)在常規(guī)圖像處理問題(如圖像去噪，圖像超分辨率)的發(fā)展進(jìn)程，基于深度學(xué)習(xí)的低光照圖像增強(qiáng)技術(shù)發(fā)展相對緩慢，其原因在于數(shù)據(jù)的合成及獲取尚存許多困難.直至近期，一些數(shù)據(jù)集的提出逐漸推動該領(lǐng)域的發(fā)展.Chen等[10]提出RetinexNet，結(jié)合Retinex模型與深度學(xué)習(xí)，設(shè)計(jì)一個簡單的網(wǎng)絡(luò)，用于估計(jì)光照，結(jié)合Retinex理論得到增強(qiáng)結(jié)果，但是RetinexNet對于光照的刻畫能力不足，導(dǎo)致結(jié)果出現(xiàn)顏色失真等問題.Chen等[10]還提出一個成對的低光照圖像數(shù)據(jù)集(LOL)，也成為低光照圖像增強(qiáng)領(lǐng)域的重要數(shù)據(jù)集.

在RetinexNet之后，學(xué)者們提出大量利用Re-tinex模型建立的有監(jiān)督網(wǎng)絡(luò)，實(shí)現(xiàn)低光照圖像增強(qiáng)的方法和手段.Wang等[11]提出DeepUPE(Deep Underexposed Photo Enhancement)，構(gòu)建光照估計(jì)網(wǎng)絡(luò)，并設(shè)計(jì)基于光照先驗(yàn)約束的損失函數(shù)，再基于Retinex理論對圖像進(jìn)行增強(qiáng).在MIT-Adobe FiveK數(shù)據(jù)集[12]上訓(xùn)練DeepUPE，并使用與MIT-Adobe FiveK數(shù)據(jù)集相同的生成方式提供新的數(shù)據(jù)集，但方法也存在對亮度場景的刻畫能力不足的問題.Lü等[13]提出MBLLEN(Multi-branch Low-Light Enhance-ment Network)，也是類似的監(jiān)督學(xué)習(xí)方法，在不同層次上使用多個分支網(wǎng)絡(luò)同時增強(qiáng)圖像特征，最后融合多分支輸出結(jié)果，形成最終的增強(qiáng)圖像.Lü等[13]也從損失函數(shù)上進(jìn)行改進(jìn)，提出多損失加權(quán)的方案.MBLLEN的多分支結(jié)構(gòu)使細(xì)節(jié)出現(xiàn)問題，同時引入一些噪聲，在結(jié)構(gòu)刻畫方面存在明顯不足.

通常而言，依賴成對數(shù)據(jù)訓(xùn)練的有監(jiān)督網(wǎng)絡(luò)往往在給定與訓(xùn)練數(shù)據(jù)分布相同的數(shù)據(jù)集上具備較優(yōu)性能，然而由于成對數(shù)據(jù)的獲取仍需要人工操作，往往缺乏較強(qiáng)的適用性.為了解決此問題，學(xué)者們提出一系列基于半監(jiān)督或無監(jiān)督的方法.Jiang等[14]提出EnlightenGAN(Deep Light Enhancement with Paired Supervision)，從圖像分布的角度考慮低光照圖像增強(qiáng)問題，并引入生成對抗機(jī)制.EnlightenGAN基于U-Net結(jié)構(gòu)建立生成器，并進(jìn)一步設(shè)計(jì)全局-局部判別器，可基于非成對的數(shù)據(jù)進(jìn)行訓(xùn)練，一定程度上提升算法的適用性.類似地，Yang等[15]提出不完全依賴成對數(shù)據(jù)的半監(jiān)督方法——DRBN(Deep Re-cursive Band Network).但是由于缺乏有效的物理規(guī)律的建模，DRBN和EnlightenGAN都引入明顯偽影，造成視覺效果退化.最近，一些研究人員嘗試挖掘深度網(wǎng)絡(luò)強(qiáng)大的刻畫表征能力，力求構(gòu)建低光照圖像與正常光照圖像之間全新的顯式映射關(guān)系.Guo等[16]提出Zero-DCE(Zero-Reference Deep Curve Estimation)，將亮度增強(qiáng)作為一種利用深度網(wǎng)絡(luò)進(jìn)行圖像特定曲線估計(jì)的任務(wù).Zero-DCE訓(xùn)練一個輕量級的深度網(wǎng)絡(luò)，用于估計(jì)像素和高階曲線的動態(tài)范圍,調(diào)整給定圖像，具有較高的推理效率，但會產(chǎn)生較明顯的顏色失真.

隨著注意力機(jī)制在計(jì)算機(jī)視覺領(lǐng)域的逐漸興起，學(xué)者們嘗試構(gòu)建具有注意力機(jī)制的低光照增強(qiáng)網(wǎng)絡(luò)框架[17-18].Zhang等[17]提出基于注意力的神經(jīng)網(wǎng)絡(luò)，可從原始傳感器數(shù)據(jù)中生成高質(zhì)量的增強(qiáng)后低光照圖像，引入空間注意力模塊和通道注意力模塊，抑制色差偏誤和噪音產(chǎn)生.Lü等[18]提出針對大規(guī)模合成低光照數(shù)據(jù)集的注意力引導(dǎo)的端到端多分支卷積神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)兩個注意力圖，分別指導(dǎo)亮度增強(qiáng)和去噪任務(wù)，并根據(jù)輸入自適應(yīng)地工作.

顯著目標(biāo)檢測旨在將顯著物體與周圍環(huán)境分離，以抵抗背景、光照等變化引起的干擾.Hao等[19]為了解決現(xiàn)有算法由于缺少高級視覺信息導(dǎo)致存在過度增強(qiáng)、噪聲被放大等問題，提出基于Retinex理論和顯著性理論的低光照圖像增強(qiáng)框架，融合顯著性圖和增強(qiáng)圖像，增強(qiáng)整個圖像.為了進(jìn)一步解決低光照圖像模態(tài)中嚴(yán)重的對象信息丟失導(dǎo)致難以對顯著目標(biāo)檢測的問題，Xu等[20]提出直接將物理光照模型嵌入深度神經(jīng)網(wǎng)絡(luò)中，用于描述低光照圖像的退化，并利用非局部塊層捕獲對象的局部內(nèi)容與其局部鄰域偏好區(qū)域的差異，促進(jìn)低光照圖像中的顯著目標(biāo)檢測.

網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方面，學(xué)者們指出，遵循由粗糙到細(xì)致分階段對圖像進(jìn)行增強(qiáng)是可行、有效的.Xu等[21]發(fā)現(xiàn)噪聲在不同頻率層中表現(xiàn)出不同水平的對比度，基于在低頻層比在高頻層更容易檢測到噪聲的特點(diǎn)，提出基于頻率的漸進(jìn)式分解和增強(qiáng)模型，有效提升去噪和增強(qiáng)效果.

總之，現(xiàn)有低光照圖像增強(qiáng)方法由于未能對結(jié)構(gòu)信息進(jìn)行正確刻畫，并且缺乏視覺認(rèn)知信息，導(dǎo)致普遍存在顏色失真和偽影噪聲等問題.為了解決上述問題，本文提出結(jié)合視覺顯著性和注意力機(jī)制的低光照圖像增強(qiáng)方法.首先，提出基于注意力的漸進(jìn)式低光照圖像增強(qiáng)網(wǎng)絡(luò)，作為本文方法的主干部分，突破Retinex模型求解過程中的局限性.然后，提出漸進(jìn)式注意力機(jī)制，同時引入通道注意力機(jī)制和空間注意力機(jī)制：空間注意力機(jī)制能高效感知圖像不同區(qū)域的明暗特征，同時考慮局部細(xì)節(jié)和全局信息；通道注意力機(jī)制可針對圖像的不同通道進(jìn)行調(diào)整，在正確刻畫增強(qiáng)結(jié)果中顏色信息的同時，使增強(qiáng)結(jié)果獲得更均衡的光照.同時遵循由粗到精的建模理念，提出漸進(jìn)式注意力機(jī)制，分階段細(xì)化增強(qiáng)過程，隨后引入殘差結(jié)構(gòu)，顯著降低注意力學(xué)習(xí)的復(fù)雜度.在注意力網(wǎng)絡(luò)中加入圖像顯著性特征作為引導(dǎo)，增強(qiáng)網(wǎng)絡(luò)對圖像中顯著性目標(biāo)的感知，提升結(jié)構(gòu)信息刻畫能力，使方法在避免偽影等噪聲和避免顏色失真等方面獲得增益.對比實(shí)驗(yàn)驗(yàn)證本文方法的優(yōu)越性與有效性.

1 結(jié)合視覺顯著性與注意力機(jī)制的低光照圖像增強(qiáng)

受近年來在計(jì)算機(jī)領(lǐng)域逐漸成為熱點(diǎn)的注意力機(jī)制的啟發(fā)，本文提出結(jié)合視覺顯著性與注意力機(jī)制的低光照圖像增強(qiáng)方法，具體流程如圖1所示.首先，引入注意力機(jī)制，構(gòu)建低光照增強(qiáng)網(wǎng)絡(luò)，將注意力網(wǎng)絡(luò)生成的注意力圖與原圖逐像素相乘，增強(qiáng)圖像，敏銳感知圖像各處的曝光程度，避免增強(qiáng)后帶來的曝光不均衡問題.另外，采用從粗糙到精細(xì)的漸進(jìn)式優(yōu)化理念進(jìn)一步改進(jìn)網(wǎng)絡(luò)，逐步提升增強(qiáng)性能.

在視覺顯著性引導(dǎo)的特征融合部分，利用一個預(yù)訓(xùn)練的顯著性目標(biāo)檢測網(wǎng)絡(luò)，提取低光照圖像的顯著性特征.這些顯著性特征以空間特征變換的方式與低光照圖像的特征高度融合后進(jìn)入注意力估計(jì)階段.顯著性檢測大多將研究重心放在人眼注意點(diǎn)的檢測上，即檢測圖像中最吸引人類眼光的地方(如高亮度區(qū)域、高飽和度區(qū)域等)，檢測結(jié)果為一組光亮點(diǎn)組成的感興趣區(qū)域[22]，因此視覺顯著性包含豐富的場景結(jié)構(gòu)信息.為了提升本文方法對結(jié)構(gòu)信息的刻畫，增添顯著性特征作為補(bǔ)充信息輸入.利用顯著性引導(dǎo)注意力訓(xùn)練，使網(wǎng)絡(luò)訓(xùn)練進(jìn)程加快、網(wǎng)絡(luò)更穩(wěn)健，并且讓注意力映射更關(guān)注圖像中的主要物體，同時也能更好地避免增強(qiáng)過程中物體周圍出現(xiàn)偽影及處理后物體顏色偏向背景顏色而導(dǎo)致的顏色失真.

圖1 本文方法流程圖

1.1 基于注意力的漸進(jìn)式低光照圖像增強(qiáng)網(wǎng)絡(luò)

輸入一幅RGB三通道的低光照圖像，記為y，期望得到的光照正常圖像記為x，低光照輸入對應(yīng)的正常光照參考標(biāo)準(zhǔn)圖像(Ground Truth)記為xgt.對y進(jìn)行注意力估計(jì)以評估全局明暗差異.為了逐步優(yōu)化結(jié)果，引入漸進(jìn)式的優(yōu)化思想，形成漸進(jìn)式低光照圖像增強(qiáng)網(wǎng)絡(luò).具體地，假設(shè)注意力為α，建模如下：

xt=αt-1⊙xt-1+xt-1,t=1,2，…，T，

(1)

其中，⊙表示逐像素相乘，x表示光照正常的圖像，t表示第t階段，T表示總階段數(shù)，初始化x0=y.在基于Retinex理論的建模中，常用低光照圖像除以光照，得到正常光照圖像，但是受制于像素閾值影響，這種除法關(guān)系并不穩(wěn)定.受Retinex物理模型的啟發(fā)，基于乘法關(guān)系建模注意力，建立的注意力網(wǎng)絡(luò)能輸出包含圖像中不同明暗區(qū)域注意力的注意力圖.注意力具體表現(xiàn)為權(quán)重?cái)?shù)值，在低光照圖像增強(qiáng)任務(wù)中，對于圖像中較暗區(qū)域的注意力較大，將包含權(quán)重?cái)?shù)值的注意力圖像與輸入低光照圖像相乘即可達(dá)到增強(qiáng)效果，有效規(guī)避Retinex模型的缺點(diǎn).在此基礎(chǔ)上，進(jìn)一步引入殘差結(jié)構(gòu)，降低注意力學(xué)習(xí)的復(fù)雜度，提升模型收斂效率.利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)由輸入特征到注意力的映射，該映射函數(shù)記為A，即注意力網(wǎng)絡(luò).

注意力網(wǎng)絡(luò)A的結(jié)構(gòu)如下.首先，將特征輸入通過兩個卷積層，提取所需特征.在注意力的刻畫上，采用金字塔型編碼器-解碼器結(jié)構(gòu).具體地，采用平均池化和最大池化兩種池化層，從不同角度獲取綜合信息，并且三層金字塔結(jié)構(gòu)中上/下采樣的操作能使注意力網(wǎng)絡(luò)感知包含高中低3個尺度的信息.在此基礎(chǔ)上，為了補(bǔ)償在最小卷積層后的上采樣時造成的特征損失，在對應(yīng)的層級上使用2個跳躍連接.每個生成的注意力權(quán)重圖都有3個通道，取值范圍為[0,1].注意力圖的可視化結(jié)果如圖2所示.最后，網(wǎng)絡(luò)生成的注意力圖按式(1)的建模方式增強(qiáng)圖像.注意力圖框架總體可表示為：

其中，t=1,2，…，T，表示第t階段，T表示總階段數(shù)，初始化x0=y.在該網(wǎng)絡(luò)下，低光照圖像可實(shí)現(xiàn)從粗到細(xì)地逐步增強(qiáng).

(a)低光照觀測圖

(b)注意力圖

(c)增強(qiáng)結(jié)果

1.2 視覺顯著性引導(dǎo)的特征融合

[S1,S2,…,Sn]=S(x),n=1,2,…,8,

其中，S表示預(yù)訓(xùn)練參數(shù)固定的顯著性目標(biāo)檢測網(wǎng)絡(luò)，[S1,S2,…,Sn]表示提取的顯著性特征序列.顯著性特征數(shù)量n與注意力網(wǎng)絡(luò)的階段數(shù)量相同，最多為8，即CPD網(wǎng)絡(luò)中使用跳躍連接到局部解碼器.

對于低光照輸入y，本文希望與顯著性特征融合，共同作為注意力網(wǎng)絡(luò)的輸入.受Wang等[24]的啟發(fā)，使用空間特征變換的方式高度融合兩種特征，代替?zhèn)鹘y(tǒng)的在通道數(shù)上的連接.在空間特征變換中，低光照圖像首先輸入4個卷積層中，每個卷積運(yùn)算后由ReLU函數(shù)進(jìn)行激活，最終得到64通道的低光照圖像特征.同時前期提取的顯著性特征也輸入一個卷積層，變換為32通道的特征，達(dá)到維度匹配.然后，將這些經(jīng)過處理的低光照特征和顯著性特征輸入空間特征變換層，進(jìn)一步促進(jìn)特征融合.

空間特征變換層學(xué)習(xí)由基礎(chǔ)特征和先驗(yàn)特征到融合特征的映射.從先驗(yàn)特征Φ學(xué)習(xí)一組變換配置參數(shù)(γ,β).基于這組變換配置參數(shù)，空間特征變換層可根據(jù)不同的先驗(yàn)特征和基礎(chǔ)特征適應(yīng)性地進(jìn)行仿射變換融合.具體來說，定義Γ為映射函數(shù)，可得到關(guān)系

?！忙祙→(γ,β)，

表示為

(γ,β)=Γ(Φ).

獲得變換配置參數(shù)(γ,β)后，定義變換過程，由基礎(chǔ)特征結(jié)合先驗(yàn)特征進(jìn)行變換，得到變換后的融合特征，變換過程可表示為

F=γ⊙P+β，

其中，F(xiàn)表示變換后得到的融合特征，P表示基礎(chǔ)特征，⊙表示逐像素相乘，F(xiàn)、P、γ、β的通道數(shù)與尺寸均相同.

在本文方法中，低光照輸入特征作為基礎(chǔ)特征，由預(yù)訓(xùn)練網(wǎng)絡(luò)提取的顯著性特征作為先驗(yàn)特征，執(zhí)行空間特征變換，得到融合特征.為了更深度的融合，將5個空間特征變換層作為一個集合，形成一個空間特征變換塊.在每層注意力網(wǎng)絡(luò)前設(shè)置一個空間特征變換塊.另外，對于挑選的顯著性特征[S1,S2,…,Sn]，每個都會參與到不同的空間特征變換塊中，實(shí)驗(yàn)中n=2.

①應(yīng)實(shí)行“建管并重”。俗話說，“三分建設(shè)、七分管養(yǎng)”。在強(qiáng)調(diào)農(nóng)田水利基本建設(shè)的同時，應(yīng)加強(qiáng)管理維護(hù)的責(zé)任到位、經(jīng)費(fèi)到位、人員到位，確保工程效益的發(fā)揮。

1.3 損失函數(shù)

為了降低訓(xùn)練復(fù)雜度，只采用基礎(chǔ)的均方誤差損失(Mean-Square Error loss, MSE loss)作為訓(xùn)練本文方法的損失函數(shù)，函數(shù)方程可表示為

其中，xt表示第t階段獲得的增強(qiáng)圖像，xgt表示參考標(biāo)準(zhǔn)圖像.除去顯著性檢測模塊的網(wǎng)絡(luò)參數(shù)是預(yù)訓(xùn)練并且固定的.基于該損失函數(shù)在整體上訓(xùn)練本文方法.

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本文選擇的訓(xùn)練數(shù)據(jù)集來自帶有參考圖像的公開數(shù)據(jù)集MIT-Adobe FiveK[12].數(shù)據(jù)集包含5 000幅使用單反相機(jī)拍攝的真實(shí)場景中的低光照圖像.圖像涵蓋廣泛的場景、主題和照明條件.在此基礎(chǔ)上，數(shù)據(jù)收集組邀請5名專家調(diào)整圖像的光照與色彩，達(dá)到他們認(rèn)為的光照程度使人愉悅的圖像.本文選取500幅曝光程度相仿的低光照圖像和校正后的對應(yīng)圖像作為訓(xùn)練集.此外，在剩余圖像中隨機(jī)挑選110幅圖像作為測試集.

2.2 實(shí)施細(xì)節(jié)

為了訓(xùn)練本文方法，在輸入到網(wǎng)絡(luò)前，訓(xùn)練圖像調(diào)整為320×320的方形圖像，批尺寸設(shè)置為4.本文采用Adam(Adaptive Moment Estimation)作為優(yōu)化器，初始學(xué)習(xí)率為0.002,優(yōu)化參數(shù)β1=0.9,β2=0.999.共訓(xùn)練200個周期，采用學(xué)習(xí)率衰減策略，更好地適應(yīng)訓(xùn)練進(jìn)程.具體來說，在100個周期后，學(xué)習(xí)率會線性降至0.

整個訓(xùn)練過程在PyTorch框架上實(shí)現(xiàn)，并在一臺帶有NVIDIA TITAN XP、32 GB 內(nèi)存和Intel Core i7-8750 CPU的Linux服務(wù)器上進(jìn)行訓(xùn)練.

2.3 評估指標(biāo)

對于圖像質(zhì)量的評價，研究人員提出從不同角度評價圖像質(zhì)量的指標(biāo).然而，由于每個指標(biāo)的側(cè)重點(diǎn)不同，不是所有指標(biāo)都能有效評估低光照圖像的增強(qiáng)性能.為了全面評估方法性能，本文選擇峰值信噪比(Peak Signal to Noise Ratio， PSNR)、結(jié)構(gòu)相似性(Structural Similarity， SSIM)、自然圖像無參考評價器(Natural Image Quality Evaluator， NIQE)作為評價指標(biāo).PSNR是基于參考圖像評價的標(biāo)準(zhǔn)，用于表示增強(qiáng)后圖像的峰值功率和噪聲功率的比值，可評估增強(qiáng)圖像的畸變程度.SSIM是在結(jié)構(gòu)的角度上對比增強(qiáng)結(jié)果和參考圖像，補(bǔ)充PSNR忽視的結(jié)構(gòu)特性.NIQE無需參考圖像，從圖像中提取一些特征，并采用多變量高斯模型進(jìn)行描述，評價過程中利用待評價圖像特征模型參數(shù)與預(yù)先建立的模型參數(shù)之間的距離確定圖像質(zhì)量.所以NIQE值越小，表明模型參數(shù)差距越小，圖像的質(zhì)量越高.

2.4 對比實(shí)驗(yàn)結(jié)果

本文選擇低光照圖像增強(qiáng)領(lǐng)域內(nèi)7種具有代表性的方法進(jìn)行定量評估和定性分析，分別為：Reti-nexNet[10]、MBLLEN[13]、EnlightenGAN[14]、DRBN[15]、Zero-DCE[16]、FIDE(Frequency-Based Image Decompo-sition-and-Enhancement)[21]、GLADNet(Global Illumi-nation Aware and Detail-Preserving Network)[24].

各方法部分視覺效果對比如圖3所示.由圖可知，從整體的視覺滿意度和增強(qiáng)結(jié)果與參考標(biāo)準(zhǔn)圖像之間的貼合程度上看，本文方法都明顯優(yōu)于其它對比方法.具體來說，DRBN、EnlightenGAN、GLADNet都存在一定程度的過曝現(xiàn)象，引起一定程度的視覺不悅.FIDE的增強(qiáng)結(jié)果可明顯看出增強(qiáng)力度不足，增強(qiáng)后的圖像仍處于曝光不足的狀態(tài)，甚至在個例中幾乎看不出增強(qiáng)效果.Zero-DCE與MBLLEN雖然達(dá)到適宜的曝光程度，但在色彩方面存在一定程度的失真，如畫面偏白或色彩過飽和.RetinexNet在畫面整體刻畫上失真，使圖像內(nèi)容存在色彩和結(jié)構(gòu)的偏差.相比之下，本文方法既達(dá)到更適宜的曝光程度，也未產(chǎn)生顏色失真等問題，取得較令人滿意的增強(qiáng)效果，尤其是在平衡曝光程度和突出色彩生動方面.引入顯著性引導(dǎo)的優(yōu)勢使本文方法增強(qiáng)結(jié)果幾乎不存在偽影或振鈴效應(yīng)等處理過程中引入的噪聲.相比參考標(biāo)準(zhǔn)圖像可看出，本文方法在曝光程度和色彩分布等方面都明顯更貼合標(biāo)準(zhǔn)圖像，也呈現(xiàn)更自然的圖像紋理和適宜的視覺效果，這也說明采用由粗到細(xì)的漸進(jìn)式低光照圖像增強(qiáng)網(wǎng)絡(luò)和引入顯著性特征對得到色彩更生動的增強(qiáng)結(jié)果是有效的.

(a)輸入圖像

(b)參考標(biāo)準(zhǔn)圖像

(c)DRBN

(d)EnlightenGAN

(e)FIDE

(f)GLADNet

(g)MBLLEN

(h)RetinexNet

(i)Zero-DCE

(j)本文方法

在視覺效果對比分析之外，還對比各方法的PSNR、SSIM、NIQE指標(biāo)值，具體結(jié)果如表1所示.由表可知，在測試集上，本文方法的PSNR值和SSIM值最高，NIQE值最低.由此，從定性和定量角度上看，本文方法均取得較令人滿意的結(jié)果，這同時也說明本文方法的優(yōu)越性.

表1 各方法在MIT-Adobe FiveK數(shù)據(jù)集上的指標(biāo)值對比

2.5 消融實(shí)驗(yàn)結(jié)果

本節(jié)分析顯著性引導(dǎo)和注意力機(jī)制對實(shí)驗(yàn)結(jié)果的影響，說明在本文方法中引入顯著性引導(dǎo)模塊和注意力網(wǎng)絡(luò)的必要性.首先，刪除本文方法中的顯著性引導(dǎo)部分，并與本文方法的結(jié)果在視覺和指標(biāo)上進(jìn)行對比評估，驗(yàn)證顯著性引導(dǎo)的有效性.

是否刪除顯著性引導(dǎo)的視覺效果對比如圖4所示.由圖可見，刪除顯著性引導(dǎo)后帶來明顯的效果退化.從圖中標(biāo)注的紅框及對應(yīng)放大區(qū)域可更明顯地看出，當(dāng)刪除顯著性引導(dǎo)后，對圖像的結(jié)構(gòu)信息感知變?nèi)醯耐瑫r也降低對低光照場景下全局信息和局部細(xì)節(jié)的敏感性，導(dǎo)致部分區(qū)域色彩飽和度不足，并引入偽影噪聲.相比之下，本文方法的視覺效果色彩更生動，也能有效解決偽影噪聲等問題.

(a)低光照圖像 (b)刪除顯著性引導(dǎo)的注意力圖 (c)本文方法的注意力圖 (d)刪除顯著性引導(dǎo)的結(jié)果 (e)本文方法的結(jié)果

下面進(jìn)行針對通道注意力機(jī)制的消融實(shí)驗(yàn)在本文方法中刪除通道注意力機(jī)制，并與本文方法在視覺和指標(biāo)值上進(jìn)行對比，驗(yàn)證注意力機(jī)制的有效性.是否刪除注意力機(jī)制的視覺效果對比如圖5所示.由圖可看出，刪除注意力機(jī)制后，增強(qiáng)結(jié)果對顏色的刻畫出現(xiàn)明顯的偏差，相比之下，本文方法的增強(qiáng)結(jié)果對顏色的校正更正確和自然.這說明引入注意力機(jī)制可使方法具備正確刻畫顏色及增強(qiáng)低光照圖像的能力.

(a)低光照圖像 (b)標(biāo)準(zhǔn)參考圖像 (c)刪除注意力機(jī)制的結(jié)果 (d)本文方法的結(jié)果

是否刪除顯著性引導(dǎo)和注意力機(jī)制后得到的3個指標(biāo)值對比如表2所示.由表可看出，引入顯著性引導(dǎo)在3個指標(biāo)上都有明顯的積極影響.引入注意力機(jī)制后，3個指標(biāo)值也都有明顯上升.

表2 不同模塊對方法性能的影響

2.6 階段數(shù)量分析

本文根據(jù)選擇數(shù)據(jù)集的特點(diǎn)與實(shí)際需求， 設(shè)置兩階段注意力結(jié)構(gòu).為了分析階段數(shù)量對實(shí)驗(yàn)結(jié)果的影響，提供單階段注意力結(jié)構(gòu)和三階段注意力結(jié)構(gòu)的增強(qiáng)效果，如圖6所示.由圖可見，在MIT-Adobe FiveK數(shù)據(jù)集上，單階段注意力存在明顯的曝光不足，而三階段注意力也并不能在視覺效果上帶來更多增益，只造成參數(shù)的冗余，這說明在MIT-Adobe FiveK數(shù)據(jù)集上，兩階段注意力已達(dá)到令人滿意的效果，故在實(shí)際實(shí)驗(yàn)中將階段數(shù)量設(shè)置為2.同時也看出，從單階段到兩階段再到三階段，增強(qiáng)結(jié)果的曝光程度變得更均衡，每一階段都能對前一階段的增強(qiáng)結(jié)果進(jìn)行優(yōu)化.三階段注意力可提升性能的實(shí)情也表明，本文方法可根據(jù)低光照數(shù)據(jù)的難易程度靈活調(diào)整階段數(shù)量及對應(yīng)顯著性特征的數(shù)量，達(dá)到更好的增強(qiáng)效果.

(a)低光照圖像 (b)參考圖像 (c)1階段結(jié)果 (d)2階段結(jié)果 (e)3階段結(jié)果

采用不同階段數(shù)量的注意力網(wǎng)絡(luò)的指標(biāo)值對比如表3所示，表中黑體數(shù)字表示最優(yōu)值.由表可看出，相比兩階段注意力，單階段注意力的指標(biāo)值變小，但三階段注意力的指標(biāo)值僅獲得幾乎可忽略不計(jì)的微弱提升.本文方法僅選用2個顯著性特征作為后續(xù)補(bǔ)充輸入，未使用CPD剩余的網(wǎng)絡(luò)結(jié)構(gòu).本文之所以未在圖1中將未用到的部分刪除是因?yàn)樵诓煌娜蝿?wù)需求下需要的顯著性特征數(shù)量也是不同的.對于其它曝光程度與MIT-Adobe FiveK數(shù)據(jù)集不同的或是其它類型的圖像處理問題，本文方法可根據(jù)低光照數(shù)據(jù)的光照條件困難程度或遵循任務(wù)需求應(yīng)用更多階段或更少階段的注意力結(jié)構(gòu)，即使用不同數(shù)量的顯著性特征作為后續(xù)引導(dǎo).

表3 階段數(shù)量不同時的指標(biāo)值對比

3 結(jié) 束 語

本文提出結(jié)合視覺顯著性與注意力機(jī)制的低光照圖像增強(qiáng)方法.首先構(gòu)建基于注意力的漸進(jìn)式低光照圖像增強(qiáng)網(wǎng)絡(luò)，作為本文方法的主干架構(gòu)，實(shí)現(xiàn)對亮度場景的精確刻畫及從粗糙到精細(xì)的逐步增強(qiáng)，使增強(qiáng)結(jié)果的曝光程度更均衡.再在注意力網(wǎng)絡(luò)中引入視覺顯著性信息，將顯著性特征作為補(bǔ)充信息輸入，豐富空間結(jié)構(gòu)信息，充分利用低光照場景中的全局信息和局部細(xì)節(jié)，使增強(qiáng)結(jié)果色彩更生動，有效減少可能產(chǎn)生偽影噪聲的問題.對比實(shí)驗(yàn)表明本文方法的優(yōu)越性和有效性.

今后將考慮進(jìn)一步探究如何更好地面向特定任務(wù)，有效引入注意力機(jī)制和顯著性引導(dǎo)以設(shè)計(jì)網(wǎng)絡(luò)，如圖像去雨、圖像去霧等.也嘗試構(gòu)建面向硬件結(jié)構(gòu)的低延遲高效算法，更好地貼近工業(yè)級的實(shí)際應(yīng)用需求.