融合深層語義與空間精確度的低照度圖像增強方法*

楊 微 陳孝如 張志威 陳立軍

（1.廣州軟件學(xué)院軟件工程系 廣州 510990）（2.華南理工大學(xué)計算機科學(xué)與工程學(xué)院 廣州 510641）

1 引言

在暗夜、室內(nèi)、背光及惡劣天氣等不理想光照環(huán)境采集的圖像存在亮度低、噪聲偽影、細節(jié)丟失、顏色失真等退化問題，不利于人類視覺感知，也會對計算機視覺高層任務(wù)產(chǎn)生效能退化的影響。低照度圖增強可表示為Ih=fE(Il)，Il代表采集的低照度圖像，fE為圖像增強，Ih表示圖像增強結(jié)果，是基于軟件方法提高不理想光照條件環(huán)境的成像質(zhì)量，恢復(fù)圖像隱含信息內(nèi)容的表達，使圖像更加符合人類視覺感官或計算機視覺高層任務(wù)需求。由于現(xiàn)實光照的不確定性及存在的噪聲干擾Ih不唯一，fE為NP 問題，屬于計算機視覺中重要且具有挑戰(zhàn)的問題。

對此，早期研究者提出不同的增強方法［1~5］，但基于深度學(xué)習的方法是低照度圖像增強主流方法。文獻［6］最早將深度學(xué)習用于低照度圖像增強去噪任務(wù)中；文獻［7］受傳統(tǒng)Retinex 理論的多尺度加權(quán)高斯環(huán)繞處理啟發(fā)，基于帶殘差結(jié)構(gòu)CNN 網(wǎng)絡(luò)設(shè)計等價的“高斯差分”結(jié)構(gòu)“MSR-net”，完成低照度圖像增強；文獻［8］設(shè)計全局照明感知和細節(jié)恢復(fù)網(wǎng)絡(luò)GLADNet，在大分辨率尺寸下完成低照度圖像細節(jié)重建；文獻［9］設(shè)計LightenNet 基于CNN網(wǎng)絡(luò)學(xué)習獲得低照度圖像光照圖并通過gamma 矯正，后基于Retinex 理論獲得反射圖作為增強結(jié)果；RetinexNet［10］結(jié)合Retinex 理論和深度卷積神經(jīng)網(wǎng)絡(luò)，構(gòu)建三階段增強網(wǎng)絡(luò)進行端到端訓(xùn)練完成低照度圖像增強；文獻［11~12］結(jié)合Retinex 理論及深度CNN，采用分解網(wǎng)絡(luò)、恢復(fù)增強網(wǎng)絡(luò)分階段由粗到細地完成低照度增強；EnlightenGAN［13］基于GAN網(wǎng)絡(luò)設(shè)計帶注意力引導(dǎo)的U-Net 網(wǎng)絡(luò)作為生成器及雙判別器結(jié)構(gòu)對全局及局部信息進行引導(dǎo)，在沒有低/正常光圖像對的情況下無監(jiān)督完成低照度圖像增強；KinD++［14］基于CNN 網(wǎng)絡(luò)設(shè)計了側(cè)重于光照圖像的交互調(diào)整和反射圖像細節(jié)增強的網(wǎng)絡(luò)結(jié)構(gòu)來重建圖像；Zero-DCE++［15］構(gòu)建了無監(jiān)督的訓(xùn)練網(wǎng)絡(luò)估計輸入圖像的亮度曲線，采用迭代遞進的方式進行低照度圖像增強，克服了配對數(shù)據(jù)的依賴；MBLLEN［16］基于CNN設(shè)計由多尺度特征提取模塊、編碼解碼結(jié)構(gòu)的增強模塊、圖像融合模塊構(gòu)建的低照度增強網(wǎng)絡(luò)完成圖像增強；文獻［17~19］針對單幅低照度圖像增強效果不佳，采用相同場景的多幀圖像進行圖像增強，漸進式完成圖像增強任務(wù)。

分析發(fā)現(xiàn)，由于低照度圖像增強為位置敏感的視覺任務(wù)，基于深度學(xué)習低照度圖像增強主流為基于CNN的U型架構(gòu)，如編碼-解碼結(jié)構(gòu)［6，20~22］、U-Net［23］結(jié)構(gòu)及其融合殘差連接的變體結(jié)構(gòu)。U 型網(wǎng)絡(luò)結(jié)構(gòu)高分辨率到低分辨率的下采樣階段能獲得上下文語義聚合的特征表示，低分辨率到高分辨率的上采樣恢復(fù)階段能獲得空間位置精確的特征表示，但下采樣和上采樣階段會導(dǎo)致用于圖像重建的特征丟失了空間紋理細節(jié)的精確度，影響低照度圖像恢復(fù)的準確性，出現(xiàn)模糊、對比度細節(jié)不足問題。對此，研究者提出U 型多尺度結(jié)構(gòu)、高分辨率單尺度結(jié)構(gòu)及二者混合結(jié)構(gòu)獲取并融合豐富的上下文語義信息特征表示和較準確的空間信息特征表示［24~25］。受此啟發(fā)，論文設(shè)計“融合全局深層上下文語義及空間精確度特征的低照度圖像增強網(wǎng)絡(luò)”，簡稱CCSNet，論文主要貢獻包括：

1）論文基于上下文深層語義信息編碼結(jié)構(gòu)及U 型結(jié)構(gòu)設(shè)計了融合深層上下文語義及空間準確度特征的一種端到端的低光照圖像增強網(wǎng)絡(luò)CCSNet，不同深度的雙編碼結(jié)構(gòu)并行，分別獲得豐富的全局上下文深層語義特征及空間紋理細節(jié)信息保留的特征；2）引入多層次特征融合機制完成U型網(wǎng)絡(luò)不同階段、深層上下文語義特征和較準確的空間準確度特征進行融合，得到聚合豐富語義信息及空間準確度的特征表達，提高低照度圖像恢復(fù)的準確性；3）引入注意力機制對不同語義尺度信息特征的聚合和篩選，提升網(wǎng)絡(luò)特征提取選擇和表達的能力；4）針對設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)及解決的問題設(shè)計了有效的損失函數(shù)。

2 相關(guān)研究

2.1 基于端到端深度CNN網(wǎng)絡(luò)低照度圖像增強

低照度圖像增強任務(wù)中獲取并全面利用保留圖像空間細節(jié)的特征信息及深層壓縮的圖像全局上下文語義信息非常關(guān)鍵，文獻［16］設(shè)計包含特征提取模塊及多個同構(gòu)并行U 型增強子網(wǎng)的多分支增強網(wǎng)絡(luò)MBLLEN來獲取不同層次豐富特征；文獻［26］設(shè)計一種結(jié)構(gòu)紋理感知網(wǎng)絡(luò)STANet，基于全分辨率網(wǎng)絡(luò)分支和帶殘差U 型編碼解碼結(jié)構(gòu)分別提取紋理特征和全局局部特征，融合全局局部及紋理特性特征進行圖像增強；文獻［27~30］設(shè)計由全分辨率卷積網(wǎng)絡(luò)分支、U 型編碼解碼網(wǎng)絡(luò)分支、注意力機制及信息交換融合模塊構(gòu)成的網(wǎng)絡(luò)結(jié)構(gòu)，獲得不同尺度語義信息特征后進行融合，完成進行圖像恢復(fù)任務(wù)；文獻［31］設(shè)計一個低照度增強的混合網(wǎng)絡(luò)結(jié)構(gòu)，在編碼解碼結(jié)構(gòu)中增加學(xué)習邊緣特征分支，并對內(nèi)容特征進行融合獲得增強的結(jié)果；文獻［32］改良計算機視覺Transformer 結(jié)構(gòu)提出一種編碼器-解碼器U 型轉(zhuǎn)換器Restormer，用于在高分辨率圖像上進行多尺度局部-全局表示學(xué)習，并精心設(shè)計多頭轉(zhuǎn)移注意力（MDTA）模塊聚合局部和非局部像素交互；文獻［33］設(shè)計一個保持分辨率不變及多分辨率融合的高分辨率表征網(wǎng)絡(luò)HRNet，避免丟失高分辨率空間準確性表征。受文獻［15，27~34］啟發(fā)，論文設(shè)計了一種融合深層上下文語義及空間準確度特征的端到端低光照圖像增強網(wǎng)絡(luò)CCSNet，不同于現(xiàn)有的工作，網(wǎng)絡(luò)由兩個不同深度雙編碼結(jié)構(gòu)及一個單解碼結(jié)構(gòu)組成，不同深度雙編碼結(jié)構(gòu)并行編碼分別建模深層壓縮上下文語義特征及較精確的空間信息特征，并進行特征融合用于單解碼結(jié)構(gòu)完成低照度圖像重建，緩解低照度圖像增強網(wǎng)絡(luò)高分辨率到低分辨率再恢復(fù)高分辨率過程中全局深層上下文語義壓縮和空間精確度特征保留間的矛盾。

2.2 信息特征融合

特征融合包括基于殘差跳躍連接結(jié)構(gòu)實現(xiàn)信息融合［23，26，32］、融合不同輸入源的圖像信息［16~19］、融合增強網(wǎng)絡(luò)不同分辨率尺度的特征信息［27~30，32~33，36］、融合增強網(wǎng)絡(luò)不同階段的特征信息［15，35］、融合增強網(wǎng)絡(luò)不同分支提取的特征信息［26，31］等，能夠彌補低照度圖像增強任務(wù)中單一特征語義的欠缺、豐富特征語義層次、緩解有效信息在學(xué)習過程的退化，幫助獲得更準確的像素到像素恢復(fù)質(zhì)量。論文采用跳躍連接將基礎(chǔ)U 型編碼結(jié)構(gòu)中的不同分辨率的信息融合到對應(yīng)分辨率的解碼結(jié)構(gòu)中，補充減少空間精確信息丟失；采用特征通道拼接及特征融合對不同深度雙編碼結(jié)構(gòu)的信息進行融合，融合全局深層上下文豐富的語義信息特征和保留較高分辨率的的空間精確度特征，提高低分辨率到高分辨率圖像恢復(fù)的準確性。

2.3 注意力機制

計算機視覺中注意力機制被證明能夠?qū)W習發(fā)現(xiàn)圖像中有用的信息并關(guān)注，而抑制無用的信息［37］，文獻［38~40］提出通道注意力機制對生成特征通道m(xù)ask，實現(xiàn)對重要的通道特征賦予更大的權(quán)重；文獻［41］設(shè)計空間注意力機制生成位置空間mask，實現(xiàn)對空間重要的像素位置賦予更大的權(quán)重；文獻［41~43］融合通道及空間注意力形成空間通道雙重注意力機制，同時編碼通道及空間的重要性；文獻［44］通過編解碼網(wǎng)絡(luò)獲得全局光照預(yù)測，在低照度圖像增強工作中形成圖像全局光照注意力機制。文獻［45~46］通過Transformer注意力機制建立圖像特征全局、長程依賴關(guān)系，取得非常優(yōu)秀的任務(wù)性能。CCSNet 同樣引入注意力機制關(guān)注重要特征信息，提升網(wǎng)絡(luò)學(xué)習效率及能力。

3 論文網(wǎng)絡(luò)模型

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

如圖2，CCSNet 整體架構(gòu)由基礎(chǔ)U 型編碼模塊EMu、U 型解碼模塊DMu、深層上下文語義編碼模塊EMc、跨尺度特征融合模塊FFM、注意力機制模塊AM 構(gòu)成。其中EMu和EMc構(gòu)成不同深度雙編碼結(jié)構(gòu)，并行對輸入低照度圖像提取不同層次語義信息SF、CF，見式（1）、式（2）所示，SF為保留較精確空間信息的特征，CF為壓縮的全局深層上下文語義特征，完整圖像增強過程見式（3）。

1）特征提取結(jié)構(gòu)。如圖1 中上半部分基礎(chǔ)U-Net 結(jié)構(gòu)，EMu為了保留更多高分辨率空間信息，降低了網(wǎng)絡(luò)深度，首先輸入低照度圖像由2*（3*3）空洞卷積提取32 通道的輸入特征，保證更大感受野的同時不損失空間信息；接著經(jīng)過Maxpooling 下采樣操作得到原始輸入圖像1/2 分辨率的特征圖；在輸入圖像的1/2分辨率空間層，特征圖經(jīng)過2*（3*3Conv+BN+Relu）常規(guī)卷積進行特征轉(zhuǎn)換后通道翻倍并Maxpooling 下采樣操作得到原始輸入圖像1/4分辨率的特征圖；在輸入圖像1/4分辨率空間層特征圖經(jīng)過和1/2分辨率層相同的操作得到1/8 空間分辨率的空間特征SF。習建模低照度輸入圖像深層壓縮聚合的上下文語義信息，為了緩解由于網(wǎng)絡(luò)深度加深發(fā)生的梯度分散和網(wǎng)絡(luò)退化問題，采用預(yù)訓(xùn)練的分類網(wǎng)絡(luò)Resnet101［47］為骨干網(wǎng)絡(luò)構(gòu)建。如圖1 下半部分，EMc分別獲取Resnet101 網(wǎng)絡(luò)Stage3 及Stage4 兩個不同尺度的語義信息輸出，分別通過通道注意力AM［38］進行特征選擇；Resnet101 網(wǎng)絡(luò)輸出層對Stage4 施加通道注意力的輸出結(jié)果再執(zhí)行乘運算的特征再選擇；后兩不同尺度語義信息再分別執(zhí)行線性插值上采樣到SF相同的分辨率，在通道層拼接后得到聚合了低照度圖像豐富的深層上下文語義信息的特征CF。AM 結(jié)構(gòu)參考文獻［38］，對重要的特征通道更大的權(quán)重，優(yōu)化特征的選擇能力，幫助建模輸入圖像的長程依賴、全局關(guān)聯(lián)的深層上下文語義特征。（SF,CF）在特征通道層Concatenate 后得到空間精確度特征及豐富深層上下文語義特征的拼接特征。

圖1 MEF測試集采樣低光照圖像增強視覺效果示例（顏色框表示局部放大對比區(qū)域）

圖2 CCSNet網(wǎng)絡(luò)結(jié)構(gòu)圖

2）信息融合結(jié)構(gòu)。為了減少基礎(chǔ)U 型網(wǎng)絡(luò)下采樣過程中存在的信息遺忘及網(wǎng)絡(luò)空間精確度信息丟失，CCSNet 增加殘差跳躍連接，建立基礎(chǔ)U 型網(wǎng)絡(luò)編碼過程和解碼過程相同分辨率之間信息的傳遞的連接；為了有效利用提取豐富特征語義信息，對不同深度雙編碼結(jié)構(gòu)EMu、EMc獲得的深層上下文語義信息特征表示CF和較準確的空間信息特征SF進行通道層拼接融合。如圖3 所示，（SF,CF）特征在通道層拼接后進行融合，首先經(jīng)過“3*3Conv+BN+Relu”操作，后基于通道注意力機制對通道選擇后再進行殘差加操作，得到融合豐富的語義信息特征表示和較準確的空間信息特征表示，輸出特征經(jīng)過U 型解碼模塊DMu完成低照度圖像重建。FFM 模塊能夠平衡語義壓縮和空間位置信息丟失的矛盾，能夠得到豐富的圖像恢復(fù)的特征表示。

圖3 FFM網(wǎng)絡(luò)結(jié)構(gòu)圖

3.2 網(wǎng)絡(luò)損失函數(shù)

論文針對提出的CCSNet端到端低照度增強網(wǎng)絡(luò)結(jié)構(gòu)及低照度圖像增強的目標，提出由主要損失函數(shù)和輔助損失構(gòu)建的復(fù)合損失函數(shù)，從不同層面約束引導(dǎo)網(wǎng)絡(luò)得到綜合較優(yōu)的增強結(jié)果。其中，主要損失函數(shù)為圖像重建損失引導(dǎo)圖像進行重建；輔助損失包括對比度損失、感知損失、顏色損失，提升低照度圖像的對比度、顏色等綜合質(zhì)量。具體如下：

1）圖像重建損失約束。用于評估增強圖像Ih和真實參照圖像IN之間內(nèi)容的差別，表示為Lrec?？紤]到Charbonnier［48］具有更好的魯棒性及SSIM［49］損失具有對局部結(jié)構(gòu)變化的感知敏感，Lrec由Charbonnier損失LChar和SSIM 損失Lssim構(gòu)成，見式（4），α及β為平衡系數(shù)，分別設(shè)置為1和0.1。

2）感知損失。為使增強圖像Ih更具有真實性，引入感知損失Lper［50］，見式（5），Ih為網(wǎng)絡(luò)增強結(jié)果，IN為參考圖像，Φj表示VGG16網(wǎng)絡(luò)第j次卷積得到的特征映射，Cj、Wj和Hj表示特征圖通道、寬度及高度。

3）圖像對比度損失約束。為了約束增強圖像Ih和真實參照圖像IN之間具有一致的對比度，引入對比度損失Lspa［15］，見式（6），K表示圖像劃分區(qū)域的數(shù)量，Ω( )i表示以像素點為中心的區(qū)域，設(shè)置為4。

4）顏色一致性損失約束。為使增強圖像Ih和真實參照圖像IN應(yīng)該具有較好顏色一致性，引入顏色一致性損失約束Lc，由監(jiān)督顏色損失函數(shù)Lc1［51］及無監(jiān)督顏色損失函數(shù)Lc2［15］。見式（7）及式（8），其中G表示高斯模糊操作，Jp、Jq分別表示增強圖像Ih的p和q通道的平均強度值，p和q表示圖像的通道。

5）總損函數(shù)。如下式所示，依據(jù)實驗論文設(shè)置λ1=0.1，λ2=0.1，λ3=0.1。

4 實驗結(jié)果及分析

為了驗證論文提出方法的有效性，從MEF、low、DICM、Fusion、NPE 等公共測試數(shù)據(jù)集和LOL數(shù)據(jù)集［10］中選擇了不同光照退化質(zhì)量的測試圖像，與有監(jiān)督［6，16，52］、無監(jiān)督算法［15］、基于物理模型算法［9，10，14］、基于GAN 算法［13］等主流增強算法進行定性及定量分析實驗對比，證明了論文提出方法的有效性，獲得有較對比算法更強泛化能力且亮度提升自然、噪聲偽影不明顯、顏色豐富真實的增強結(jié)果。

4.1 實驗環(huán)境及數(shù)據(jù)集

論文在搭載GeForce GTX 1660Ti 6G GPU、Intel（R）Core（TM）i7-9750H CPU、Windows11 操作系統(tǒng)的PC 機上，基于PyTorch 框架構(gòu)建CCSNet 網(wǎng)絡(luò)。網(wǎng)絡(luò)使用的訓(xùn)練數(shù)據(jù)集為BrighteningTrain［53］，該數(shù)據(jù)集包含1000 張低照度和正常曝光數(shù)據(jù)對，圖片為384*384*3，其中985數(shù)據(jù)對用于訓(xùn)練，15對用于評估，訓(xùn)練中圖像隨機切片的patch size 為256*256*3，輸入圖像被歸一化到［0，1］區(qū)間。網(wǎng)絡(luò)訓(xùn)練優(yōu)化器使用Adam 優(yōu)化器，學(xué)習率設(shè)置為lr=le-5，β1=0.9，β1=0.999，ε=10-8，當訓(xùn)練任務(wù)完成2/3 時，學(xué)習率衰減10%，網(wǎng)絡(luò)共訓(xùn)練1400個epoch。

4.2 實驗結(jié)果定性分析

如圖1，CCSNet 增強結(jié)果全局亮度提升較好、顏色自然主觀感知較好，細節(jié)恢復(fù)、對比度提升及噪聲預(yù)制水平較好，見藍色放大區(qū)域的樹木建筑層次及紅色放大區(qū)域的涼亭的巖石和屋檐區(qū)域。觀察圖中藍色框及紅色框放大區(qū)域：文獻［6］細節(jié)模糊，顏色失真；文獻［10］放大區(qū)域噪聲偽影嚴重；文獻［13~16］亮度提升不足且在不同程度的顏色失真、模糊、噪聲。

如圖4，第一列為存在不同程度的曝光不足、噪聲、對比度低、細節(jié)被覆蓋、顏色失真等退化問題的測試圖像；中間列為對比算法增強結(jié)果；最后一列為論文方法CCSNet 增強結(jié)果。首先整體觀察，CCSNet 網(wǎng)絡(luò)在各不同低光照場景中增強質(zhì)量更穩(wěn)定，能夠適應(yīng)不同低光照條件，具有更好的泛化性能。其次自上向下依次橫向分析對比，圖4（a）為CCSNet 增強結(jié)果能自適應(yīng)增強圖像全局亮度，重建極暗中書柜區(qū)域的部分輪廓（文獻［6，15，14］黑色框增強幾乎失效，文獻［10］重建書柜區(qū)域輪廓較豐富但出現(xiàn)偽影），恢復(fù)窗外房屋、圍墻、樹木、草地的顏色層次（對比算法均存在不同程度的顏色失真，特別文獻［14］窗戶及窗外的樹木顏色失真嚴重），保留較完成的場景細節(jié)紋理（文獻［16，6］圖像存在過渡平滑丟失紋理細節(jié)），視覺感知自然，沒有出現(xiàn)嚴重的偽影噪聲（文獻［10］存在較多噪聲偽影）。圖4（b）中CCSNet 較對比算法增強結(jié)果更自然（文獻［16，6，14］存在模糊、偽影、顏色失真，場景不自然），全局光照均勻且保留較好的場景深度信息（文獻［13，14］畫面較深的區(qū)域增強失敗），色彩真實（文獻［16，6，15］整體色調(diào)重建失敗，文獻［10］水面、天空、河道右邊的燈光區(qū)域出現(xiàn)不同程度的彩色光暈現(xiàn)象），結(jié)果建筑物對比度及細節(jié)感較好（文獻［16，6，14］河流兩旁建筑存在模糊、細節(jié)丟失、黑影），但是由于輸入圖像光照退化嚴重，天空區(qū)域出現(xiàn)偽影（對比文獻同樣存在不同程度的偽影）。圖4（c）為反射光成像，文獻［16］增強結(jié)果整體偏暗，黑色框中樹叢亮度增強不足，遠山丟失了巖石的紋理細節(jié)；文獻［6］過渡平滑出現(xiàn)模糊及對比度細節(jié)丟失；文獻［13］紅色框標注區(qū)域及文獻［10］出現(xiàn)彩色偽影；文獻［15，14］屋頂瓦塊邊緣曝光不足出現(xiàn)黑暈及不自然情況；CCSNet 整體增強光照較均勻，沒有明顯的黑影、偽影和顏色不自然。圖4（d）為非均勻光照成像，文獻［16，6］地面、房子墻體的紋理細節(jié)等由于平滑丟失；文獻［14］增強結(jié)果存在嚴重顏色失真、黑色偽影，整體視覺感官不自然；文獻［10，15］的整體亮度增強較好，但存不同程度的陰影；CCSNet 整體亮度增強較文獻［10，15］不足，但亮度提升對比度自然，能夠抑制噪聲偽影、矯正失真顏色。圖4（e）為夜晚非均勻光照成像，文獻［16］建筑及地面由于過于平滑出現(xiàn)細節(jié)紋理丟失；文獻［6，15，14］整體存在不同程度顏色失真、虛化、細節(jié)丟失；文獻［13］中整體顏色和亮度重建較好，但紅框區(qū)域出現(xiàn)彩色偽影；文獻［10］中對于室內(nèi)亮燈的窗戶區(qū)域出現(xiàn)嚴重的污染，且整體重建結(jié)果不真實，偽影嚴重；而CCSNet增強結(jié)果亮度均勻，沒有明顯的噪聲，色彩較自然地凸現(xiàn)了黑暗中的房屋結(jié)構(gòu)。圖4（f）為背光成像，文獻［13，15，16］前景亮度增強不足且背景黑色偽影抑制失敗，特別文獻［16］動物眼睛、胡須邊緣細節(jié)紋理丟失；文獻［6］黑色框區(qū)域丟失細節(jié)，動物耳朵和后頸脖子存在不自然黑暈；文獻［10］前景增強對比度較好，但結(jié)果顏色不真實；文獻［7，14］整體增強亮度、細節(jié)、對比度較好，相比文獻［14］，CCSNet 增強結(jié)果抑制了背景中黑暈把天空色彩重建的較自然完美，前景中動物的顏色也更豐富自然。圖4（g）中文獻［16］存在過度平滑，重建圖像丟失部分紋理細節(jié)；文獻［2，10］中紅色區(qū)域的色彩偽影導(dǎo)致模糊和細節(jié)丟失；文獻［14］紅色框區(qū)域相對其他增強結(jié)果模糊及噪聲更明顯；文獻［13，15］及CCSNet增強結(jié)果整體亮度、對比度和顏色綜合較優(yōu)。

如圖5，第一列為輸入，第二列為真實的參考圖，中間為對比算法，最后一列為論文CCSNet增強結(jié)果；黑色框區(qū)域為增強失敗特別注意區(qū)域；圖像下面為信噪比PSNR 及結(jié)構(gòu)相似度SSIM 兩個圖像質(zhì)量評價指標，紅色代表最佳指標。圖5（a）中CCSNet 增強結(jié)果獲得最佳的SSIM 指標，整體主觀視覺上色彩豐富自然，亮度提升均勻，沒有出現(xiàn)局部過暗、偽影模糊（文獻［16］色彩偏灰白，黑色框區(qū)域由于過渡模糊丟失紋理場景信息；文獻［6，13，15，14］布偶頭部區(qū)域存在黑色偽影，尤其文獻［13］整體圖像存在模糊偽影和細節(jié)紋理丟失；文獻［10］存在噪聲及水杯顏色錯誤的增強）。圖5（b）中CCSNet 增強結(jié)果獲得最佳的PSNR 指標，在黑色框處存在較淺的綠色偽影，但整體亮度提升較好，沒有局部黑影（文獻［6，13，10，14］增強結(jié)果中時鐘及其周邊存在黑邊或是沒有恢復(fù)的黑色區(qū)域）；圖像細節(jié)對比度較自然沒有過渡平滑及大量的噪聲現(xiàn)象（文獻［6］增強結(jié)果整體存在過渡平滑細節(jié)丟失的情況，尤其注意黑色框中的窗戶區(qū)域；文獻［10］存在不自然的偽影現(xiàn)象；文獻［16，15］增強結(jié)果的窗戶區(qū)域存在大量噪聲）；水道數(shù)字旁的色帶、窗外的遠山及全局整體的色彩得到了重建恢復(fù)（文獻［6，14］中窗外的遠山顏色重建失效，文獻［1］整體色彩偏暗不自然）。

圖5 LOL數(shù)據(jù)集增強結(jié)果可視化對比（放大視覺效果更直觀）

圖5（c）中CCSNet 增強較對比算法獲得最佳SSIM 指標，視覺上整體實現(xiàn)了全局自然和諧的增強沒有過曝光及模糊偽影（文獻［6，13］的黑框區(qū)域存在模糊及偽影，尤其文獻［6］由于模糊丟失細節(jié)信息），色彩層次豐富真實（文獻［16］增強結(jié)果顏色鮮亮但丟失了紋理細節(jié)，且右起第三件黑灰色衣服領(lǐng)子的紅色邊顏色恢復(fù)失敗，文獻［10，14］黑色衣服顏色恢復(fù)失敗且不真實）。圖5（d）中CCSNet 增強較對比算法獲得最佳SSIM 指標，增強結(jié)果全局亮度提升均勻、對比度細節(jié)較好，沒有明顯的偽影及噪聲，唯一真實恢復(fù)重建圖像中裝訂機的顏色（文獻［6，16］增強結(jié)果模糊偽影較嚴重，文獻［10，13，15］黑色框區(qū)域噪聲明顯且存在偽影，文獻［14］存在多處有顏色的偽影，書本書頁處顏色亮度不足，存在較多黑暈現(xiàn)象）。

通過圖1、4、5綜合分析對比，CCSNet在不同測試數(shù)據(jù)上較主流算法具有更好的魯棒性及泛化性，能夠適應(yīng)不同程度的光照退化場景，包括惡劣條件下的圖像增強，具有全局及局部自適應(yīng)的亮度增強；提升圖像細節(jié)對比度，抑制噪聲減少偽影現(xiàn)象，獲得色彩層次豐富真實的視覺感官。

4.3 實驗結(jié)果定量分析

在定量分析實驗中，論文圖像質(zhì)量評價指標選擇信噪比PSNR、結(jié)構(gòu)相似度SSIM［49］、均方根誤差RMSE、自然保持度NIQE［54］、圖像顏色度量指標Colorfulness［55］，其中Colorfulness基于對手顏色空間（rg、yb），檢驗實驗指標和研究參與者分配給圖像的色彩之間的相關(guān)性值，值越大表明低照度圖像增強結(jié)果色彩保持及性能越好，見式（10）~（11）所示，μ、σ分別為像素強度均值和方差。

論文在測試數(shù)據(jù)集上對比主流的低照度增強方法，統(tǒng)計了PSNR、SSIM、RMSE 三個指標平均值，如表1所示，CCSNet網(wǎng)絡(luò)增強結(jié)果在三個圖像質(zhì)量評價指標中均獲得最佳的性能，較次有算法PSNR、SSIM、RMSE 分別提升比例為0.259、0.132、0.446，優(yōu)于對比算法。如表2 所示，論文公共測試數(shù)據(jù)集及LOL 數(shù)據(jù)集分別進行了對比性能定量分析，其中，在公共測試數(shù)據(jù)集中CCSNet 網(wǎng)絡(luò)增強結(jié)果取得了更優(yōu)秀的NIQE 指標，較次優(yōu)算法提升了0.083；在LOL 測試數(shù)據(jù)中PSNR、SSIM 均取得更優(yōu)秀的性能；Colorfulness色彩度量指標在對比算法中處于中間位置，綜合表明網(wǎng)絡(luò)增強結(jié)果具有對比優(yōu)勢的顏色矯正能力，在LOL測試數(shù)據(jù)上的表現(xiàn)也證明了這一點。綜合對表1、表2 數(shù)據(jù)分析，CCSNet網(wǎng)絡(luò)在定量實驗對比分析中取得了綜合較對比的主流基于深度學(xué)習的低照度增強算法更優(yōu)的性能。

表1 圖像質(zhì)量評價指標PSNR、SSIM、RMSE的比較

表2 不同數(shù)據(jù)集圖像質(zhì)量評價比較

5 結(jié)語

論文針對主流深度學(xué)習低照度圖像增強網(wǎng)絡(luò)架構(gòu)中深層上下文語義特征獲取與保留空間精確度特征間的矛盾，設(shè)計了一種融合全局深層上下文語義及空間準確度特征的端到端低光照圖像增強方法，不同深度雙編碼結(jié)構(gòu)并行獲取并融合利用深層上下文語義的特征及保留空間精確度的特征完成低照度圖像重建的任務(wù)。與不同類型主流算法對比進行定性及定量分析實驗對比，結(jié)果表明論文方法取得了更好的圖像質(zhì)量評價指標及更強泛化能力、亮度提升更自然、噪聲偽影不明顯、顏色豐富真實的綜合增強質(zhì)量。低照度圖像增強依舊是計算機視覺研究中的底層關(guān)鍵且具有挑戰(zhàn)的研究方向，未來將深入挖掘不同低光照場景圖像光照內(nèi)在本質(zhì)規(guī)律，建立起低光照圖像增強與高層視覺任務(wù)的關(guān)聯(lián)，提升計算機視覺高層任務(wù)效能。