基于生成對抗網(wǎng)絡(luò)的弱光圖像增強(qiáng)方法

摘 "要： 現(xiàn)有的弱光圖像增強(qiáng)方法大多存在色彩失真，去噪效果不佳，嚴(yán)重依賴成對數(shù)據(jù)集進(jìn)行訓(xùn)練等問題。針對上述問題，提出一種基于生成對抗網(wǎng)絡(luò)的弱光圖像增強(qiáng)方法。該模型分為生成器和判別器兩部分，生成器部分使用添加EMA注意力的改進(jìn)UNet網(wǎng)絡(luò)進(jìn)行圖像增強(qiáng)，判別器部分采用包括顏色判別器、灰度判別器和多尺度判別器的多分支判別器進(jìn)行融合判別圖像的真實(shí)性。實(shí)驗(yàn)結(jié)果表明，文中方法在公開數(shù)據(jù)集上取得了優(yōu)異的效果，在PSNR、SSIM、NIQE、BRISQUE等多項評價指標(biāo)上有了顯著提升，進(jìn)一步證明了所提方法的有效性和魯棒性。

關(guān)鍵詞： 弱光圖像； 無監(jiān)督學(xué)習(xí)； 生成器； 判別器； 注意力機(jī)制； 圖像增強(qiáng)

中圖分類號： TN911.73?34； TP391 " " " " " " " " 文獻(xiàn)標(biāo)識碼： A " " " " " " " " " "文章編號： 1004?373X（2024）15?0053?07

Low?light image enhancement method based on generative adversarial network

WU Ji1， DING Bing1， DING Jie2

（1. College of Electrical and Power Engineering， Taiyuan University of Technology， Taiyuan 030024， China;

2. School of Integrated Circuits and Electronics， Beijing Institute of Technology， Beijing 100081， China）

Abstract： Most of the existing low?light image enhancement methods suffer from issues such as color distortion， poor denoising performance， and heavy reliance on paired training datasets. To overcome these challenges， a low?light image enhancement method based on generative adversarial network is proposed. The proposed model comprises two parts， named a generator and a discriminator. In the former part， the improved UNet network with integrated EMA （efficient multi?scale attention） is used to enhance the image， while in the later part， the multi?branch discriminator including color discriminator， grayscale discriminator and multi?scale discriminator is used to fuse and judge the authenticity of the image. The experimental results show that the proposed method achieves excellent results on public datasets， and shows significant improvements in evaluation indexes such as PSNR （peak signal?to?noise ratio）， SSIM （structural similarity index measure）， NIQE （natural image quality evaluator） and BRISQUE （blind/referenceless image spatial quality evaluator）， which further proves the effectiveness and robustness of the proposed method.

Keywords： low?light image; unsupervised learning; generator; discriminator; attention mechanism; image enhancement

0 "引 "言

弱光環(huán)境下拍攝的圖像經(jīng)常會出現(xiàn)色彩失真、細(xì)節(jié)丟失、噪聲過大等問題[1]，這對于圖像增強(qiáng)和計算機(jī)視覺應(yīng)用來說是一個巨大的挑戰(zhàn)。早期的方法以灰度變換[2]、直方圖均衡化[3]和Retinex法[4]為代表，主要是通過調(diào)整圖像的亮度和對比度來改善圖像質(zhì)量。雖然以上方法取得了一定的效果，但這種簡單的調(diào)整往往會導(dǎo)致圖像中的細(xì)節(jié)丟失和過度增強(qiáng)，使增強(qiáng)后的圖像缺乏細(xì)節(jié)和清晰度，從而降低圖像的質(zhì)量，并且傳統(tǒng)的弱光圖像增強(qiáng)方法需要進(jìn)行大量的計算處理，實(shí)時性較差。近年來，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，基于深度學(xué)習(xí)的相關(guān)增強(qiáng)方法[5?12]，尤其是基于Retinex的方法[5?9]取得了大量的成果。但這些方法都屬于有監(jiān)督學(xué)習(xí)的方法，其訓(xùn)練嚴(yán)重依賴配對的數(shù)據(jù)集，但配對數(shù)據(jù)集的收集往往難以實(shí)現(xiàn)。有監(jiān)督學(xué)習(xí)的方法常容易導(dǎo)致模型的增強(qiáng)效果限定在特定的數(shù)據(jù)集內(nèi)容里，不利于現(xiàn)實(shí)場景的應(yīng)用。

為了解決配對數(shù)據(jù)集的問題，無監(jiān)督學(xué)習(xí)的圖像增強(qiáng)方法被廣泛提出[13?19]，而基于生成對抗網(wǎng)絡(luò)的方法發(fā)展最快、技術(shù)最成熟[13?18]。生成對抗網(wǎng)絡(luò)中的生成器和判別器相互競爭并不斷優(yōu)化自己的能力，從而不依賴于配對的圖像數(shù)據(jù)集。文獻(xiàn)[13]提出了CycleGAN，該方法在圖像轉(zhuǎn)換方面表現(xiàn)較出色，但在弱光增強(qiáng)方面，生成圖像的細(xì)節(jié)和紋理往往會變得模糊，出現(xiàn)顏色偏差和失真等現(xiàn)象，轉(zhuǎn)換后的圖像效果不夠自然。為了解決上述問題，文獻(xiàn)[14]引入了層分解網(wǎng)絡(luò)和光效應(yīng)抑制網(wǎng)絡(luò)，并利用GAN的形式對編碼器進(jìn)行訓(xùn)練，但是該方法增強(qiáng)效果不穩(wěn)定，泛化性不佳。文獻(xiàn)[15]提出的EnlightenGAN創(chuàng)造性地引入了全局?局部判別器，在泛化性能方面較以前的方法有了很大提升。但EnlightenGAN在處理復(fù)雜紋理和結(jié)構(gòu)的圖像時，尤其是畫面中存在閃光燈、多個光源等情況時，增強(qiáng)效果可能就會大打折扣。該方法在面對過度曝光或欠曝光的圖像時，常常無法準(zhǔn)確地還原真實(shí)的圖像效果。

針對上述問題，本文提出了一種基于生成對抗網(wǎng)絡(luò)的弱光圖像增強(qiáng)算法。本文所做的貢獻(xiàn)主要有以下兩點(diǎn)。

1） 針對現(xiàn)有大多數(shù)弱光增強(qiáng)方法嚴(yán)重依賴成對數(shù)據(jù)集的問題，提出了一種新的基于生成對抗網(wǎng)絡(luò)的弱光圖像增強(qiáng)方法，該方法克服了對成對數(shù)據(jù)集的依賴性。在生成器階段改進(jìn)了UNet網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計，提高了上下圖信息的利用率，使網(wǎng)絡(luò)可以更好地學(xué)習(xí)弱光圖像的細(xì)節(jié)信息和特征，并引入了EMA注意力，通過平均指數(shù)的方式動態(tài)調(diào)整圖像中各區(qū)域的重要性，進(jìn)一步提高網(wǎng)絡(luò)提取圖像信息的能力。

2） 本文設(shè)計了一個多分支判別器，能夠從灰度、顏色和多尺度三個方面融合來判別圖像，可以更全面地評估整個圖像的質(zhì)量。引入了聯(lián)合損失函數(shù)指導(dǎo)網(wǎng)絡(luò)的訓(xùn)練，通過將生成器損失和判別器損失結(jié)合起來，對生成器的訓(xùn)練進(jìn)行優(yōu)化。

1 "本文方法

本文方法由生成器和判別器兩部分組成。生成器部分使用添加EMA注意力的UNet網(wǎng)絡(luò)進(jìn)行圖像增強(qiáng)，判別器部分采用包括灰度判別器、顏色判別器和多尺度判別器的多分支判別器進(jìn)行融合來判別圖像的真實(shí)性。在接下來的小節(jié)中將介紹生成器和判別器的具體網(wǎng)絡(luò)設(shè)計及損失函數(shù)。

1.1 "生成器

本節(jié)借鑒了UNet網(wǎng)絡(luò)[20]的結(jié)構(gòu)設(shè)計，UNet的U形網(wǎng)絡(luò)結(jié)構(gòu)可以捕捉不同尺度的特征，更好地恢復(fù)細(xì)節(jié)信息。跳躍連接能夠更好地利用上下文信息進(jìn)行圖像增強(qiáng)，避免邊界信息的損失，但仍然存在一定的信息傳遞限制，會導(dǎo)致較遠(yuǎn)處的上下文信息難以有效利用。因此，本文設(shè)計的生成器將UNet網(wǎng)絡(luò)中的10個卷積塊縮減為8個卷積塊，卷積塊由2個3×3的卷積層、Mish激活層和最大池化層三部分組成。在上采樣階段，將標(biāo)準(zhǔn)反卷積層替換為一個轉(zhuǎn)置卷積層和一個卷積層。為了提高網(wǎng)絡(luò)提取圖像信息的能力，在網(wǎng)絡(luò)中增加了EMA注意力模塊[21]。EMA注意力通過平均指數(shù)的方式對圖像中各區(qū)域重要性進(jìn)行動態(tài)調(diào)整，從而使得網(wǎng)絡(luò)進(jìn)一步關(guān)注重要信息，更好地處理圖像信息，提高模型的魯棒性和泛化能力。生成器網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖1所示。

1.2 "判別器

EnlightenGAN網(wǎng)絡(luò)中的全局判別器從整個圖像中去學(xué)習(xí)，導(dǎo)致它很難處理高分辨率圖像。而局部判別器只關(guān)注輸入圖像的一部分，會使其無法全面地評估整個圖像的質(zhì)量。為了更全面地判別生成圖像的真實(shí)性，本部分設(shè)計了由灰度判別器、顏色判別器和多尺度判別器三部分構(gòu)成的多分支判別器。

第一部分是灰度判別器。它的作用是評估生成的灰度圖像的真實(shí)性，可以幫助生成器學(xué)習(xí)并捕捉灰度圖像的細(xì)節(jié)。通過灰度判別器，生成器不僅要關(guān)注圖像內(nèi)容的生成，還要確保生成灰度圖像在亮度、紋理等方面與真實(shí)圖像一致。本文采用公式（1）將彩色圖像轉(zhuǎn)換為灰度圖。

[Gray=0.299×R+0.587×G+0.114×B] （1）

式中：[Gray]為灰度值；[R]為紅色通道值，[G]為綠色通道值，[B]為藍(lán)色通道值，三個通道值的取值范圍是0～255。

灰度判別器采用三個以LeakyReLU作為激活函數(shù)的3×3卷積層，接一個全連接層，最后使用Sigmoid函數(shù)將輸出值約束在0～1之間?；叶扰袆e器網(wǎng)絡(luò)如圖2所示。

第二部分是顏色判別器。由于灰度判別器輸入和輸出都是灰度圖像，無法充分利用圖像中的色彩特征，容易導(dǎo)致信息丟失，并且不能處理空間亮度的變化關(guān)系。因此本文引入了顏色判別器，它會分析圖像的色彩分布、亮度、對比度等特征，并負(fù)責(zé)判斷生成器生成圖像的顏色是否真實(shí)，促使生成圖像的顏色與真實(shí)圖像一致。本文選用大小為5×5的濾波器進(jìn)行均值濾波，合成最終的模糊RGB圖像。

由于彩色圖像相比灰度圖像具有更加豐富的色彩信息和亮度特征，因此顏色判別器對灰度判別器網(wǎng)絡(luò)做出改進(jìn)，將3個3×3卷積層替換為5個3×3卷積層，從而可以更好地提取特征信息。顏色判別器網(wǎng)絡(luò)如圖3所示。

第三部分是多尺度判別器。傳統(tǒng)的對抗網(wǎng)絡(luò)使用單尺度判別器評估生成圖像的真實(shí)性，但是其只能關(guān)注圖像的特定尺度，容易受到局部細(xì)節(jié)影響。而本文引入的多尺度判別器可以評估不同尺度上的圖像特征，獲取更豐富的圖像信息。本文通過對輸入圖像進(jìn)行不同的尺度變換得到最終的多尺度圖像，共包含3個不同尺度的特征圖，其大小分別為600×400、450×300、360×240。本文構(gòu)建的多尺度判別器借鑒顏色判別器的網(wǎng)絡(luò)結(jié)構(gòu)，將卷積層的第一層、第三層、第五層后的LeakyReLU激活函數(shù)分別替換為Sigmoid函數(shù)進(jìn)行二元分類。多尺度判別器網(wǎng)絡(luò)如圖4所示。

1.3 "損失函數(shù)

本文采用以下幾種聯(lián)合損失函數(shù)來指導(dǎo)網(wǎng)絡(luò)的訓(xùn)練過程，使得生成器可以提高生成圖像的質(zhì)量，并增強(qiáng)判別器的能力。

對抗損失函數(shù)為：

[LWGAN?GP=Εx～pdataDx-Εx～prDx+λΕx～px?xDx2-12 "] （2）

式中：[pdata]為數(shù)據(jù)分布；[pr]為模型分布；[λ]為權(quán)重系數(shù)，一般設(shè)為10。

灰度一致性損失函數(shù)為：

[Lidt=Εx～pdata（x）GXxgray-Ggrayxgray1] （3）

式中：[GX]為生成圖像的灰度圖；[Ggray]為真實(shí)圖像的灰度圖。

像素?fù)p失函數(shù)為：

[Lpix=1Nn=1Nxfn-xrealn1] （4）

式中：[N]為圖像的像素；[n]為當(dāng)前位置的像素；[xfn]為融合后的圖像；[xrealn]為參考圖像。

自特征保留損失函數(shù)為：

[LSFK=1wi，j?Hi，jx=1wi，jy=1Hi，jθi，jx-θi，jGx2] （5）

式中：[x]為輸入的弱光圖像；[Gx]為生成網(wǎng)絡(luò)的輸出圖像；[θi，j]為提取的特征圖；[wi，j]和[Hi，j]為提取的特征圖尺寸。

因此，網(wǎng)絡(luò)的總損失函數(shù)為：

[Ltotal=LWGAN?GP+λ1Lidt+λ2Lpix+λ3LSFK] （6）

為了平衡各項損失函數(shù)，加入權(quán)重因子進(jìn)行調(diào)節(jié)。根據(jù)經(jīng)驗(yàn)，將[λ1]的值設(shè)置為5，[λ2]的值設(shè)置為0.5，[λ3]的值設(shè)置為2。

2 "實(shí)驗(yàn)過程與結(jié)果分析

2.1 "實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集介紹

本文實(shí)驗(yàn)在Ubuntu 18.04操作系統(tǒng)下進(jìn)行網(wǎng)絡(luò)訓(xùn)練并測試，計算機(jī)CPU配置為Intel[?] Xeon[?] Silver 4210R，GPU配置為Nvidia GTX 3090。實(shí)驗(yàn)框架是基于Python 3.8環(huán)境的Pytorch 1.10.1，同時配備有CUDA 11.1環(huán)境。在訓(xùn)練過程中，網(wǎng)絡(luò)的學(xué)習(xí)率設(shè)置為0.000 1，Batch size設(shè)置為2，采用Adam作為優(yōu)化器，一共訓(xùn)練了100輪。隨機(jī)選取LOL?L數(shù)據(jù)集中的100張弱光圖像、EnlightenGAN中的914張弱光圖像和1 016張不成對的正常光圖像作為訓(xùn)練集。將DICM[22]、LIME[23]、MEF[24]、NPE[25]、VV[26]和LOL?L?test中的30組作為測試集，所有圖像的大小統(tǒng)一調(diào)整為600×400。

2.2 "評價指標(biāo)

本文采用全參考指標(biāo)：峰值信噪比（PSNR）、結(jié)構(gòu)相似性（SSIM）和無參考指標(biāo)：自然圖像質(zhì)量評價指標(biāo)（NIQE）、圖像感知質(zhì)量指標(biāo)（PI）、基于圖像空間域的無參考質(zhì)量評價指標(biāo)（BRISQUE）、神經(jīng)圖像評估（NIMA）對實(shí)驗(yàn)進(jìn)行評估。

PSNR是通過計算待測圖像與參考圖像之間像素誤差的全局大小來衡量圖像質(zhì)量好壞的。它的值越大，表明圖像質(zhì)量越好。SSIM可以衡量兩張圖像之間的相似程度，從而評價圖像的清晰度和失真程度，SSIM的取值介于0～1之間，越接近1說明圖像質(zhì)量越好。NIQE主要是針對自然圖像設(shè)計，適用范圍較廣泛，它的值越小，表明圖像質(zhì)量越好。PI是一種針對彩色圖像的無參考圖像質(zhì)量評價指標(biāo)，PI數(shù)值越低，表示圖像質(zhì)量越好。BRISQUE是基于圖像空間域的無參考圖像質(zhì)量評價指標(biāo)，具有較高的準(zhǔn)確性和穩(wěn)定性，它的分值越低越好。NIMA是對圖像生成評分直方圖并進(jìn)行比較，得分越高則代表圖像質(zhì)量越好。

2.3 "多分支判別器特征提取對比

為了進(jìn)一步區(qū)分多分支判別器的作用，將不同判別器對圖像的特征提取進(jìn)行可視化。判別器特征提取對比結(jié)果如圖5所示，可以看出不同判別器的作用范圍差異很大。

灰度判別器主要用來捕捉灰度圖像的細(xì)節(jié)，顏色判別器可以分析圖像的色彩特征，多尺度判別器則更多體現(xiàn)在圖像內(nèi)容的輪廓上。

2.4 "對比實(shí)驗(yàn)

為了驗(yàn)證本文所提方法的有效性，將本文方法和較經(jīng)典的CycleGAN、EnlightenGAN、URetinex?Net、Zero?DCE、LLFLOW、文獻(xiàn)[14]方法等六種方法進(jìn)行對比驗(yàn)證，并從主觀和客觀兩個方面分析實(shí)驗(yàn)結(jié)果。

不同弱光增強(qiáng)方法在測試集上的對比實(shí)驗(yàn)如圖6～圖11所示?？梢园l(fā)現(xiàn)本文方法和其余六種方法都能夠在一定程度上實(shí)現(xiàn)弱光增強(qiáng)，但是每種方法都有自己的缺點(diǎn)。由圖6b）～圖11b）可以看出，CycleGAN相較于其他方法的增強(qiáng)效果最差，不能有效恢復(fù)圖像本來的色彩。這是因?yàn)镃ycleGAN主要作用是圖像轉(zhuǎn)換，雖然其可以在一定程度上應(yīng)用于弱光增強(qiáng)，但容易受到亮度范圍的限制，導(dǎo)致增強(qiáng)后的圖像難以恢復(fù)細(xì)節(jié)，并且會產(chǎn)生一些不自然的結(jié)果。

如圖6c）所示，圖像出現(xiàn)了亮度不足的情況，右側(cè)的小草幾乎沒有被恢復(fù)出來，圖7c）、圖8c）和圖10c）圖像亮度整體偏暗，輪廓不清晰，細(xì)節(jié)模糊，導(dǎo)致視覺效果較差。在圖9c）中，增強(qiáng)后的圖像整體偏綠，綠樹的還原效果較生硬，甚至亭子也被渲染成了綠色。在圖11c）中，圖像出現(xiàn)了局部過曝現(xiàn)象，人臉完全看不清。文獻(xiàn)[14]方法在不同的場景下既出現(xiàn)了增強(qiáng)過暗現(xiàn)象，又出現(xiàn)了過曝現(xiàn)象，表明其效果不穩(wěn)定，泛化性較差。

從圖6d）和圖8d）中可以看出，圖像的顏色恢復(fù)存在嚴(yán)重的失真，增強(qiáng)結(jié)果放大了噪聲，圖像效果較模糊。在圖9d）中，增強(qiáng)圖像的色彩整體較暗，丟失了部分細(xì)節(jié)，中部的燈籠恢復(fù)效果不明顯。EnlightenGAN在大多數(shù)場景下色彩控制較好，能有效還原圖像紋理信息，但是也存在顏色失真和細(xì)節(jié)丟失現(xiàn)象，去噪效果不佳。

如圖6e）和圖8e）所示，圖像恢復(fù)的色彩不真實(shí)，存在過度增強(qiáng)現(xiàn)象，圖像視覺效果不符合人眼特性。在圖11e）中，圖中人物的臉部被過度曝光。整體而言，URetinex?Net能夠有效地提高圖像的亮度和對比度，并具有很強(qiáng)的魯棒性，但在處理局部高光圖像時容易有過曝問題。

由圖6f）可以看出，增強(qiáng)后的圖像整體偏黃，并且全局都存在噪聲，噪點(diǎn)控制效果較差。在圖7f）、圖9f）和圖10f）中，圖像都出現(xiàn)了過曝現(xiàn)象，圖像色彩過于艷麗，不符合人的觀感。Zero?DCE在圖像細(xì)節(jié)恢復(fù)方面效果不錯，但對于層次不分明的圖像容易放大圖像噪聲，在不同場景中經(jīng)常會過度增強(qiáng)圖像的亮度。

從圖7g）和圖10g）中可以看出，圖像恢復(fù)效果過于黯淡，圖像的很多內(nèi)容和細(xì)節(jié)都沒有顯示出來，圖11g）中的人物臉部同樣出現(xiàn)了過曝情況。LLFLOW對圖像的亮度增強(qiáng)效果明顯，能有效增強(qiáng)對比度，但圖像效果常?？雌饋聿蛔匀唬袢斯ず铣傻膱D像，而不是自然界的真實(shí)圖像。

由圖6～圖11可以看出，本文方法在增強(qiáng)圖像亮度方面與LLFLOW有相似的效果，但是對于圖像細(xì)節(jié)的恢復(fù)明顯好于后者。由圖8h）可以看出，本文方法對于圖像中路燈區(qū)域的恢復(fù)效果更加真實(shí)，在圖9h）中，無論是亭子和池塘的色彩還原還是燈籠區(qū)域，本文方法在圖像亮度、對比度、細(xì)節(jié)保持和清晰度等方面的主觀視覺效果較其他方法都更優(yōu)。本文算法同樣有不足之處，如圖6h）中的右側(cè)輪子區(qū)域和圖7h）中的天空區(qū)域都出現(xiàn)了過度增強(qiáng)現(xiàn)象，一定程度上影響了圖像效果。但本文方法在整體上控制的較好，視覺觀感是所有方法中最好的，與參考圖像最為接近。在大部分情況下，能做到圖像紋理、細(xì)節(jié)和色彩等方面的還原，更加兼顧整體和局部的視覺效果，并且具有良好的泛化性。

除主觀視覺評價外，本文采用更加嚴(yán)謹(jǐn)?shù)目陀^指標(biāo)來評估所提方法的性能。為了最大限度保證準(zhǔn)確性，在不同的數(shù)據(jù)集中分別計算各自方法的指標(biāo)平均值。實(shí)驗(yàn)結(jié)果如表1～表6所示，表中加粗字體表示結(jié)果最好。

表1顯示了不同方法在成對測試數(shù)據(jù)集LOL?L上的實(shí)驗(yàn)結(jié)果。本文所提方法在SSIM、PI、BRISQUE和NIMA四項指標(biāo)中獲得了最佳值，與次優(yōu)方法相比，SSIM、PI、BRISQUE和NIMA分別提升了4.9%、15%、11.2%和10%。本文提出的方法能夠在客觀指標(biāo)下取得優(yōu)異的結(jié)果，相比其他方法展現(xiàn)出了更大的優(yōu)勢，進(jìn)而表明本文方法的增強(qiáng)效果達(dá)到了比較高的水平。

不同方法在非成對數(shù)據(jù)集DICM、LIME、MEF、NPE和VV的實(shí)驗(yàn)對比結(jié)果如表2～表6所示。

由表2～表6可以看出：本文方法在DICM數(shù)據(jù)集中，NIQE、NIMA和MUSIQ獲得了最佳值；在LIME數(shù)據(jù)集中，NIQE、BRISQUE和MUSIQ獲得了最佳值；在MEF數(shù)據(jù)集中，PI、BRISQUE、NIMA和MUSIQ獲得了最佳值；在NPE數(shù)據(jù)集，NIQE、PI和NIMA獲得了最佳值；在VV數(shù)據(jù)集中，NIQE、PI和MUSIQ獲得了最佳值。整體而言，和同類方法相比，本文方法雖然不是在每項指標(biāo)中都能達(dá)到最佳，但在大多數(shù)情況下都能獲得比其他方法更好的分值，最終結(jié)果較為均衡。

3 "結(jié) "語

為了進(jìn)一步提高弱光圖像的增強(qiáng)效果，本文提出了一種基于生成對抗網(wǎng)絡(luò)的無監(jiān)督弱光圖像增強(qiáng)方法。本文的圖像增強(qiáng)網(wǎng)絡(luò)分為生成器和判別器兩個部分，在生成器中改進(jìn)了UNet網(wǎng)絡(luò)的結(jié)構(gòu)，并將EMA注意力嵌入生成網(wǎng)絡(luò)中，提高了圖像特征的提取能力。在判別器中設(shè)計了一個多分支判別器，能夠從灰度、顏色和多尺度三個方面判別更多的圖像細(xì)節(jié)信息。最后，采用聯(lián)合損失函數(shù)進(jìn)一步約束圖像結(jié)構(gòu)，提高生成圖像質(zhì)量。本文所提方法與多種先進(jìn)方法在6個公開數(shù)據(jù)集中進(jìn)行了主觀和客觀比較，實(shí)驗(yàn)結(jié)果表明，本文方法不僅能夠有效提高弱光圖像的亮度，而且在恢復(fù)圖像細(xì)節(jié)信息、去噪等方面也具有一定的優(yōu)勢，并進(jìn)一步證明了本文方法的有效性和魯棒性。

注：本文通訊作者為丁潔。

參考文獻(xiàn)

[1] 徐少平，陳孝國，李芬，等.采用兩階段混合策略實(shí)現(xiàn)的低照度圖像增強(qiáng)算法[J].電子學(xué)報，2021，49（11）：2166?2170.

[2] SRINIVAS K， BHANDARI A K. Low light image enhancement with adaptive sigmoid transfer function [J]. IET image processing， 2020， 14（4）： 668?678.

[3] PIZER S M， AMBURN E P， AUSTIN J D， et al. Adaptive histogram equalization and its variations [J]. Computer vision， graphics， and image processing， 1987， 39（3）： 355?368.

[4] LAND E H. The retinex theory of color vision [J]. Scientific American， 1977， 237（6）： 108?128.

[5] WEI C， WANG W J， YANG W H， et al. Deep retinex decomposition for low?light enhancement [EB/OL]. [2018?08?14]. https：//arxiv.org/abs/1808.04560v1.

[6] ZHANG Y H， ZHANG J W， GUO X J. Kindling the darkness： A practical low?light image enhancer [C]// Proceedings of the 27th ACM International Conference on Multimedia. New York： IEEE， 2019： 1632?1640.

[7] ZHANG Y H， GUO X J， MA J Y， et al. Beyond brightening low?light images [J]. International journal of computer vision， 2021， 129（4）： 1013?1037.

[8] LORE K G， AKINTAYO A， SARKAR S. LLNet： A deep autoencoder approach to natural low?light image enhancement [J]. Pattern recognition， 2017， 61： 650?662.

[9] WU W H， WENG P， WANG J， et al. URetinex?Net： Retinex?based deep unfolding network for low?light image enhancement [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2022： 5891?5900.

[10] MA L， MA T Y， LIU R S， et al. Toward fast， flexible， and robust low?light image enhancement [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2022： 5627?5636.

[11] WANG Y F， WAN R J， YANG W H， et al. Low?light image enhancement with normalizing flow [C]// Proceedings of the AAAI Conference on Artificial Intelligence. [S.l.]： AAAI， 2020： 2604?2612.

[12] WANG T， ZHANG K H， SHEN T R， et al. Ultra?high?definition low?light image enhancement： A benchmark and transformer?based method [C]// Proceedings of the AAAI Conference on Artificial Intelligence. [S.l.]： AAAI， 2023： 2654?2662.

[13] NI Z K， YANG W H， WANG H L， et al. Cycle?interactive generative adversarial network for robust unsupervised low?light enhancement [C]// Proceedings of the 30th ACM International Conference on Multimedia. New York： ACM， 2022： 1484?1492.

[14] JIN Y Y， YANG W H， TAN R T. Unsupervised night image enhancement： When layer decomposition meets light?effects suppression [C]// European Conference on Computer Vision. Heidelberg， Germany： Springer， 2022： 404?421.

[15] JIANG Y F， GONG X Y， LIU D， et al. EnlightenGAN： Deep light enhancement without paired supervision [J]. IEEE transactions on image processing， 2021， 30： 2340?2349.

[16] JIANG Q P， MAO Y D， CONG R M， et al. Unsupervised decomposition and correction network for low?light image enhancement [J]. IEEE transactions on intelligent transportation systems， 2022， 23（10）： 19440?19455.

[17] FU Y， HONG Y， CHEN L W， et al. LE?GAN： Unsupervised low?light image enhancement network using attention module and identity invariant loss [J]. Knowledge?based systems， 2022， 240： 108010.

[18] WANG R J， JIANG B， YANG C， et al. MAGAN： Unsupervised low?light image enhancement guided by mixed?attention [J]. Big data mining and analytics， 2022， 5（2）： 110?119.

[19] GUO C L， LI C Y， GUO J C， et al. Zero?reference deep curve estimation for low?light image enhancement [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2020： 1777?1786.

[20] RONNEBERGER O， FISCHER P， BROX T. U?Net： Convolutional networks for biomedical image segmentation [C]// Proceedings of the 18th International Conference on Medical Image Computing and Computer?assisted Intervention. Heidelberg， Germany： Springer， 2015： 234?241.

[21] OUYANG D L， HE S， ZHANG G Z， et al. Efficient multi?scale attention module with cross?spatial learning [C]// 2023 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP）. New York： IEEE， 2023： 1?5.

[22] LEE Chulwoo， LEE Chul， KIM C S. Contrast enhancement based on layered difference representation of 2D histograms [J]. IEEE transactions on image processing， 2013， 22（12）： 5372?5384.

[23] GUO X J， LI Y， LING H B. Low?light image enhancement via illumination map estimation [J]. IEEE transactions on image processing， 2017， 26（2）： 982?993.

[24] LEE Chulwoo， LEE Chul， LEE Y Y， et al. Power?constrained contrast enhancement for emissive displays based on histogram equalization [J]. IEEE transactions on image processing， 2011， 21（1）： 80?93.

[25] WANG S H， ZHENG J， HU H M， et al. Naturalness preserved enhancement algorithm for non?uniform illumination images [J]. IEEE transactions on image processing， 2013， 22（9）： 3538?3548.

[26] VONIKAKIS V， ANDREADIS I， GASTERATOS A. Fast centre surround contrast modification [J]. IET image processing， 2008， 2（1）： 19?34.

作者簡介：武 "霽（1997—），男，山西汾陽人，碩士研究生，研究方向?yàn)閳D像增強(qiáng)和深度學(xué)習(xí)。

丁 "冰（1995—），女，山西臨猗人，碩士，助教，研究方向?yàn)橛嬎銠C(jī)視覺與分布式優(yōu)化。

丁 "潔（1986—），女，山西臨猗人，博士，副教授，研究方向?yàn)橛嬎銠C(jī)視覺、新型半導(dǎo)體器件建模與仿真。