基于局部生成對(duì)抗網(wǎng)絡(luò)的水上低照度圖像增強(qiáng)

劉 文，楊梅芳，聶江天，章 陽，楊和林，熊澤輝

（1.武漢理工大學(xué) 航運(yùn)學(xué)院，武漢 430063；2.武漢理工大學(xué) 內(nèi)河航運(yùn)技術(shù)湖北省重點(diǎn)實(shí)驗(yàn)室，武漢 430063；3.武漢理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，武漢 430063；4.南洋理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，新加坡 639798；5.新加坡科技與設(shè)計(jì)大學(xué) 信息系統(tǒng)技術(shù)與設(shè)計(jì)系，新加坡 487372）

0 概述

閉路電視監(jiān)控（CCTV）作為船舶交通管理（VTS）系統(tǒng)的重要組成部分，在海事監(jiān)管中發(fā)揮著重要作用，但是在夜晚等低照度環(huán)境下，CCTV 系統(tǒng)捕獲的海上圖像存在亮度和對(duì)比度低以及質(zhì)量差的問題，這不僅會(huì)干擾監(jiān)管部門對(duì)視頻內(nèi)容的分析解讀，也會(huì)影響后續(xù)船舶目標(biāo)檢測(cè)［1-2］等視覺任務(wù)的執(zhí)行效果。因此，對(duì)CCTV 系統(tǒng)在低照度環(huán)境下拍攝的圖像進(jìn)行增強(qiáng)具有重要的現(xiàn)實(shí)意義。

傳統(tǒng)的低照度圖像增強(qiáng)方法主要分為基于直方圖均衡化（HE）的方法與基于Retinex 理論的方法兩類。HE 方法［3］通過對(duì)灰度圖像進(jìn)行拉伸，增加像素灰度值的動(dòng)態(tài)范圍，以達(dá)到增強(qiáng)圖像整體對(duì)比度的效果。Retinex 理論是一種由LAND［4］提出的模擬人類視覺系統(tǒng)實(shí)現(xiàn)顏色恒常性的色彩理論，該理論認(rèn)為一幅圖像可以表示為光照分量圖像和反射分量圖像的乘積，只需消除光照對(duì)圖像的影響即可改善低照度圖像的視覺效果。目前，基于Retinex 理論的方法主要有NPE［5］、SRIE［6］和LIME［7］等，這些方法的共同點(diǎn)在于它們首先通過人工設(shè)計(jì)以及參數(shù)調(diào)整準(zhǔn)確估算圖像的光照分量，然后根據(jù)Retinex 理論直接或間接地得到增強(qiáng)圖像。

近年來，隨著高性能GPU 的發(fā)展，應(yīng)用深度學(xué)習(xí)技術(shù)來解決傳統(tǒng)的低級(jí)視覺問題顯得更加方便可行。因此，為了避免復(fù)雜繁瑣的人工設(shè)計(jì)以及參數(shù)優(yōu)化問題，研究人員提出了一些基于深度學(xué)習(xí)的圖像增強(qiáng)方法。文獻(xiàn)［8］結(jié)合色彩模型變換和卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)，將圖像從RGB 顏色空間變換到HSI空間并進(jìn)行增強(qiáng)處理，以解決圖像的色彩失真問題?；赗etinex 理論的思想，文獻(xiàn)［9-10］均設(shè)計(jì)端到端的卷積神經(jīng)網(wǎng)絡(luò)增強(qiáng)模型。為了同時(shí)處理顏色、亮度和噪聲等多種因素，文獻(xiàn)［11］提出一種根據(jù)計(jì)算的光照和噪聲注意力圖同時(shí)進(jìn)行去噪和增強(qiáng)的多分支融合網(wǎng)絡(luò)。生成對(duì)抗網(wǎng)絡(luò)（GAN）自2014 年由GOODFELLOW［12］提出以來，得到了不同領(lǐng)域研究人員的廣泛關(guān)注，且已被應(yīng)用于低照度圖像增強(qiáng)領(lǐng)域。文獻(xiàn)［13］通過端到端的方式構(gòu)建GAN，學(xué)習(xí)由手機(jī)拍攝的低質(zhì)量圖像到高質(zhì)量DSLR 圖像的特征映射。文獻(xiàn)［14］基于Retinex 思想和GAN，提出一種用于低照度圖像增強(qiáng)的混合監(jiān)督網(wǎng)絡(luò)結(jié)構(gòu)。以上基于GAN 網(wǎng)絡(luò)模型的方法均需大量的成對(duì)圖像以進(jìn)行訓(xùn)練，當(dāng)缺乏匹配對(duì)的訓(xùn)練數(shù)據(jù)時(shí)，它們的穩(wěn)定性將會(huì)受到影響。為解決上述問題，文獻(xiàn)［15］構(gòu)建一種高效、無監(jiān)督的EnlightenGAN 網(wǎng)絡(luò)，其可在大量不精確匹配的圖像中進(jìn)行模型訓(xùn)練并建立非匹配對(duì)關(guān)系。文獻(xiàn)［16］建立一種通過改進(jìn)兩步GAN 進(jìn)行圖像增強(qiáng)的非匹配對(duì)學(xué)習(xí)模型。盡管上述非監(jiān)督學(xué)習(xí)的方式可以適應(yīng)當(dāng)前低照度圖像增強(qiáng)領(lǐng)域數(shù)據(jù)集缺乏的場(chǎng)景，但是這種學(xué)習(xí)方式難以得到精確的圖像增強(qiáng)結(jié)果。

本文建立一種局部生成對(duì)抗網(wǎng)絡(luò)模型，以對(duì)水上低照度圖像進(jìn)行增強(qiáng)。在生成器中引入注意力網(wǎng)絡(luò)估計(jì)低照度圖像的光照分布情況，結(jié)合殘差網(wǎng)絡(luò)、金字塔擴(kuò)張卷積（PDC）［17］和特征融合模塊進(jìn)行強(qiáng)特征提取，并根據(jù)輸入的光照分布圖實(shí)現(xiàn)不同光照區(qū)域的自適應(yīng)增強(qiáng)。設(shè)計(jì)一種可判別圖像局部區(qū)域的局部判別器結(jié)構(gòu)，以促使生成器生成更加真實(shí)的增強(qiáng)圖像。

1 本文方法

1.1 訓(xùn)練流程

本文方法的目的在于提高水上低照度圖像的可見度，其核心思想是利用大量圖像訓(xùn)練一對(duì)通過相互對(duì)抗學(xué)習(xí)以不斷優(yōu)化各自網(wǎng)絡(luò)參數(shù)的網(wǎng)絡(luò)模型，即生成器G 和判別器D。G 的優(yōu)化目標(biāo)是生成與真實(shí)正常光照?qǐng)D像外觀和結(jié)構(gòu)更為接近的增強(qiáng)圖像，即最小化增強(qiáng)圖像與真實(shí)正常光照?qǐng)D像之間的差異，混淆D 對(duì)圖像真?zhèn)蔚呐袛?。D 的優(yōu)化目標(biāo)是更準(zhǔn)確地判斷增強(qiáng)圖像與真實(shí)正常光照?qǐng)D像之間的真?zhèn)?。D 和G 互斥的優(yōu)化目標(biāo)使得兩者之間產(chǎn)生了相互對(duì)抗學(xué)習(xí)，在對(duì)抗的過程中，G 的圖像增強(qiáng)能力和D 的真?zhèn)闻袆e能力不斷提高，使得增強(qiáng)圖像與真實(shí)正常光照?qǐng)D像越來越相似，從而達(dá)到圖像增強(qiáng)的效果。

本文方法的訓(xùn)練流程如圖1 所示，首先選取一組低照度圖像及其對(duì)應(yīng)的正常光照?qǐng)D像，然后將低照度圖像輸入到G 中經(jīng)過一系列增強(qiáng)變換操作后得到增強(qiáng)圖像，最后根據(jù)損失函數(shù)計(jì)算增強(qiáng)圖像與真實(shí)正常光照?qǐng)D像之間的損失值，并將損失值反向傳播反饋回G，更新優(yōu)化G 的網(wǎng)絡(luò)參數(shù)，同時(shí)將增強(qiáng)圖像與正常光照?qǐng)D像輸入到D 中進(jìn)行真?zhèn)闻袆e。D 通過提取圖像特征并根據(jù)圖像之間的特征差異判斷真?zhèn)?，然后將真?zhèn)谓Y(jié)果反饋給G，使得G 進(jìn)一步改善增強(qiáng)效果，并在下一輪迭代中縮小增強(qiáng)圖像與正常光照?qǐng)D像之間的差異。D在促使G 生成視覺效果更真實(shí)的增強(qiáng)圖像的同時(shí)，進(jìn)一步優(yōu)化自身的判別能力。

圖1 本文方法訓(xùn)練流程Fig.1 The training procedure of the method in this paper

1.2 網(wǎng)絡(luò)模型設(shè)計(jì)

本文所提局部生成對(duì)抗網(wǎng)絡(luò)模型結(jié)構(gòu)包含生成器G 和判別器D。生成器G 主要由注意力網(wǎng)絡(luò)、殘差網(wǎng)絡(luò)、PDC 模塊和特征融合模塊4 個(gè)部分組成，如圖2 所示。

圖2 生成器結(jié)構(gòu)Fig.2 Generator structure

生成器G 的4 個(gè)模塊具體如下：

1）注意力網(wǎng)絡(luò)。注意力網(wǎng)絡(luò)預(yù)測(cè)圖像中光照分布的位置掩碼，輸出的光照分布圖的像素點(diǎn)為0～1之間的概率值，原始低照度圖像中越暗的區(qū)域所對(duì)應(yīng)的光照分布圖區(qū)域的像素值越接近1，否則越接近0，從而促使后續(xù)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)圖像中的不同光照區(qū)域進(jìn)行不同程度的關(guān)注。與U-Net 模型［18］類似，本文的注意力網(wǎng)絡(luò)由下采樣的編碼器、上采樣的解碼器和跳躍連接組成。下采樣的編碼器中包含卷積層和最大池化操作，特征圖每經(jīng)過一次池化操作，大小均變?yōu)檩斎胩卣鲌D的1/2，這不僅能夠保留原始圖像的結(jié)構(gòu)信息，還能加快模型訓(xùn)練和圖像處理的速度。上采樣的解碼器包含反卷積層，用于復(fù)原圖像尺寸。跳躍連接將編碼器和解碼器中相對(duì)應(yīng)的卷積層和反卷積層的特征相連接，以緩解梯度消失問題，提高模型的特征提取能力。本文方法與文獻(xiàn)［11］方法類似，均設(shè)計(jì)具有相同結(jié)構(gòu)的注意力網(wǎng)絡(luò)，通過該網(wǎng)絡(luò)估計(jì)光照分布圖以引導(dǎo)低照度圖像增強(qiáng)。不同的是，本文不僅將估計(jì)到的光照分布圖與輸入圖像進(jìn)行簡(jiǎn)單拼接，還將光照分布圖與最終的特征圖逐元素相乘，再與原始圖像逐元素相加以得到增強(qiáng)后的圖像，從而簡(jiǎn)化學(xué)習(xí)目標(biāo)并降低學(xué)習(xí)難度。

2）殘差網(wǎng)絡(luò)。與文獻(xiàn)［19］提出的殘差網(wǎng)絡(luò)相比，本文殘差網(wǎng)絡(luò)刪除了批處理歸一化并將ReLU 激活函數(shù)替換成Leaky ReLU 函數(shù)，使用僅包含2 個(gè)卷積層的殘差塊來減少模型參數(shù)并提取圖像的深層特征。本文殘差網(wǎng)絡(luò)中的殘差塊結(jié)構(gòu)如圖3 所示。

圖3 殘差網(wǎng)絡(luò)中的殘差塊結(jié)構(gòu)Fig.3 The structure of residual block in residual network

3）PDC 模塊。由于空洞卷積可在不增加計(jì)算量的情況下擴(kuò)大局部感受野，并能夠利用更多的圖像信息，因此本文在殘差網(wǎng)絡(luò)后加入PDC 模塊以進(jìn)行多尺度空間特征的提取與學(xué)習(xí)，減少結(jié)構(gòu)信息丟失。PDC 模塊中有4 條并行路徑，每條路徑都包含一個(gè)空洞卷積和卷積核大小為1×1 的卷積，在4 條并行路徑中，空洞卷積的空洞率分別為1、2、4 和6。

4）特征融合模塊。將殘差網(wǎng)絡(luò)提取的特征與PDC 模塊各個(gè)路徑提取的特征進(jìn)行拼接，然后采用4 個(gè)卷積層融合上述拼接的特征，最后輸出圖像增強(qiáng)結(jié)果。

在通常情況下，不同亮度區(qū)域的信息丟失程度不同，因此，判別器需要對(duì)圖像中的不同亮度區(qū)域進(jìn)行不同程度的關(guān)注。本文判別器由卷積層和全連接層組成，從第5 個(gè)卷積層中提取特征并計(jì)算這些特征與注意力網(wǎng)絡(luò)產(chǎn)生的光照分布圖之間的損失，通過學(xué)習(xí)光照分布圖的方式來衡量第5 層卷積所提取的特征，并將該層特征與下一層卷積所提取的特征進(jìn)行逐元素相乘，最后經(jīng)過2 個(gè)卷積層和2 個(gè)神經(jīng)元數(shù)量分別為256 和1 的全連接層，將提取的特征進(jìn)行匯總并輸出判別結(jié)果。本文的判別器結(jié)構(gòu)如圖4所示。

圖4 判別器結(jié)構(gòu)Fig.4 Discriminator structure

本文生成器和判別器的參數(shù)設(shè)置分別如表1 和表2 所示，各個(gè)卷積層的填充方式均為“SAME”，為了提高模型的非線性，除生成器的最后一個(gè)卷積以Sigmoid 函數(shù)作為激活函數(shù)外，其余卷積層后都加入Leaky ReLU 作為激活函數(shù)，Leaky ReLU 的負(fù)值斜率設(shè)置為0.2。

表1 生成器參數(shù)設(shè)置Table 1 Generator parameters setting

表2 判別器參數(shù)設(shè)置Table 2 Discriminator parameters setting

1.3 損失函數(shù)設(shè)計(jì)

本文損失函數(shù)由生成損失函數(shù)LG和判別損失函數(shù)LD組成。由于生成器的目的在于生成與正常光照?qǐng)D像相似的增強(qiáng)圖像，因此為了提高增強(qiáng)圖像的整體感知質(zhì)量，本文為生成器設(shè)計(jì)如下的損失函數(shù)：

其中，Latt、Lcon、Lcol、Ladv分別表示注意力損失、內(nèi)容損失、顏色損失、對(duì)抗損失，ωatt、ωcon、ωcol、ωadv分別表示對(duì)應(yīng)的權(quán)重參數(shù)。各項(xiàng)損失具體如下：

1）注意力損失

為了更好地約束注意力網(wǎng)絡(luò)以對(duì)光照分布進(jìn)行建模，本文使用如下的損失函數(shù)作為注意力損失：

其中，I表示低照度圖像，Ga（I）表示預(yù)測(cè)的光照分布圖，N表示樣本訓(xùn)練數(shù)目，A表示期望的注意力圖，其通過式（3）計(jì)算得到：

2）內(nèi)容損失

本文利用在ImageNet 數(shù)據(jù)集上預(yù)先訓(xùn)練過的VGG-16 網(wǎng)絡(luò)產(chǎn)生的特征圖來計(jì)算內(nèi)容損失，以測(cè)量增強(qiáng)圖像與對(duì)應(yīng)的正常光照?qǐng)D像之間的全局差異。令?表示VGG-16 生成的特征圖，G（I）為生成器輸出的增強(qiáng)圖像，則本文的內(nèi)容損失定義為：

3）顏色損失

為了測(cè)量增強(qiáng)圖像和正常光照?qǐng)D像之間的顏色差異，本文首先應(yīng)用高斯模糊函數(shù)移除圖像的局部細(xì)節(jié)信息，然后計(jì)算圖像間的歐氏距離以定義如下的顏色損失［14］：

其中，g表示高斯模糊函數(shù)。

4）對(duì)抗損失

本文使用對(duì)抗損失督促生成器生成顏色、紋理和對(duì)比度等方面均較為自然的增強(qiáng)圖像，對(duì)抗損失定義如下：

在本文中，訓(xùn)練判別器D 的目的在于根據(jù)光照分布圖判別增強(qiáng)圖像和正常光照?qǐng)D像之間的不同光照區(qū)域，輸出輸入圖像來自正常光照?qǐng)D像的概率，其取值范圍在0～1 之間。因此，本文判別損失函數(shù)LD定義為：

其中，γ為權(quán)重參數(shù)，Lmap表示判別器內(nèi)卷積層提取的特征與光照分布圖之間的損失，計(jì)算如下：

其中，D(·)5表示判別器第5 層卷積所提取的特征。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集

目前缺乏可用于網(wǎng)絡(luò)訓(xùn)練的成對(duì)水上低照度圖像數(shù)據(jù)集，且在水上動(dòng)態(tài)環(huán)境下拍攝同一場(chǎng)景下的低照度圖像及其對(duì)應(yīng)的正常光照?qǐng)D像極其困難，因此，本文實(shí)驗(yàn)中將真實(shí)的圖像對(duì)和合成的圖像對(duì)組成模型訓(xùn)練的數(shù)據(jù)集。其中，真實(shí)的圖像對(duì)來自文獻(xiàn)［10］中已公開的LOL 數(shù)據(jù)集，該數(shù)據(jù)集中的圖像拍攝于室內(nèi)，通過調(diào)節(jié)相機(jī)的曝光參數(shù)值來改變曝光度，從而獲得不同場(chǎng)景和不同光照強(qiáng)度下的500 對(duì)低照度圖像及其對(duì)應(yīng)的正常光照?qǐng)D像。

為提高訓(xùn)練數(shù)據(jù)集的樣本多樣性，本文在文獻(xiàn)［20］公開的SeaShips 數(shù)據(jù)集中挑選出200 幅正常光照?qǐng)D像以合成低照度圖像。首先將正常光照?qǐng)D像從RGB 顏色空間轉(zhuǎn)換到HSV 顏色空間，然后將V 通道圖像V乘以一個(gè)小于1 的常數(shù)得到合成的低照度V 通道圖像Vdark，Vdark=σV，其中，σ服從（0，0.5）的均勻分布，最后保持H 和S 兩通道不變，用Vdark圖像替換V圖像，并轉(zhuǎn)換成RGB 顏色空間，得到合成的低照度圖像，部分圖像如圖5 所示。此外，由于圖像的尺寸較大，因此本文在進(jìn)行網(wǎng)絡(luò)訓(xùn)練之前將訓(xùn)練圖像隨機(jī)裁剪成128 像素×128 像素的圖像塊，并且隨機(jī)地對(duì)圖像塊進(jìn)行上下和左右翻轉(zhuǎn)。

圖5 部分低照度圖像Fig.5 Partial low-light images

2.2 實(shí)驗(yàn)條件及參數(shù)設(shè)置

實(shí)驗(yàn)所用的計(jì)算機(jī)操作系統(tǒng)為Ubuntu18.04，GPU 配置為Nvidia GTX 2080ti，使用tensorflow 深度學(xué)習(xí)框架實(shí)現(xiàn)網(wǎng)絡(luò)模型并進(jìn)行訓(xùn)練。在網(wǎng)絡(luò)訓(xùn)練過程中，采用0.000 2 的固定學(xué)習(xí)率，迭代次數(shù)為104。本實(shí)驗(yàn)的生成器和判別器分別使用Adam 優(yōu)化器和Momentum 優(yōu)化器進(jìn)行網(wǎng)絡(luò)參數(shù)優(yōu)化，采用小批量訓(xùn)練方式，batch size 的大小為8，權(quán)重參數(shù)ωatt、ωcon、ωcol、ωadv、γ的取值分別為1、2、11、0.01、0.05。

2.3 評(píng)價(jià)指標(biāo)

為了客觀評(píng)價(jià)本文方法的增強(qiáng)效果和網(wǎng)絡(luò)性能，使用如下的無參考和全參考圖像質(zhì)量評(píng)價(jià)指標(biāo)：

1）無參考圖像質(zhì)量評(píng)價(jià)指標(biāo)。自然圖像質(zhì)量評(píng)估指標(biāo)（NIQE）［21］是一種完全無參考的圖像質(zhì)量分析器，其無需使用參考圖像，僅根據(jù)圖像的自然統(tǒng)計(jì)特征并利用目標(biāo)圖像的可測(cè)量偏差即可得到圖像質(zhì)量評(píng)價(jià)值。NIQE 指標(biāo)計(jì)算公式如下：

其中，ν1、ν2和∑1、∑2分別表示自然圖像和增強(qiáng)圖像高斯分布模型的均值向量和協(xié)方差矩陣。在圖像增強(qiáng)中，NIQE 的數(shù)值越低表示圖像的感知質(zhì)量越高。

2）全參考圖像質(zhì)量評(píng)價(jià)指標(biāo)。峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）是2 種使用最廣泛的全參考圖像質(zhì)量評(píng)價(jià)指標(biāo)。PSNR 是衡量圖像失真或噪聲水平的客觀標(biāo)準(zhǔn)，其值越高表示圖像中包含的噪聲越少，圖像的失真越小，即增強(qiáng)效果和圖像質(zhì)量越高。PSNR 的計(jì)算公式如下：

SSIM 用來衡量2 幅圖像之間的亮度、對(duì)比度和結(jié)構(gòu)相似性，其取值范圍為0～1，值越接近1 說明2 幅圖像越相似。SSIM 的計(jì)算公式如下：

其中，μI和分別為增強(qiáng)圖像I 和正常光照?qǐng)D像的灰度均值，σI和為方差，為I和的協(xié)方差，c1和c2為值很小的常數(shù)，用來避免分母為0 的情況。

2.4 結(jié)果分析

如圖6 所示，在訓(xùn)練的過程中，本文網(wǎng)絡(luò)模型的生成損失值和判別損失值隨著迭代次數(shù)的增加而逐漸下降并趨于穩(wěn)定，這表明本文方法具有較好的穩(wěn)定性。

圖6 損失收斂曲線Fig.6 Loss convergence curve

圖7 所示為本文注意力網(wǎng)絡(luò)估計(jì)的部分光照分布圖，從圖7 可以看出，本文的注意力網(wǎng)絡(luò)能很好地區(qū)分低照度圖像中各個(gè)區(qū)域的光照分布情況。

圖7 注意力網(wǎng)絡(luò)估計(jì)的注意力圖Fig.7 Attentive images estimated by attentive network

為了驗(yàn)證本文方法的有效性，在合成的低照度圖像和真實(shí)的低照度圖像上分別進(jìn)行實(shí)驗(yàn)，將本文方法與HE 方法［3］、SRIE 方法［6］、LIME 方法［7］、RetinexNet 方法［10］、EFTL 方法［14］和LightenNet 方法［9］等進(jìn)行對(duì)比與分析。

圖8～圖10 所示分別為本文方法與其他對(duì)比方法在合成的海面、內(nèi)河和港口低照度圖像上的增強(qiáng)效果。從主觀視覺效果上分析可知，SRIE 方法和EFTL 方法雖然可在一定程度上提升圖像的亮度，但亮度提升不夠充分，使得處理后圖像的整體亮度依然較低；RetinexNet 方法的增強(qiáng)效果不自然，顏色與正常光照?qǐng)D像相差較大；LightenNet 方法處理的圖像容易產(chǎn)生局部過曝光現(xiàn)象，并且存在色斑，容易導(dǎo)致圖像細(xì)節(jié)丟失問題。相比之下，本文方法和LIME 方法均能取得較好的視覺效果，但本文方法能對(duì)不同亮度的圖像進(jìn)行全局增強(qiáng)，具有更好的自適應(yīng)能力。

圖8 6 種方法對(duì)合成低照度海面圖像的增強(qiáng)效果對(duì)比Fig.8 Comparison of enhanced effects of six methods on synthetic low-light sea surface images

圖9 6 種方法對(duì)合成低照度內(nèi)河圖像的增強(qiáng)效果對(duì)比Fig.9 Comparison of enhanced effects of six methods on synthetic low-light inland river images

圖10 6 種方法對(duì)合成低照度港口圖像的增強(qiáng)效果對(duì)比Fig.10 Comparison of enhanced effects of six methods on synthetic low-light port images

除主觀視覺對(duì)比外，本文通過PSNR 和SSIM 2 個(gè)客觀指標(biāo)對(duì)比各方法的去噪和結(jié)構(gòu)保留能力，指標(biāo)對(duì)比結(jié)果如表3 所示。從表3 可以看出，本文方法具有最優(yōu)的PSNR 值，SSIM 值略低于LIME 方法，即本文方法不僅能夠大幅提升圖像的對(duì)比度并更好地保留細(xì)節(jié)信息，還能在一定程度上抑制噪聲，提高圖像的整體質(zhì)量。為了進(jìn)一步驗(yàn)證本文方法的優(yōu)越性，在真實(shí)的低照度圖像上進(jìn)行對(duì)比實(shí)驗(yàn)，主觀上的視覺效果對(duì)比如圖11～圖13 所示。通過直觀視覺分析可知，本文方法與其他對(duì)比方法均能提高低照度圖像的對(duì)比度和清晰度，但是，HE 方法會(huì)導(dǎo)致嚴(yán)重的色偏和噪聲放大現(xiàn)象，SRIE 方法對(duì)于圖像較暗區(qū)域的增強(qiáng)效果較差，LIME 方法容易出現(xiàn)過度增強(qiáng)以及色彩失真現(xiàn)象，使得增強(qiáng)后的圖像光照不自然，RetinexNet 方法不能很好地還原圖像的真實(shí)場(chǎng)景和細(xì)節(jié)信息，EFTL 方法同樣對(duì)圖像中較暗區(qū)域沒有很好地增強(qiáng)，而且存在一定程度的色偏，LightenNet 方法處理后的圖像會(huì)出現(xiàn)不規(guī)則的色斑，其對(duì)圖像的增強(qiáng)效果有限。相比之下，本文方法無論是在場(chǎng)景還原還是細(xì)節(jié)處理方面，均具有較好的性能優(yōu)勢(shì)。除主觀評(píng)價(jià)以外，本文還選用無參考圖像質(zhì)量評(píng)價(jià)指標(biāo)NIQE 對(duì)各個(gè)方法的實(shí)驗(yàn)結(jié)果進(jìn)行進(jìn)一步客觀評(píng)價(jià)，各方法的NIQE 評(píng)價(jià)指標(biāo)結(jié)果如表4 所示，從表4 可以看出，本文方法的NIQE 指標(biāo)優(yōu)于其他對(duì)比方法，表明其能取得更好的圖像增強(qiáng)結(jié)果。

表3 6 種方法的PSNR 和SSIM 評(píng)價(jià)指標(biāo)對(duì)比Table 3 Comparison of PSNR and SSIM evaluation indexes of six methods

圖11 7 種方法對(duì)低照度海面圖像的主觀視覺效果對(duì)比Fig.11 Comparison of subjective visual effects of seven methods on low-light sea surface images

圖12 7 種方法對(duì)低照度內(nèi)河圖像的主觀視覺效果對(duì)比Fig.12 Comparison of subjective visual effects of seven methods on low-light inland river images

圖13 7 種方法對(duì)低照度港口圖像的主觀視覺效果對(duì)比Fig.13 Comparison of subjective visual effects of seven methods on low-light port images

表4 NIQE 評(píng)價(jià)指標(biāo)對(duì)比Table 4 Comparison of NIQE evaluation indexes

3 結(jié)束語

水上低照度圖像存在圖像質(zhì)量差、目標(biāo)細(xì)節(jié)不清晰等問題，為此，本文提出一種基于局部GAN 的低照度圖像增強(qiáng)方法。設(shè)計(jì)具有強(qiáng)特征提取能力和自適應(yīng)增強(qiáng)的生成器模型以及能對(duì)圖像局部區(qū)域進(jìn)行區(qū)分的判別器模型，生成器和判別器模型通過相互對(duì)抗學(xué)習(xí)使各自達(dá)到更優(yōu)的處理效果，從而提升圖像亮度與質(zhì)量。實(shí)驗(yàn)結(jié)果表明，在主觀視覺效果與客觀評(píng)價(jià)指標(biāo)2 個(gè)方面，本文方法均優(yōu)于SRIE、LIME 等對(duì)比方法。但是，本文方法目前仍無法滿足水上視覺任務(wù)對(duì)實(shí)時(shí)性的要求，同時(shí)，受硬件和環(huán)境的影響，CCTV 等監(jiān)控系統(tǒng)捕獲到的圖像包含很多噪聲，處理難度較大。因此，下一步將在提高處理效率和消除噪聲2 個(gè)方面展開研究。