基于生成對(duì)抗網(wǎng)絡(luò)的圖像增強(qiáng)與修復(fù)技術(shù)研究

摘要：在低光照與霧天等特殊條件下，圖像采集設(shè)備捕捉的圖像亮度相對(duì)較低，容易出現(xiàn)特征遺漏、信息呈現(xiàn)不足等問題，為解決這一問題，本文提出一種基于生成對(duì)抗網(wǎng)絡(luò)的圖像增強(qiáng)方法，利用變分PDE中的TV模型對(duì)圖像進(jìn)行進(jìn)一步修復(fù)。仿真實(shí)驗(yàn)結(jié)果顯示，本文方法可明顯提高圖像對(duì)比度、可視化效果與質(zhì)量，且圖像修復(fù)速度較快，沒有明顯修復(fù)痕跡，有一定的應(yīng)用與推廣價(jià)值。

關(guān)鍵詞：生成對(duì)抗網(wǎng)絡(luò)；圖像增強(qiáng)；圖像修復(fù)；變分PDE

引言

近年來，圖像處理技術(shù)的應(yīng)用越來越多，不過在低光照與霧天等特殊條件下，圖像往往存在清晰度低、噪聲多、對(duì)比度差等諸多問題，圖像處理技術(shù)面臨挑戰(zhàn)[1]。在此背景下，圖像增強(qiáng)技術(shù)得以出現(xiàn)，其目的在于對(duì)圖像細(xì)節(jié)進(jìn)行合理與有效調(diào)整，提高原始圖像對(duì)比度及清晰度，進(jìn)而實(shí)現(xiàn)圖像可視效果的優(yōu)化。以交通監(jiān)控領(lǐng)域?yàn)槔?，?duì)于晚間或雨雪、大霧等天氣，攝像機(jī)圖像質(zhì)量會(huì)明顯降低，有價(jià)值信息的提取難度大幅增加，利用圖像增強(qiáng)技術(shù)，能夠?qū)D像細(xì)節(jié)及對(duì)比度進(jìn)行調(diào)整，進(jìn)而為智能交通系統(tǒng)提供重要幫助，使其更加準(zhǔn)確地將車輛與行人識(shí)別出來，對(duì)道路安全性的提升以及交通事故的預(yù)防均具有不容忽視的積極意義。

盡管光照增強(qiáng)領(lǐng)域目前已經(jīng)取得一定的經(jīng)驗(yàn)，但當(dāng)前方法對(duì)增強(qiáng)后圖片中噪聲的影響有所忽視，且對(duì)圖片的受損情況不夠重視，圖像質(zhì)量尚有較大提升空間。基于此，本文提出基于生成對(duì)抗網(wǎng)絡(luò)（generative adversarial network，GAN）[2]的圖像增強(qiáng)方法，以實(shí)現(xiàn)光照增強(qiáng)目標(biāo)，進(jìn)一步配合變分PDE[3]中的TV模型[4]執(zhí)行圖像修復(fù)任務(wù)，將圖像噪聲去除，處理圖像受損問題，為圖像質(zhì)量提供更好的保證。

1. 生成對(duì)抗網(wǎng)絡(luò)原理

生成對(duì)抗網(wǎng)絡(luò)屬于雙邊博弈鑒別類游戲，主要包括生成網(wǎng)絡(luò)（generator）與鑒別網(wǎng)絡(luò)（discriminator）兩部分。其中，前者基于噪聲生成圖像，可取得與真實(shí)圖像逼近的效果；后者則主要基于真實(shí)數(shù)據(jù)，對(duì)前者所生成圖像的真假進(jìn)行辨別，二者通過博弈，持續(xù)增強(qiáng)前者的圖像生成能力，一直到后者無法辨別圖像真假[5]。生成對(duì)抗網(wǎng)絡(luò)原理如圖1所示。

分別用G與D表示生成網(wǎng)絡(luò)與鑒別網(wǎng)絡(luò)，如果D的評(píng)分比較低，意味著G生成圖像的效果比較差，這時(shí)便需要通過訓(xùn)練對(duì)參數(shù)做相應(yīng)調(diào)整。在實(shí)際鑒別的過程中，D的輸出值與1越接近，意味著G所生成的圖像越真實(shí)。

實(shí)際上，G和D屬于GAN中的兩個(gè)相互獨(dú)立的模型，各步僅能執(zhí)行一個(gè)步驟，G與D單獨(dú)交替迭代訓(xùn)練。在具體訓(xùn)練的過程中，G生成的數(shù)據(jù)用Pg（x）來表示，真實(shí)數(shù)據(jù)用P（x）來表示，它們通過D持續(xù)迭代訓(xùn)練。G將噪聲z在P（x）中映射，通過持續(xù)訓(xùn)練G的分布擬合真實(shí)數(shù)據(jù)分布，D無法再完成對(duì)P（x）和G生成數(shù)據(jù)的映射。

2. 基于生成對(duì)抗網(wǎng)絡(luò)的圖像增強(qiáng)

基于GAN的圖像增強(qiáng)原理如圖2所示[6]。根據(jù)該圖，低照度或霧天環(huán)境下的圖像在經(jīng)過抖動(dòng)與鏡像之后輸入G，之后經(jīng)由生成網(wǎng)絡(luò)增強(qiáng)輸出，和正常照度圖像進(jìn)行可微增強(qiáng)，之后向D輸入，D結(jié)合鑒別的真假結(jié)果，經(jīng)由損失函數(shù)向G與自身反饋，以此對(duì)參數(shù)進(jìn)行優(yōu)化，循環(huán)該過程，一直到G和D實(shí)現(xiàn)平衡。

在上下采樣塊中，主要基于scSE注意力機(jī)制的支持執(zhí)行空間與通道權(quán)重的分配任務(wù)，通過殘差完成特征疊加，進(jìn)一步針對(duì)性地保留增強(qiáng)特征，通過可微增強(qiáng)模塊，在不同增強(qiáng)方式的支持下，實(shí)現(xiàn)生成圖像及真實(shí)圖像的增強(qiáng)處理。

2.1 生成網(wǎng)絡(luò)

基于UNet網(wǎng)絡(luò)添加殘差連接，能夠顯著增強(qiáng)對(duì)圖像特征的提取能力，在此基礎(chǔ)上加深網(wǎng)絡(luò)記憶，并有效提升網(wǎng)絡(luò)穩(wěn)定性。在執(zhí)行上下采樣任務(wù)的過程中，正是因?yàn)镚所采用的是殘差連接的方式，因此，在具體的下采樣環(huán)節(jié)，需要針對(duì)上層網(wǎng)絡(luò)實(shí)施卷積處理，目的在于有效減小數(shù)據(jù)尺度，并相應(yīng)縮短和下層殘差之間的連接。相對(duì)應(yīng)地，在上采樣環(huán)節(jié)，需要針對(duì)下層網(wǎng)絡(luò)實(shí)施反卷積處理，對(duì)其目的進(jìn)行分析，即有效增大數(shù)據(jù)尺度，并與上層殘差建立起有效連接。在實(shí)際殘差連接的全過程中，因?yàn)閿?shù)據(jù)形狀在相應(yīng)程度上存在差異，故針對(duì)性地對(duì)1×1卷積核過渡上下采樣的方式加以運(yùn)用。

2.2 鑒別網(wǎng)絡(luò)

本文使用PatchGAN全卷積網(wǎng)絡(luò)鑒別器執(zhí)行N維矩陣的輸出任務(wù)，在此基礎(chǔ)上求解矩陣均值，進(jìn)而得到真假的判別結(jié)果，此環(huán)節(jié)將圖像各個(gè)部分的潛在影響作為綜合考慮因素，對(duì)于細(xì)節(jié)的關(guān)注更為全面。以圖像增強(qiáng)為目標(biāo)的鑒別網(wǎng)絡(luò)中，輸入主要包括兩張圖像（待增強(qiáng)的低照度圖像與正常照度圖像），鑒別網(wǎng)絡(luò)對(duì)兩張圖像的匹配情況進(jìn)行分析。除首個(gè)下采樣未對(duì)層歸一化加以運(yùn)用外，鑒別網(wǎng)絡(luò)中其他下采樣所采用的均是標(biāo)準(zhǔn)的下采樣塊。

2.3 損失函數(shù)

本文生成網(wǎng)絡(luò)對(duì)huber損失函數(shù)結(jié)合BCE損失函數(shù)的方式加以運(yùn)用，前者用于反映目標(biāo)圖像和生成圖像之間的差異，后者用于反映生成圖像被D判定為假的懲罰。D利用BCE函數(shù)對(duì)生成圖像真假輸出矩陣和圖像標(biāo)簽的不同進(jìn)行判別，基于該函數(shù)的BCE損失計(jì)算如下：

（1）

式中，N為PatchGAN全卷積網(wǎng)絡(luò)的輸出數(shù)據(jù)大小，反映的是圖像像素個(gè)數(shù)；p（yi）為像素預(yù)測(cè)為真或假的概率。

3. 基于變分PDE的圖像修復(fù)

基于變分PDE的圖像修復(fù)主要是針對(duì)待修復(fù)區(qū)域的圖像進(jìn)行微分?jǐn)U散方程的構(gòu)建，在此基礎(chǔ)上迭代并更新待修復(fù)的像素值，進(jìn)而達(dá)到修復(fù)圖像的目的。在變分PDE中，TV模型能夠在科學(xué)保持圖像邊緣的同時(shí)，將部分噪聲消除，本文對(duì)該模型加以利用，尋找圖像能量函數(shù)，并求取區(qū)域內(nèi)的極小值，將待修復(fù)像素值確定下來，進(jìn)而實(shí)現(xiàn)圖像修復(fù)。

基于變分PDE的圖像修復(fù)過程用下式表示：

（2）

式中，M為整幅圖像；D為圖像中待修復(fù)部位；u為圖像中待修復(fù)部位的像素值；u0為初始值。

基于變分原理，可得Euler-Lagrange公式，如下：

（3）

（4）

對(duì)公式（3）變形，有：

（5）

公式（5）屬于非線性微分?jǐn)U散方程，在不斷趨向零的過程中，可以獲取u的最小值。極值所在邊界部位M需要與有偏條件相符，即，此處所表示的即邊界位置的法向量。

因?yàn)樵谄交瑓^(qū)存在趨向零的可能，所以，為規(guī)避分母為零的可能，一般情況下用

對(duì)進(jìn)行替代，，a為正參數(shù)，取值非常小。

由此一來，可將公式（2）變形為

（6）

在此基礎(chǔ)上，針對(duì)圖像待修補(bǔ)位置實(shí)施像素差值處理，持續(xù)循環(huán)此項(xiàng)操作，直到完成整幅圖像的修補(bǔ)。

4. 實(shí)驗(yàn)分析

為驗(yàn)證本文圖像增強(qiáng)與修復(fù)方法效果，進(jìn)行如下仿真實(shí)驗(yàn)。

4.1 圖像增強(qiáng)實(shí)驗(yàn)

此次仿真實(shí)驗(yàn)對(duì)標(biāo)準(zhǔn)化測(cè)試視頻序列截圖（24位，霧天條件，分辨率為712×623）加以運(yùn)用，Celeron 2.4GHz，6GB PC機(jī)，操作系統(tǒng)為Win7，基于Matlab實(shí)現(xiàn)本文基于生成對(duì)抗網(wǎng)絡(luò)的圖像增強(qiáng)方法。由于霧天條件下并沒有原始標(biāo)準(zhǔn)圖像，因而只可以實(shí)施無參考評(píng)價(jià)，經(jīng)過綜合分析，將NR-NIQE設(shè)定為圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)，并與人的主觀評(píng)價(jià)相配合，得到評(píng)價(jià)結(jié)果，如表1所示。

根據(jù)表1，在霧天條件下，利用本文圖像增強(qiáng)方法對(duì)圖像進(jìn)行處理，對(duì)比度、可視化效果以及圖像質(zhì)量均得到較為明顯的提升，評(píng)價(jià)參數(shù)亦得到提升，算法具有簡(jiǎn)單易行、效率高的優(yōu)勢(shì)。

4.2 圖像修復(fù)實(shí)驗(yàn)

在圖像增強(qiáng)實(shí)驗(yàn)的基礎(chǔ)上，進(jìn)一步進(jìn)行圖像修復(fù)仿真實(shí)驗(yàn)，仿真環(huán)境依舊為Celeron 2.4GHz，6GB PC機(jī)，Win7，基于Matlab實(shí)現(xiàn)本文基于變分PDE的圖像修復(fù)方法，得到仿真結(jié)果。

圖像修復(fù)效果評(píng)價(jià)結(jié)果如表2所示，其中，前兩個(gè)（MSE與PSNR）為全參考評(píng)價(jià)，后兩個(gè)（NR-NIQE與人的主觀評(píng)價(jià)）為無參考質(zhì)量評(píng)價(jià)。

根據(jù)表2，本文方法對(duì)受損圖像的修復(fù)速度比較快，修復(fù)結(jié)果痕跡很小，和原圖沒有明顯差距，且圖像質(zhì)量各項(xiàng)評(píng)價(jià)指標(biāo)基本與主觀質(zhì)量評(píng)價(jià)相符。

結(jié)語

本文對(duì)基于生成對(duì)抗網(wǎng)絡(luò)的圖像增強(qiáng)技術(shù)進(jìn)行探討，在此基礎(chǔ)上，搭配使用變分PDE技術(shù)對(duì)圖像進(jìn)行修復(fù)，經(jīng)過實(shí)驗(yàn)，對(duì)此方法有效性及應(yīng)用價(jià)值進(jìn)行驗(yàn)證，后續(xù)將進(jìn)一步研究針對(duì)較大尺度、紋理復(fù)雜的圖像，如何進(jìn)一步改善增強(qiáng)及修復(fù)效果，或通過模型復(fù)雜度的進(jìn)一步降低，節(jié)省網(wǎng)絡(luò)訓(xùn)練時(shí)間。

參考文獻(xiàn)：

[1]李豐耀.基于先增強(qiáng)后修復(fù)的兩階段弱光照?qǐng)D像增強(qiáng)方法研究[D].南京：南京郵電大學(xué)，2023.

[2]周妍，尹勇，邵澤遠(yuǎn).基于循環(huán)生成對(duì)抗網(wǎng)絡(luò)的海上落水人員紅外圖像檢測(cè)方法[EB/OL].（2024-05-31）[2024-06-05].https：//kns.cnki.net/kcms2/article/abstract？v=wYgW8A8u9voQvdVz3A_SntrbHS8oikhd90WU3Vj3s_Ii3-_PrVqDC97Cf7lDoCehKuBxuMQ5Bl8dhiLJF5M7fnqACkhWGvPoh9jt3V1G2CiqRXO9GYbZX9DK5bTm1T94IKSDPEDjrEs=&uniplatform=NZKPT&language=CHS.

[3]唐泉，張新東.基于改進(jìn)PDE擴(kuò)散系數(shù)的圖像去噪研究[J].新疆師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2019，38（1）：33-38.

[4]呼亞萍，孔韋韋，李萌，等.改進(jìn)TV圖像去噪模型的全景圖像拼接算法[J].計(jì)算機(jī)工程與應(yīng)用，2021，57（17）：203-209.

[5]李海洋.基于生成對(duì)抗網(wǎng)絡(luò)的圖像修復(fù)技術(shù)研究與應(yīng)用[D].蘭州：蘭州交通大學(xué)，2021.

[6]張翔宇.基于生成對(duì)抗網(wǎng)絡(luò)的低光照?qǐng)D像增強(qiáng)技術(shù)研究[D].無錫：江南大學(xué)，2023.

作者簡(jiǎn)介：牛軍軍，碩士研究生，助教，研究方向：數(shù)據(jù)挖掘、人工智能。