基于改進(jìn)生成對抗網(wǎng)絡(luò)的圖像去噪方法

李思平

摘要：針對在圖像去噪領(lǐng)域一些傳統(tǒng)方法已無法解決數(shù)據(jù)維度、數(shù)據(jù)質(zhì)量、數(shù)據(jù)復(fù)雜度的問題，本文提出基于改進(jìn)的生成對抗網(wǎng)絡(luò)GAN的圖像去噪方法。該方法首先給在ImageNet數(shù)據(jù)集中隨機(jī)挑選出的原始圖像分別加上0.15、0.25的高斯噪聲得到帶噪聲的模糊圖像，然后將模糊圖像輸入到增加了殘差網(wǎng)絡(luò)的生成網(wǎng)絡(luò)里得到去噪圖像，將原始圖像和去噪圖像一同輸入到判別網(wǎng)絡(luò)里進(jìn)行訓(xùn)練，訓(xùn)練時(shí)采用特定的損失函數(shù)來優(yōu)化訓(xùn)練，最后用峰值信噪比和結(jié)構(gòu)相似性兩個(gè)指標(biāo)來衡量該方法與其他方法的去噪結(jié)果。實(shí)驗(yàn)結(jié)果表明，該網(wǎng)絡(luò)的改進(jìn)部分不僅解決了用傳統(tǒng)方法去噪時(shí)容易丟失圖像的細(xì)節(jié)或邊緣信息的問題，還提高了圖像去噪后的細(xì)節(jié)特征。

關(guān)鍵詞： 圖像去噪;生成對抗網(wǎng)絡(luò);殘差網(wǎng)絡(luò);損失函數(shù);細(xì)節(jié)特征

中圖分類號：TP391? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2022）12-0061-03

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

1 引言

過去的圖像都比較簡單且數(shù)據(jù)量不會太大，因此用傳統(tǒng)方法如Wiener 濾波[1]、中值濾波器[2]、小波去噪[3]等就能很好地處理。雖然傳統(tǒng)方法處理速度快且結(jié)果與實(shí)際也吻合，但隨著圖像變得更加復(fù)雜且多元，這些方法便難以滿足如今的要求，因此利用深度學(xué)習(xí)來處理圖像得到快速發(fā)展。

基于卷積神經(jīng)網(wǎng)絡(luò)[4]（Convolutional Neural Networks， CNN）的圖像處理算法是主流之一。CNN具有的權(quán)值共享、稀疏連接等優(yōu)點(diǎn)，但隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的加深，不僅使得訓(xùn)練耗時(shí)變得更長且與原始清晰圖像相比丟失了許多細(xì)節(jié)部分，從而給人不和諧的視覺體驗(yàn)。本文針對RGB彩色圖像進(jìn)行圖像去噪研究，以原始生成對抗網(wǎng)絡(luò)GAN[5]為基礎(chǔ)，對圖像去噪算法進(jìn)行更深的研究。

2? 實(shí)現(xiàn)方法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

GAN網(wǎng)絡(luò)的主要靈感來源于博弈論中零和博弈的思想，應(yīng)用到深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)上即通過生成器G（Generator）和判別器D（Discriminator）不斷博弈，進(jìn)而使G學(xué)習(xí)到數(shù)據(jù)的分布，其網(wǎng)絡(luò)結(jié)構(gòu)和工作過程如圖1所示。G以含噪圖像（數(shù)據(jù)集）為輸入，輸出為去噪圖像（假數(shù)據(jù)）;D以原始圖像（真數(shù)據(jù)）和去噪圖像（假數(shù)據(jù)）為輸入，輸出為[0，1]，當(dāng)D訓(xùn)練得足夠好時(shí)則會給真實(shí)圖像打出接近1的分?jǐn)?shù)，給去噪圖像打出接近0的分?jǐn)?shù)。

在該網(wǎng)絡(luò)中判別器D給真實(shí)圖像與去噪圖像打分的誤差之和構(gòu)成了判別器整體損失，而該損失的反向傳輸導(dǎo)致生成器G會產(chǎn)生損失，最大化D的損失以此來最小化G的損失即為GAN網(wǎng)絡(luò)的訓(xùn)練過程，整體損失函數(shù)的數(shù)學(xué)表達(dá)形式如下：[ minGmaxDVD，G=Ex～PxlogDx+Ex～Pzlog1-DGz ]? ? （1）

其中真實(shí)圖像對應(yīng)上式的[x]，噪聲圖像對應(yīng)[z]， G生成的去噪圖像對應(yīng)G（z）;V（D，G）相當(dāng)于表示真實(shí)數(shù)據(jù)和生成真實(shí)的差異程度。

2.2 生成網(wǎng)絡(luò)

生成網(wǎng)絡(luò)的目的是生成能以假亂真的圖像，我們期望將噪聲圖像輸入到生成網(wǎng)絡(luò)之后，能得的相比真實(shí)圖像更加清晰且細(xì)節(jié)和色彩更加豐富的圖像。原始的GAN 的網(wǎng)絡(luò)層使用的是多層感知機(jī)網(wǎng)絡(luò)，這種使用全連接層的網(wǎng)絡(luò)結(jié)構(gòu)使得訓(xùn)練生成的圖片數(shù)據(jù)質(zhì)量很差，因此改進(jìn)的生成對抗網(wǎng)絡(luò)采用卷積-殘差-反卷積的網(wǎng)絡(luò)結(jié)構(gòu)[6]，如圖2所示。

首先三個(gè)卷積層（Conv）、批量正則化（BN）和非線性激活函數(shù)（Leaky relu）壓縮在一起組成卷積模塊。其后的殘差網(wǎng)絡(luò)中，每個(gè)殘差塊包含了兩個(gè)卷積層（Conv）、兩個(gè)批量正則化（BN）和兩個(gè)Lrelu激活函數(shù)來增加神經(jīng)網(wǎng)絡(luò)的深度;在殘差網(wǎng)絡(luò)中還包含了對稱結(jié)構(gòu)的跳躍連接，這樣使得網(wǎng)絡(luò)在訓(xùn)練的時(shí)候高效并且有更好的收斂性，這些跳躍式連接將輸入給更深層，因此每個(gè)殘余層可以根據(jù)輸入調(diào)整輸出，并且保持空間信息。最后是三個(gè)反卷積層，每個(gè)反卷積層對應(yīng)于該網(wǎng)絡(luò)最前面的卷積層，前兩個(gè)反卷積層的卷積層（Conv）前還有調(diào)整大小的圖像塊（resize）。

2.3 判別網(wǎng)絡(luò)

判別網(wǎng)絡(luò)的目的是對假圖像（生成器生成的去噪圖像）和真實(shí)圖像進(jìn)行判別，若網(wǎng)絡(luò)訓(xùn)練得好則能有效地區(qū)分真假圖像。判別網(wǎng)絡(luò)結(jié)構(gòu)比較簡單，首先為能輸入自定義尺寸的圖片判別網(wǎng)絡(luò)將傳統(tǒng)全卷積神經(jīng)網(wǎng)絡(luò)中的全連接層替換為卷積層，然后判別網(wǎng)絡(luò)在此基礎(chǔ)上加入了一個(gè)自我學(xué)習(xí)的鑒別子網(wǎng)絡(luò)，以分辨輸入圖像的真假，判別網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。判別網(wǎng)絡(luò)包含5個(gè)卷積層，前四個(gè)卷積層由一個(gè)卷積層（Conv）、一個(gè)批量正則化（BN）和一個(gè)非線性激活函數(shù)（Leaky Relu）壓縮在一起組成，而最后一個(gè)卷積層則是采用的線性激活函數(shù)（Sigmoid），目的是將判別結(jié)果映射到一個(gè)正則化在[0，1]之間的可能性分?jǐn)?shù)，輸出的數(shù)值越高則表明輸入圖像越接近真實(shí)圖像，反之則越接近生成器生成的假圖像。

2.4損失函數(shù)

2.4.1 對抗損失

在原始GAN網(wǎng)絡(luò)中，損失函數(shù)是由生成器的損失和判別器的損失兩部分組成的對抗損失，如式（1）所示。

2.4.2 像素?fù)p失

在對圖像去噪方面，對抗損失雖能改善圖像的去噪性能，卻會產(chǎn)生高頻偽影，因此需加入像素?fù)p失函數(shù)（Pixel-wise）來對所有像素進(jìn)行平均，從而達(dá)到增強(qiáng)細(xì)節(jié)的目的。該函數(shù)具體采用的是均值平方差（MSE）算法，表達(dá)式為：

[Lpixel=Gz-u2]? ? ? ? ? ? ? ? ? ? ? ? ? ? （2）

2.4.3 特征損失

在比較兩幅看起來十分相似的圖像時(shí)，若其中一幅圖像的某一個(gè)像素與另一幅不同或兩幅圖像采用的分辨率不同，那么像素?fù)p失函數(shù)會輸出一個(gè)較大的誤差值，因此需要在損失函數(shù)中添加特征損失（Feature）函數(shù)[7]。將真實(shí)圖像和G生成的去噪圖像同時(shí)送入預(yù)先訓(xùn)練好的VGG網(wǎng)絡(luò)進(jìn)行特征提取之后得到的損失即為特征損失，其表達(dá)式為：

[Lfeature=Ez，? x?Gz-?x2]? ? ? ? ? ? ? ? ?（3）

2.4.4 改進(jìn)的損失函數(shù)

綜上所述，基于原始GAN改進(jìn)的WGAN損失函數(shù)如下：

[Ltotal=λ1Ldisc+λ2Lpixel+λ3Lfeature]? ? ? ? ? ? ? ? ? （4）

其中，[λ1]、[λ2]、[λ3]分別表示各損失函數(shù)相應(yīng)的權(quán)重，其可基于實(shí)驗(yàn)人為設(shè)置。

3? 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證基于原始GAN網(wǎng)絡(luò)改進(jìn)的生成對抗網(wǎng)絡(luò)的去噪效果，實(shí)驗(yàn)以ImageNet數(shù)據(jù)集中的3000張具有豐富的紋理及邊緣特征的圖像為基礎(chǔ)，首先將選取的3000張圖片分為2000張訓(xùn)練集和1000張測試集并全部剪裁為256×256×3的尺寸，然后給訓(xùn)練集中的真實(shí)圖像加入方差為0.15和0.25的高斯白噪聲，以得到具有不同噪聲的噪聲圖像，最后將真實(shí)圖像和噪聲圖像進(jìn)行橫向拼接構(gòu)成最終的數(shù)據(jù)集。實(shí)驗(yàn)使用的軟件為PyCharm Community Edition 2020.2.3 ×64版本，訓(xùn)練批次設(shè)置為5，總迭代次數(shù)為25k。

損失函數(shù)中的超參數(shù)[λ1=0.7、λ2=1.0]、[λ3=1.0]，生成網(wǎng)絡(luò)、判別網(wǎng)絡(luò)中的各項(xiàng)參數(shù)設(shè)置如表1、表2所示。

隨機(jī)挑選4張測試集中的原始圖像與經(jīng)過改進(jìn)的生成對抗網(wǎng)絡(luò)去噪后的圖像進(jìn)行對比發(fā)現(xiàn)，去噪效果顯著、圖像細(xì)節(jié)明顯且邊緣信息得以保留，如圖4所示。訓(xùn)練結(jié)果還采用峰值信噪比PSNR（Peak Signal to Noise Ratio）和結(jié)構(gòu)相似性SSIM（Structural Similarity）來衡量，如表 3、表4所示。

對比上表不難發(fā)現(xiàn)，無論是何種方法，高斯白噪聲的值越大，PSNR和SSIM越小，去噪后圖像的質(zhì)量也更高。在同一高斯白噪聲影響下，改進(jìn)的GAN網(wǎng)絡(luò)的PSNR和SSIM不僅小于Wiener 濾波和小波去噪兩種傳統(tǒng)方法，同時(shí)也優(yōu)于原始的GAN網(wǎng)絡(luò)。

4 結(jié)束語

本文基于生成對抗網(wǎng)絡(luò)GAN對圖片的去噪效果優(yōu)于傳統(tǒng)去噪算法，明確提出一種改進(jìn)的生成對抗網(wǎng)絡(luò)算法。該算法結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)CNN能快速提取圖像特征的特點(diǎn)，并加入了殘差塊跳躍連接來保持空間信息，進(jìn)而顯著增強(qiáng)了圖像的紋理細(xì)節(jié)且保留了邊緣信息。實(shí)驗(yàn)結(jié)果圖說明，采用改進(jìn)的生成對抗網(wǎng)絡(luò)的去噪方法無論是在整體內(nèi)容上還是具體的細(xì)節(jié)上，該算法都能取得較好的視覺效果。通過與傳統(tǒng)算法Wiener 濾波、小波去噪和原始GAN網(wǎng)絡(luò)對比，在不同的高斯白噪聲下，所提算法的峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）指標(biāo)均高于對比算法，從而結(jié)果表明，本文提出的基于生成對抗網(wǎng)絡(luò)的去噪方法WGAN相較于其他對比算法具有較強(qiáng)的去噪效果。

參考文獻(xiàn)：

[1] 王瑞，張友純.新閾值函數(shù)下的小波閾值去噪[J].計(jì)算機(jī)工程與應(yīng)用，2013，49（15）：215-218.

[2] 陳順.幾種類型圖像邊緣檢測的相關(guān)問題研究[D].武漢：武漢紡織大學(xué)，2021.

[3] Karlekar V V， Biradar M S， Bhangale K B. Fabric defect detection using wavelet filter [C]//International Conference on Computer Communication Control & Automation Pune， India： IEEE， 2015： 712-715.

[4] LeCun Y，Bengio Y，Hinton G.Deep learning[J].Nature，2015，521（7553）：436-44.

[5] 陳佛計(jì)，朱楓，吳清瀟，等.生成對抗網(wǎng)絡(luò)及其在圖像生成中的應(yīng)用研究綜述[J].計(jì)算機(jī)學(xué)報(bào)，2021，44（2）：347-369.

[6] 王洪雁，楊曉，姜艷超，等.基于多通道GAN的圖像去噪算法[J].通信學(xué)報(bào)，2021，42（3）：229-237.

[7] 王子遠(yuǎn).基于改進(jìn)GAN網(wǎng)絡(luò)的圖像去噪及圖像超分辨方法研究[D].重慶：西南大學(xué)，2020.

【通聯(lián)編輯：光文玲】