基于生成對抗網(wǎng)絡的SAR圖像降噪模型

解 濤， 郭建勝， 張曉豐， 顧濤勇， 趙博欣

(空軍工程大學，西安 710000)

0 引言

合成孔徑雷達(Synthetic Aperture Radar,SAR)是雷達發(fā)展中應用廣泛的一種，其有在全時間段、全氣候條件下對地球表面進行成像觀察的能力。然而,由于SAR系統(tǒng)自身的成像機理就是借助目標物眾多隨機散布的雷達微波進行矢量疊加成像，是一種相干成像系統(tǒng)，所以經(jīng)常會被斑點狀噪聲所污染。含有大量噪聲的SAR圖像給后續(xù)的圖像分割、識別等造成困難，影響準確率。

在去除SAR圖像相干斑噪聲的方法中，利用局部統(tǒng)計的方法對SAR圖像進行估計，從而達到抑制相干斑噪聲的濾波器[1-3]都有較為不錯的去噪效果。1994年，文獻[4]提出了硬閾值和軟閾值的小波降噪算法降噪方法，這是一種變?nèi)驗V波技術(shù)；同時，軟閾值的降噪效果要優(yōu)于硬閾值。之后，軟閾值的小波降噪算法[5]在各類圖像的降噪上均有應用；2008年，文獻[6]針對空域濾波法對細節(jié)處理不夠好的缺點，采用非局部均值法，利用塊與塊之間的相似度，設(shè)計出的三維匹配塊算法(Block-Matching and 3D filtering,BM3D)對相干斑噪聲的抑制有著不錯的效果；2009年，文獻[7]結(jié)合Contourlet變換和小波降噪算法相關(guān)知識設(shè)計了更適合SAR的噪聲抑制算法。

近年來，隨著深度學習的不斷發(fā)展，深度學習在分類[8]、檢測[9]相關(guān)的各種應用中表現(xiàn)出良好的性能。由于深度學習不需要人工干預便可自動提取相關(guān)特征，SAR相干斑噪聲抑制的相關(guān)研究學者便開始將深度學習應用于SAR圖像噪聲抑制。卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,CNN)由于自身網(wǎng)絡結(jié)構(gòu)特點被廣泛應用于圖像處理，因此就有了專為SAR圖像噪聲抑制而設(shè)計的CNN[10]，其與傳統(tǒng)方法相比，降噪效果更好。近年來，研究人員加大了深度學習在SAR圖像噪聲抑制上的應用，尤其是改進CNN以達到降噪的目的。CNN模型的性能通常取決于其配置調(diào)整網(wǎng)絡的方式，包括網(wǎng)絡深度、每個深度中的單元數(shù)量、非線性函數(shù)的形式、使用的優(yōu)化器類型，以及超參數(shù)(如學習率、衰減率等)[11]。2014年，文獻[12]設(shè)計了使用對抗博弈策略來訓練生成模型的生成對抗網(wǎng)絡(Generative Adversarial Networks，GAN)的模型，這種網(wǎng)絡模型的提出給研究者們提供了一個新的訓練模型的思路，得到了圖像、語音等領(lǐng)域的廣泛研究，有著巨大的應用前景[13]；2015年，文獻[14]將CNN作為GAN的生成器組成新的架構(gòu)深度卷積生成對抗網(wǎng)絡(Deep Convolutional Generative Adversarial Networks,DCGAN)，一定程度上彌補了GAN訓練不穩(wěn)定的不足，但還是存在模型訓練困難的問題；2016年，文獻[15]設(shè)計出殘差網(wǎng)絡(Residual Network,ResNet)應用于圖像處理，ResNet在加深網(wǎng)絡層數(shù)提升性能的同時又一定程度緩解了模型訓練時梯度消失的問題；2020年，文獻[16]將殘差網(wǎng)絡加入到GAN的生成器網(wǎng)絡中，在圖像修復質(zhì)量上有著良好的表現(xiàn)。

經(jīng)典的降噪算法往往是以犧牲圖像分辨率為代價來提升降噪效果，并且對圖像細節(jié)的保留效果不是很好。以深度學習為代表的算法存在模型訓練難度大的問題，而且要提升訓練效果往往需要大量的訓練時間。

受到這些研究的啟發(fā)，本文將ResNet中的殘差塊加入GAN網(wǎng)絡中構(gòu)成Re-GAN，在提升降噪效果的前提下，既緩解了梯度消失的問題，又縮短了訓練時間，并針對SAR圖像相干斑的特性，設(shè)計了新的組合損失函數(shù)，用以提升降噪效果。

1 基本原理

1.1 生成對抗網(wǎng)絡

博弈論中的非合作博弈均衡為GAN提供了創(chuàng)造源泉，其網(wǎng)絡模型主要是由生成器和判別器兩部分組成的。生成器G的目標是盡可能地捕獲數(shù)據(jù)分析特征，學習真實數(shù)據(jù)集的分布情況；而判別器D的目標則是盡可能正確判斷輸入來源。目標函數(shù)為

minGmaxDV(D,G)=Ex～pdata(x)[lgD(x)]+Ez～pz(z)[lg(1-D(G(z)))]

(1)

式中：x為真實圖像;pdata(x)為真實數(shù)據(jù)分布；Ex～pdata(x)為服從pdata(x)分布的x的數(shù)學期望；pz(z)為噪聲分布。這里的生成器是通過學習真實數(shù)據(jù)的概率分布，然后，令產(chǎn)生數(shù)據(jù)的分布概率盡可能去靠近真實數(shù)據(jù)的分布概率，從而達到模擬真實數(shù)據(jù)的目的，就是一個尋找非合作博弈均衡的過程[12]，GAN網(wǎng)絡結(jié)構(gòu)如圖1所示。

圖1 GAN網(wǎng)絡結(jié)構(gòu)Fig.1 Structure of GAN network

1.2 殘差網(wǎng)絡

殘差網(wǎng)絡是由人腦的神經(jīng)元學習得到啟發(fā)從而搭建的，本質(zhì)是通過跳躍學習來減少學習的難度,其思想是通過學習殘差函數(shù)代替學習完整函數(shù)，降低學習難度，并且通過更深的網(wǎng)絡層數(shù)來提升整個網(wǎng)絡的性能，其中，恒等映射使網(wǎng)絡結(jié)構(gòu)隨著深度增加而不退化。殘差塊結(jié)構(gòu)[15]如圖2如示。

圖2 殘差塊結(jié)構(gòu)Fig.2 Structure of residual block

2 基于GAN的SAR圖像降噪模型

Re-GAN是采用GAN對抗結(jié)構(gòu)設(shè)計出的一個對SAR圖像降噪的網(wǎng)絡模型。對于一幅帶有噪聲的SAR圖像，首先要學習出關(guān)于低噪聲SAR圖像像素點的分布情況，進而對SAR圖像的噪聲進行比較和抑制。

2.1 生成器網(wǎng)絡結(jié)構(gòu)

SAR圖像降噪處理的目標是生成去噪后的圖像，因此在不丟失底層干凈圖像的細節(jié)信息的前提下，生成器應該盡可能地去除噪聲。因此，降噪效果好壞的關(guān)鍵在于設(shè)計一個良好的生成器網(wǎng)絡結(jié)構(gòu)[17]。

生成器網(wǎng)絡結(jié)構(gòu)采用了相對稱的結(jié)構(gòu)，與經(jīng)典的CNN框架較相似。這種網(wǎng)絡結(jié)構(gòu)的生成器可以直接從成對的噪聲圖像和原始圖像中學習到它們之間的映射關(guān)系。為保證模型訓練的穩(wěn)定性和效率，在生成器網(wǎng)絡結(jié)構(gòu)中加入殘差塊，殘差塊的跳躍式連接在保證訓練質(zhì)量的前提下大大提升了效率。

生成器網(wǎng)絡結(jié)構(gòu)如圖3所示。生成器網(wǎng)絡結(jié)構(gòu)的第1部分是由3個卷積塊構(gòu)成，其中，K表示卷積核大小，N表示輸出的通道數(shù)，S表示步長，卷積層、BN(Batch Normalization)和Leaky ReLU激活函數(shù)被壓縮其中。生成器網(wǎng)絡結(jié)構(gòu)的第2部分是由3個殘差塊構(gòu)成，在各個殘差塊中都包含了2個卷積層、2個BN,以及2個Leaky ReLU激活函數(shù)。殘差塊的加入使得網(wǎng)絡在訓練學習時有比較高的效率并且有更好的收斂性。在訓練過程中，殘差塊的跳躍式連接不僅能將輸入傳送給更深層的網(wǎng)絡，而且保證了殘差塊根據(jù)輸入去調(diào)整輸出的同時依舊可以保持空間信息不損失。在最后的網(wǎng)絡結(jié)構(gòu)中是3個反卷積塊，各個反卷積塊與生成器網(wǎng)絡前面的卷積塊一一對應，達到還原圖像的目的。

圖3 生成器網(wǎng)絡結(jié)構(gòu)Fig.3 Network structure of the generator

2.2 判別器網(wǎng)絡結(jié)構(gòu)

為了優(yōu)化生成器，加入了一個能夠?qū)ι善鞅O(jiān)督的判別器網(wǎng)絡,其主要作用是分辨輸入圖像的來源是真實數(shù)據(jù)集，還是生成器產(chǎn)生的假的數(shù)據(jù),然后反饋結(jié)果給生成器，讓生成器進行自我調(diào)整。

圖4所示為判別器網(wǎng)絡結(jié)構(gòu)。

圖4 判別器網(wǎng)絡結(jié)構(gòu)Fig.4 Network structure of the discriminator

圖4中，判別器網(wǎng)絡結(jié)構(gòu)中設(shè)置了5個卷積塊，前4個卷積塊都是由卷積層、BN和Leaky ReLU激活函數(shù)3部分組成的，這4個卷積塊主要作用是學習輸入圖像的特征。最后1個卷積塊是由卷積層、BN和Sigmoid函數(shù)構(gòu)成的，其主要是要將結(jié)果映射到一個正則化在[0,1]之間的可能性分數(shù)，做到對輸入圖像的判別功能。

2.3 損失函數(shù)

在神經(jīng)網(wǎng)絡的訓練過程中，損失函數(shù)是極其重要的一個組成部分。為滿足SAR圖像降噪的需求，Re-GAN將原始GAN的損失函數(shù)進行重構(gòu)，設(shè)計出一種新的組合損失函數(shù)，使得處理后的圖像細節(jié)保留較好。

首先，將像素損失函數(shù)(Euclidean Loss/Pixel Loss)加入其中，它是通過比較降噪后圖像和原圖的各像素點之間的差異，然后，用正確的顏色去填充噪點來達到減少噪聲的目的。假設(shè)給定一個圖像對(X,Y)，其中,Y是降噪處理后的圖像，X是對應的真實圖像，則其定義式為[18]

(2)

式中：φG是從生成器G中學習到的參數(shù)；W，H分別表示圖像的長與寬。為保證去噪后的圖像與原圖像在全局結(jié)構(gòu)上有更好的一致性，將感知損失函數(shù)加入其中，其定義式為[19]

(3)

式中，V表示卷積層，用來做特征提取器。原始GAN中的對抗損失函數(shù)亦尤為重要，對抗損失函數(shù)(Adversarial Loss)就是將具體的生成問題轉(zhuǎn)換成生成器G和判別器D關(guān)于值函數(shù)V(G,D)的極大極小化相博弈的問題，定義式為

(4)

本文網(wǎng)絡模型的總體損失函數(shù)為L，由像素損失、感知損失和對抗損失3種損失函數(shù)按照不同的權(quán)重進行組合而成，即

L=λaLA+λpLP+λeLE

(5)

式中，λa，λp，λe為預定義的權(quán)重值；LA代表對抗損失；LP代表感知損失；LE代表像素損失。

3 實驗對比與結(jié)果分析

3.1 實驗條件

在16 GiB的Intel?CoreTMi7-10875H 的CPU 上進行實驗。使用MATAR數(shù)據(jù)集中的D7-SAR圖像數(shù)據(jù)集，該數(shù)據(jù)集包含城市、農(nóng)村、高山等不同場景。本文主要選擇了其中關(guān)于城市場景的260幅包含人工建筑物的圖像集。

選取了2種傳統(tǒng)算法與Re-GAN進行對比實驗，選擇的對照實驗的方法有小波降噪算法[20]和BM3D算法[21]。對于SAR圖像降噪的評價性能指標，選擇了峰值信噪比(Peak Signal to Noise Ratio,PSNR)、結(jié)構(gòu)相似性指數(shù)(Structural Similarity,SSIM)[22]和平均絕對誤差(Mean Absolute Error，MAE)。

PSNR的計算原理是計算處理前后圖像對應像素點之間的誤差，可以很靈敏地察覺到誤差。其算式為

(6)

式中：(i,j)為像素點的位置；Xmax表示圖像點顏色的最大數(shù)值。

SSIM用于測量圖像與圖像間的相似程度，符合人的視覺感受，算式為

(7)

MAE是來計算預測值與真實值之間誤差絕對值的平均值，算式為

(8)

式中：n表示像素點數(shù)量；xi和yi分別為X與Y的像素點的值。

3.2 結(jié)果分析

圖5顯示了建筑SAR圖片降噪結(jié)果。

圖5 建筑降噪圖像Fig.5 Denoising images of buildings

由圖5可以清楚看出，本文Re-GAN算法在減少噪聲和保留細節(jié)方面都優(yōu)于其他2種算法。小波降噪算法降噪后的圖像一定程度上減少了噪聲，但細節(jié)保存不好，圖像中房屋的煙囪被平滑掉部分細節(jié);BM3D算法降噪后的圖像在一定程度上降低了噪聲，但斑點噪聲仍有殘留。

表1給出了3種算法在 PSNR和SSIM等評價指標的得分。

表1 SAR圖像仿真噪聲降噪結(jié)果Table 1 Noise reduction results of SAR image simulation

由表1可以看出，本文算法的PSNR指標，比小波降噪算法、BM3D算法分別提升12.7%和11.4%，SSIM指標分別提升10.4%和7.6%，在計算時間上也要優(yōu)于小波降噪算法和BM3D算法。

4 結(jié)束語

Re-GAN是一種基于GAN對SAR圖像去噪的網(wǎng)絡模型。采用殘差塊來加深生成器網(wǎng)絡深度，提升了對SAR圖像的降噪效果。同時,跳躍連接的方式緩解了梯度消失的問題并縮短了訓練時間。針對SAR圖像的特性，設(shè)計出一種新的組合損失函數(shù)，處理圖像后的細節(jié)保留得比較好。

Re-GAN分別與小波降噪算法、BM3D算法進行了比較，可視化結(jié)果表明，Re-GAN對SAR噪聲圖像具有較好的去噪能力，降噪后的圖片紋理細節(jié)也可以得到很好的保留；與小波降噪算法和BM3D算法相比，Re-GAN在PSNR與SSIM指標上都有一定幅度的提升。然而，訓練出來的Re-GAN只能對某一類別的SAR圖片進行降噪，今后將繼續(xù)研究如何改進模型提升學習能力，最終能對所有類別的SAR圖像進行降噪。