多尺度融合卷積神經(jīng)網(wǎng)絡(luò)支持下的SAR影像變化檢測

段 玉,劉善偉,萬劍華,MUHAMMAD Yasir,鄭 爽

(1. 中國石油大學(華東)海洋與空間信息學院,山東 青島 266580;2. 自然資源部海上絲綢之路海洋資源與環(huán)境網(wǎng)絡(luò)觀測技術(shù)創(chuàng)新中心,山東 青島 266580;3. 山東財經(jīng)大學公共外語教學部,山東 濟南 250014)

合成孔徑雷達(synthetic aperture radar, SAR)影像變化檢測是用于檢測同一區(qū)域不同時間內(nèi)變化的技術(shù)[1]。在洪澇災(zāi)害檢測、海岸線的動態(tài)監(jiān)測等方面發(fā)揮著重要的作用[2]。

SAR影像變化檢測通常包括3個主要步驟: ①預(yù)處理,以抑制圖像噪聲;②構(gòu)造差異圖 (difference image, DI);③差異圖分析,以檢測變化或不變的像素[3]。斑點噪聲的存在讓SAR影像變化檢測比光學影像更具挑戰(zhàn)性,而降噪對于SAR數(shù)據(jù)的準確識別和解釋至關(guān)重要。常用的空間域濾波器包括中值濾波[4]、均值濾波、Lee濾波[5]、Kuan濾波[6]和形態(tài)濾波[7]等。中值濾波器等雖然能有效地去除噪聲,但其無法區(qū)分噪聲和信號,去噪過程中會去除一些圖像紋理,導(dǎo)致清晰度和質(zhì)量降低,這在復(fù)雜影像或有精細細節(jié)的影像中尤為明顯。Lee等濾波器則會導(dǎo)致邊界和細節(jié)信息的丟失,不能滿足變化檢測的需求。針對這些問題,本文提出一種顯著性中值濾波器來抑制圖像的背景噪聲。根據(jù)變化檢測的特點,對SAR影像的背景噪聲進行分層濾波,在去除背景噪聲的同時保留更多細節(jié),以滿足高精度變化檢測的需求。

差異圖的生成是變化檢測中至關(guān)重要的一步,它影響著后續(xù)分析的結(jié)果。由于乘性噪聲的存在,因此多采用比值算子產(chǎn)生差異圖,如對數(shù)比算子[8]和鄰域比算子[9]等。聚類法是差異圖分析中的常用算法,文獻[10]使用模糊C均值聚類(fuzzy clustering methods, FCM)和馬爾可夫隨機場來降低圖像噪聲?？紤]標準FCM對散射噪聲具有敏感性,有學者在算法中引入鄰域信息,以提高變化檢測的穩(wěn)健性。文獻[11]采用空間模糊聚類方法(spatial fuzzy clustering methods, SFCM)降低FCM對噪聲的敏感性。近年來,深度神經(jīng)網(wǎng)絡(luò)在SAR影像變化檢測中發(fā)揮著重要作用?；谏疃葘W習的變化檢測通常將不同時相的兩幅影像作為輸入,通過良好的設(shè)計進行特征表達和噪聲抑制。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)由于其獨特的結(jié)構(gòu)和局部權(quán)重共享機制,在各種深度學習網(wǎng)絡(luò)中脫穎而出,常用于空間的特征提取與表達[11-14]。雖然CNN在提取空間特征方面取得了很好的進展,但是這些網(wǎng)絡(luò)沒有考慮多尺度信息,可能會導(dǎo)致特征表達不足,關(guān)鍵信息丟失,從而降低檢測的準確性。

綜上,本文提出一種多尺度融合卷積神經(jīng)網(wǎng)絡(luò)--squeeze, expand, and excitation network(SEENet),設(shè)計一個多感受野通道注意力模塊squeeze,expand and excitation(SEE)。SEENet主要由3個SEE模塊組成,受Fire模塊[15]和squeeze and excitation (SE) block[16]的啟發(fā),SEE模塊利用不用大小的卷積核獲取多尺度信息,并自動學習獲取每個通道的重要性,以增強有用特征,抑制無用特征,從而實現(xiàn)對多感受野信息的高效選擇。SEENet通過殘差設(shè)計對多級空間特征進行組合利用來留存更多的變化細節(jié),從而達到令人滿意的檢測精度。

1 研究方法

本文提出的變化檢測方法包含4個步驟: ①顯著性濾波去噪;②選擇可靠樣本; ③數(shù)據(jù)準備;④構(gòu)建SEENet。具體而言,首先采用顯著性濾波去除圖像中的背景噪聲;將灰度共生矩陣提取的紋理特征與去噪后的原始圖像相結(jié)合形成樣本。然后采用無監(jiān)督聚類方法得到粗略的分類結(jié)果,并選擇置信度較高的樣本作為標簽,指導(dǎo)SEENet訓(xùn)練。最后采用最小交叉熵損失函數(shù)進行迭代,并將所有樣本輸入SEENet以獲得最終的變化檢測結(jié)果。

1.1 顯著性濾波去噪

首先使用顯著性提取方法獲取顯著性圖像,以區(qū)分圖像的前景和背景。前景是可能改變的區(qū)域,背景是潛在的不變區(qū)域。然后根據(jù)顯著性值,使用不同大小的窗口對背景進行濾波,在去噪的同時保留變化主體的細節(jié),從而獲得更好的變化檢測結(jié)果。

利用上下文感知顯著性檢測[17]的方法進行顯著性區(qū)域提取,該方法基于人類視覺注意力原則,在多個尺度上對像素的顯著性值進行評估,提取出具有吸引力和緊湊的顯著性區(qū)域。將像素的顯著性值定義為

(1)

(2)

式中,i、j為像素點在圖像中的位置;Median為中值濾波器。

對原始影像I1、I2進行顯著性中值濾波操作,得到濾波后的兩幅影像C1、C2。

1.2 選擇可靠樣本

對于濾波后的影像C1、C2,首先利用經(jīng)典對數(shù)比算子生成差異圖,然后利用空間聚類算法[11]對差異圖進行預(yù)分類,得到粗分類結(jié)果。粗分類結(jié)果是一幅包含變化和未變化兩類的二值圖,其中“0”為未變化區(qū)域,“1”為變化的區(qū)域,從中選擇可靠樣本,可以指導(dǎo)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,實現(xiàn)無監(jiān)督的變化檢測。而很多像元在其屬于“0”和“1”之間有著模糊的界限,直接使用差異圖的粗分類結(jié)果來當作標簽通常會有很多誤差,因此需要進一步篩選,確定置信度更高的樣本。當一個像素與其周圍的相鄰像素相同時,那么這個像素是一個內(nèi)部點,通常認為它是可靠的;當一個像素的周圍像素有一半及以上與它相同時,那么這個像素是一個邊緣點,也是可靠的[20]。因此,統(tǒng)計像素D(i,j)周圍的8個像素D(i-1,j-1)到D(i+1,j+1)的變化類型,與中心像素變化相同的像素所占比例作為標簽的置信度。公式為

(3)

式中,NB(Fij)表示Fij的相鄰元素;ε為閾值,本文選取0.75作為閾值,選取大于0.75的像素值作為可靠標簽。

1.3 數(shù)據(jù)準備

將不同的特征進行組合可以提高模型的穩(wěn)健性和泛化能力,更好地適應(yīng)各種復(fù)雜場景的需求。因此,對原始影像提取紋理特征,連同原始影像組成輸入層輸入到SEENet中?；叶裙采删仃嘯21](grayscale co-generation matrix, GLCM)是一種利用圖像灰度空間相關(guān)特征描述紋理的通用方法,包含能量、熵、方差等多個標量。其中,能量為GLCM的角二項式矩,可以反映紋理的粗細度和灰度均勻分布程度。因此,本文選擇GLCM中的能量標量作為紋理特征,其提取公式為

(4)

式中,G為灰度共生矩陣;i為行號;j為列號;k為灰度值的級數(shù)。

通過上述操作,生成I1、I2的紋理特征影像W1、W2,與去噪后的影像C1、C2進行疊加。對于任意一幅影像,以任意像素為中心連同周圍m個像素作為網(wǎng)絡(luò)的輸入。利用1.2節(jié)挑選出的標簽指導(dǎo)樣本生成,最后生成n×n×4大小的訓(xùn)練樣本,經(jīng)過旋轉(zhuǎn)等增強手段后,與標簽進行組合,輸入到SEENet進行訓(xùn)練。最后將所有像素塊輸入到訓(xùn)練好的網(wǎng)絡(luò)中,得到最終的分類結(jié)果。

1.4 SEENet

將Fire模塊和SE Block組合作為一個SEE模塊,如圖1(a)所示。將1×1的卷積作為squeeze部分對特征圖進行大小調(diào)整,expand由一組連續(xù)的1×1卷積和3×3卷積通過連接操作生成,多感受野可獲取多尺度特征,然后利用SE Block得到每個通道的權(quán)值,建立通道之間的依賴關(guān)系,強調(diào)有用特征。為了提升運算速度,本文將SE Block中的全連接層替換為卷積層。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

SEENet如圖1(b)所示,總共設(shè)置了3個SEE模塊,每個模塊都對特征圖的大小進行了壓縮。本文使用RMSProp優(yōu)化器和交叉熵損失函數(shù)進行訓(xùn)練。SEENet網(wǎng)絡(luò)結(jié)構(gòu)由1個卷積層、3個SEE模塊、1個Fire模塊和1個dropout層組成。第一個卷積層的通道數(shù)為64個,SEE模塊分別有16、24和32個通道。將每個SEE模塊生成的特征圖通過深度連接后輸入到具有64通道的Fire模塊中,經(jīng)過dropout層、分類層得到最終的變化檢測結(jié)果。

經(jīng)過3次SEE模塊壓縮后的特征圖大小分別為6×6、3×3和2×2。淺層網(wǎng)絡(luò)可以獲取更多的細節(jié)信息,而深層特征具有更強的語義信息和更少的噪聲。本文將3個SEE模塊的輸出特征通過殘差連接進行特征融合,在減少噪聲的同時保留更多細節(jié)。最后經(jīng)過卷積層分類得到最終結(jié)果。

2 結(jié)果與討論

2.1 試驗數(shù)據(jù)

本文在由3個傳感器獲得的4個真實數(shù)據(jù)集上進行了試驗,以驗證本文方法的有效性。如圖2所示,黃河數(shù)據(jù)集由Radarsat-2傳感器捕獲,包含內(nèi)陸水數(shù)據(jù)集(291×444)和農(nóng)田D數(shù)據(jù)集(257×289)。渥太華數(shù)據(jù)集由Radarsat傳感器分別采集于1997年1月和8月,大小為290×350像素。舊金山數(shù)據(jù)集由ERS-2傳感器分別獲取于2003年8月和2004年5月,大小為256×256像素。在4個數(shù)據(jù)集的地表真實變化標簽中,黑色表示不變的區(qū)域,白色表示發(fā)生變化的區(qū)域。為了更好地評估方法性能,將本文方法與幾種傳統(tǒng)的變化檢測方法廣義最小誤差閾值(GKI)[22]、SFCM[11],以及深度學習方法極限學習機(extreme learning machine, ELM)[23],深度置信網(wǎng)絡(luò)(deep belief network, DBN)[20],主成分分析網(wǎng)絡(luò)(principal component analysis network, PCANet)[24],CWNN[13],雙域網(wǎng)絡(luò)(dual-domain network, DDNet)[25],膠囊網(wǎng)絡(luò)(capsule network, CapsNet)[26]進行比較。以假陰性(FN)、假陽性(FP)、總體誤差(OE)、正確分類百分比(PCC)和Kappa系數(shù)為指標,對試驗結(jié)果進行定量評價。

圖2 4個真實數(shù)據(jù)集上的可視化結(jié)果 (從上到下為內(nèi)陸水、農(nóng)田D、渥太華、舊金山)

2.2 試驗結(jié)果

圖2展示了4個真實數(shù)據(jù)集及部分性能較好的試驗結(jié)果。由于每個數(shù)據(jù)集的噪聲水平不一致,如果對模型進行統(tǒng)一訓(xùn)練會導(dǎo)致對模型對不同數(shù)據(jù)集噪聲和細節(jié)信息的誤判。因此,本文使用模型分別訓(xùn)練每個數(shù)據(jù)集生成測試結(jié)果,并對試驗結(jié)果進行了定性和定量分析。

由表1中可以看出在內(nèi)陸水數(shù)據(jù)集上,GKI、SFCM、CWNN和DDNet方法的假陽性值區(qū)域較大。從圖2可以看出CWNN和DDnet的結(jié)果存在明顯的斑點噪聲,部分內(nèi)河邊緣被錯誤識別。對于內(nèi)陸水數(shù)據(jù)集,ELM、PCANet和CapsNet方法不能識別右下角部分河流和內(nèi)河湖的變化,因此存在較大的假陰性區(qū)域。由表1中看出,DBN和DDNet方法的OE相同,均為1.59%,差異僅為0.01%。但Kappa系數(shù)卻相差2.96%,觀察發(fā)現(xiàn)當FN越小時,KC越高。ELM方法具有較大的FN,盡管其整體精度較高,但其KC相對較低。SEENet方法的PCC為98.60%,Kappa系數(shù)為78.44%。

表1 內(nèi)陸水數(shù)據(jù)集試驗結(jié)果 (%)

對于農(nóng)田D數(shù)據(jù)集,由表2中可以看出,GKI算法、SFCM算法、DBN算法、PCANet算法及CWNN算法的假陽性率均大于1%;由圖2可以看出,CWNN方法的結(jié)果有著明顯的散斑噪聲,這導(dǎo)致了較高的FP。GKI、SFCM、ELM、DDNet、CapsNet和SEENet方法的FN均大于3%。前5種方法的高FN是由于對農(nóng)田中部的細節(jié)識別較差造成的。在表2中閾值法的各評價指標中最差。本文所提出的SEENet的總體誤差為3.93%,PCC為96.07%,Kappa系數(shù)為86.05%。

表2 農(nóng)田D數(shù)據(jù)集試驗結(jié)果 (%)

由于渥太華是一個噪聲水平相對較低的數(shù)據(jù)集,因此許多方法都達到了較高的精度。由表3中可以看出,閾值法GKI的試驗結(jié)果噪聲區(qū)域較多,FP高達14.95%,總體精度和Kappa較低,分別為84.79%和58.53%。ELM方法錯誤地將頂部一些變化區(qū)域識別為不變區(qū)域,導(dǎo)致FN過高。雖然FP較低,只有0.01%,但Kappa系數(shù)略低于其他方法,為76.90%。其他方法的結(jié)果差異不大,得到的結(jié)果圖中幾乎沒有散斑噪聲。SEENet方法的Kappa系數(shù)和PCC略低于DDNet,分別為93.35%和98.22%。

表3 渥太華數(shù)據(jù)集試驗結(jié)果 (%)

由于舊金山數(shù)據(jù)集差異圖的區(qū)別度較小,因此GKI方法在舊金山數(shù)據(jù)集上的性能非常差(見表4)。對比GKI結(jié)果圖和真實標簽值,可以發(fā)現(xiàn)其有大部分未變化區(qū)域被標識為變化區(qū)域。精度較低的GKI無法有效地指導(dǎo)DBN訓(xùn)練,導(dǎo)致GKI指導(dǎo)下的DBN方法在舊金山數(shù)據(jù)集上的識別精度極差。ELM算法具有較高的噪聲敏感性,由圖2可以看出,它的假陽性區(qū)域較大。CapsNet算法的結(jié)果圖中雖然斑點噪聲很少,但是變化主體的細節(jié)部分沒有被有效識別,變化主體的右部被錯誤的連接,因此假陽性率也比較高。DDNet算法和SEENet算法的表現(xiàn)良好,噪聲較小, Kappa系數(shù)較高,分別為91.83%和92.01%。

表4 舊金山數(shù)據(jù)集試驗結(jié)果 (%)

本文方法在4個數(shù)據(jù)集上都表現(xiàn)出良好的性能。定性來看,所得到的變化檢測結(jié)果邊界清晰,噪聲較小;定量來看,本文提出的方法在大多數(shù)指標上都有較好的表現(xiàn),證明了該方法的有效性和穩(wěn)健性。

2.3 因子分析

2.3.1 補丁大小

補丁大小決定了像素點鄰域信息的多少,對試驗結(jié)果有著重要影響。以黃河數(shù)據(jù)集為例,Kappa系數(shù)為試驗的評價指標,進行補丁大小與Kappa系數(shù)的關(guān)系探究。如圖3所示,隨著補丁從小變大,Kappa系數(shù)表現(xiàn)出先增加后減少的趨勢,當補丁大小為7時,Kappa系數(shù)最高。因此,選擇7作為該試驗的補丁大小。

圖3 補丁大小對Kappa的影響

2.3.2 顯著性中值濾波

為了驗證顯著性濾波的有效性,將本文方法與Kuan濾波器、Lee濾波器、中值濾波器和均值濾波器通過前述流程生成變化檢測結(jié)果,并將結(jié)果進行對比。試驗選用了噪聲較大的農(nóng)田D數(shù)據(jù)集作為驗證數(shù)據(jù)集。試驗結(jié)果如表5和圖4所示,定性來看,顯著性中值濾波器噪聲較少,農(nóng)田部分邊界和細節(jié)清晰;定量來看,顯著性濾波在5個指標上都取得了最好的結(jié)果,可以證明顯著性中值濾波比其他空間域濾波在變化檢測領(lǐng)域更具有優(yōu)勢。

表5 試驗結(jié)果 (%)

圖4 不同濾波器下的結(jié)果

3 結(jié) 論

本文提出了一種基于顯著性中值濾波的SEENet以實現(xiàn)變化檢測,該方法在去噪的同時保留了變化檢測的細節(jié)。顯著性中值濾波通過對圖像背景信息進行分層去噪減小噪聲的影響,與其他濾波器相比可以保留圖像更詳細的信息,更適用于高精度變化檢測中細節(jié)的提取。多尺度融合網(wǎng)絡(luò)SEENet利用3個SEE模塊提取多尺度特征,并通過殘差將深度特征與淺層特征連接起來,實現(xiàn)多尺度特征的多級利用。在4個不同噪聲水平的數(shù)據(jù)集上的優(yōu)異表現(xiàn)證明了該方法的穩(wěn)健性。未來將致力于研究大型SAR影像的變化檢測方法,由于大型數(shù)據(jù)集具有復(fù)雜多樣的場景,因此這項工作更具挑戰(zhàn)。