王 超,王 帥,陳 曉,4,李俊勇,謝 濤
1.南京信息工程大學(xué)電子與信息工程學(xué)院,南京 210044;2.南京信息工程大學(xué)遙感與測(cè)繪工程學(xué)院,南京 210044;3.青島海洋科學(xué)技術(shù)國家實(shí)驗(yàn)室區(qū)域海洋學(xué)與數(shù)值模擬實(shí)驗(yàn)室,青島 266237;4.南京信息工程大學(xué)江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心,南京 210044
遙感影像變化檢測(cè)通過對(duì)多時(shí)相圖像進(jìn)行對(duì)比分析從而獲得變化的地理對(duì)象,目前已廣泛應(yīng)用于土地利用規(guī)劃、災(zāi)害評(píng)估等領(lǐng)域[1-2]。相較于單源影像方法,基于多源光學(xué)遙感影像的變化檢測(cè)方法利用多模式數(shù)據(jù)的差異性與互補(bǔ)性有助于發(fā)現(xiàn)隱藏的知識(shí)和規(guī)律,同時(shí)具有更高的數(shù)據(jù)選擇靈活性及方法可用性[3-4]。近年來,隨著不同對(duì)地觀測(cè)平臺(tái)的日益豐富,面向多源光學(xué)遙感影像的變化檢測(cè)技術(shù)已成為遙感技術(shù)與應(yīng)用領(lǐng)域中的研究熱點(diǎn)。
與此同時(shí),不同傳感器帶來的光譜、紋理及成像視角等差異降低了對(duì)象內(nèi)部像素的空間一致性,導(dǎo)致變化檢測(cè)過程面臨的“偽變化”問題更為突出,即跨多傳感器實(shí)現(xiàn)變化檢測(cè)比單傳感器更具挑戰(zhàn)性[5]。為此,學(xué)者們已經(jīng)開展了廣泛的研究工作并取得了諸多成果。文獻(xiàn)[6]將成像模態(tài)不變算子與多尺度特征相結(jié)合,以應(yīng)對(duì)多源光學(xué)衛(wèi)星圖像中各結(jié)構(gòu)區(qū)域高頻特征的差異。文獻(xiàn)[7]先通過分割將圖像劃分為均勻的圖像目標(biāo)集合,再根據(jù)分類對(duì)象的隸屬度定義判別準(zhǔn)則對(duì)圖像進(jìn)行分類,進(jìn)而獲得多源光學(xué)圖像的變化檢測(cè)結(jié)果。文獻(xiàn)[8]聯(lián)合視覺與語義特征,提出了一種基于詞袋(bag of words,BOW)模型和主動(dòng)學(xué)習(xí)的變化檢測(cè)方法,有助于減少由于多源光學(xué)影像成像差異而造成的“偽變化”。盡管如此,以上方法均采用用戶定義的變化特征,檢測(cè)性能容易受到先驗(yàn)知識(shí)、成像環(huán)境差異等制約因素的影響。
近年來,基于深度學(xué)習(xí)的遙感影像處理技術(shù)獲得了學(xué)者們的廣泛關(guān)注,并已在多源光學(xué)遙感影像變化檢測(cè)任務(wù)中展現(xiàn)出了優(yōu)異的性能?;谏疃葘W(xué)習(xí)的變化檢測(cè)方法從影像自身出發(fā),利用神經(jīng)網(wǎng)絡(luò)強(qiáng)大的抽象化表示能力,自動(dòng)提取多層次、多維度深層變化特征[9-10]。文獻(xiàn)[11]提出了一種面向多源影像的深度卷積耦合網(wǎng)絡(luò),該網(wǎng)絡(luò)由對(duì)稱的卷積層和耦合層組成,通過將多時(shí)相圖像分別轉(zhuǎn)換到特征空間,從而得到更一致的特征表示。文獻(xiàn)[12]提出了一種基于深度Siamese卷積網(wǎng)絡(luò)與混合卷積特征提取模塊(hybrid convolutional feature extraction module,HCFEM)的多源圖像監(jiān)督變化檢測(cè)方法,其擴(kuò)張卷積網(wǎng)絡(luò)結(jié)構(gòu)能夠有效地提取深度變化特征。此外,采用UNet及其改進(jìn)模型UNet++等分割網(wǎng)絡(luò)的變化檢測(cè)模型由于提取的特征與輸入圖像尺寸具有很好的一致性,且具有很強(qiáng)的細(xì)節(jié)特征提取能力,受到了學(xué)者們的廣泛重視。文獻(xiàn)[13]設(shè)計(jì)了一種面向光學(xué)影像變化檢測(cè)的差分增強(qiáng)密集注意卷積神經(jīng)網(wǎng)絡(luò)(difference-enhancement dense-attention convolutional neural network,DDCNN),使用UNet++結(jié)構(gòu)作為主干,有效模擬高、低級(jí)特征之間的內(nèi)在相關(guān)性,并結(jié)合差分增強(qiáng)(difference enhancement,DE)單元實(shí)現(xiàn)了聚合特征的加權(quán)提取。文獻(xiàn)[14]提出了一種基于UNet的跨層卷積神經(jīng)網(wǎng)絡(luò)(cross-layer network,CLNet),通過嵌入所設(shè)計(jì)的跨層塊(cross-layer block,CLB)以合并多尺度特征和多級(jí)上下文信息,在多源光學(xué)變化檢測(cè)中取得了很好的效果。
盡管如此,在多源光學(xué)變化檢測(cè)任務(wù)中,變化區(qū)域通常分布更加離散且表現(xiàn)形式差異顯著,因而對(duì)變化信息的準(zhǔn)確提取提出了更高要求[15-16]。另一方面,傳統(tǒng)UNet結(jié)構(gòu)忽略了對(duì)變化區(qū)域的自主定位及變化特征的強(qiáng)化學(xué)習(xí)。此外,UNet作為一種語義分割網(wǎng)絡(luò),其輸出的像素級(jí)變化檢測(cè)結(jié)果與真實(shí)地理對(duì)象之間存在著顯著的語義鴻溝,限制了其在變化檢測(cè)領(lǐng)域中的實(shí)際應(yīng)用[17-18]。
為此,本文提出一種聯(lián)合UNet++和多級(jí)差分模塊的對(duì)象級(jí)變化檢測(cè)方法。在以UNet++作為主網(wǎng)絡(luò)框架基礎(chǔ)上,設(shè)計(jì)一種多尺度特征提取差分模塊(multi-scale feature extraction difference module,MFED),旨在突出變化區(qū)域特征的同時(shí)減少“偽變化”的影響;在此基礎(chǔ)上,結(jié)合深度網(wǎng)絡(luò)輸出的像素級(jí)變化檢測(cè)結(jié)果,提出一種加權(quán)DS證據(jù)融合策略(weighted dempster shafer evidence fusion,WDSEF),從而實(shí)現(xiàn)像素級(jí)檢測(cè)結(jié)果到對(duì)象的跨越。多組試驗(yàn)結(jié)果表明,本文方法的變化檢測(cè)效果均顯著優(yōu)于其他先進(jìn)的對(duì)比方法,在不同空間分辨率和時(shí)相差異條件下總體精度(overall accuracy,OA)和F1score分別可達(dá)91.92%和63.31%以上。
本文提出的多源光學(xué)遙感影像變化檢測(cè)主要包括3個(gè)部分:①數(shù)據(jù)預(yù)處理;②基于MFED-UNet++的像素級(jí)變化檢測(cè);③聯(lián)合多尺度證據(jù)融合的變化對(duì)象識(shí)別。具體流程如圖1所示,T1和T2分別代表不同時(shí)相的影像。
圖1 所提方法的總體流程
1.1.1 影像配準(zhǔn)與對(duì)象集合提取
由于多源光學(xué)遙感影像通常存在著空間分辨率差異,本文采用商業(yè)軟件Envi進(jìn)行重采樣并進(jìn)行配準(zhǔn)處理。其中,兩個(gè)數(shù)據(jù)集均以低分辨率影像為基準(zhǔn),對(duì)高分辨率影像進(jìn)行重采樣。為保證配準(zhǔn)精度,通過調(diào)整和刪除不符合要求的控制點(diǎn),確保均方根誤差(root mean square error,RMSE)不超過0.5[19-20]。
由于對(duì)象級(jí)變化檢測(cè)要求在多時(shí)相影像中提取統(tǒng)一的對(duì)象集合,本文對(duì)已配準(zhǔn)影像作進(jìn)一步的影像分割。分割采用目前流行的商業(yè)軟件eCognition中的多分辨率分割,其由分形網(wǎng)絡(luò)演化算法(fractal network evolution algorithm,F(xiàn)NEA)發(fā)展而來[21-22]?;诓杉瘯r(shí)間較晚的影像進(jìn)行目視解譯調(diào)參后,4組數(shù)據(jù)集中尺度參數(shù)、形狀參數(shù)和緊致度參數(shù)分別設(shè)置為[35,0.5,0.3],[34,0.6,0.3],[35,0.4,0.4]和[36,0.6,04]。最后根據(jù)坐標(biāo)對(duì)應(yīng)關(guān)系將分割邊界投影到另一時(shí)相影像中,從而獲得包含N個(gè)對(duì)象的集合Rall。
1.1.2 數(shù)據(jù)集標(biāo)注
為充分驗(yàn)證本文方法在不同空間分辨率、不同時(shí)相差異條件下的精度及可靠性,本文試驗(yàn)采用不同地區(qū)的4組多源光學(xué)高分遙感影像數(shù)據(jù)集。數(shù)據(jù)集1和數(shù)據(jù)集2均為典型的城市區(qū)域。其中,數(shù)據(jù)集1采用南京地區(qū)和銀川地區(qū)不同時(shí)相的高分一號(hào)(GF-1)和高分二號(hào)(GF-2)光學(xué)影像,空間分辨率分別為2 m和0.81 m;數(shù)據(jù)集2采用南京地區(qū)和銀川地區(qū)不同時(shí)相的資源3號(hào)(ZY-3)和GF-2光學(xué)影像,空間分辨率分別為2.1、0.81 m。數(shù)據(jù)集3和數(shù)據(jù)集4除了城市場(chǎng)景外,還包含山地和丘陵等不同地區(qū)。其中,數(shù)據(jù)集3采用南京地區(qū)不同時(shí)相的Worldview-2和航拍光學(xué)影像,空間分辨率分別為2和0.5 m,空間分辨率差異達(dá)4倍;數(shù)據(jù)集4采用貴陽地區(qū)不同時(shí)相的GF-1和GF-2光學(xué)影像,空間分辨率分別為2、0.81 m,時(shí)相差異超過5 a。4組數(shù)據(jù)集如圖2所示。
圖2 數(shù)據(jù)集研究區(qū)域
在1.1.1節(jié)預(yù)處理策略基礎(chǔ)上,本文將原始影像裁剪為128×128像素的子圖像集合,將每個(gè)子圖像視為一個(gè)樣本作為后續(xù)深度網(wǎng)絡(luò)的輸入。在樣本標(biāo)注中,本文結(jié)合目視分析和Google Earth對(duì)每個(gè)樣本進(jìn)行人工解譯,并將該樣本中的每個(gè)對(duì)象標(biāo)注為“變化”或“未變化”。最終,數(shù)據(jù)集1共取得1232個(gè)樣本,數(shù)據(jù)集2共取得1280個(gè)樣本,數(shù)據(jù)集3共取得1249個(gè)樣本,數(shù)據(jù)集4共取得2929個(gè)樣本。圖3的4個(gè)子圖分別展示了一個(gè)樣本對(duì)應(yīng)的原始影像、影像分割及標(biāo)注結(jié)果(其中黑色為“未變化”,白色為“變化”)。
圖3 數(shù)據(jù)集標(biāo)簽展示
變化檢測(cè)任務(wù)的實(shí)質(zhì)是圖像的二分類問題,為此本文采用UNet++_MSOF作為基礎(chǔ)網(wǎng)絡(luò)進(jìn)行語義分割。UNet++是一種編碼器-解碼器結(jié)構(gòu)類型的網(wǎng)絡(luò),采用密集的跳躍連接結(jié)構(gòu),具有很強(qiáng)的特征提取和細(xì)節(jié)保留能力[23]。在此基礎(chǔ)上,通過采用多邊輸出融合策略(multiple side-output fusion,MSOF)將高級(jí)語義信息和低級(jí)紋理特征結(jié)合起來,能更好地保留細(xì)節(jié)邊緣,避免混淆效應(yīng)[24]。盡管如此,面對(duì)更加復(fù)雜的多源光學(xué)影像變化特征提取,UNet++并未專門強(qiáng)化對(duì)差分信息的學(xué)習(xí),導(dǎo)致模型難以有效應(yīng)對(duì)突出的“偽變化”問題。為此,本文在編碼器部分設(shè)計(jì)了一種多尺度特征提取差分模塊MFED來增強(qiáng)對(duì)變化類特征的學(xué)習(xí),從而提高模型對(duì)真實(shí)變化信息的鑒別能力。MFED-UNet++的基本框架如圖4所示,其中MFEM(multi-scale feature extraction module)是多尺度特征提取模塊,Y0,Y1,…,Y4對(duì)應(yīng)的5個(gè)輸出結(jié)果分別代表了MFED-UNet++在不同深度網(wǎng)絡(luò)中所提取的變化特征。
圖4 基于MFED-UNet++的像素級(jí)變化檢測(cè)框架
1.2.1 UNet++_MSOF的基本框架
如圖4所示,UNet++由卷積單元、下采樣模塊、上采樣模塊及卷積單元之間密集的跳躍連接組成。其中,卷積單元Xi,j采用VGG16中的塊結(jié)構(gòu)[25];xi,j表示Xi,j的輸出特征映射;i表示第i個(gè)下采樣層;j表示跳躍方向上的第j個(gè)卷積單元
(1)
在此基礎(chǔ)上,MSOF令4個(gè)輸出節(jié)點(diǎn){X0,1,X0,2,X0,3,X0,4}經(jīng)過sigmoid層獲得4個(gè)側(cè)輸出{Y0,Y1,Y2,Y3},然后通過連接4個(gè)側(cè)輸出的結(jié)果生成第5個(gè)輸出節(jié)點(diǎn)
X0,5=[Y0,Y1,Y2,Y3]
(2)
式中X0,5通過sigmoid層生成第5個(gè)輸出Y4,從而獲得UNet++_MSOF的5個(gè)輸出{Y0,Y1,Y2,Y3,Y4}。
1.2.2 MFED模塊
本文所設(shè)計(jì)的MFED模塊由MFEM模塊及多級(jí)差分模塊構(gòu)成,MFEM模塊如圖5所示。
圖5 MFEM模塊展示
MFEM聯(lián)合了4個(gè)不同卷積層組成的通道:通道1通過將最大池化和平均池化并聯(lián)在1×1卷積層之前,以增加對(duì)全局信息的感知;通道2采用了擴(kuò)張率為1的3×3卷積單元;通道3通過Add函數(shù)融合擴(kuò)張率為1和2的3×3卷積單元的輸出結(jié)果;通道4通過Add函數(shù)融合擴(kuò)張率為2和5的3×3卷積單元的輸出結(jié)果,由此可獲得通道2、3、4所提供的不同深度的抽象特征。在此基礎(chǔ)上,在4條通道的輸出位置加入了卷積注意力模塊(convolutional block attention module,CBAM)[26],從而使模型能夠聚焦對(duì)多源光學(xué)影像關(guān)鍵特征的學(xué)習(xí)。
在MFED模塊中,通過對(duì)多尺度特征進(jìn)行差分后可獲得原始差分特征圖,并執(zhí)行下采樣和卷積單元運(yùn)算,從而得到與UNet++_MSOF編碼器部分的5個(gè)卷積層分別對(duì)應(yīng)的差分特征Di:{D0,D1,D2,D3,D4}。此時(shí),式(1)中的xi,j在添加了本文設(shè)計(jì)的MFED模塊后更新為xMFEDi,j
(3)
式中,當(dāng)j=0時(shí),差分特征映射Di作為編碼器部分卷積單元輸入的一部分。由此可得到MFED-UNet++所輸出的5層像素級(jí)變化檢測(cè)結(jié)果。
MFED-UNet++的輸出反映了每個(gè)像素在不同網(wǎng)絡(luò)深度中的多尺度變化信息。盡管如此,由于來源于不同深度網(wǎng)絡(luò)的學(xué)習(xí)結(jié)果,其可信程度(即置信度)也不盡相同。為此,本文首先設(shè)計(jì)了一種自適應(yīng)證據(jù)置信度指標(biāo)(adaptive evidence credibility indicators,AECI),以定量每層輸出結(jié)果的可信程度。在此基礎(chǔ)上,結(jié)合影像分割所提取的對(duì)象集合與DS證據(jù)理論,提出了一種聯(lián)合多尺度證據(jù)融合的變化對(duì)象識(shí)別WDSEF。
1.3.1 證據(jù)置信度指標(biāo)AECI自適應(yīng)提取
在MFED-UNet++訓(xùn)練過程中,通過對(duì)預(yù)測(cè)結(jié)果與驗(yàn)證集進(jìn)行比較能夠獲得不同卷積層的預(yù)測(cè)精度和損失函數(shù)值。當(dāng)深度學(xué)習(xí)模型收斂后,若某層對(duì)應(yīng)的預(yù)測(cè)精度越高或損失函數(shù)越小,通常其輸出結(jié)果的可信程度越高;此外,隨著網(wǎng)絡(luò)深度的增加,通常也意味著更好的非線性表達(dá)能力,從而能夠?qū)W習(xí)更加復(fù)雜的變化特征[24,27]。為此,本文綜合預(yù)測(cè)精度、損失函數(shù)值及網(wǎng)絡(luò)深度,提出了一種面向DS融合的證據(jù)置信度指標(biāo)AECI
(4)
式中,e為數(shù)學(xué)常數(shù);s=1,2,…,5代表不同層次的網(wǎng)絡(luò)深度,訓(xùn)練過程中,本文采用基于驗(yàn)證集的損失函數(shù)值取得最小作為模型收斂的依據(jù),此時(shí)記錄第s層的預(yù)測(cè)精度和損失函數(shù)值并分別用VAs和Ls表示。由此可見,作為一種歸一化指標(biāo),AECI可根據(jù)模型訓(xùn)練結(jié)果自適應(yīng)確定,AECI越大,則預(yù)測(cè)結(jié)果的可信程度越高。
1.3.2 基于DS理論的識(shí)別框架
令Rall中的任一對(duì)象為Rn(n=1,2,…,N),定義識(shí)別框架Θ:{P,Q},其中P和Q分別代表變化和未變化,則Θ的非空子集A包括{P},{Q}和{P,Q}。在此基礎(chǔ)上,定義基本概率分配函數(shù)公式(basic probability assignment functions,BPAF)為m:2Θ→[0,1],且滿足以下條件
(5)
則基于這個(gè)約束條件的合成規(guī)則如下
(6)
本文采用1.1.2節(jié)中的4組多源光學(xué)高分遙感影像數(shù)據(jù)集開展試驗(yàn),每組數(shù)據(jù)集按照6∶1∶3的樣本比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。此外,試驗(yàn)采用Keras實(shí)現(xiàn),TensorFlow作為后端,采用基于交叉熵的損失函數(shù)[24],所有卷積層的卷積核大小均設(shè)置為3×3像素。
在此基礎(chǔ)上,本文選擇了4種先進(jìn)的對(duì)比方法進(jìn)行比較試驗(yàn),具體包括:①UNet++_MSOF,該框架在UNet++的特征融合階段采用了一種MSOF策略,能夠有效地捕獲復(fù)雜場(chǎng)景中不同尺度的變化信息[23];②CLNet,通過在UNet結(jié)構(gòu)中嵌入CLB模塊,能夠有效融合多尺度特征和多級(jí)上下文信息[14];③MPFF-CNN,該框架通過融合不同尺度輸入下得到的特征,充分利用樣本的空間特征信息,結(jié)合影像分割和投票法得到變化檢測(cè)結(jié)果[28];④OB-DSCNH,該框架面向多源光學(xué)遙感影像變化檢測(cè),提出了基于Siamese網(wǎng)絡(luò)和混合卷積的特征提取模塊[12]。其中,前兩種是像素級(jí)的變化檢測(cè)方法,本文依據(jù)像素內(nèi)比例占優(yōu)的像素類別確定對(duì)象級(jí)變化檢測(cè)結(jié)果;后兩者則可以直接獲得對(duì)象級(jí)變化檢測(cè)結(jié)果。此外,4種對(duì)比方法均采用本文所提取的對(duì)象集合,作為開展對(duì)象級(jí)精度評(píng)價(jià)的基本單元。
2.2.1 試驗(yàn)結(jié)果與目視分析
為便于目視分析,在數(shù)據(jù)集1和數(shù)據(jù)集2試驗(yàn)中各選擇了兩塊具有代表性的密集建筑物區(qū)域進(jìn)行展示,在數(shù)據(jù)集3和數(shù)據(jù)集4試驗(yàn)中各選擇了兩塊包含山地、丘陵的區(qū)域進(jìn)行展示。在前兩組數(shù)據(jù)集中,區(qū)域1的變化主要體現(xiàn)在個(gè)別建筑物的新建或拆除,對(duì)應(yīng)建成區(qū)中開展的部分區(qū)域更新改造的應(yīng)用場(chǎng)景;區(qū)域2主要是大面積的荒地與變?yōu)檎R排列的密集建筑物區(qū)域,對(duì)應(yīng)城市快速發(fā)展過程中對(duì)荒地的原始開發(fā)場(chǎng)景。在數(shù)據(jù)集3中,區(qū)域1和區(qū)域2主要是人為施工造成的變化;數(shù)據(jù)集4中,區(qū)域1和區(qū)域2主要是人為施工或物候差異造成的植被覆蓋變化。在此基礎(chǔ)上,進(jìn)一步采用橙色框代表真實(shí)變化區(qū)域,紫色框代表未變化但光譜、紋理等存在較大差異的“偽變化”區(qū)域,本文方法與對(duì)比方法的試驗(yàn)結(jié)果如圖6—圖9所示。
由圖6—圖9可見,本文方法在兩種常見的實(shí)際應(yīng)用場(chǎng)景中,變化檢測(cè)效果顯著優(yōu)于其他4種對(duì)比方法。與本文方法相比,UNet++_MSOF、CLNet和MPFF_CNN均屬于單源影像的變化檢測(cè)方法,這些方法將多時(shí)相影像進(jìn)行通道合并輸進(jìn)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,而沒有針對(duì)性的加強(qiáng)對(duì)圖像中的可能變化區(qū)域的特征提取能力,因此會(huì)很容易受到多源光學(xué)影像中“偽變化”的影響。如圖6(f)和(h)的區(qū)域1及區(qū)域2的橙色框所示,CLNet和MPFF_CNN存在明顯的漏檢;而在圖7(e)的兩個(gè)區(qū)域及圖7(h)的區(qū)域1的紫色框中,UNet++_MSOF和MPFF_CNN則出現(xiàn)了誤檢,主要是將陰影檢測(cè)為變化區(qū)域;在圖8(h)和圖9(h)的區(qū)域1及區(qū)域2的紫色框中,MPFF_CNN出現(xiàn)了明顯的誤檢和漏檢。對(duì)于山地、丘陵地區(qū)發(fā)生的變化,如圖8和圖9的區(qū)域2所示,雖然所有方法都能檢測(cè)到變化信息,但只有本文方法誤檢和漏檢最少,且較為完整地提取了整片變化區(qū)域。整體而言,OB-DSCNH與本文方法均屬于多源光學(xué)檢測(cè)方法,綜合利用多時(shí)相、多尺度特征提取得到的差分特征集合,相較于其他3種方法,有效緩解了“偽變化”問題。盡管如此,OB-DSCNH僅依賴圖像之間的差分特征,而忽視了原始單時(shí)相影像的抽象特征,因此容易在變化特征不明顯的區(qū)域出現(xiàn)漏檢,如圖6(g)及圖7(g)的區(qū)域2中的紫色框區(qū)域所示。與之相比,本文的MFED模塊在特征提取階段引入了注意力機(jī)制,且差分特征僅作為判別變化與否的輔助信息,因此效果更好。
圖6 不同網(wǎng)絡(luò)對(duì)數(shù)據(jù)集1的試驗(yàn)結(jié)果
圖7 不同網(wǎng)絡(luò)對(duì)數(shù)據(jù)集2的試驗(yàn)結(jié)果
圖8 不同網(wǎng)絡(luò)對(duì)數(shù)據(jù)集3的試驗(yàn)結(jié)果
圖9 不同網(wǎng)絡(luò)對(duì)數(shù)據(jù)集4的試驗(yàn)結(jié)果
2.2.2 定量評(píng)價(jià)
為了驗(yàn)證本文方法的有效性,本文采用準(zhǔn)確率(Precision,P)、召回率(Recall,R)、F1score、OA和Kappa系數(shù)進(jìn)行了精度評(píng)價(jià)。其中,P和R反映了變化對(duì)象檢測(cè)結(jié)果的單類精度,P越大則虛警率越低,R越大則漏檢率越低;F1score反映了P和R的均衡評(píng)價(jià)結(jié)果,OA和Kappa系數(shù)則揭示了變化檢測(cè)的整體性能,它們的值越大則檢測(cè)精度越高。
(7)
(8)
(9)
(10)
(11)
式中,TP、TN、FP、FN分別代表真陽性、真陰性、假陽性及假陰性。以變化對(duì)象為例,TP為變化被正確預(yù)測(cè)為變化概率;TN為非變化預(yù)測(cè)為非變化概率;FP為非變化預(yù)測(cè)為變化概率;FN為變化預(yù)測(cè)為非變化概率。結(jié)合上述評(píng)價(jià)指標(biāo)與本文所提取的對(duì)象集合Rall,對(duì)不同方法的對(duì)象級(jí)變化檢測(cè)結(jié)果進(jìn)行定量評(píng)價(jià)(表1)。
表1 不同方法的對(duì)象級(jí)變化檢測(cè)結(jié)果定量評(píng)價(jià)
如表1可知,在4組數(shù)據(jù)集中,本文方法的OA分別達(dá)到了95.74%、95.67%、96.71%和91.62%,Kappa系數(shù)則分別達(dá)到了0.559 3、0.659 3、0.739 4和0.656 4,顯著優(yōu)于其他對(duì)比方法。在數(shù)據(jù)集4試驗(yàn)中,5種方法的精度在P、R和F1score上均有顯著提高,而在OA上卻顯著降低,那是由于在4組數(shù)據(jù)集中非變化對(duì)象的比例分別達(dá)到了94%、92%、93%和86%,數(shù)據(jù)集1、2和3中的變化對(duì)象相較于數(shù)據(jù)集4要少,導(dǎo)致了前3個(gè)數(shù)據(jù)集的精度指標(biāo)OA存在一定程度的虛高。為此,基于P、R進(jìn)一步評(píng)價(jià)本文方法對(duì)變化對(duì)象的檢測(cè)性能。在數(shù)據(jù)集1中分別為60.91%和65.90%,在數(shù)據(jù)集2中分別為63.25%和74.23%,在數(shù)據(jù)集3中分別為72.29%和81.46%,在數(shù)據(jù)集4中分別為72.09%、72.01%。相較于OB-DSCNH分別提高了3.5%、6%以上。此外,相較于本文方法,3種單源影像方法UNet++_MSOF、CLNet和MPFF_CNN的F1score分別下降了4%、1.8%和6%以上。因此,本文方法的檢測(cè)精度顯著優(yōu)于其他對(duì)比方法,與目視分析結(jié)論一致。
為單獨(dú)驗(yàn)證MFED模塊的有效性,在均采用WDSEF的條件下,本文分別對(duì)基礎(chǔ)網(wǎng)絡(luò)UNet++_MSOF在嵌入MFED模塊前后的檢測(cè)效果進(jìn)行了對(duì)比試驗(yàn),結(jié)果見表2。
表2 MFED模塊的嵌入效果分析
由表2可知,在嵌入MFED模塊后,4組數(shù)據(jù)集試驗(yàn)中的OA提高了0.91%~1.73%,Kappa系數(shù)提高了0.02~0.08,F(xiàn)1score提高了3%以上,P和R也都有所提高。因此,在UNet++語義分割網(wǎng)絡(luò)中,通過引入多尺度特征差分機(jī)制,有助于提高其對(duì)變化區(qū)域的特征提取能力,證明了所構(gòu)建MFED模塊是可行且有效的。
為單獨(dú)驗(yàn)證所構(gòu)建模型中深度網(wǎng)絡(luò)部分的性能,在采用相同訓(xùn)練設(shè)置基礎(chǔ)上,對(duì)不同網(wǎng)絡(luò)的像素級(jí)預(yù)測(cè)結(jié)果進(jìn)行定量評(píng)價(jià),結(jié)果見表3。其中,本文方法采用最深層網(wǎng)絡(luò)的輸出結(jié)果進(jìn)行評(píng)價(jià)。
表3 不同方法的像素級(jí)預(yù)測(cè)結(jié)果定量評(píng)價(jià)
由表3可知,與對(duì)象級(jí)檢測(cè)結(jié)果分析結(jié)論類似,本文方法的深度網(wǎng)絡(luò)輸出結(jié)果依然顯著優(yōu)于4種對(duì)比方法。其中,OA在4組數(shù)據(jù)集試驗(yàn)中均達(dá)到了91.85%以上,F(xiàn)1score則達(dá)到60.06%以上。由此可見,在不采用像素至對(duì)象的映射的情況下,本文設(shè)計(jì)的網(wǎng)絡(luò)能更準(zhǔn)確地識(shí)別出多源光學(xué)遙感影像中的變化區(qū)域。此外,通過對(duì)比表1和表3可以看出,經(jīng)過像素至對(duì)象映射后所有方法的各類精度評(píng)價(jià)指標(biāo)都有所提升,這說明以對(duì)象作為分析基元有助于提高對(duì)變化區(qū)域的分類精度。
為了進(jìn)一步驗(yàn)證所提取的多尺度差分特征的必要性,基于WDSEF,分別對(duì)全部尺度和每個(gè)尺度的對(duì)象級(jí)輸出結(jié)果采用F1score進(jìn)行精度評(píng)價(jià),結(jié)果如圖10所示。
圖10 基于不同尺度輸出的像素轉(zhuǎn)對(duì)象的評(píng)價(jià)結(jié)果
圖10中,Y0、Y1、Y2、Y3、Y4分別代表不同尺度,Y0~4代表全部尺度的集合。由圖10可知,預(yù)測(cè)精度并不一定隨著網(wǎng)絡(luò)深度的增加而提高(如Y3的精度略低于Y2),但Y0~Y4整體上呈現(xiàn)出逐漸上升的趨勢(shì)。此外,本文基于WDSEF綜合利用了不同尺度的變化特征,預(yù)測(cè)精度顯著優(yōu)于單一尺度。因此,各個(gè)尺度的差分特征之間具有互補(bǔ)性,即聯(lián)合多尺度特征的策略是可行且必要的。
在本文提出的WDSEF中,自適應(yīng)提取的AECI作為一個(gè)關(guān)鍵參數(shù),反映了每個(gè)尺度差分特征的可信程度。為了證明其有效性,本文對(duì)所有尺度直接賦予一致的可信程度,并與采用AECI的效果進(jìn)行對(duì)比,結(jié)果見表4。
由表4可知,采用AECI后各項(xiàng)精度都有一定的提高,尤其是在數(shù)據(jù)集1中,F(xiàn)1score提高了1.5%。因此,盡管采用不同尺度有助于從多個(gè)角度刻畫差分特征,但其可靠程度存在差異。另一方面也說明,本文結(jié)合驗(yàn)證集的損失函數(shù)和精度來確定AECI的策略是合理且有效的。
表4 AECI有效性分析
3.5.1 分辨率變化對(duì)精度影響分析
當(dāng)影像的空間分辨率越高時(shí),同一個(gè)地物對(duì)象內(nèi)包含更多像素,因此包含更多的細(xì)節(jié)變化信息。為了分析不同分辨率的訓(xùn)練樣本對(duì)網(wǎng)絡(luò)訓(xùn)練效果的影響,本文對(duì)原始影像分別按照0.4、0.6和0.8倍進(jìn)行了下采樣。在此基礎(chǔ)上,利用數(shù)據(jù)集1和數(shù)據(jù)集2兩組多源光學(xué)數(shù)據(jù)集進(jìn)行訓(xùn)練,并進(jìn)行精度評(píng)價(jià)??臻g分辨率與變化檢測(cè)精度的關(guān)系曲線如圖11所示。
由圖11可知,隨著分辨率的上升,采用本文方法的P、R、F1score都呈逐漸上升趨勢(shì)。與原始影像相比,在兩組數(shù)據(jù)集中,0.4倍下采樣后的P分別下降了10.83%、13.91%;R分別下降了5.61%、8.94%;F1score分別下降了8.6%、12.03%。因此,更加豐富的細(xì)節(jié)信息有助于提高變化區(qū)域的檢測(cè)精度,在數(shù)據(jù)集的分辨率越高則網(wǎng)絡(luò)訓(xùn)練效果越好。
圖11 影像空間分辨率對(duì)變化檢測(cè)精度的影響
3.5.2 分辨率及時(shí)相差異對(duì)精度影響分析
為進(jìn)一步分析雙時(shí)相影像之間分辨率及時(shí)相差異的大小對(duì)于本文方法檢測(cè)精度的影響,對(duì)4組數(shù)據(jù)集的試驗(yàn)統(tǒng)計(jì)結(jié)果見表5。
如表5所示,在雙時(shí)相影像分辨率相同條件下,數(shù)據(jù)集1和數(shù)據(jù)集4的差異分別為約2 a和大于5 a,數(shù)據(jù)集4的OA相較于數(shù)據(jù)集1降低了3.82%。因此,時(shí)相差異越大通常也意味著地物變化信息越豐富,檢測(cè)難度越大。另一方面,前3個(gè)數(shù)據(jù)集的時(shí)相差異均約為2 a,而分辨率差異在2.6~4倍之間,但OA波動(dòng)范圍只有0.07%~1.04%,且最大值為數(shù)據(jù)集3的96.71%。因此,所提出方法的OA受雙時(shí)相影像的分辨率差異影響不大,具有良好的穩(wěn)定性。
表5 分辨率及時(shí)相差異與精度關(guān)系統(tǒng)計(jì)結(jié)果
為了進(jìn)一步分析數(shù)據(jù)集擴(kuò)增對(duì)模型性能的影響,在原始數(shù)據(jù)集基礎(chǔ)上,采用旋轉(zhuǎn)、鏡像和平移操作來增加訓(xùn)練樣本。經(jīng)過擴(kuò)增,4個(gè)數(shù)據(jù)集分別包含2864、3920、2872和5272個(gè)樣本,精度評(píng)價(jià)結(jié)果如圖12所示。
如圖12所示,隨著標(biāo)記樣本數(shù)量的增加,P、R、F1score、OA和Kappa均有顯著提高,在數(shù)據(jù)集1中分別提高了0.1%、6%、2.14%、0.28%及2.43%,在數(shù)據(jù)集2中分別提高了1.41%、2.85%、1.98%、0.87%及3.12%,在數(shù)據(jù)集3中分別提高了1.85%、1.25%、1.62%、0.35%及1.83%,在數(shù)據(jù)集4中分別提高了4.39%、4.12%、4.27%、0.68%及4.6%。因此,通過樣本集擴(kuò)增有助于進(jìn)一步提高所提出模型的性能。
圖12 數(shù)據(jù)擴(kuò)增的有效性分析
面向?qū)ο蠹?jí)的多源光學(xué)遙感影像變化檢測(cè),本文提出了一種聯(lián)合UNet++和多級(jí)差分模塊的多源光學(xué)遙感影像變化檢測(cè)方法。其中,通過設(shè)計(jì)一種MFED模塊實(shí)現(xiàn)了多尺度特征差分圖的提取,并作為UNet++的補(bǔ)充輸入,以提高網(wǎng)絡(luò)對(duì)變化區(qū)域特征的學(xué)習(xí)能力,從而有效減少“偽變化”;在此基礎(chǔ)上,為實(shí)現(xiàn)像素級(jí)結(jié)果到地理對(duì)象的映射,設(shè)計(jì)了一種不同尺度的自適應(yīng)置信度指標(biāo)AECI,進(jìn)而構(gòu)建了一種基于DS證據(jù)理論的WDSEF識(shí)別策略。通過對(duì)ZY-3/GF-2、GF-1/GF-2、Worldview-2/航拍和GF-1/GF-2 4組光學(xué)影像數(shù)據(jù)集進(jìn)行試驗(yàn),并與多種先進(jìn)的深度學(xué)習(xí)方法進(jìn)行對(duì)比分析,結(jié)果表明所提出方法能夠顯著提高對(duì)變化區(qū)域的識(shí)別能力,同時(shí)有效減少“偽變化”的影響。在對(duì)城區(qū)、山地、丘陵等不同地區(qū)的變化檢測(cè)中,本文方法的OA和F1score最高可達(dá)96.71%和76.60%,且目視分析和定量評(píng)價(jià)均顯著優(yōu)于對(duì)比方法。此外,本文方法的檢測(cè)效果總體上隨雙時(shí)相影像間的時(shí)相差異減小而有所提高,但受分辨率差異影響不大。在數(shù)據(jù)集時(shí)相差異為5a及和數(shù)據(jù)集分辨率差異為4倍的兩組試驗(yàn)中,OA分別達(dá)到了91.92%和96.71%,F(xiàn)1score則分別達(dá)到了71.04%和76.60%。