基于改進(jìn)SegNet網(wǎng)絡(luò)的遙感影像建筑物信息提取

摘 要：建筑物是人類生活的重要場所，利用遙感影像準(zhǔn)確快速地提取建筑物信息是在更精細(xì)的尺度上分析人類活動的重要途徑。用傳統(tǒng)的監(jiān)督分類等方法提取復(fù)雜的建筑物結(jié)構(gòu)信息，在精度和準(zhǔn)確度上效果較差。因此，本文對SegNet網(wǎng)絡(luò)進(jìn)行改進(jìn)，在SegNet網(wǎng)絡(luò)中引用跳層連接結(jié)構(gòu)補(bǔ)充解碼器層的目標(biāo)細(xì)節(jié)信息，同時，引用ASPP模塊增強(qiáng)網(wǎng)絡(luò)對多尺度目標(biāo)的捕捉能力。用改進(jìn)后的SegNet網(wǎng)絡(luò)在WHU遙感影像建筑物中進(jìn)行試驗，并與U-Net網(wǎng)絡(luò)、SegNet網(wǎng)絡(luò)和SVM方法進(jìn)行對比。試驗結(jié)果表明：改進(jìn)后的SegNet網(wǎng)絡(luò)總體精度和準(zhǔn)確度分別為95.14％和98.35％，精度明顯高于對比試驗方法。

關(guān)鍵詞：全卷積神經(jīng)網(wǎng)絡(luò)；建筑物提?。籗egNet網(wǎng)絡(luò)；ASPP模塊

中圖分類號：TP 79" " " " " 文獻(xiàn)標(biāo)志碼：A

建筑物是十分重要的地物信息，是人類生活的重要場所?？焖贉?zhǔn)確地獲取建筑物信息十分重要。當(dāng)利用傳統(tǒng)的監(jiān)督分類等方法對建筑物信息進(jìn)行提取時，會有精度不高的情況。因此，研發(fā)一種提取效率高，樣本需求量小，準(zhǔn)確度高的建筑物提取方法具有重要的意義。全卷積神經(jīng)網(wǎng)絡(luò)逐漸被廣大學(xué)者采用，其中U-Net[1]網(wǎng)絡(luò)和SegNet[2]網(wǎng)絡(luò)分類效果不錯。徐知宇等[3]通過改進(jìn)的U-Net網(wǎng)絡(luò)對城市綠地進(jìn)行分類，試驗結(jié)果表明，此方法能準(zhǔn)確地對綠地進(jìn)行分類。王寧等[4]采用U-Net網(wǎng)絡(luò)提取高分一號高分辨率遙感影像水體信息，結(jié)果表明U-Net網(wǎng)絡(luò)更適用于提取水體高精度。楊建宇等[5]利用SegNet網(wǎng)絡(luò)提取遙感影像農(nóng)村建設(shè)用地，驗證了SegNet網(wǎng)絡(luò)能夠有效利用高光譜影像的農(nóng)村建筑物的光譜信息，精度得到明顯提高。張春森等[6]在SegNet網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)，改進(jìn)后能有效地識別和提取高分辨率數(shù)據(jù)集中的建筑物。宋德娟等[7]利用SegNet網(wǎng)絡(luò)和最大后驗概率網(wǎng)絡(luò)構(gòu)建冬小麥遙感提取網(wǎng)絡(luò)，獲取精細(xì)的冬小麥空間分布數(shù)據(jù)。SegNet網(wǎng)絡(luò)結(jié)構(gòu)清晰且分類精度較高。因此，本文在SegNet網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)，進(jìn)而提取遙感影像的建筑物。

1 技術(shù)路線

本文采用一種改進(jìn)的SegNet網(wǎng)絡(luò)方法對遙感影像建筑物進(jìn)行提取。技術(shù)路線包括選取數(shù)據(jù)集、圖像增強(qiáng)、網(wǎng)絡(luò)訓(xùn)練以及分類結(jié)果的對比分析，如圖1所示。

2 建筑物提取網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

本文在原始的SegNet網(wǎng)絡(luò)上對2個方面進(jìn)行改進(jìn)：結(jié)合U-Net網(wǎng)絡(luò)的優(yōu)點(diǎn)，引用在U-Net網(wǎng)絡(luò)中使用的的跳層連接結(jié)構(gòu)，以此達(dá)到補(bǔ)充SegNet網(wǎng)絡(luò)在編碼器層丟失的目標(biāo)細(xì)節(jié)的目的；引用空洞空間池化金字塔（Atrous Spatial Pyramid Pooling，ASPP）模塊，提高其對不同尺度建筑物信息提取的能力，改進(jìn)后的SegNet網(wǎng)絡(luò)既結(jié)合了ASPP模塊的優(yōu)點(diǎn)，又利用了U-Net網(wǎng)絡(luò)跳層連接的優(yōu)勢，進(jìn)而在遙感影像提取建筑物結(jié)構(gòu)信息中獲得更好的效果。ASPP模塊因其高效的提取效率，廣泛應(yīng)用于各大主流網(wǎng)絡(luò)中，如圖2所示。在ASPP模塊中，從上到下依次為1×1卷積，空洞率分別為6、12和18的空洞卷積層，最下面是一個平均池化層。輸入特征輸入后經(jīng)過ASPP處理，再對處理后的特征信息進(jìn)行聯(lián)合，得到特征信息圖。

改進(jìn)的SegNet網(wǎng)絡(luò)與原始的SegNet網(wǎng)絡(luò)相似，結(jié)構(gòu)均為編碼器—解碼器，整體結(jié)構(gòu)對稱，如圖3所示?？蓪⒕幋a器層部分劃分為5組，每組都包括卷積層、最大池化層和激活函數(shù)。5組包括13個卷積層和5個最大池化層。每個模塊的卷積層深度從外到內(nèi)依次為64、128、256、512和512，卷積核大小與原始SegNet網(wǎng)絡(luò)均為3×3。在編碼器層部分，輸入的遙感影像經(jīng)過卷積和最大池化等操作獲得深層的建筑物特征信息，一起輸入解碼層。解碼器與編碼器對稱，因此同樣分為5組。編碼層引用的為最大池化操作，與編碼層不同，解碼層用上池化層替換最大池化層，以此將編碼層得到的深層特征建筑物信息恢復(fù)到與輸入大小一致。本文引用的ASPP模塊在編碼器和解碼器層的中間，此模塊進(jìn)一步對在編碼器中得到的建筑物特征信息進(jìn)行提取與選擇。改進(jìn)SegNet在對應(yīng)的部分引入了跳層連接結(jié)構(gòu)，這樣能有效地恢復(fù)編碼器階段最大池化操作導(dǎo)致丟失的細(xì)節(jié)特征。利用SegNet網(wǎng)絡(luò)的分類器對得到的建筑物信息特征進(jìn)行計算，得出每個像素是否屬于建筑物的概率，確定此像素是否為建筑物，以此達(dá)到提取建筑物的目的。

3 試驗結(jié)果和分析

3.1 數(shù)據(jù)集構(gòu)建

本文使用的建筑物數(shù)據(jù)集為WHU Building數(shù)據(jù)集，包括17388張遙感影像和對應(yīng)標(biāo)簽。遙感影像像素為512px×512px，空間分辨率為0.45m?？紤]硬件設(shè)備的實際情況，選取其中的一部分作為本文的試驗數(shù)據(jù)。將選取的遙感數(shù)據(jù)影像分為3個部分：訓(xùn)練數(shù)據(jù)集200張，驗證數(shù)據(jù)集200張和測試數(shù)據(jù)集60張，并對圖像進(jìn)行相應(yīng)增強(qiáng)處理，標(biāo)簽是二值影像，為使各模型能準(zhǔn)確地學(xué)習(xí)其特征和內(nèi)部規(guī)律，將其背景值設(shè)置為0，設(shè)置建筑物部分的值為1。由于原遙感影像為標(biāo)簽圖像文件格式（TIFF），文件過大，影響程序的運(yùn)行速度，因此將其轉(zhuǎn)化為無損壓縮的位圖圖像格式（PNG），不僅能保留影像的細(xì)節(jié)，還能提高圖像提取的效率。圖4顯示的是在WHU數(shù)據(jù)集中，選取的訓(xùn)練數(shù)據(jù)中一張影像及其樣本標(biāo)簽。

3.2 試驗結(jié)果和分析

本文以SVM方法、U-Net網(wǎng)絡(luò)和SegNet網(wǎng)絡(luò)為對比試驗，與改進(jìn)的SegNet網(wǎng)絡(luò)提取結(jié)果進(jìn)行對比。對其中具有代表性的測試影像進(jìn)行分析，如圖5所示，其中，圖5（a）為測試影像；圖5（b）為標(biāo)簽；圖5（c）為SVM提取結(jié)果；圖5（d）為U-Net提取結(jié)果；圖5（e）為SegNet提取結(jié)果；圖5（f）為改進(jìn)的SegNet提取結(jié)果。

從圖5（c）中可以看出，監(jiān)督分類中的SVM方法，在建筑物的提取過程中存在許多錯誤提取的情況且碎片化嚴(yán)重，包括將河流、裸土和道路等用地錯分為建筑物，導(dǎo)致分類精度很低。從圖5（d）中可以看出，U-Net網(wǎng)絡(luò)提取的建筑物與SVM方法相比更好，錯提現(xiàn)象明顯改善，但U-Net網(wǎng)絡(luò)在提取過程中存在漏提小型建筑物的情況，在提取大型建筑的過程中，存在邊緣細(xì)節(jié)處理粗糙和提取存在空洞的現(xiàn)象。從圖5（e）中可以看出，SegNet網(wǎng)絡(luò)的建筑物提取結(jié)果，比SVM方法和U-Net網(wǎng)絡(luò)提取得更準(zhǔn)確些，基本不存在錯誤識別其他地物的情況。但提取結(jié)果仍然有邊緣細(xì)節(jié)不準(zhǔn)確的問題，并存在孔洞現(xiàn)象。從圖5（f）中可以看出，使用改進(jìn)的SegNet網(wǎng)絡(luò)處理遙感影像建筑物的邊緣細(xì)節(jié)效果明顯改善很多，識別建筑物的準(zhǔn)確度明顯提升，基本不存在錯提和漏提的情況。在小型建筑物提取的過程中，也都能進(jìn)行準(zhǔn)確識別，通常不存在漏提的情況，總體精度很高。與其他方法相比，改進(jìn)的SegNet網(wǎng)絡(luò)無論是處理邊緣細(xì)節(jié)，還是提取建筑物的準(zhǔn)確度都明顯優(yōu)于其他方法的提取效果，這得益于跳層連接結(jié)構(gòu)補(bǔ)充了卷積操作時丟失的細(xì)節(jié)問題，使邊緣細(xì)節(jié)完整準(zhǔn)確。改進(jìn)的SegNet網(wǎng)絡(luò)提取結(jié)果基本上不存在孔洞現(xiàn)象，說明引用ASPP模塊能提取多尺度特征，完美解決了孔洞現(xiàn)象問題。由此說明，本文方法具有一定的應(yīng)用價值。精度對比見表1。

從表1中可以看出，使用SVM方法的各精度都不高，總體精度為87.78％，精確度＜85％。U-Net網(wǎng)絡(luò)的總體精度為89.83％，準(zhǔn)確度為91.55％，雖然比SVM更高，但是要明顯低于SegNet網(wǎng)絡(luò)，SegNet網(wǎng)絡(luò)Kappa為0.8862，精度不錯，而U-Net的Kappa只有0.8163。改進(jìn)的SegNet網(wǎng)絡(luò)總體精度最高，比SVM方法高7.36％。在準(zhǔn)確度方面，比U-Net網(wǎng)絡(luò)高2.61％。在召回率方面，改進(jìn)的SegNet網(wǎng)絡(luò)比U-Net網(wǎng)絡(luò)高3％。在Kappa系數(shù)上，改進(jìn)的SegNet網(wǎng)絡(luò)為0.9256，遠(yuǎn)高于其他3種方法。從以上數(shù)據(jù)可知，改進(jìn)的SegNet網(wǎng)絡(luò)各方面都更突出，明顯比其他2種方法精度更高。其較高的精度得益于跳層連接結(jié)構(gòu)，對編碼器階段遙感影像提取特征時丟失的細(xì)節(jié)信息進(jìn)行了補(bǔ)充。用ASPP模塊使改進(jìn)的網(wǎng)絡(luò)能很好地識別各尺度的建筑物。綜合以上數(shù)據(jù)說明，本文改進(jìn)的SegNet網(wǎng)絡(luò)具有一定的準(zhǔn)確性。

4 結(jié)論

在高分辨率遙感影像中，影像擁有豐富的地物細(xì)節(jié)信息和復(fù)雜的建筑物結(jié)構(gòu)信息，因此對建筑物信息進(jìn)行準(zhǔn)確快速地提取具有十分重要的意義。在傳統(tǒng)的監(jiān)督分類算法中，提取高分辨率的遙感影像錯提率較高且不能準(zhǔn)確識別建筑物信息。而在原始的U-Net和SegNet網(wǎng)絡(luò)中提取建筑物信息具有一定的缺陷，例如提取結(jié)果邊緣信息粗糙，提取的建筑物信息有孔洞現(xiàn)象等。針對以上問題，當(dāng)提取建筑物時，在原始的SegNet網(wǎng)絡(luò)的基礎(chǔ)上對2個方面進(jìn)行改進(jìn)：通過引用ASPP模塊來增強(qiáng)網(wǎng)絡(luò)對多尺度建筑物的提取能力。引用跳層連接結(jié)構(gòu)補(bǔ)充解碼器層的目標(biāo)細(xì)節(jié)。利用改進(jìn)后SegNet網(wǎng)絡(luò)、SVM、U-Net網(wǎng)絡(luò)和原始的SegNet網(wǎng)絡(luò)提取建筑物并進(jìn)行對比，試驗結(jié)果表明：改進(jìn)后的SegNet網(wǎng)絡(luò)在精度和準(zhǔn)確度分別為95％和98％；改進(jìn)后的SegNet網(wǎng)絡(luò)能有效地解決漏提小型建筑物和提取大型建筑物時有孔洞的問題，使提取精度符合目前的提取要求。本文對SegNet網(wǎng)絡(luò)進(jìn)行改進(jìn)，使其在提取精度方面效果較優(yōu)，但在訓(xùn)練過程中耗時較長，因此在后續(xù)研究中要結(jié)合輕量級的網(wǎng)絡(luò)提取建筑物。

參考文獻(xiàn)

[1]寧霄，趙鵬.基于U-Net卷積神經(jīng)網(wǎng)絡(luò)的年輪圖像分割算法[J].生態(tài)學(xué)雜志，2019，38（5）：1580-1588.

[2]唐廷元，付波霖，李穎，等.SegNet在從低空無人機(jī)影像中提取會仙巖溶濕地地物信息中的應(yīng)用[J].濕地科學(xué)，2020，18（4）：413-423.

[3]徐知宇，周藝，王世新，等.面向GF-2遙感影像的U-Net城市綠地分類[J].中國圖象圖形學(xué)報，2021，26（3）：700-713.

[4]王寧，程家驊，張寒野，等.U-Net模型在高分辨率遙感影像水體提取中的應(yīng)用[J].國土資源遙感，2020，32（1）：35-42.

[5]楊建宇，周振旭，杜貞容，等.基于SegNet語義網(wǎng)絡(luò)的高分辨率遙感影像農(nóng)村建設(shè)用地提取[J].農(nóng)業(yè)工程學(xué)報，2019，35（5）：251-258.

[6]張春森，葛英偉，蔣蕭.基于稀疏約束SegNet的高分辨率遙感影像建筑物提取[J].西安科技大學(xué)學(xué)報，2020，40（3）：441-448.

[7]宋德娟，張承明，楊曉霞，等.高分二號遙感影像提取冬小麥空間分布[J].遙感學(xué)報，2020（5）：596-608.