一種基于深度學習的衛(wèi)星遙感圖像分割方法

劉冠群，劉 豪，王 新，王 威*

(1.湖南開放大學，長沙 410004；2.長沙理工大學 計算機與通信工程學院，長沙 410114)

遙感圖像處理技術近年來發(fā)展迅速.基于人工智能神經網絡的語義分割技術已成為衛(wèi)星遙感圖像語義分割領域的研究熱點[1]，并廣泛應用于土地檢測、植被分類、環(huán)境監(jiān)測、城市規(guī)劃和國防安全等領域.深度學習方法可以提取大數據中包含的復雜信息，對未知數據做出更準確的預測[2].因此，學術界開始通過深度神經網絡進行高分辨率遙感圖像的多層表達和深層特征提取，并用于高分辨率遙感影像分類[3].

近年來，隨著人工智能的發(fā)展，深度學習方法在計算機視覺識別任務中展現出了優(yōu)異性能.卷積神經網絡在圖像分類[4-7]和語義分割[8]等領域取得了巨大的成功.例如，Simon等[9]在語義分割模型中應用了密集塊，提出用FC-DenseNet增強特征提取并進行特征重用，取得了較好的分割效果.Wang等[10]提出了一個改進的DFCN網絡，在衛(wèi)星遙感圖像語義分割任務中展現了很好的性能.

圖像語義分割是計算機視覺領域的一種重要方法.語義分割是指在同一類別的圖像中劃分相同對象的像素，并劃分不同的對象以預測圖像中每個像素的類別[11]，其與圖像超分辨率重建有相似之處[12].近些年，深度卷積神經網絡在計算機視覺領域也取得了重大成果.因此，研究者們嘗試將其用于語義分割.Wang等[5]對卷積神經網絡的發(fā)展及其在圖像分類中的應用進行了詳細總結和分析.2015年，Long等[8]提出了一種用于圖像語義分割的全卷積網絡，通過調整普通卷積網絡結構，可以在不帶全連接層的情況下進行密集預測.

FCN(全卷積網絡)模型實現了深度卷積神經網絡從圖像級別分類到像素級別分類的跨越.Ronneberger等[13]針對醫(yī)學圖像分割問題，基于FCN網絡提出了Unet模型.Unet擁有U型網絡結構，可同時獲取上、下文信息和位置信息.該模型在2015年的ISBI cell tracking比賽中獲得了多項第一.SegNet在上采樣過程中利用池化層中丟棄的位置信息來減少網絡參數量[14].Deeplab系列網絡由Google公司提出，其中的DeeplabV1是一個基于VGG16進行改進語義分割網絡[15]；相比而言，DeeplabV2則提出了一個ASPP結構，取得了很好的效果[16]；DeeplabV3利用空洞卷積加深網絡，改進了ASPP結構[17]；DeeplabV3+網絡將Xception網絡作為主干，并在網絡內部使用了Encoder-Decoder結構[18-19].

針對衛(wèi)星遙感圖像語義分割任務，首先，本文擬改進上采樣方法，在減少模型參數量的同時，提高模型的識別能力；其次，基于新的上采樣模塊提出一個全新的圖像語義分割模型，并引入注意力機制；最后，為了驗證方法的有效性，實驗提供一個新的遙感影像數據集顯示中國郴州的遙感林地(這些遙感影像來自GF-2衛(wèi)星，其空間分辨率為0.8 m，展示了耕地、林地、水域和建筑等的各種空間信息)，并根據當地的地貌特征標注原始圖像，利用所提方法在此數據集上進行實驗，同時與其他基于深度學習的語義分割方法進行對比分析.

1 通道注意力機制的卷積神經網絡

1.1 網絡結構

為了提高語義分割網絡模型的特征提取能力，本文引入了一種通道特征權重提取模塊(channel feature weight extraction module,CFWE)[7]，其結構如圖1所示.其中，“Conv3”和“Conv1”分別代表卷積核大小為3和1的卷積層；“GAP”表示全局平均池化層；“FC”表示全連接層.

圖1 CFWE模塊結構

CFWE結構共計5層，其中“Conv”表示一個包含了“卷積”、“批標準化”和“激活函數”的復合結構.CFWE模塊還包含多種尺寸的卷積核.首先，該模塊的短連接層由2個“Conv1”和1個“Conv3”組成.通過短連接可在一定程度上緩解網絡退化的問題，第一個“Conv1”用來降低維度；第二個“Conv1”用來升高維度，其主要目的是減少參數數量.其次，串聯的池化層和全連接層包含2個全連接(FC)層和1個全局平均池化(GAP)層.第一個“FC”層用來降低維度，可通過短連接將原始特征和提取出來的特征圖通道權重系數分通道相乘以得到更好的特征圖；第二個“FC”層用來恢復維度，GAP用來將通道上的特征圖壓縮為全局特征.通過這種方式，該模型可以學習到每個通道的權重系數，且在特征提取過程中，權重系數可以幫助該模型提取到更多重要的通道特征，抑制不重要的通道特征，增強網絡的特征提取能力.

基于CFWE模塊，本文提出了具有3種深度的卷積神經網絡結構CA-Net，它們分別是CA-Net18，CA-Net34和CA-Net101.CA-Net的網絡結構如表1所示.

表1 CA-Net結構

2 實驗結果與分析

2.1 數據集

實驗數據集來源于2016年GF-2衛(wèi)星采集的郴州地區(qū)多個波段圖像經融合后的RGB遙感圖像.首先，對GF-2衛(wèi)星原始圖像進行預處理.原始衛(wèi)星遙感圖像像素尺寸大約為2 000×2 000，先將其進行標注，并將各種圖像類型注釋成具有不同顏色的地面真實圖像.其次，通過裁剪將其分為若干個256×256的圖像作為數據集，并舍棄圖像多余尺寸.圖像數據分為7類，即耕地、林地、水域、道路、建筑、犁溝和其他.該數據集共有12 000張圖像，隨機選取其中10 000張作為訓練集，另外2 000張作為測試集.該數據集中的衛(wèi)星遙感圖像如圖2所示.

圖2 衛(wèi)星遙感圖像示意

2.2 預處理與實驗設置

實驗數據預處理步驟如下：

1)將數據集原始圖像設置為特定大?。?/p>

2)進行隨機窗口采樣，生成采樣坐標，得到固定大小為256×256的圖像；

3)對處理好的圖像數據進行數據增強，包括隨機旋轉、水平和垂直翻轉、隨機伽馬變換、模糊、腐蝕、添加噪聲以及雙線性濾波等圖像變換操作.

經過上述數據預處理及數據增強，訓練集規(guī)模擴大了6倍，可在一定程度上減少網絡過擬合的風險.

為驗證本文所提方法的有效性，對比實驗在相同的平臺和環(huán)境下進行，以確保不同網絡模型的實驗數據可信度.實驗操作系統(tǒng)為Windows 10，CPU為Intel I7，GPU為GeForce GTX 1080Ti；開發(fā)平臺為PyCharm，編程語言為python，采用pytorch框架；訓練集和測試集的batchsize大小均為4.

根據大多數語義分割模型所采用的評估標準，本文采用像素精度(PA)，均交并比(MIoU)和頻權交并比(FWIoU)作為性能指標[4].假設像素類別數為k+1，則PA，MIoU和FWIoU的計算公式為

其中，Pij代表屬于i類卻被分類為j類的像素數；Pii代表屬于i類的正確分類的像素數.

2.3 實驗流程

為了防止過擬合，實驗結合數據擴充技術進行圖像預處理.本文提出一種自動分割遙感圖像的方法，其具體流程如圖3所示.首先，將數據進行預處理，得到相應的數據集，將其分為訓練集和測試集；其次，對模型進行訓練，并利用網絡進行標注，將圖像輸入到網絡中，通過卷積層和池化層進行下采樣提取圖像特征，再使用反卷積層進行上采樣獲取和原圖大小相同的圖像，完成圖像語義分割.

圖3 實驗處理流程

2.4 實驗結果

將CA-Net與經典語義分割神經網絡Deeplab,FCN,SegNet,Unet,Dilated以及最新的FCDenseNet進行比較.實驗對比結果如表2所示.

由表2可知，CFWE模塊使網絡性能有了明顯的提升.DeeplabV3使用并改進了ASPP模塊，在本文數據集上有著不錯的效果，但性能仍然低于CA-Net；FCN-8s通過棄用傳統(tǒng)神經網絡的全連接層將卷積神經網絡用于語義分割任務，在本文數據集上達到了不錯的性能；SegNet是基于FCN網絡并改進了VGG16得到的語義分割網絡，因其引入了Encoder-Decoder結構，在實驗中取得了不錯的效果；Unet可以用于解決醫(yī)學圖像語義分割問題，其U型的網絡結構可以同時獲取上、下文信息和位置信息，但在本實驗中性能最差；FC-DenseNet將DenseNet引入到圖像語義分割任務，實現了不錯的效果.

表2 本文方法與其他方法的性能比較 %

根據表2中的實驗結果還可知，CA-Net101網絡模型的PA和MIoU最高，分別為91.36%和53.77%.將CA-Net和其他經典語義分割網絡以及最新的語義分割網絡進行對比，雖然其他網絡都實現了不錯的性能，但是普遍低于CA-Net，這表明了其整體性能優(yōu)于其他方法.

同時，和其他方法相比，CA-Net的參數量相對更少.在幾個參數量相近的模型中，CA-Net的性能也最優(yōu).這說明CA-Net性能更好，對衛(wèi)星遙感圖像語義分割任務更有針對性.

通過分析以上實驗結果可知，在衛(wèi)星遙感圖像語義分割任務中，網絡深度不能太淺.網絡層數太少難以提取到充足的特征，網絡層數太多則會導致出現梯度彌散問題或梯度爆炸問題.使用批標準化(batch normalization)可在一定程度上解決梯度彌散和梯度爆炸問題.此外，本文引入了注意力機制模塊CFWE，并使用了跳躍連接，在一定程度上解決了網絡的退化問題；同時，CFWE模塊通過注意力機制學習得到通道權重系數，提高了網絡的特征提取能力，取得了更好的圖像分割效果.

3 結語

本文針對高分辨率遙感影像圖像語義分割問題提出了一種基于卷積神經網絡的新的語義分割模型，并在這個網絡中使用了通道注意力模塊CFWE以增強網絡的特征提取能力.文中實驗使用了2016年郴州地區(qū)GF-2衛(wèi)星遙感圖像數據，結果表明，CA-Net101的PA，MIoU和FWIoU分別為91.36%，53.77%和85.52%，實現了對GF-2圖像分類任務中復雜目標的精確分割.本文所提方法旨在應用于檢測中國郴州林地和水域面積的變化情況，為林業(yè)資源的開發(fā)和水域環(huán)境的保護提供幫助.在今后的研究中，可以通過獲取更多同類型衛(wèi)星遙感圖像，制作出更高質量的分割數據集來進一步訓練CA-Net，以提高其泛用性和分割性能.