融合余弦退火與空洞卷積的遙感影像語義分割

唐振超，韋蔚，羅蔚然，胡潔，張東映

1.華中科技大學(xué) 土木與水利工程學(xué)院,武漢 430074;

2.黃河勘測(cè)規(guī)劃設(shè)計(jì)研究院有限公司,鄭州 450003;

3.鄭州大學(xué) 水利科學(xué)與工程學(xué)院,鄭州 450001

1 引言

高分辨率遙感影像語義分割作為數(shù)據(jù)到信息對(duì)象化提取的過渡環(huán)節(jié)與關(guān)鍵步驟，是高分辨率遙感影像解譯的典型任務(wù)。傳統(tǒng)的高分辨率遙感影像解譯通常采用人工目視解譯方式，費(fèi)時(shí)費(fèi)力且精度低。近年來，隨著人工智能技術(shù)的發(fā)展，采用深度學(xué)習(xí)方法實(shí)現(xiàn)高分辨率遙感影像解譯已成為主流的研究方向（Zhou 等，2021）。最近的工作表明，深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)合條件隨機(jī)場(chǎng)的方法已在高分辨率遙感影像語義分割任務(wù)上取得廣泛應(yīng)用（Li等，2020）。

自從全卷積神經(jīng)網(wǎng)絡(luò)FCN（Long 等，2015）首次被用于圖像的語義分割后，各種網(wǎng)絡(luò)不斷被提出和改進(jìn)，segnet（Badrinarayanan等，2017）通過保留池化索引提高分割效果，unet（Ronneberger等，2015）基于U 型結(jié)構(gòu)使網(wǎng)絡(luò)融合不同尺度的信息。Sun 和Wang（2018）提出全卷積神經(jīng)網(wǎng)絡(luò)結(jié)合數(shù)字高程模型DEM，通過引入高程信息提高遙感影像的語義分割效果。但是標(biāo)準(zhǔn)卷積的感受野較小，缺乏上下文信息。因此，從deeplabv1（Chen 等，2015）開始，使用了空洞卷積（Yu 和Koltun，2016），空洞卷積在不增加參數(shù)的情況下保持分辨率并擴(kuò)大感受野，有利于捕捉更大范圍的上下文信息。Wang 等（2020）設(shè)計(jì)了空洞卷積組塊，在結(jié)冰湖面誤提取，陰影漏提取，以及提取結(jié)果完整性等方面，具有較好的效果。但對(duì)于上述堆疊空洞卷積組塊的模型，容易出現(xiàn)網(wǎng)格效應(yīng)（Anthimopoulos 等，2019），遙感影像的地物對(duì)象會(huì)呈現(xiàn)出異常的網(wǎng)格區(qū)域。Wang 等（2018）提出標(biāo)準(zhǔn)化結(jié)構(gòu)HDC，按照鋸齒狀的規(guī)律設(shè)置膨脹率并堆疊空洞卷積可以緩解網(wǎng)格效應(yīng)；與HDC 的串行結(jié)構(gòu)相反，空洞空間金字塔（Chen 等，2018）提出并行結(jié)構(gòu)，該方法使用不同膨脹率的空洞卷積對(duì)特征執(zhí)行并行的卷積計(jì)算。

標(biāo)準(zhǔn)卷積與空洞卷積缺乏空間與邊緣上下文信息的約束（Teichmann 和Cipolla，2019）。全連接條件隨機(jī)場(chǎng)CRF（Kr?henbühl 和Koltun，2011）是一種判別式概率無向圖學(xué)習(xí)模型，可充分考慮影像全局結(jié)構(gòu)信息。Zhao 等（2020）使用CRF 結(jié)合Pauli 相干分解重建假彩色圖，對(duì)FCN 的輸出進(jìn)行全局像素類別轉(zhuǎn)移獲得分割結(jié)果，在高分三號(hào)C頻段PolSAR影像上取得了較好的精度。

深度學(xué)習(xí)模型訓(xùn)練通常采取學(xué)習(xí)率遞減的優(yōu)化方式，該策略導(dǎo)致模型收斂于局部最優(yōu)。余弦退火方法（Loshchilov 和Hutter，2017），通過學(xué)習(xí)率急劇上升幫助模型跳出局部最優(yōu)解，該策略使學(xué)習(xí)率遞減到一定值再急劇上升，如此往復(fù)。snapshot ensembling（Huang 等，2017）提出在使用余弦退火策略訓(xùn)練時(shí)，保留各個(gè)局部最優(yōu)解，推理時(shí)集成局部最優(yōu)解可以使集成模型的分類精度明顯超越單一模型。但經(jīng)典余弦退火策略使用相同的周期調(diào)整學(xué)習(xí)率，生成過多局部最優(yōu)模型，導(dǎo)致集成模型所花費(fèi)的推理時(shí)間大幅增加。因此本文引入周期遞增余弦退火策略，能有效減少集成模型的推理時(shí)間。

為了充分利用遙感影像中豐富的上下文信息，改進(jìn)集成模型的學(xué)習(xí)策略，提高語義分割精度，本文提出一種融合周期遞增余弦退火與多尺度空洞卷積的高分辨率遙感影像語義分割方法。本文方法采用并行的多尺度空洞卷積充分捕捉遙感影像上的多尺度地物信息，使模型能有效辨識(shí)不同尺度的復(fù)雜對(duì)象；基于全連接條件隨機(jī)場(chǎng)引入空間和邊緣上下文信息，細(xì)化語義分割結(jié)果；使用周期遞增余弦退火方法作為學(xué)習(xí)策略，以減少集成模型的推理時(shí)間，并提高遙感影像的語義分割精度。

2 方 法

2.1 多尺度空洞卷積網(wǎng)絡(luò)

對(duì)于普通的標(biāo)準(zhǔn)卷積，假設(shè)有離散的函數(shù)F：Z2→R，有Ωr=[ -r，r]2∩Z2，令k為一個(gè)離散的卷積核：Ωr→R，則以p為中心展開的卷積可以描述為

對(duì)標(biāo)準(zhǔn)卷積進(jìn)行擴(kuò)充，令l表示空洞卷積的膨脹率，則空洞卷積可以描述為

可見，標(biāo)準(zhǔn)卷積是空洞卷積的特殊形式，當(dāng)空洞卷積膨脹率為1 時(shí)，空洞卷積等價(jià)于標(biāo)準(zhǔn)卷積。

如圖1 所示，圖1（a），（b），（c）分別對(duì)應(yīng)空洞卷積膨脹率為1，2，4的情況，可以看出，當(dāng)空洞卷積膨脹率逐漸增加，感受野隨之增大。

圖1 空洞卷積采樣示意圖Fig.1 Sampling diagram of atrous convolution

空洞卷積可以通過設(shè)置膨脹率在特征上稀疏采樣，在密集計(jì)算任務(wù)中，有利于控制感受野，增加上下文信息。空洞卷積膨脹率的設(shè)置不影響原始網(wǎng)絡(luò)參數(shù)的結(jié)構(gòu)，有利于模型的遷移學(xué)習(xí)，因此，可以方便地設(shè)置膨脹率并基于原始網(wǎng)絡(luò)的參數(shù)進(jìn)行微調(diào)。

在深層網(wǎng)絡(luò)提取特征的過程中，擬合殘差比擬合恒等映射更加容易，在resnet（He 等，2016）中，跳接是實(shí)現(xiàn)該結(jié)構(gòu)的方式，將卷積網(wǎng)絡(luò)跳接并封裝成為殘差塊。多個(gè)殘差塊堆疊可以加深網(wǎng)絡(luò)并確保模型學(xué)習(xí)到高層信息。本文基于resnet101作為基本框架，使用到resnet101的第1層至第4層，使用較深的層是為了捕捉到較高層的語義信息，更高層的信息有助于提高分類的準(zhǔn)確率。在resnet101中，低層網(wǎng)絡(luò)使用標(biāo)準(zhǔn)卷積，高層網(wǎng)絡(luò)的卷積設(shè)置膨脹率為2，即利用空洞卷積獲取對(duì)象的周邊信息。網(wǎng)絡(luò)低層使用標(biāo)準(zhǔn)卷積是為了完整提取對(duì)象的特征，如果在低層直接使用空洞卷積，網(wǎng)絡(luò)會(huì)過度關(guān)注對(duì)象周邊的低層信息，削弱網(wǎng)絡(luò)對(duì)真實(shí)對(duì)象的理解能力；另外，基于特征進(jìn)行空洞卷積，有助于網(wǎng)絡(luò)理解對(duì)象周邊信息的高層語義。

在深層網(wǎng)絡(luò)中，連續(xù)堆疊相同膨脹率的空洞卷積容易引起網(wǎng)格效應(yīng)，由于空洞卷積模板在特征上執(zhí)行的是一種膨脹計(jì)算方式，所以卷積過程中會(huì)丟失部分特征的信息，信息損失對(duì)于空間密集的分割任務(wù)來說是不利的（Dumoulin 和Visin，2016）。另外，當(dāng)空洞卷積模板尺寸較小，但膨脹率較大時(shí)，對(duì)于較大目標(biāo)的對(duì)象，空洞卷積依然能夠感知到，但對(duì)于小目標(biāo)對(duì)象，容易在計(jì)算中被忽略。為了改善空洞卷積帶來的問題，可以采用對(duì)輸入特征進(jìn)行多尺度并行卷積的方法，并行結(jié)構(gòu)可以有效處理多尺度對(duì)象，多尺度并行卷積的結(jié)構(gòu)類似于pspnet 的空間金字塔池化（Zhao 等，2017）和deeplabv2的空洞空間金字塔池化。

如圖2所示，空洞空間金字塔可以對(duì)給定輸入特征以不同膨脹率的空洞卷積進(jìn)行采樣，在不同尺度上捕捉特征的上下文信息。遙感影像的語義分割對(duì)象尺度大小一般很極端，平原上可能草地的尺度遠(yuǎn)遠(yuǎn)大于建筑物的尺度，如果使用結(jié)構(gòu)化的HDC 串行計(jì)算會(huì)使過分小的特征在網(wǎng)絡(luò)加深的過程中受到影響，而且堆疊結(jié)構(gòu)化的空洞卷積，在計(jì)算上也會(huì)存在冗余。因此，為了更好地保留不同尺度的特征，本文使用空洞空間金字塔的并行卷積結(jié)構(gòu)對(duì)特征進(jìn)行計(jì)算，基于不同的膨脹率并行地在特征上采樣多尺度信息。

圖2 空洞空間金字塔池化示意圖Fig.2 The pooling procedure of atrous space pyramid

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

空洞卷積實(shí)際上是在標(biāo)準(zhǔn)卷積的基礎(chǔ)上通過模板膨脹對(duì)特征進(jìn)行采樣，所以從標(biāo)準(zhǔn)卷積改進(jìn)到空洞卷積不會(huì)改變?cè)季矸e網(wǎng)絡(luò)的參數(shù)。對(duì)于語義分割任務(wù)，特征提取會(huì)降低分辨率（Zuo 等，2020），為了恢復(fù)分辨率，需要對(duì)特征上采樣解碼，在FCN 中，借助跳級(jí)結(jié)構(gòu)可以將低層特征用于上采樣，因?yàn)榈蛯犹卣骶哂幸欢ǚ直媛?，包含位置信息。本文以resnet101 為特征提取主干網(wǎng)絡(luò)，從較高層網(wǎng)絡(luò)開始使用空洞卷積，并用空洞空間金字塔捕獲不同尺度的特征，在金字塔分支中保留標(biāo)準(zhǔn)卷積操作以關(guān)注對(duì)象本身的特征，相比deeplabv3，本文丟棄全局池化以降低過度下采樣的影響，并在網(wǎng)絡(luò)輸出端增加全連接條件隨機(jī)場(chǎng)CRF 進(jìn)行后處理。CRF 符合吉布斯分布，使用能量函數(shù)為

一元?jiǎng)菽芎瘮?shù)描述觀測(cè)序列對(duì)標(biāo)記變量的影響：

對(duì)于像素點(diǎn)i，P(xi)是網(wǎng)絡(luò)對(duì)該像素的分類的概率，二元?jiǎng)菽芎瘮?shù)描述變量之間的相關(guān)性，即像素之間的相關(guān)性：

當(dāng)xi≠yj時(shí)，u(xi，yj)=1，否則值為零，可以看出，不同像素之間是全連接的，而km(fi，fj)是fi與fj之間的高斯核，fi是像素i對(duì)應(yīng)的特征向量即顏色信息，wm是高斯核的權(quán)重。通過最小化能量函數(shù)，可以使圖像的像素分類更加準(zhǔn)確。綜合以上描述，可以得到一個(gè)詳細(xì)的網(wǎng)絡(luò)結(jié)構(gòu)，本文網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.3 The proposed neural network architecture

語義分割是像素級(jí)的分類，所以可以用交叉熵計(jì)算損失。令N為圖像中像素的數(shù)量，k為類別的數(shù)量，對(duì)于某個(gè)確定的像素i，yi表示其類別，用表示預(yù)測(cè)各類別的得分，由于遙感影像數(shù)據(jù)分類對(duì)象分布規(guī)律不均衡，為了強(qiáng)迫網(wǎng)絡(luò)學(xué)習(xí)到各類對(duì)象的分布，需要在交叉熵的每類對(duì)象上附加權(quán)重wi，損失函數(shù)計(jì)算如下：

2.3 余弦退火方法調(diào)整學(xué)習(xí)率

在一般情況下，優(yōu)化的目標(biāo)函數(shù)是多峰的，存在多個(gè)局部最優(yōu)解，在傳統(tǒng)學(xué)習(xí)策略下，學(xué)習(xí)率逐步減小會(huì)使模型陷入局部最優(yōu)解，為了跳出局部最優(yōu)解，可以急劇增大學(xué)習(xí)率，這被稱為熱重啟隨機(jī)梯度下降法，重啟指的是恢復(fù)學(xué)習(xí)率。其中較簡單的一種熱重啟方式為余弦退火（Hinton等，2015），余弦退火方法的原理描述為

式中，i表示熱重啟的次數(shù)，限制了第i次熱重啟的學(xué)習(xí)率變化范圍，可以使隨著熱重啟次數(shù)的上升逐步減小，也可以為了計(jì)算簡便，保持兩者的值不變。Tcur表示當(dāng)前學(xué)習(xí)經(jīng)歷的次數(shù)，Ti表示第i次熱重啟到第i+1次熱重啟的學(xué)習(xí)次數(shù)，即余弦退火的周期。

如圖4 所示，初始學(xué)習(xí)率從0.1 開始，余弦退火方法使學(xué)習(xí)率逐漸下降又快速上升到初始值。相同周期的余弦退火方法會(huì)使網(wǎng)絡(luò)學(xué)習(xí)缺少穩(wěn)定性，因此，本文首次提出周期遞增變化的余弦退火方法，采用該方法調(diào)整學(xué)習(xí)率則能夠使學(xué)習(xí)過程相對(duì)平緩，圖4中周期遞增余弦退火的周期是以2為公比的等比數(shù)列。等周期的余弦退火使學(xué)習(xí)率變化頻率過快，模型反復(fù)跳出局部最優(yōu)，導(dǎo)致不能找到一個(gè)表現(xiàn)較為穩(wěn)定的局部最優(yōu)模型，這一現(xiàn)象會(huì)影響結(jié)果集成的準(zhǔn)確程度。很明顯周期遞增的余弦退火方法相比等周期的余弦退火方法，可以在學(xué)習(xí)中后期獲得訓(xùn)練更平穩(wěn)的局部最優(yōu)模型，從而提升結(jié)果集成的準(zhǔn)確程度。

另外，模型集成必然會(huì)增加網(wǎng)絡(luò)推理的時(shí)間，在相同的迭代次數(shù)下，周期遞增余弦退火策略獲得的局部最優(yōu)模型數(shù)量遠(yuǎn)少于等周期余弦退火策略的模型數(shù)量，更少的局部最優(yōu)模型可以大幅度縮短集成推理的時(shí)間（Polino 等，2018）。綜合看來，周期遞增的余弦退火策略可以使模型集成在超越單一模型表現(xiàn)的同時(shí)避免過長的推理時(shí)間，訓(xùn)練中保存的局部最優(yōu)模型相比等周期余弦退火的局部最優(yōu)模型效果會(huì)更好更穩(wěn)定。

訓(xùn)練時(shí)，在每次學(xué)習(xí)率熱重啟前需要保留局部最優(yōu)解，語義分割實(shí)際上是像素級(jí)別的分類任務(wù)，所以集成模型可以基于保留下來的局部最優(yōu)模型，按照得分投票的方式選擇最終像素分類結(jié)果。

綜上所述，本文提出的方法具體分為以下步驟：（1）基于resnet101初始化網(wǎng)絡(luò)，截取layer1至layer4，layer4 的空洞卷積膨脹率為2，layer1 至layer3 的空洞卷積膨脹率均為1，相當(dāng)于標(biāo)準(zhǔn)卷積；（2）對(duì)resnet101輸出的特征做空洞空間金字塔卷積，用不同的膨脹率并行卷積，空間金字塔卷積不進(jìn)行全局池化，將全局池化分支改用標(biāo)準(zhǔn)卷積代替，從而更深入獲取語義信息，提高分類準(zhǔn)確率；（3）使用跳級(jí)結(jié)構(gòu)將resnet101中l(wèi)ayer1生成的低層特征與線性插值后的空間金字塔卷積結(jié)果進(jìn)行融合，低層特征可以為高層特征帶來部分位置信息，對(duì)網(wǎng)絡(luò)輸出的粗糙分割結(jié)果基于條件隨機(jī)場(chǎng)進(jìn)行后處理；（4）使用交叉熵計(jì)算損失，由于遙感影像的對(duì)象分布不均衡，所以在交叉熵計(jì)算時(shí)會(huì)給每一類對(duì)象附加權(quán)重，網(wǎng)絡(luò)的訓(xùn)練采用周期遞增的余弦退火方法調(diào)整學(xué)習(xí)率，并保留每個(gè)局部最優(yōu)模型，推理時(shí)再集成局部最優(yōu)模型的結(jié)果；（5）高分辨率遙感影像不能一次性完成分割，所以需要先切片再逐一語義分割，拼接各個(gè)切片時(shí)通過簡單的填充孔洞和去除小連通域，修復(fù)不合理的預(yù)測(cè)結(jié)果。

3 實(shí)驗(yàn)設(shè)置

3.1 數(shù)據(jù)集與數(shù)據(jù)預(yù)處理

本文基于GID（Gaofen Image Dataset）（Tong等，2020）評(píng)估語義分割方法。GID 建立于Gaofen-2衛(wèi)星遙感影像，GID語義分割對(duì)象覆蓋范圍大，分布廣泛且空間分辨率高。大規(guī)模分類集涉及5類對(duì)象，精細(xì)分類集則將分類對(duì)象細(xì)化至15 類。本文在15 類精細(xì)分類集上選取了包含不同地物信息的10 幅高分辨率遙感影像及其對(duì)應(yīng)的標(biāo)注影像作為訓(xùn)練樣本。在GID 中，15 類對(duì)象以外的其他對(duì)象所占比例不能忽略，所以要將其視為一類對(duì)象考慮，因此，實(shí)際分類的數(shù)量應(yīng)該是16 類。本文語義分割的類別有：水田，水澆地，旱耕地，園地，喬木林地，灌木林地，天然草地，人工草地，工業(yè)用地，城市住宅，村鎮(zhèn)住宅，交通運(yùn)輸，河流，湖泊，坑塘以及其他類別。

高分辨率遙感影像的尺寸往往較大，GID精細(xì)分類的單幅圖像分辨率為（7200，6800）。為了適應(yīng)計(jì)算機(jī)視覺模型的實(shí)際處理情況，需要對(duì)原始高分辨率遙感影像切片處理，在實(shí)驗(yàn)中，切片大小的不同沒有對(duì)模型性能產(chǎn)生顯著性影響，考慮到目前主流卷積網(wǎng)絡(luò)處理的圖像分辨率一般是（512，512），因此本文將每幅遙感影像切片至512分辨率，切片步長設(shè)置為256以確保切片數(shù)據(jù)的連續(xù)性。為了與常規(guī)的深度卷積神經(jīng)網(wǎng)絡(luò)相兼容，需要從切片后的遙感影像中提取RGB 三通道。遙感影像的地物信息復(fù)雜，目標(biāo)對(duì)象形狀變化各異，卷積神經(jīng)網(wǎng)絡(luò)擅長局部特征的模式匹配，即需要一定的數(shù)據(jù)增強(qiáng)讓網(wǎng)絡(luò)學(xué)習(xí)到地物的形變，提高模型的魯棒性。本文只進(jìn)行常規(guī)的數(shù)據(jù)增強(qiáng)：隨機(jī)水平翻轉(zhuǎn)，隨機(jī)豎直翻轉(zhuǎn)，顏色抖動(dòng)。在數(shù)據(jù)增強(qiáng)時(shí)，標(biāo)注圖像也要跟隨RGB 圖像做同樣的處理。

對(duì)于深度神經(jīng)網(wǎng)絡(luò)來說，數(shù)值較小的張量對(duì)反向傳播的計(jì)算較為友好，且在標(biāo)準(zhǔn)的分布上進(jìn)行學(xué)習(xí)會(huì)更加容易（Ioffe 和Szegedy，2015）。因此，可以根據(jù)數(shù)據(jù)集中不同通道的均值與標(biāo)準(zhǔn)差對(duì)輸入圖像進(jìn)行標(biāo)準(zhǔn)化。假設(shè)數(shù)據(jù)集一共有m張RGB 圖像，而這些RGB 圖像可分成3 個(gè)通道的張量[y1，y2，y3]。

再根據(jù)各個(gè)通道的均值μ和標(biāo)準(zhǔn)差σ進(jìn)行標(biāo)準(zhǔn)化得到張量[z1，z2，z3]。

3.2 語義分割實(shí)驗(yàn)設(shè)置

本文模型的訓(xùn)練采用周期遞增余弦退火方法調(diào)整學(xué)習(xí)率，保留每個(gè)局部最優(yōu)模型，在驗(yàn)證集上通過集成局部最優(yōu)模型投票決定像素類別。模型訓(xùn)練的優(yōu)化方法采用Adadelta（Zeiler，2012），初始學(xué)習(xí)率設(shè)置為1×10-1，余弦退火的周期設(shè)置以2 為公比的等比數(shù)列，其余參數(shù)采用Adadelta 默認(rèn)值。Adadelta 可以在訓(xùn)練初中期取得較快速的效果，當(dāng)進(jìn)入訓(xùn)練后期，則會(huì)反復(fù)在局部最小值附近抖動(dòng)，此時(shí)學(xué)習(xí)率急劇上升，模型保存局部最優(yōu)解后，再跳出局部最優(yōu)解，開始一段新的優(yōu)化過程。模型的特征提取主干網(wǎng)絡(luò)是resnet101，在ImageNet（Deng等，2009）上預(yù)訓(xùn)練過的resnet101雖然不能直接檢測(cè)到遙感影像的具體地物信息，但可以有效感知邊，角，顏色等低層信息，使網(wǎng)絡(luò)獲得一個(gè)良好的初始解；對(duì)網(wǎng)絡(luò)的其他層參數(shù)采用服從標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)初始化，空洞卷積的膨脹率分別設(shè)置（1，2，6，12，18）。本文模型在遍歷整個(gè)數(shù)據(jù)集256次后能夠收斂，如果設(shè)置批處理大小為8，則訓(xùn)練一共迭代次數(shù)為5×104。

關(guān)于模型的對(duì)比實(shí)驗(yàn)，本文在并行空洞卷積層調(diào)整結(jié)構(gòu)，分別驗(yàn)證使用并行標(biāo)準(zhǔn)卷積，連續(xù)堆疊相同膨脹率的空洞卷積，按照HDC 結(jié)構(gòu)堆疊空洞卷積和本文網(wǎng)絡(luò)的語義分割表現(xiàn)。4種網(wǎng)絡(luò)均使用周期遞增的余弦退火方法進(jìn)行訓(xùn)練。為了有效對(duì)比不同卷積結(jié)構(gòu)的影響，4 種網(wǎng)絡(luò)都不使用CRF進(jìn)行后處理。

關(guān)于模型學(xué)習(xí)策略的對(duì)比，以本文網(wǎng)絡(luò)為基礎(chǔ)，設(shè)置3種不同的訓(xùn)練模式：使用標(biāo)準(zhǔn)隨機(jī)梯度下降訓(xùn)練，使用等周期余弦退火方法訓(xùn)練，使用周期遞增余弦退火方法訓(xùn)練。比較3 種訓(xùn)練方式下，模型的推理時(shí)間增長趨勢(shì)，以及模型在驗(yàn)證數(shù)據(jù)上的語義分割表現(xiàn)。

對(duì)于CRF 的影響，本文在所提出的方法上，分別設(shè)置是否使用CRF 兩種情況，在驗(yàn)證數(shù)據(jù)上對(duì)比使用CRF 與否得到的語義分割表現(xiàn)。另外，引入近年來常用的語義分割模型：FCN-8s（Long等，2015），segnet（Badrinarayanan等，2017），unet（Ronneberger 等，2015），deeplabv3（Chen 等，2017）。將主流卷積網(wǎng)絡(luò)模型與本文方法進(jìn)行比較。主流模型的訓(xùn)練均采用Adam（Kingma 和Ba，2015），訓(xùn)練參數(shù)使用Adam方法的默認(rèn)值。FCN-8s，segnet，unet 的網(wǎng)絡(luò)參數(shù)按照文獻(xiàn)（Garcia-Garcia等，2017）提出的標(biāo)準(zhǔn)進(jìn)行設(shè)置，deeplabv3 按照文獻(xiàn)（Kamann 和Rother，2020）中使用的參數(shù)進(jìn)行設(shè)置。

3.3 模型評(píng)價(jià)指標(biāo)

本文使用像素分類的總體精度，具體某一類的分類精度，以及Kappa系數(shù)評(píng)價(jià)實(shí)驗(yàn)的語義分割效果。記Pab為將屬于a類的像素預(yù)測(cè)為屬于b類的數(shù)量，令ta=∑bPab表示屬于a類的所有像素?cái)?shù)量，tb=∑aPab表示被預(yù)測(cè)為b類的所有像素?cái)?shù)量。則總體精度OA 表示為正確分類的像素與圖像中所有像素的百分比：

對(duì)于b類對(duì)象的分類精度UA 表示所有被分類為b的像素中，被正確分類的像素比例：

Kappa 系數(shù)是一個(gè)用于衡量預(yù)測(cè)與真實(shí)標(biāo)簽的吻合程度的統(tǒng)計(jì)量：

式中，有k∈[1，K]，K是分類對(duì)象的數(shù)量。

為了便于可視化觀察各個(gè)類別的分類結(jié)果，可以使用混淆矩陣清晰反映，混淆矩陣的每一行之和是實(shí)際為該類別的樣本數(shù)量，每一列之和是預(yù)測(cè)為該類別的樣本數(shù)量。

4 結(jié)果與分析

4.1 不同卷積的實(shí)驗(yàn)結(jié)果對(duì)比

卷積層結(jié)構(gòu)的調(diào)整對(duì)語義分割結(jié)果造成不同意義的影響，在本文方法的并行空洞卷積層調(diào)整卷積的結(jié)構(gòu)，不同結(jié)構(gòu)下的語義分割結(jié)果對(duì)比如圖5 所示。圖5（a）—（f）分別為原圖，真實(shí)標(biāo)注，并行標(biāo)準(zhǔn)卷積分割結(jié)果，連續(xù)堆疊等膨脹率空洞卷積分割結(jié)果，按HDC 標(biāo)準(zhǔn)堆疊空洞卷積分割結(jié)果，并行多尺度空洞卷積分割結(jié)果。從圖5（c）可以看出，雖然采用并行的結(jié)構(gòu)，但標(biāo)準(zhǔn)的卷積不能較好地學(xué)習(xí)到圖像的像素語義信息，比如錯(cuò)誤地將水澆地的像素分類到其他類別，部分住宅被錯(cuò)分為交通運(yùn)輸。圖5（d）反映了使用連續(xù)堆疊相同膨脹率空洞卷積的分割結(jié)果，當(dāng)使用連續(xù)堆疊的空洞卷積時(shí)，相比標(biāo)準(zhǔn)卷積，分割結(jié)果有所改善。由于空洞卷積可以注意到更多上下文信息，因此對(duì)比標(biāo)準(zhǔn)卷積，堆疊的空洞卷積可以更廣泛地感知到水澆地周圍的信息，從而利于水澆地的識(shí)別。圖5（d）也可以看出，分割結(jié)果是粗糙的，由于連續(xù)堆疊的空洞卷積膨脹率相同，在前向計(jì)算不斷擴(kuò)張采樣區(qū)域的同時(shí)，導(dǎo)致了網(wǎng)格效應(yīng)，造成在遙感影像的分割結(jié)果中，出現(xiàn)廣泛分布的異常區(qū)域。使用標(biāo)準(zhǔn)化結(jié)構(gòu)的設(shè)計(jì)，按照HDC 的標(biāo)準(zhǔn)堆疊空洞卷積，改善了網(wǎng)格效應(yīng)，基于HDC標(biāo)準(zhǔn)的分割結(jié)果如圖5（e）所示。根據(jù)HDC 標(biāo)準(zhǔn)，膨脹率呈鋸齒狀分布的空洞卷積可以在前向計(jì)算中彌補(bǔ)信息丟失的風(fēng)險(xiǎn)，從而降低網(wǎng)格效應(yīng)的影響，結(jié)合空洞卷積廣泛感知上下文信息的優(yōu)點(diǎn)，使分割結(jié)果得到提升。本文方法采用并行的多尺度空洞卷積，分割結(jié)果如圖5（f）所示，相比基于HDC 標(biāo)準(zhǔn)的堆疊空洞卷積，其分割結(jié)果與真實(shí)標(biāo)注更吻合。并行且多尺度的設(shè)計(jì)結(jié)構(gòu)一方面可以讓模型獲得感知多尺度地物信息的能力；另一方面將各個(gè)尺度的信息進(jìn)行融合，在一定程度上彌補(bǔ)了前向計(jì)算中的信息丟失，從而降低網(wǎng)格效應(yīng)的影響。不同膨脹率的空洞卷積讓模型在面對(duì)同一對(duì)象時(shí)，可以不同程度地感受到周圍信息，加強(qiáng)模型對(duì)目標(biāo)對(duì)象的識(shí)別能力。并行的結(jié)構(gòu)相比HDC標(biāo)準(zhǔn)下的串行設(shè)計(jì)具有更高效的計(jì)算優(yōu)勢(shì)。

圖5 不同卷積的語義分割結(jié)果Fig.5 Semantic segmentation results of different convolutions

表1為并行標(biāo)準(zhǔn)卷積，連續(xù)堆疊相同膨脹率的空洞卷積，按照HDC 結(jié)構(gòu)堆疊空洞卷積和本文網(wǎng)絡(luò)在驗(yàn)證集上的語義分割結(jié)果。本文采用的并行多尺度空洞卷積在整體精度與Kappa系數(shù)上均優(yōu)于采用其他卷積結(jié)構(gòu)的模型。

表1 不同卷積的分割結(jié)果Table 1 Segmentation results of different convolutions

4.2 學(xué)習(xí)策略的效率對(duì)比分析

模型的集成過程導(dǎo)致推理花費(fèi)的時(shí)間上升，處理的數(shù)據(jù)量越大，時(shí)間花費(fèi)越顯著，使用周期遞增余弦退火策略可以避免推理造成過多的時(shí)間花費(fèi)，本文在模型學(xué)習(xí)時(shí)，設(shè)置退火周期為一個(gè)以2為公比的等比數(shù)列，在經(jīng)過設(shè)置的迭代次數(shù)后一共得到6個(gè)局部最優(yōu)模型，相比于等周期余弦退火在訓(xùn)練結(jié)束后一共得到的17 個(gè)局部最優(yōu)模型，推理速度可以獲得明顯的改善。

表2反映了采用標(biāo)準(zhǔn)隨機(jī)梯度下降，等周期余弦退火方法和周期遞增余弦退火方法訓(xùn)練后，模型在驗(yàn)證數(shù)據(jù)上的整體精度和Kappa 系數(shù)。3 種策略分別記作策略（1，2，3）。從表2看出，集成模型的效果優(yōu)于單一模型，且合適數(shù)量的局部最優(yōu)模型也可以接近大量局部最優(yōu)模型的計(jì)算結(jié)果。

表2 學(xué)習(xí)策略對(duì)比Table 2 Comparison of learning strategies

圖6反映了伴隨數(shù)據(jù)量逐步上升后推理時(shí)間變化的趨勢(shì)，每批數(shù)據(jù)包含8張切片圖像，時(shí)間花費(fèi)以毫秒為單位。從圖6可以看出，標(biāo)準(zhǔn)隨機(jī)梯度下降得到的模型在時(shí)間變化程度上最慢，因?yàn)樵谕评頃r(shí)，標(biāo)準(zhǔn)隨機(jī)梯度下降法訓(xùn)練的模型不需要進(jìn)行集成。當(dāng)使用余弦退火訓(xùn)練模型時(shí)，模型集成使推理時(shí)間快速上升，如果使用周期遞增的余弦退火則可以緩解時(shí)間花費(fèi)過高的情況。因此，在使用周期遞增余弦退火策略后，一方面通過集成確保結(jié)果的準(zhǔn)確程度優(yōu)于標(biāo)準(zhǔn)隨機(jī)梯度下降法訓(xùn)練的模型，另一方面該策略生成的子模型數(shù)量較少，從而確保推理的時(shí)間花費(fèi)不會(huì)過高。

圖6 數(shù)據(jù)量逐步上升的推理時(shí)間變化趨勢(shì)Fig.6 The variation trend of inference time by the increasing of data volume

4.3 使用CRF處理與否的對(duì)比分析

圖7（a）—（d）分別為原圖，真實(shí)標(biāo)注，本文方法在不使用CRF 情況下的分割結(jié)果，以及本文方法使用CRF 后處理的分割結(jié)果。從圖7（c）對(duì)比真實(shí)標(biāo)注可以看出，模型能夠得到較為精細(xì)的分割結(jié)果，且保持了一定的分類精度，不論是交通運(yùn)輸這類細(xì)致目標(biāo)對(duì)象，還是坑塘，水澆地這類大范圍目標(biāo)對(duì)象，由于多尺度的空洞卷積，模型均能夠得到合理的分割結(jié)果。

圖7 使用CRF與否的語義分割結(jié)果對(duì)比Fig.7 Comparison of semantic segmentation results using CRF or not

本文方法在空洞卷積金字塔層上，取消了deeplabv3 中的全局池化，并使用CRF 引入空間上下文信息，這可以獲得更精細(xì)的位置信息。實(shí)驗(yàn)過程表明，CRF的迭代次數(shù)為5次就可以得到較好結(jié)果，圖7（d）就是利用模型輸出的粗糙分割結(jié)果與原圖融合并經(jīng)過條件隨機(jī)場(chǎng)5次迭代獲得的最終語義分割結(jié)果。觀察原圖與真實(shí)標(biāo)注，可以發(fā)現(xiàn)，在CRF 精細(xì)修復(fù)后，獲得了一個(gè)更良好的效果。在驗(yàn)證數(shù)據(jù)上的分割結(jié)果顯示，結(jié)合CRF 后處理，本文模型的整體精度與Kappa 系數(shù)分別從84.3%和79.6%，提升到86.6%和81.8%。

比較圖7（d）與真實(shí)標(biāo)注，使用CRF 后，在坑塘等位置存在差異，因?yàn)樵瓐D的坑塘間本身存在細(xì)小的道路，且兩者顏色差異較大，這會(huì)對(duì)CRF計(jì)算的分布產(chǎn)生影響，從而造成預(yù)測(cè)結(jié)果與真實(shí)標(biāo)注在坑塘、交通運(yùn)輸與水澆地等位置上的差異。

4.4 本文方法與主流卷積網(wǎng)絡(luò)模型的對(duì)比分析

本文方法在驗(yàn)證集上優(yōu)于近年來常用的語義分割方法，分割結(jié)果見表3。表3 中比較了分別采用FCN-8s，segnet，unet，deeplabv3以及本文方法的總體精度與Kappa系數(shù)；另外，對(duì)于數(shù)據(jù)集，根據(jù)各類對(duì)象的標(biāo)注像素?cái)?shù)量，從16 類對(duì)象中選擇出前5個(gè)難分類對(duì)象，并在表3中列出其分類精度。前5 個(gè)難分類對(duì)象分別為：人工草地，灌木林地，園地，坑塘，旱耕地。圖8以具體場(chǎng)景展示了這5種方法的分割效果，不同類別的對(duì)象對(duì)應(yīng)著不同的顏色。其中，圖8的（a）—（f）分別代表真實(shí)標(biāo)注圖像，F(xiàn)CN-8s 分割結(jié)果，segnet 分割結(jié)果，unet 分割結(jié)果，deeplabv3分割結(jié)果，以及本文方法分割結(jié)果。

表3 Gaofen Image Dataset 數(shù)據(jù)集語義分割結(jié)果Table 3 Semantic segmentation results using Gaofen Image Dataset

從實(shí)驗(yàn)結(jié)果中可以看出，F(xiàn)CN-8s 與segnet 的分割整體精度與Kappa 系數(shù)均較低，圖8（b）與（c）可以直觀反映出分割邊界比較模糊而且不規(guī)整，其次是被錯(cuò)誤分類的像素較多，難分類對(duì)象的較低分類精度影響了整體精度與Kappa系數(shù)。

FCN將VGGnet（Simonyan和Zisserman，2015）修改為全卷積網(wǎng)絡(luò)，通過對(duì)分割任務(wù)進(jìn)行微調(diào)，將其學(xué)習(xí)的特征轉(zhuǎn)移到全卷積網(wǎng)絡(luò)中，低分辨率語義特征圖的上采樣使用雙線性插值結(jié)合濾波器施加卷積操作完成，雖然存在跳級(jí)結(jié)構(gòu)，但實(shí)際效果表明，F(xiàn)CN 在對(duì)象的邊緣上不能精細(xì)分割，網(wǎng)絡(luò)輸出的結(jié)果較粗糙。FCN 利用標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)作為視覺模型，用標(biāo)準(zhǔn)卷積提取特征，盡管全卷積的架構(gòu)在語義分割上具有靈活性，但依然有所局限，由于標(biāo)準(zhǔn)卷積固有的平移不變性使網(wǎng)絡(luò)不能合理考慮上下文信息，這是造成FCN 對(duì)細(xì)節(jié)不夠敏感的原因之一。

對(duì)于segnet，在恢復(fù)分辨率的解碼過程中，使用了在特征提取時(shí)的池化位置信息，解碼過程中的反池化操作緩解了上采樣的學(xué)習(xí)負(fù)擔(dān)，在分割中保留了高頻信息的完整性。經(jīng)過上采樣得到的特征是稀疏的，可以使用卷積再次生成密集的特征，卷積需要學(xué)習(xí)的是如何修復(fù)下采樣過程中的信息損失。利用segnet 雖然能很好地保留高頻信息，但在低分辨率的特征反池化過程中，必然伴隨著鄰近信息的丟失，在一定程度上，會(huì)影響到對(duì)象的分類精度。比如在圖8（c）中，有大面積的城市住宅被錯(cuò)分類為工業(yè)用地。

在使用unet 架構(gòu)后，分割的精度與kappa 系數(shù)得到提升。unet簡單地將編碼器特征拼接到每個(gè)階段的解碼器輸出特征上，層與層對(duì)應(yīng)相連接，形成了一個(gè)U 形結(jié)構(gòu)。網(wǎng)絡(luò)通過跳接的方式，在每個(gè)階段允許解碼器保留編碼器下采樣過程中丟失的特征。對(duì)比segnet，同樣是對(duì)稱的編碼與解碼，但特征的跳接相比反池化可以讓網(wǎng)絡(luò)具備更完整的上采樣能力，在圖8（d）中可以看出，unet 的分割結(jié)果比FCN-8s 更加精細(xì)，而segnet 中被大面積錯(cuò)分類的對(duì)象在unet中也得到了改善。

通過deeplabv3實(shí)現(xiàn)分割后，整體精度與Kappa系數(shù)和unet 的結(jié)果相接近，雖然表現(xiàn)沒有unet 良好，但已經(jīng)超過了FCN-8s 與segnet，其中一個(gè)很大因素是deeplabv3 使用了空洞卷積?？斩淳矸e幫助網(wǎng)絡(luò)捕捉到對(duì)象的上下文信息，deeplabv3 中使用了并行的多尺度空洞卷積，多尺度的空洞卷積讓網(wǎng)絡(luò)的特征變得更加豐富，來自不同尺度的上下文信息幫助網(wǎng)絡(luò)更準(zhǔn)確地分類對(duì)象。但deeplabv3沒有融合低分辨率的特征，如果僅依靠線性插值實(shí)現(xiàn)上采樣，網(wǎng)絡(luò)不容易感知到細(xì)節(jié)的位置與邊緣信息。

本文的模型融合了并行的多尺度空洞卷積，幫助網(wǎng)絡(luò)獲取大范圍的上下文信息，在上采樣過程中，利用低層的高分辨率特征進(jìn)行跳接，彌補(bǔ)了下采樣特征提取時(shí)丟失的細(xì)節(jié)位置與邊緣信息。網(wǎng)絡(luò)學(xué)習(xí)策略基于周期遞增余弦退火方法得到多個(gè)局部最優(yōu)解，在推理時(shí)集成所有局部最優(yōu)解的結(jié)果，按照投票方式選取最終的像素分類結(jié)果，更進(jìn)一步提高網(wǎng)絡(luò)在像素分類上的準(zhǔn)確率。本文方法在本次實(shí)驗(yàn)的數(shù)據(jù)集上，表現(xiàn)均超過了常用語義分割模型，整體精度與Kappa 系數(shù)分別為86.6%和81.8%。

混淆矩陣可以更直觀地反映各類別的分類結(jié)果，本文方法與segnet，unet，deeplabv3 在驗(yàn)證集上的混淆矩陣如圖9所示，由于遙感影像中不同類別的像素?cái)?shù)量分布極不平衡，所以本文對(duì)混淆矩陣的結(jié)果進(jìn)行了歸一化以便于對(duì)比。從圖9看出，本文模型在對(duì)角線上的分布比segnet，unet，deeplabv3方法的分布更集中，這也反應(yīng)了模型在驗(yàn)證集上的語義分割結(jié)果更加吻合于真實(shí)標(biāo)注。

圖9 本文方法與其他方法的混淆矩陣Fig.9 Confusion matrix of the proposed method and other methods

對(duì)于前5個(gè)難分類對(duì)象，本文的語義分割方法與FCN-8s，segnet，unet，deeplabv3相比較，雖然在某些對(duì)象上分類精度不夠高，但每類對(duì)象的分類精度在分布上都更加平均，沒有出現(xiàn)過度偏差，即模型的分類結(jié)果不會(huì)偏向于某些對(duì)象，而忽視剩余對(duì)象。從表3 的分類精度看出，模型的5 個(gè)難分類對(duì)象的分類精度均保持在75.0%以上，這個(gè)表現(xiàn)來源于損失函數(shù)的改進(jìn)，本文模型在訓(xùn)練時(shí)，根據(jù)各類對(duì)象的像素?cái)?shù)量為交叉熵的每一項(xiàng)賦予權(quán)重，迫使網(wǎng)絡(luò)平衡地捕捉每一類對(duì)象的分布。

4.5 完整高分辨率遙感影像的語義分割

在一般計(jì)算機(jī)的硬件條件下，高分辨率遙感影像計(jì)算量過大，不能一次性完成分割，所以必須先切片再逐一語義分割。在拼接各個(gè)切片的分割結(jié)果時(shí)，本文通過簡單的填充孔洞和去除小連通域修復(fù)不合理的預(yù)測(cè)結(jié)果，對(duì)圖像先膨脹后腐蝕，連接鄰近的物體和斷開的輪廓線。對(duì)于一幅完整的高分辨率遙感影像，利用本文方法與主流卷積網(wǎng)絡(luò)模型完成的分割結(jié)果如圖10 所示，各個(gè)方法的整體精度與Kappa 系數(shù)見表4。圖10分別展示了遙感影像的RGB 通道圖像，遙感影像的真實(shí)標(biāo)注，使用本文方法的分割結(jié)果，以及使用segnet，unet，deeplabv3分割的結(jié)果。

表4 語義分割結(jié)果對(duì)比Table 4 Comparison of semantic segmentation results/%

圖10 高分辨率遙感影像語義分割結(jié)果Fig.10 Semantic segmentation results using high-resolution remote sensing image

5 結(jié)論

本文研究了多尺度空洞卷積網(wǎng)絡(luò)架構(gòu)，并融合周期遞增余弦退火方法訓(xùn)練模型，實(shí)現(xiàn)了高分辨率遙感影像的語義分割。卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)在圖像分割上獲得了長足發(fā)展，但遙感影像中的復(fù)雜對(duì)象導(dǎo)致分割能力受到限制。相比之下，本文通過并行的多尺度空洞卷積有效捕捉了復(fù)雜地物對(duì)象的上下文信息，在不增加參數(shù)的情況下擴(kuò)大感受野，同時(shí)保留空間分辨率。全連接條件隨機(jī)場(chǎng)的引入彌補(bǔ)了細(xì)節(jié)的位置與邊緣信息，將分割結(jié)果進(jìn)一步細(xì)化。本文采用周期遞增的余弦退火方法調(diào)整學(xué)習(xí)率，并將局部最優(yōu)解進(jìn)行集成，在實(shí)驗(yàn)中驗(yàn)證了模型的有效性。與主流語義分割模型FCN-8s、segnet、unet 和deeplabv3 相比較，本文方法在Gaofen Image Dataset上取得了更好的語義分割效果。然而，本文方法依然存在改進(jìn)空間，在不簡化模型的情況下，集成模型在時(shí)間上的花費(fèi)總是大于單一模型，考慮用知識(shí)蒸餾的方法得到近似局部最優(yōu)模型的簡單模型，使集成模型的推理速度接近單一模型的推理速度。