基于空洞Inception注意力U-Net的遙感圖像目標(biāo)分割方法

李 萍，栗 娜，孟令媛

(鄭州西亞斯學(xué)院計(jì)算機(jī)與軟件工程學(xué)院，河南 鄭州 451150)

0 引言

長期以來,遙感圖像多尺度目標(biāo)分割(TSRSI)在軍用和民用目標(biāo)檢測和監(jiān)測中一直發(fā)揮著關(guān)鍵作用。不僅在國家安全、軍事監(jiān)測、導(dǎo)彈制導(dǎo)等方面有廣泛應(yīng)用,在軍事目標(biāo)識(shí)別定位、實(shí)時(shí)跟蹤、軍事預(yù)警、電子對抗等高科技軍事對抗中也起到了關(guān)鍵作用,并且還將有重要的發(fā)展[1-4]。Cheng等[5]綜述遙感圖像目標(biāo)分割領(lǐng)域的最新進(jìn)展和挑戰(zhàn),涵蓋了大約270個(gè)出版物,并提出了兩個(gè)有前景的研究方向,即基于深度學(xué)習(xí)的特征表示和基于弱監(jiān)督學(xué)習(xí)的地理空間目標(biāo)分割。李曉斌等[6]針對光學(xué)遙感圖像中常見的飛機(jī)、艦船等目標(biāo),總結(jié)了目標(biāo)分割方法、候選區(qū)域選擇、特征學(xué)習(xí)、分類、目標(biāo)分割性能評價(jià)準(zhǔn)則和數(shù)據(jù)集,其中對于目標(biāo)分割方法,并對未來重點(diǎn)發(fā)展方向進(jìn)行了展望。Wang等[7]提出了一種基于圓形灰度特征的端到端的輕型飛機(jī)檢測框架,該框架可以在少量訓(xùn)練樣本的情況下準(zhǔn)確檢測飛機(jī),極大減少了對大數(shù)據(jù)集的需求。高宇歌等[8]介紹了基于幾何知識(shí)、上下文知識(shí)、輔助知識(shí)、綜合知識(shí)、一級(jí)和二級(jí)卷積神經(jīng)網(wǎng)絡(luò)的方法,重點(diǎn)介紹了聯(lián)合知識(shí)和卷積神經(jīng)網(wǎng)絡(luò)的新方法以及改進(jìn)遙感圖像數(shù)據(jù)集、調(diào)整算法網(wǎng)絡(luò)框架、實(shí)現(xiàn)目標(biāo)上下文推理等3種具體應(yīng)用形式,給出了基于聯(lián)合知識(shí)和卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像目標(biāo)分割的前景。卷積神經(jīng)網(wǎng)絡(luò)(CNN)克服了傳統(tǒng)遙感圖像目標(biāo)分割方法的不足,能夠提取復(fù)雜圖像的深層分類特征,在遙感圖像目標(biāo)分割中取得了顯著效果[9-10]。現(xiàn)有很多基于CNN的遙感圖像目標(biāo)分割方法都包含大量訓(xùn)練參數(shù),需要大量的訓(xùn)練樣本來驅(qū)動(dòng)。將特征金字塔模塊[11]、多尺度卷積[12]、特征擴(kuò)展模塊[13]和注意力機(jī)制[14]等引入到CNN,得到改進(jìn)的CNN模型,能夠極大提高CNN的分割性能。張省等[11]考慮了遙感圖像的場景復(fù)雜以及尺度問題,構(gòu)建了一個(gè)基于空洞卷積上下文注意力網(wǎng)絡(luò),在此基礎(chǔ)上提出了一直精細(xì)化的TSRSI方法。U-Net是一個(gè)常用的全卷積神經(jīng)網(wǎng)絡(luò),廣泛應(yīng)用于醫(yī)學(xué)圖像分割任務(wù),能夠?qū)崿F(xiàn)圖像像素的定位,能夠?qū)D像中的每一個(gè)像素點(diǎn)進(jìn)行分類,最后輸出的是根據(jù)像素點(diǎn)的類別而分割好的圖像[15]。針對傳統(tǒng)遙感圖像飛機(jī)分割方法對背景復(fù)雜、尺度不同的飛機(jī)分割效果不理想的問題,張善文等[16]構(gòu)建了一種輕量級(jí)多尺度注意U-Net模型,并應(yīng)用于遙感圖像飛機(jī)檢測方法。該模型充分利用輕量化、多尺度卷積、殘差連接、注意和U-Net等優(yōu)點(diǎn),通過多尺度U-Net提取不同尺度的特征圖,再通過殘差拼接將編碼特征與相應(yīng)的解碼特征融合,從而增加飛機(jī)分割的細(xì)節(jié),提高小型飛機(jī)的分割精度。張婷等[17]提出一種基于超像素與多尺度殘差U-Net相結(jié)合的遙感飛機(jī)檢測方法。該方法通過改進(jìn)的U-Net提取遙感飛機(jī)的不同尺度特征圖,并通過級(jí)聯(lián)模型,將編碼特征與對應(yīng)的解碼特征相融合,增加飛機(jī)分割的細(xì)節(jié)信息,學(xué)習(xí)其多尺度判別特征。

針對TSRSI中存在的特征提取困難、尺度差異較大和背景復(fù)雜以及現(xiàn)有的CNN模型訓(xùn)練時(shí)間太長等問題,構(gòu)建注意力空洞多尺度U-Net模型(ADMSU-Net),并應(yīng)用于TSRSI任務(wù)。該模型將空洞Inception和空間注意力模塊相結(jié)合,極大提高模型的分割性能,利用空洞Inception模塊生成多尺度卷積感受域,提取多尺度特征;利用空間注意力模塊抑制不相關(guān)的特征,同時(shí)突出對TSRSI任務(wù)的顯著特征。

1 注意力空洞多尺度U-Net (ADMSU-Net)

構(gòu)建一種基于注意力空洞多尺度U-Net (ADMSU-Net)的TSRSI方法。ADMSU-Net充分利用了多尺度卷積、空洞卷積和注意力機(jī)制的優(yōu)點(diǎn),其架構(gòu)如圖1所示。

圖1 注意力空洞多尺度U-Net(ADMSU-Net)模型Fig.1 Attention dilated multi-scale U-Net (ADMSU-Net)

ADMSU-Net的3個(gè)主要模塊介紹如下:

1) 空洞卷積和空洞Inception模塊?？斩淳矸e可以通過在卷積核中插入孔(零)來擴(kuò)大卷積核的接受域,而不增加權(quán)值參數(shù)和降低分辨率,如圖2(a)所示。為了更好地提取遙感圖像中目標(biāo)的局部細(xì)節(jié)和全局上下文信息,CNN模型要求具有不同大小的多尺度接受域,Inception模塊可以獲得多尺度的感受域,而空洞卷積可以在不增加計(jì)算成本的情況下擴(kuò)展感受域。在Inception中引入空洞卷積,構(gòu)造一個(gè)具有不同空洞速率的空洞Inception模塊,適用于多尺度目標(biāo)特征的學(xué)習(xí)。其結(jié)構(gòu)如圖2(b)所示。在圖2(b)中,輸入被傳輸?shù)?個(gè)不同的并行通道,分別由4個(gè)1×1卷積層、4個(gè)不同擴(kuò)張速率的空洞卷積層和級(jí)聯(lián)層組成,其中4個(gè)空洞卷積層用于獲取局部特征,4個(gè)1×1卷積層用于獲取全局特征,降低卷積核中通道數(shù)的維數(shù),從而減少CNN計(jì)算量。

圖2 ADMSU-Net的3個(gè)主要組成模塊Fig.2 Three main component modules of ADMSU-Net

2) 空洞卷積殘差模塊。在U-Net中,采用跳躍式連接,直接將編碼器中下采樣的底層特征與上采樣的高層細(xì)節(jié)特征結(jié)合起來,送入上采樣路徑進(jìn)行分割。然而,特征圖的分辨率在不同的層次上是不同的。直接將下采樣路徑的特征與相應(yīng)的上采樣路徑相結(jié)合不利于多尺度目標(biāo)的精細(xì)分割。構(gòu)造一個(gè)擴(kuò)張卷積殘差模塊,如圖2(c)所示,將擴(kuò)張率設(shè)為2,將下采樣路徑中的低層次特征進(jìn)一步擴(kuò)展卷積感受區(qū)域,使用Add操作與原始輸入圖像形成一個(gè)空洞卷積殘差塊。

3) 空間注意力模塊。為了提高分類和分割的特征提取性能,經(jīng)常將注意力機(jī)制引入卷積塊中。設(shè)計(jì)一個(gè)空間注意力模塊,如圖2(d)所示,通過最大池化和平均池化操作,進(jìn)行卷積操作:給定每個(gè)空洞卷積層中的特征圖F∈RH×W×C,其中,H、W和C分別為特征圖的長度、寬度和通道數(shù),通過max-pooling和average-pooling生成特征圖Fmp∈RH×W×1和Fap∈RH×W×1。在卷積層上使用Sigmoid來獲得空間注意力特征圖Ms∈RH×W×1,則輸出的特征圖為Fs∈RH×W×C:

FS=FMS(F)=
Fσ(f7×7((Maxpool(F);Avgpool(F))))

(1)

式中:f7×7為大小為7×7的卷積運(yùn)算;σ為Sigmoid函數(shù);Maxpool(F)和Avgpool(F)分別為最大池化和平均池化。

最后,由SoftMax分類器實(shí)現(xiàn)TSRSI。其目標(biāo)函數(shù)用分類交叉熵表示,用于度量實(shí)際分布與期望分布之間的差值。

為了實(shí)現(xiàn)精確定位,ADMSU-Net將壓縮路徑提取的局部像素特征與上采樣過程中的新特征圖相結(jié)合。將局部特征與全局特征相結(jié)合,通過特征集成提高像素類別預(yù)測的精度,從而保留下采樣過程中的一些重要特征。模型性能評定主要通過計(jì)算分割出的目標(biāo)圖像與標(biāo)注圖像之間的差異。交叉熵函數(shù)經(jīng)常作為CNN的性能評價(jià)指標(biāo),通過計(jì)算標(biāo)注圖像與分割圖像之間的交叉熵值來評定模型訓(xùn)練的效果,當(dāng)交叉熵值越小,表明模型的訓(xùn)練效果越好。在ADMSU-Net的訓(xùn)練過程中,將標(biāo)注圖像與分割圖像的每一個(gè)像素點(diǎn)進(jìn)行計(jì)算交叉熵并取平均值,利用平均像素交叉熵?fù)p失函數(shù)評定ADMSU-Net的訓(xùn)練效果。平均交叉熵?fù)p失如下:

(2)

式中:p(x)為標(biāo)注圖像的像素分類向量;q(x)為分割圖像的像素分類向量;n為圖像包含的總像素個(gè)數(shù);x表示輸入圖像的特征向量;X為輸入圖像每個(gè)像素的特征向量。

由式(2)計(jì)算像素間損失值后,利用反向傳播算法將損失值回傳到網(wǎng)絡(luò)模型的每一個(gè)卷積層中,對卷積層的權(quán)重參數(shù)進(jìn)行更新,經(jīng)過多次循環(huán)迭代,直到輸出損失值穩(wěn)定時(shí)結(jié)束訓(xùn)練。

為了實(shí)現(xiàn)遙感圖像中目標(biāo)的精確定位,ADMSU-Net將編碼部分提取的局部像素特征與上采樣過程中的新特征圖相結(jié)合。將局部特征與全局特征相結(jié)合,通過特征集成提高像素類別預(yù)測的精度,能夠保留下采樣過程中的一些重要特征。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)設(shè)置和圖像數(shù)據(jù)集

為了驗(yàn)證ADMSU-Net對TSRSI的性能,在公開RSI數(shù)據(jù)集EORSSD上進(jìn)行TSRSI實(shí)驗(yàn),并與兩種現(xiàn)有的TSRSI方法進(jìn)行比較:基于輕量級(jí)多尺度注意力U-Net(LWMSAU-Net)[16]和超像素與多尺度殘差U-Net相結(jié)合方法(SPMSRU-Net)[17],將U-Net作為基準(zhǔn)網(wǎng)絡(luò)。為了提高模型分割效果,訓(xùn)練模型遍歷數(shù)據(jù)集120輪,相應(yīng)的訓(xùn)練迭代次數(shù)為3 000次。采用梯度下降和反向傳播算法對模型參數(shù)進(jìn)行更新,采用批量訓(xùn)練方式進(jìn)行實(shí)驗(yàn),批處理大小設(shè)置為10,學(xué)習(xí)率設(shè)置為1×10-10,動(dòng)量設(shè)置為0.99以防止過擬合。實(shí)驗(yàn)環(huán)境為處理器為Intel Xeon Gold 5120 CPU@2.20 GHz的服務(wù)器,GPU是4個(gè)NVIDIA GeForce RTX2080Ti GPU,顯存為11 GB,Python3.6.11編程。目標(biāo)分割準(zhǔn)確率表示正確分類的目標(biāo)像素占真實(shí)目標(biāo)像素的比值P:

(3)

式中:PT為經(jīng)過網(wǎng)絡(luò)得到的目標(biāo)分割結(jié)果與原始飛機(jī)區(qū)域的重合部分,即圖像中標(biāo)注為目標(biāo)像素、預(yù)測結(jié)果也為目標(biāo)像素的總像素?cái)?shù);PF為分割結(jié)果中不屬于目標(biāo)區(qū)域的部分,即圖像中標(biāo)注為背景像素、預(yù)測結(jié)果為目標(biāo)像素的總像素?cái)?shù)。

EORSSD數(shù)據(jù)集包含2 000幅RSI圖像和相應(yīng)的像素級(jí)標(biāo)注的真圖。EORSSD數(shù)據(jù)集中的遙感圖像存在特征提取困難、尺度差異較大及目標(biāo)方向的表示等問題,選擇包含一個(gè)或多個(gè)飛機(jī)、船舶和儲(chǔ)罐等目標(biāo)的圖像,構(gòu)建TSRSI數(shù)據(jù)集。該數(shù)據(jù)集中圖像中的目標(biāo)大小、形狀、位置、角度、分辨率和背景等不同,圖像分辨率不同從973×760到242×239。在訓(xùn)練過程中,由于直接訓(xùn)練原始高分辨率遙感圖像可能影響分割精度,為了模型訓(xùn)練方便,將每幅圖像的大小剪裁為128×128的圖像塊,并進(jìn)行90°、180°和270°旋轉(zhuǎn)以及左右和上下鏡像操作擴(kuò)充圖像,得到EORSSD目標(biāo)圖像集,再進(jìn)行訓(xùn)練和分割。

2.2 實(shí)驗(yàn)結(jié)果

為了說明空洞卷積的優(yōu)勢,圖3顯示了遙感飛機(jī)圖像的4張空洞卷積特征圖,其中3×3卷積核為[0,-1,0; -1,5,-1; 0,-1,0],空洞率r取值分別為1～4。從圖3可以看出,遙感圖像中的飛機(jī)目標(biāo)被4個(gè)空洞卷積后明顯突出,有利于目標(biāo)分割。

為了驗(yàn)證基于ADMSU-Net的TSRSI分割性能,采用5-折交差驗(yàn)證法在TSRSI數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)并與LWMSAU-Net和 SPMSRU-Net進(jìn)行比較。在實(shí)驗(yàn)過程中,迭代次數(shù)設(shè)置為3 000次,不同分割方法的訓(xùn)練過程如圖4所示。

圖4 模型的損失值隨迭代次數(shù)變化Fig.4 The loss of the model changes with the number of iterations

從圖4可以看出,隨著迭代次數(shù)不斷增加,損失值不斷下降,在參數(shù)的初始訓(xùn)練階段一般需要進(jìn)行大量迭代訓(xùn)練,當(dāng)次數(shù)不斷增加時(shí)Loss 值趨于穩(wěn)定。當(dāng)完成3 000次迭代時(shí)ADMSU-Net的損失值最低,訓(xùn)練過程相對穩(wěn)定;U-Net的損失值最高,變化波動(dòng)較大,說明ADMSU-Net的訓(xùn)練效果更好,模型更穩(wěn)定。

為了評價(jià)空洞Inception模塊的優(yōu)勢,分別在ADMSU-Net中使用空洞Inception模塊和Inception模型進(jìn)行對比實(shí)驗(yàn)。其目標(biāo)分割精度與迭代次數(shù)之間的關(guān)系如圖5所示。由圖5可以看出,空洞Inception模塊明顯優(yōu)于Inception模型,因?yàn)榭斩碔nception采用了不同空洞率的并行空洞卷積,能夠豐富特征圖中感受野的尺度多樣性,同時(shí)能夠顯著降低計(jì)算量。

圖5 空洞Inception模塊與Inception模塊的對比Fig.5 Comparison of dilated Inception module and Inception module

將經(jīng)過3 000次迭代訓(xùn)練的模型用于TSRSI。圖6為4種模型的TSRSI結(jié)果。從圖6看出,U-Net及其3種改進(jìn)的模型都能從遙感圖像中比較準(zhǔn)確的分割出目標(biāo)圖像,而且ADMSU-Net分割的目標(biāo)比較完整,能夠確定目標(biāo)在遙感圖像中的具體位置,分割的噪聲背景比較低,對很小目標(biāo)區(qū)域的分割效果較好;SPMSRU-Net的分割效果優(yōu)于LWMSAU-Net,U-Net的分割效果比較差,出現(xiàn)了明顯的誤分割現(xiàn)象。

圖6 由4種模型分割的多尺度目標(biāo)圖像Fig.6 Multi-scale RSI target image segmentation by four models

由圖6看出,U-Net及其3種改進(jìn)模型都能夠準(zhǔn)確地從背景比較簡單的遙感圖像中分割所有的目標(biāo)。為了進(jìn)一步表明文中所構(gòu)建的模型的魯棒性,分別使用以上4種模型在比較復(fù)雜的遙感圖像上進(jìn)行實(shí)驗(yàn),其中包括待分割圖像中存在復(fù)雜背景噪聲、目標(biāo)太小、多個(gè)不同目標(biāo)、目標(biāo)模糊、周圍有復(fù)雜的非目標(biāo)、光照條件復(fù)雜等情況,分割結(jié)果如圖7所示。

圖7 由4種模型分割的復(fù)雜RSI目標(biāo)圖像Fig.7 Complex RSI target image segmentation by four models

比較圖6和圖7可以看出,在多種復(fù)雜背景下的TSRSI結(jié)果中,ADMSU-Net的分割效果最好,幾乎不受環(huán)境影響,能夠有效的分割出目標(biāo)區(qū)域,增強(qiáng)了對細(xì)節(jié)部分的分割效果,分割的目標(biāo)邊緣比較清晰,分割圖像最接近標(biāo)注圖像。U-Net的分割效果比較差,目標(biāo)輪廓比較模糊,與標(biāo)注圖像差異最大;SPMSRU-Net比LWMSAU-Net分割結(jié)果中含有大量噪聲;盡管SPMSRU-Net比LWMSAU-Net的分割效果好些,但對于小目標(biāo)的分割精度不夠。對于復(fù)雜光照下的目標(biāo)分割問題,由于光照強(qiáng)度的增強(qiáng),加大了分割的復(fù)雜度,導(dǎo)致SPMSRU-Net和LWMSAU-Net都將背景區(qū)域誤分為目標(biāo)區(qū)域。ADMSU-Net分割模型能夠有效分割出不同場景下的目標(biāo)區(qū)域,分割效果受自然條件影響較小,穩(wěn)定性較高,該方法具有較強(qiáng)的魯棒性,能夠滿足不同場景下的目標(biāo)分割任務(wù)。

在包含目標(biāo)的2 000幅圖像數(shù)據(jù)集上,利用5-折交差驗(yàn)證方法進(jìn)行實(shí)驗(yàn)。表1為U-Net及其3個(gè)改進(jìn)模型LWMSAU-Net、SPMSRU-Net和ADMSU-Net分割目標(biāo)的準(zhǔn)確率和模型的訓(xùn)練時(shí)間。

表1 4種方法的目標(biāo)分割的平均準(zhǔn)確率和模型的訓(xùn)練時(shí)間Table 1 Average accuracy of target segmentation and training time by four methods

從表1看出,ADMSU-Net的分割性能最好,分割精度最高、訓(xùn)練時(shí)間最少,ADMSU-Net的訓(xùn)練時(shí)間最短。主要原因是ADMSU-Net的參數(shù)較少,而且利用了注意力模塊,加速網(wǎng)絡(luò)訓(xùn)練。

2.3 結(jié)果分析

由圖4～圖7和表1可以看出,ADMSU-Net明顯比LWMSAU-Net和SPMSRU-Net好,準(zhǔn)確率達(dá)93.14%,訓(xùn)練時(shí)間為5.92 h。主要原因是ADMSU-Net;其次是SPMSRU-Net,其分割性能較好,準(zhǔn)確率為92.35%,但訓(xùn)練時(shí)間較長。主要原因是MSU-Net和LWMSAU-Net均具有多尺度特征提取能力,能夠同時(shí)對不同尺度的飛機(jī)圖像進(jìn)行分割。SCNN和M-FCN不適合提取多尺度目標(biāo)的多尺度特征。LWU-Net和LWMSAU-Net的訓(xùn)練時(shí)間較少,其原因是他們的模型為輕量級(jí)、層數(shù)少、訓(xùn)練參數(shù)少;LWMSAU-Net的訓(xùn)練時(shí)間最少的原因是,它利用了多尺度卷積模塊和殘差連接模塊,加速了模型收斂。

3 結(jié)論

針對遙感圖像目標(biāo)分割難題,以及現(xiàn)有的CNN模型的訓(xùn)練時(shí)間太長和需要大量訓(xùn)練樣本等問題,提出一種基于注意力空洞多尺度U-Net模型(ADMSU-Net)的遙感圖像目標(biāo)分割方法。該方法充分考慮遙感圖像多樣、背景復(fù)雜以及包含的目標(biāo)較小、大小不同等問題,利用空洞Inception模塊生成多尺度卷積感受域,提取多尺度特征;利用空間注意力模塊抑制不相關(guān)的特征,同時(shí)突出對目標(biāo)分割顯著的特征,極大提高模型的分割性能。在包含多尺度目標(biāo)的遙感圖像數(shù)據(jù)集EORSSD上的實(shí)驗(yàn)結(jié)果表明,該方法是有效可行的,分割準(zhǔn)確率為93.14%。在未來的工作中考慮目標(biāo)大小和角度變化對網(wǎng)絡(luò)性能的影響,優(yōu)化ADMSU-Net網(wǎng)絡(luò),進(jìn)一步提高目標(biāo)分割的精度和模型的泛化能力。