基于輕量級(jí)多尺度注意力U-Net的遙感圖像飛機(jī)檢測(cè)方法

張善文，齊國(guó)紅，徐新華

(鄭州西亞斯學(xué)院電子信息工程學(xué)院， 鄭州 451150)

0 引言

基于遙感圖像(RSI)的飛機(jī)自動(dòng)檢測(cè)在動(dòng)態(tài)監(jiān)測(cè)和軍事監(jiān)視中具有很高的應(yīng)用價(jià)值，但由于飛機(jī)圖像在RSI中所占比例相對(duì)較小，且飛機(jī)圖像的個(gè)數(shù)、大小、姿態(tài)、陰影、光照和背景等多變，使得遙感圖像飛機(jī)檢測(cè)成為一項(xiàng)具有挑戰(zhàn)性的課題。

隨著遙感技術(shù)、成像平臺(tái)、大數(shù)據(jù)等技術(shù)的不斷發(fā)展，涌現(xiàn)出了一些基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)和全卷積神經(jīng)網(wǎng)絡(luò)(FCN)的RSI飛機(jī)檢測(cè)方法，且取得了顯著檢測(cè)準(zhǔn)確率。Zhang等[1]構(gòu)建了一種基于CNN的有效飛機(jī)檢測(cè)框架，用于檢測(cè)超大復(fù)雜場(chǎng)景中的多尺度目標(biāo)，能夠快速、準(zhǔn)確地生成數(shù)量適中的目標(biāo)候選對(duì)象，用于檢測(cè)多尺度飛機(jī)。Zhong等[2]利用數(shù)據(jù)增強(qiáng)、遷移學(xué)習(xí)、DCNN和有限的訓(xùn)練樣本，提出了一種端到端的飛機(jī)檢測(cè)方法。Li等[3]提出了基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的RSI飛機(jī)檢測(cè)，實(shí)現(xiàn)了飛機(jī)的自動(dòng)識(shí)別與定位。Yan等[4]設(shè)計(jì)了一種基于中心建議區(qū)域和不變特征的飛機(jī)檢測(cè)方法。從RSI中提取建議區(qū)域，然后提取不變性特征訓(xùn)練集成學(xué)習(xí)分類(lèi)器，利用訓(xùn)練好的分類(lèi)器從RSI中檢測(cè)識(shí)別飛機(jī)。Fu等[5]提出了一種特征融合算法，用于多尺度飛機(jī)檢測(cè)特征表示，取得了較高的檢測(cè)準(zhǔn)確率。蘭旭婷等[6]提出了一種基于注意力與特征融合的RSI飛機(jī)目標(biāo)檢測(cè)方法。該方法結(jié)合了注意力模塊和特征融合模塊，對(duì)RSI飛機(jī)檢測(cè)，取得了較高的檢測(cè)精度和速度。

U-Net是一種比較簡(jiǎn)單的、廣泛應(yīng)用的圖像語(yǔ)義分割模型，在圖像分割方面表現(xiàn)出了顯著的性能[7]。張翠軍等[8]提出了一種基于改進(jìn)U-Net的RSI建筑物分割方法，對(duì)建筑物進(jìn)行檢測(cè)。楊丹等[9]在U-Net中融合Inception模塊，提出了一種多尺度卷積核U-Net(MSU-Net)并應(yīng)用于視網(wǎng)膜血管分割任務(wù)，在視網(wǎng)膜血管分割中取得了較高的準(zhǔn)確率。Tarasiewicz等[10]提出了一個(gè)輕量級(jí)U-Net(LWU-Net)并應(yīng)用于多模態(tài)磁共振腦腫瘤圖像分割中，得到了精確的腦腫瘤輪廓。Xiong等[11]針對(duì)工業(yè)部件缺陷圖像的背景噪聲大、環(huán)境不可預(yù)測(cè)、缺陷形狀大小不一等因素導(dǎo)致缺陷檢測(cè)準(zhǔn)確率降低問(wèn)題，提出了一種多尺度特征融合注意力U-Net (AU-Net)，該模型將注意力U-Net與多尺度特征融合模塊相結(jié)合，有效檢測(cè)噪聲低質(zhì)量圖像中的缺陷。Yuan等[12]提出了一種改進(jìn)的AU-Net，能夠就深度豐富的語(yǔ)義信息和淺層細(xì)節(jié)信息相融合，進(jìn)行大尺寸差異的磁共振血管造影動(dòng)脈瘤圖像進(jìn)行自適應(yīng)精確分割。

針對(duì)RSI飛機(jī)檢測(cè)難題，在MSU-Net,LWU-Net和AU-Net啟發(fā)下，構(gòu)建一種輕量級(jí)多尺度注意力U-Net (LWMSAU-Net)，并應(yīng)用于RSI飛機(jī)檢測(cè)任務(wù)。

1 輕量級(jí)多尺度注意力U-Net

U-Net是一種全卷積U型對(duì)稱(chēng)網(wǎng)絡(luò)，由相互對(duì)稱(chēng)的編碼過(guò)程、解碼過(guò)程和連接過(guò)程組成，其基本架構(gòu)如圖1(a)所示。傳統(tǒng)U-Net對(duì)于每個(gè)鄰域需要運(yùn)行一次，且對(duì)于鄰域重疊部分需要重復(fù)運(yùn)算，其運(yùn)算效率較低。針對(duì)RSI和包含的飛機(jī)圖像的復(fù)雜性，在MSU-Net,LWU-Net和AU-Net的基礎(chǔ)上，利用多尺度卷積、模型輕量化、殘差連接、注意力機(jī)制等優(yōu)點(diǎn)，從U-Net的模型參數(shù)個(gè)數(shù)、編碼、解碼和連接方式多個(gè)角度，對(duì)模型進(jìn)行改進(jìn)，構(gòu)建一個(gè)輕量級(jí)多尺度注意力U-Net (LWMSAU-Net)，其基本架構(gòu)如圖1(b)所示。殘差連接能夠避免提到消失問(wèn)題，在U-Net編碼和解碼部分，提高網(wǎng)絡(luò)的性能。得到編碼模塊和解碼模塊如圖1(c)和圖1(d)所示。

圖1 U-Net和LWMSAU-Net結(jié)構(gòu)

在圖1(b)中，LWMSAU-Net的編碼過(guò)程有4個(gè)模塊，每個(gè)模塊包含3個(gè)卷積和1個(gè)最大池化操作，每次池化下采樣后，特征圖的個(gè)數(shù)乘以2，其維數(shù)變??；解碼過(guò)程有4個(gè)模塊，在每個(gè)模塊操作前，反褶積將特征圖的維數(shù)乘以2，特征圖的數(shù)量減半，再與左邊對(duì)稱(chēng)的編碼過(guò)程的特征圖相結(jié)合。由于編碼特征圖與解碼特征圖的維數(shù)不同，所以需要通過(guò)裁剪操作使得對(duì)應(yīng)的特征圖的維數(shù)相同，便于特征圖融合；連接過(guò)程采用跳躍連接方式，將U-Net得到的淺層和深層的特征進(jìn)行融合；最后采用SoftMax分類(lèi)器進(jìn)行像素級(jí)分類(lèi)。

模塊中由3種不同尺度特征的卷積核進(jìn)行特征提?。?×1、3×3和5×5，并在卷積后使用3×3最大池化層進(jìn)行眼底視網(wǎng)膜血管特征信息融合。經(jīng)過(guò)池化層融合后的特征信息輸入到1×1卷積層進(jìn)行尺度壓縮，解決了不同尺度信息提取過(guò)程中網(wǎng)絡(luò)參數(shù)和特征量冗余的問(wèn)題。

在編碼和解碼部分使用一個(gè)殘差注意力門(mén)連接加強(qiáng)特征重用，將編碼中提取的低級(jí)特征和解碼中高級(jí)語(yǔ)義特征進(jìn)行整合，提高模型的檢測(cè)性能，從而得到更多不同尺度飛機(jī)圖像的細(xì)節(jié)，其結(jié)構(gòu)如圖1(e)所示。

底層卷積特征能夠保留飛機(jī)的細(xì)節(jié)信息，為了最大限度地提取不同尺度大小的飛機(jī)圖像特征，將多尺度卷積模塊Inception引入U(xiǎn)-Net編碼部分，如圖1(f)所示。其主要過(guò)程為：將多個(gè)不同的淺層和深層網(wǎng)絡(luò)特征級(jí)聯(lián)，并對(duì)不同的卷積層賦予不同的權(quán)重，通過(guò)模型訓(xùn)練自動(dòng)學(xué)習(xí)殘差注意力模塊中的參數(shù)，使得殘差注意力模塊能夠同時(shí)關(guān)注多個(gè)編碼得到的特征，使模型更好地關(guān)注飛機(jī)的局部特征。在每一個(gè)注意力門(mén)結(jié)構(gòu)中，從解碼器的前一層提取的特征被用作門(mén)控特征，由此調(diào)整并行的殘差輸出xi的權(quán)重；再將經(jīng)過(guò)權(quán)重調(diào)整后的xi與G進(jìn)行拼接整合；注意力門(mén)函數(shù)可表示為：

αi=fatt(αi,G;θatt)

(1)

式中：fatt通過(guò)一組參數(shù)θatt定義xi與G的運(yùn)算。運(yùn)算包含使用通道方向1×1卷積的線性變換以及利用激活函數(shù)Relu和Sigmoid的非線性變換。注意力門(mén)操作不改變輸入xi的維數(shù)，所以可以靈活地用于各種U-Net結(jié)構(gòu)中。

模型性能可以通過(guò)計(jì)算檢測(cè)的飛機(jī)圖像與標(biāo)注的飛機(jī)圖像之間的差異估計(jì)，利用交叉熵值來(lái)評(píng)定網(wǎng)絡(luò)的訓(xùn)練效果，當(dāng)交叉熵值越小，表明網(wǎng)絡(luò)的訓(xùn)練效果越好。在LWMSAU-Net的訓(xùn)練過(guò)程中，計(jì)算標(biāo)注的飛機(jī)圖像與檢測(cè)的飛機(jī)圖像的每個(gè)像素點(diǎn)的交叉熵，然后取平均值，再利用平均像素交叉熵?fù)p失函數(shù)評(píng)估評(píng)定LWMSAU-Net的訓(xùn)練效果，平均交叉熵?fù)p失可表示為：

(2)

式中：p(x)和q(x)分別為標(biāo)注圖像和檢測(cè)圖像的像素分類(lèi)向量；N為圖像的總像素?cái)?shù)；X為輸入圖像的特征向量；x為輸入圖像每個(gè)像素的特征向量。

得到損失值后，再利用反向傳播算法將損失值回傳到網(wǎng)絡(luò)的每個(gè)卷積層，對(duì)卷積層的權(quán)重參數(shù)進(jìn)行更新，進(jìn)行多次迭代直到損失值穩(wěn)定時(shí)訓(xùn)練結(jié)束。

2 實(shí)驗(yàn)與分析

采用公開(kāi)RSI數(shù)據(jù)集EORSSD(https://github. com/rmcong/EORSSD-dataset)中的包含飛機(jī)圖像的RSI子集進(jìn)行實(shí)驗(yàn)，驗(yàn)證所提出的飛機(jī)檢測(cè)方法LWMSAU-Net。該子集包含258幅飛機(jī)RSI圖像，不同圖像包含一個(gè)或多個(gè)小尺寸、不同位置和角度、不同分辨率和背景的飛機(jī)。由于原始飛機(jī)RSI的分辨率不同，從973像素×760像素到242像素×239像素，為了模型方便訓(xùn)練，將每張圖像的大小調(diào)整為128像素×128像素。利用圖像數(shù)據(jù)集擴(kuò)展方法將每幅圖像擴(kuò)展為10幅圖像，得到共包含2 580幅飛機(jī)RSI數(shù)據(jù)集。在擴(kuò)展數(shù)據(jù)集中每幅圖像都包含飛機(jī)，以保證所提出檢測(cè)方法可對(duì)飛機(jī)自動(dòng)檢測(cè)。在該數(shù)據(jù)集上按照5折交差驗(yàn)證法進(jìn)行實(shí)驗(yàn)，并與U-Net，MSU-Net，LWU-Net和AU-Net方法進(jìn)行比較。迭代次數(shù)設(shè)為3 000，學(xué)習(xí)率為0.01，批大小為32，Adam為模型優(yōu)化算法。所有實(shí)驗(yàn)的軟件配置為PyCharm，Keras，TensorFlow，Python；硬件配置為64位操作系統(tǒng)Win10，Intel(R)CoreTM i7-9700KCPU@3.6 GHz，64.0 GB內(nèi)存，NVIDIA GeForce GTX1070Ti。

檢測(cè)準(zhǔn)確率表示正確分類(lèi)的飛機(jī)像素占真實(shí)飛機(jī)像素的比值P：

(3)

式中：TP為經(jīng)過(guò)網(wǎng)絡(luò)得到的飛機(jī)檢測(cè)結(jié)果與原始飛機(jī)區(qū)域的重合部分；FP為分割結(jié)果中不屬于飛機(jī)區(qū)域的部分。

圖2為基于LWMSAU-Net和經(jīng)典U-Net的飛機(jī)檢測(cè)方法在訓(xùn)練集上關(guān)于迭代次數(shù)的損失值。

圖2 LWMSAU-Net和經(jīng)典U-Net的損失值

從圖2看出，隨著迭代次數(shù)增加，2個(gè)模型的損失值在1 000次之前下降很快，當(dāng)次數(shù)不斷增加時(shí)損失值趨于穩(wěn)定；經(jīng)典U-Net的損失值變化曲線波動(dòng)較大；當(dāng)?shù)螖?shù)大于2 500次時(shí)兩個(gè)模型都基本收斂，表明模型達(dá)到了較好的訓(xùn)練效果。為了公平起見(jiàn)，下面實(shí)驗(yàn)中，選擇所有訓(xùn)練好的模型都為迭代次數(shù)為3 000次時(shí)的模型，由此在測(cè)試集上進(jìn)行飛機(jī)檢測(cè)。

圖3(c)～圖3(g)為基于U-Net，MSU-Net，LWU-Net，AU-Net和LWMSAU-Net的檢測(cè)方法對(duì)一幅簡(jiǎn)單RSI的飛機(jī)分割圖像。為了充分展現(xiàn)U-Net的優(yōu)勢(shì)，將LWMSAU-Net與傳統(tǒng)的3種圖像分割算法進(jìn)行比較： K-均值聚類(lèi)算法(KMC)、改進(jìn)的均值聚類(lèi)算法(MKMC)和模糊C-均值聚類(lèi)算法 (FCM)分割結(jié)果如圖3(h)～圖3(j)所示。

圖3 基于飛機(jī)分割結(jié)果

從圖3可以看出：5種U-Net及其改進(jìn)模型都能實(shí)現(xiàn)飛機(jī)圖像的準(zhǔn)確定位和完整分割；LWMSAU-Net的分割效果最好，增強(qiáng)了對(duì)細(xì)節(jié)部分的分割效果，分割圖像最接近標(biāo)注圖像；U-Net的分割效果比較差，飛機(jī)輪廓模糊，與標(biāo)注圖像差異最大；MSU-Net和AU-Net的分割效果優(yōu)于LWU-Net；MSU-Net的分割效果優(yōu)于AU-Net?；赨-Net系列的圖像分割方法明顯優(yōu)于傳統(tǒng)的圖像分割方法的主要原因是：5種基于U-Net類(lèi)的圖像分割方法能夠?qū)⒍鄬泳幋a部分的低級(jí)特征和對(duì)應(yīng)的解碼中高級(jí)語(yǔ)義特征進(jìn)行充分融合，再通過(guò)分類(lèi)器Softmax進(jìn)行像素級(jí)分類(lèi)，可得到完整的飛機(jī)圖像。

為了表明所提出模型LWMSAU-Net的魯棒性，分別使用5種U-Net類(lèi)方法對(duì)5幅復(fù)雜RSI進(jìn)行魯棒性對(duì)比實(shí)驗(yàn)。復(fù)雜圖像指RSI的背景且包含的飛機(jī)圖像模糊、飛機(jī)較小，如圖4(a)所示，分割效果如圖4(b)～圖4(f)所示。

圖4 由5種U-Net類(lèi)方法分割的飛機(jī)圖像

由圖4可以看出：5種U-Net類(lèi)方法均能夠?qū)?幅復(fù)雜背景下多個(gè)模糊的飛機(jī)圖像分割出來(lái)，但LWMSAU-Net幾乎不受環(huán)境的影響，穩(wěn)定性較高，能夠有效的分割出飛機(jī)區(qū)域，分割的飛機(jī)圖像與標(biāo)注圖像最相似；U-Net的分割結(jié)果最差，能夠定位飛機(jī)，但分割的飛機(jī)圖像的邊緣比較模糊；LWU-Net丟失小目標(biāo)，不能對(duì)較小飛機(jī)圖像進(jìn)行分割；MSU-Net和AU-Net能夠分割出完整的飛機(jī)，但分割的飛機(jī)圖像有明顯的噪聲。

在2 580幅的擴(kuò)展數(shù)據(jù)集上利用5折交差驗(yàn)證方法進(jìn)行實(shí)驗(yàn)。表1為5種U-Net類(lèi)方法的飛機(jī)分割結(jié)果。

表1 5種U-Net類(lèi)方法的飛機(jī)檢測(cè)的平均準(zhǔn)確率和 模型的訓(xùn)練時(shí)間

由圖3和圖4可以看出：5種U-Net類(lèi)方法明顯比3種傳統(tǒng)方法好。由表1可以看出：提出的LWMSAU-Net優(yōu)于其他4種U-Net類(lèi)方法，準(zhǔn)確率達(dá)94.22%，其次是MSU-Net，其檢測(cè)性能較好，準(zhǔn)確率為92.13%，主要原因是MSU-Net 和LWMSAU-Net均具有多尺度特征提取能力，能夠同時(shí)對(duì)不同尺度的飛機(jī)圖像進(jìn)行分割；SCNN和M-FCN不適合提取多尺度飛機(jī)檢測(cè)；LWU-Net和LWMSAU-Net的訓(xùn)練時(shí)間較少，其原因是他們的模型為輕量級(jí)、層數(shù)少、訓(xùn)練參數(shù)少；LWMSAU-Net的訓(xùn)練時(shí)間最少的原因是，它利用了多尺度卷積模塊和殘差連接模塊，加速了模型收斂。

3 結(jié)論

針對(duì)傳統(tǒng)的飛機(jī)檢測(cè)方法對(duì)背景復(fù)雜且包含不同尺度飛機(jī)的檢測(cè)效果不理想問(wèn)題，構(gòu)建了一種輕量級(jí)多尺度注意力U-Net模型(LWMSAU-Net)。該模型充分利用了輕量級(jí)、多尺度卷積、殘差連接、注意力和U-Net的優(yōu)勢(shì)，通過(guò)多尺度U-Net提取不同尺度特征圖，再通過(guò)殘差級(jí)聯(lián)，將編碼特征與對(duì)應(yīng)的解碼特征相融合，從而增加飛機(jī)檢測(cè)的細(xì)節(jié)信息，提高對(duì)較小飛機(jī)的檢測(cè)準(zhǔn)確率。在公開(kāi)的飛機(jī)遙感圖像集上進(jìn)行實(shí)驗(yàn)驗(yàn)證，結(jié)果表明：LWMSAU-Net能夠有效分割遙感圖像的飛機(jī)，準(zhǔn)確率為94.22%。未來(lái)工作為對(duì)遙感圖像的密集飛機(jī)目標(biāo)檢測(cè)進(jìn)行深入研究，設(shè)計(jì)參數(shù)優(yōu)化方案，進(jìn)一步提升本模型的魯棒性和泛化能力。