基于改進(jìn)RPN的Faster-RCNN網(wǎng)絡(luò)SAR圖像車輛目標(biāo)檢測方法

曹 磊 王 強(qiáng) 史潤佳 蔣忠進(jìn)

(東南大學(xué)毫米波國家重點(diǎn)實(shí)驗(yàn)室， 南京 210096)

近年來，深度學(xué)習(xí)迅猛發(fā)展，被應(yīng)用到軍事、地探、醫(yī)療等各個領(lǐng)域，并取得了很好的效果[1].其中，卷積神經(jīng)網(wǎng)絡(luò)(CNN)[2]以其在圖像處理方面優(yōu)異的檢測與識別能力受到了普遍的重視.CNN不僅大量用于光學(xué)圖像處理，也在SAR圖像自動解譯中表現(xiàn)出色[3-8]，能夠高效準(zhǔn)確地進(jìn)行目標(biāo)檢測與識別[9].

Girshick等[10]提出了基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(R-CNN)的目標(biāo)檢測框架.自此，目標(biāo)檢測由基于視覺特征和統(tǒng)計(jì)特征為主的時期進(jìn)入基于深度學(xué)習(xí)的時期，并獲得了快速的發(fā)展.從R-CNN到SPP-NET[11]、Fast-RCNN[12]，再到Faster-RCNN[13]，網(wǎng)絡(luò)的性能越來越好，尤其Faster-RCNN是真正意義上的端到端深度學(xué)習(xí)目標(biāo)檢測算法.Faster-RCNN最大的創(chuàng)新點(diǎn)在于設(shè)計(jì)了候選區(qū)域生成網(wǎng)絡(luò)(RPN)，由RPN來提取特征和完成候選區(qū)域的篩選，并對目標(biāo)進(jìn)行檢測和定位，然后將篩選出的候選框送至分類識別層進(jìn)行目標(biāo)分類操作，明顯提高了目標(biāo)檢測與識別的效率.

近年來，F(xiàn)aster-RCNN逐漸成為一種重要的SAR圖像目標(biāo)檢測和識別方法[14-16].在某些情況下，無需知道車輛目標(biāo)的具體類別，只需完成目標(biāo)檢測即可，本文便是采用Faster-RCNN進(jìn)行SAR圖像中的車輛目標(biāo)檢測.在傳統(tǒng)Faster-RCNN中，RPN模塊僅采用圖像的頂層特征完成目標(biāo)檢測，由于頂層特征比較抽象，對SAR圖像的細(xì)節(jié)信息丟失較為嚴(yán)重，不利于目標(biāo)與地物的區(qū)分.因此，本文以VGG-16網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)提取多個特征層，并對RPN進(jìn)行改進(jìn)，將細(xì)節(jié)信息比較豐富的較低層特征與信息抽象的頂層特征進(jìn)行處理和融合，用于SAR圖像中的車輛目標(biāo)檢測，并取得了良好效果.

1 改進(jìn)的RPN與目標(biāo)檢測

圖1 傳統(tǒng)RPN結(jié)構(gòu)圖

RPN網(wǎng)絡(luò)主要學(xué)習(xí)2部分信息：①類別信息，根據(jù)候選區(qū)域特征信息計(jì)算候選區(qū)域類別信息，判斷其中是否包含目標(biāo)，若包含即為前景類，否則為背景類；②位置信息，即通過候選區(qū)域邊框回歸出目標(biāo)位置邊框.事實(shí)上，RPN并未直接對位置信息本身進(jìn)行訓(xùn)練學(xué)習(xí)，而是學(xué)習(xí)候選區(qū)域邊框相對于目標(biāo)位置邊框的偏移量.

傳統(tǒng)RPN僅僅以最深特征層作為候選框提取層，這會導(dǎo)致經(jīng)過多次下采樣后，最深特征層里的圖像細(xì)節(jié)信息損失較多，目標(biāo)特征信息損失較大，帶來一定的目標(biāo)定位誤差.

圖2 改進(jìn)RPN結(jié)構(gòu)圖

在測試階段，每張測試集圖片均會被檢測出許多感興趣區(qū)域(ROI)，而每一個目標(biāo)也會被不止一個ROI包圍.本文采用非極大值抑制(NMS)方法去除冗余的ROI.首先將ROI按照目標(biāo)辨識中所得到的分?jǐn)?shù)進(jìn)行降序排列，選中其中分?jǐn)?shù)最高的ROI，并遍歷其他ROI，若其他ROI與所選中ROI的IoU大于某閾值(本文實(shí)驗(yàn)中閾值設(shè)為0.8)，則認(rèn)定此ROI與所選中ROI是針對同一目標(biāo)，將此ROI刪除；然后為剩下的其他ROI重復(fù)上述去冗余操作，確保每一個目標(biāo)只被一個ROI包圍.

2 實(shí)驗(yàn)數(shù)據(jù)集的制作

由于包含軍事目標(biāo)的大場景SAR圖像較為稀缺，因此本文在MSTAR數(shù)據(jù)集基礎(chǔ)上，制作帶車輛目標(biāo)的大場景數(shù)據(jù)集，用于對卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與測試.MSTAR數(shù)據(jù)集是美國國防高級研究計(jì)劃局(DARPA)提供的實(shí)測SAR圖像數(shù)據(jù)集，其中包含了大量的車輛目標(biāo)圖像和少量的大場景圖像.本文將這些大場景圖像作為車輛目標(biāo)檢測的背景使用，由于大場景圖像尺寸過大，為1 500×800像素，在制作訓(xùn)練數(shù)據(jù)時，將其分割成多個大小為300×300像素的小場景圖像，如圖3所示.

(a) 小場景1

(b) 小場景2

MSTAR數(shù)據(jù)集中共有10類車輛目標(biāo)的SAR圖像，圖像大小為128×128像素.這些目標(biāo)多是不同型號坦克、裝甲車在0～360°方位角下的靜止圖像.本文挑選其中8類目標(biāo)圖像作預(yù)處理后，將其貼入小場景背景圖像，生成訓(xùn)練數(shù)據(jù)集.圖4展示了8類車輛目標(biāo)2S1、BMP2、BRDM_2、BTR_60、BTR_70、T62、T72、ZSU_23_4的SAR圖像樣本.

(a) 2S1

(b) BMP2

(c) BRDM_2

(d) BTR_60

(e) BTR_70

(f) T62

(g) T72

本文的貼圖操作是由編寫的程序自動完成，不需要手工介入，因此可以快速大批量地生成實(shí)驗(yàn)數(shù)據(jù)集.程序會自動將目標(biāo)貼入坐標(biāo)等重要信息寫入標(biāo)簽，因此本文并未采用Pascal VOC數(shù)據(jù)集中標(biāo)簽的格式，而是自擬了一種更簡潔的標(biāo)簽格式，格式中包含目標(biāo)的種類、位置和尺寸等信息.圖5展示了貼上目標(biāo)以后的小場景背景圖像，可以看出，背景與目標(biāo)的融合效果很好.

(a) 小場景1

(b) 小場景2

在制作數(shù)據(jù)集時，在每張小場景背景圖中隨機(jī)貼2類軍事目標(biāo)，如圖5(a)和(b)所示，共生成 20 294個訓(xùn)練樣本和894個測試樣本.為了驗(yàn)證改進(jìn)RPN的目標(biāo)檢測性能，測試樣本中不乏環(huán)境地物非常復(fù)雜的場景.

3 代碼實(shí)現(xiàn)與實(shí)驗(yàn)分析

本文的目標(biāo)檢測代碼基于Python語言和TensorFlow框架編寫.為了縮短訓(xùn)練時間，用于提取圖片特征的基礎(chǔ)網(wǎng)絡(luò)是已在ImageNet數(shù)據(jù)集上經(jīng)過預(yù)訓(xùn)練的VGG-16網(wǎng)絡(luò).本文直接利用VGG-16網(wǎng)絡(luò)的模型參數(shù)對所提出的改進(jìn)RPN網(wǎng)絡(luò)進(jìn)行初始化，然后再利用MSTAR實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行訓(xùn)練.在目標(biāo)檢測代碼中，本文為每個像素點(diǎn)設(shè)置了9個錨點(diǎn)，采用的長寬比包括 1∶1, 1∶2, 2∶1.操作系統(tǒng)是64位Windows 10，計(jì)算機(jī)處理器Intel(R) Core (TM) i7-8700 CPU @ 3.20 GHz，內(nèi)存容量16 GB，顯卡是NVIDA GeForce RTX2070 (8 GB).

訓(xùn)練中8類目標(biāo)場景圖、共20 294個訓(xùn)練樣本前800次迭代的損失函數(shù)值見圖6.由圖可知，改進(jìn)RPN的收斂速度比傳統(tǒng)RPN更快.

圖6 訓(xùn)練中的前800次損失函數(shù)值

在評價(jià)指標(biāo)方面，本文首先統(tǒng)計(jì)檢出個數(shù)NTP、漏檢個數(shù)NFN、虛警個數(shù)NFP等直觀結(jié)果，然后采用查全率rR、查準(zhǔn)率rP及查全率與查準(zhǔn)率的調(diào)和平均數(shù)F1三個指標(biāo)衡量檢測效果，即

(1)

(2)

(3)

如表1所示，測試集中的目標(biāo)總數(shù)共1 788個，傳統(tǒng)RPN與改進(jìn)RPN基本均不會漏檢，查全率rR=100%.但是改進(jìn)RPN在虛警方面有所改善，傳統(tǒng)RPN的查準(zhǔn)率rP=97.7%，而改進(jìn) RPN的rP達(dá)99.7%.傳統(tǒng)RPN的調(diào)和平均數(shù)F1= 0.988，而改進(jìn)RPN的F1=0.998.

表1 檢測性能比較

圖7展示了傳統(tǒng)RPN方法檢測結(jié)果圖，這里的大場景圖是第2節(jié)中檢測后的小場景按照分割順序和邊界重新組合而成，其中2個虛警目標(biāo)稱為虛警1和虛警2.改進(jìn)RPN方法檢測結(jié)果如圖8所示，同樣的區(qū)域則未出現(xiàn)這2個虛警.因此，傳統(tǒng)RPN對于復(fù)雜地域(如樹林、石塊區(qū)等地物分布復(fù)雜區(qū)域)的檢測虛警率更高.

(a) 帶有多個目標(biāo)的復(fù)雜背景

(c) 虛警2放大圖

(a) 帶有多個目標(biāo)的復(fù)雜背景

(b) 虛警1消失

(c) 虛警2消失

為測試改進(jìn)RPN的泛化能力，本文采用8類目標(biāo)中的5類目標(biāo)場景圖作為訓(xùn)練集，共13 453個樣本，剩余3類目標(biāo)的場景圖作為測試集.該訓(xùn)練集均勻地包含2S1、BMP2、BRDM_2、BTR_60、BTR_70五類車輛目標(biāo)，測試集則有1 206個，僅包含T62、T72、ZSU_23_4三類目標(biāo).傳統(tǒng)RPN和改進(jìn)RPN泛化能力測試的實(shí)驗(yàn)結(jié)果對比見表2.

表2 泛化性能比較

由表2分析可知，2種方法對于未訓(xùn)練過的車輛目標(biāo)的檢出效果差異不大，傳統(tǒng)RPN與改進(jìn)RPN查全率rR均超過99.9%，僅有4×10-6的差值.但改進(jìn)RPN的虛警個數(shù)僅約為傳統(tǒng)RPN的 1/2，兩者的查準(zhǔn)率rP分別為99.0%和98.0%.綜上所述，改進(jìn)RPN的泛化能力也相對更好.

4 結(jié)論

1) 與傳統(tǒng)RPN相比，改進(jìn)RPN在進(jìn)行網(wǎng)絡(luò)訓(xùn)練時具有更快的收斂速度，節(jié)省一定訓(xùn)練時間.

2) 2個版本的RPN在目標(biāo)檢測方面的性能相當(dāng)，但改進(jìn)RPN的虛警更少，將查準(zhǔn)率由97.7%提高到99.7%.

3) 與傳統(tǒng)RPN相比，改進(jìn)RPN具有更好的泛化能力，針對訓(xùn)練范圍以外的目標(biāo)，能將查準(zhǔn)率由98.0%提高到99.0%.