一種基于改進(jìn)R-CNN的細(xì)粒度船舶目標(biāo)識(shí)別方法研究*

向 東，饒從軍，歐陽(yáng)泉，彭 楊

（1.武漢興圖新科電子股份有限公司，武漢 430073；2.武漢理工大學(xué)理學(xué)院，武漢 430070）

0 引言

隨著機(jī)器視覺(jué)、圖像識(shí)別、衛(wèi)星遙感等技術(shù)的日益成熟，遙感衛(wèi)星圖像的拍攝質(zhì)量已經(jīng)達(dá)到可以進(jìn)行機(jī)器視覺(jué)學(xué)習(xí)的條件[1]，將深度學(xué)習(xí)技術(shù)應(yīng)用于對(duì)衛(wèi)星遙感圖像中目標(biāo)的識(shí)別已經(jīng)成為研究的熱點(diǎn)，識(shí)別結(jié)果的好壞對(duì)于海域目標(biāo)預(yù)警具有重大的現(xiàn)實(shí)意義。

在目標(biāo)識(shí)別算法研究上，Ross Girshick等分別于2013和2015年發(fā)布了R-CNN和Fast R-CNN網(wǎng)絡(luò)，該網(wǎng)絡(luò)的核心主要是對(duì)識(shí)別目標(biāo)進(jìn)行區(qū)域推薦[2-3]。在此基礎(chǔ)上，S.Branson等提出了Pose Normalized CNN，該網(wǎng)絡(luò)通過(guò)DPM算法獲取局部位置的預(yù)測(cè)點(diǎn)，然后再進(jìn)行物體的準(zhǔn)確識(shí)別和標(biāo)識(shí)[4]。Krause等把圖像分割引入到目標(biāo)圖像的分類(lèi)中，該算法不需要使用局部區(qū)域的標(biāo)注信息，只依賴目標(biāo)的標(biāo)注框就可以完成對(duì)目標(biāo)的分割和對(duì)齊操作，具有一定的創(chuàng)新性[5-6]。

將人工智能技術(shù)應(yīng)用于遙感圖像中的艦船目標(biāo)識(shí)別，Bousetouane和Morris等[7]通過(guò)卷積神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)遙感圖像中的艦船目標(biāo)進(jìn)行特征提取，然后與模型庫(kù)里面的艦船模型進(jìn)行匹配，最后進(jìn)行艦船分類(lèi)識(shí)別。Bentes等[8]通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了高分辨率雷達(dá)衛(wèi)星中的目標(biāo)識(shí)別，所采用的方法能夠準(zhǔn)確地識(shí)別出衛(wèi)星影像中的貨物、油輪、風(fēng)車(chē)、平臺(tái)和港口等5類(lèi)目標(biāo)，但是不能很好地識(shí)別小目標(biāo)船只。

在國(guó)內(nèi)研究方面，張東曉[9]在論文中論述了從遙感圖像中對(duì)分割出的目標(biāo)進(jìn)行灰度特征、紋理特征、邊緣特征、不變矩特征等進(jìn)行提取，并進(jìn)行基于統(tǒng)計(jì)分析的特性整合。李毅[10]采用機(jī)器學(xué)習(xí)分類(lèi)器結(jié)構(gòu)的向量機(jī)（SVM），通過(guò)聚類(lèi)分析等機(jī)器學(xué)習(xí)的方式來(lái)進(jìn)行數(shù)據(jù)處理，根據(jù)樣本庫(kù)中的數(shù)據(jù)來(lái)判斷目標(biāo)船舶的類(lèi)別，但是在復(fù)雜背景下識(shí)別的效果并不理想。魏娜[11]設(shè)計(jì)了BP神經(jīng)網(wǎng)絡(luò)的三層結(jié)構(gòu)用于對(duì)船舶類(lèi)型進(jìn)行識(shí)別，但是無(wú)法對(duì)小目標(biāo)船舶類(lèi)型進(jìn)行識(shí)別。趙亮等[12]提出一種使用7層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)船舶特征的自動(dòng)提取，同時(shí)還結(jié)合HOG算法和HSV算法分別得到邊緣特征和顏色特征，在SVM系統(tǒng)上進(jìn)行分類(lèi)識(shí)別，但是本方法并沒(méi)有論述細(xì)粒度船舶分類(lèi)方式。

通過(guò)國(guó)內(nèi)外文獻(xiàn)的分析可以發(fā)現(xiàn)，如何在遙感圖像復(fù)雜背景下對(duì)小目標(biāo)船舶進(jìn)行細(xì)粒度精確的識(shí)別是該方向上面臨的一個(gè)難點(diǎn)。為了解決以上的問(wèn)題，本文基于改進(jìn)R-CNN模型引入負(fù)樣本增強(qiáng)訓(xùn)練策略，建立端到端的特征提取模型和船舶的分類(lèi)器，實(shí)現(xiàn)了小目標(biāo)、細(xì)粒度目標(biāo)識(shí)別方法，可以提高在遙感圖像復(fù)雜背景下船舶小目標(biāo)識(shí)別與分類(lèi)的精度，同時(shí)模型還具有適應(yīng)性和魯棒性。

1 模型總體架構(gòu)

針對(duì)衛(wèi)星圖像中的船舶的識(shí)別，本文建立的小目標(biāo)、細(xì)粒度目標(biāo)識(shí)別網(wǎng)絡(luò)從架構(gòu)上主要包括多維數(shù)據(jù)集訓(xùn)練、目標(biāo)典型特征提取、生成目標(biāo)參考區(qū)域、目標(biāo)細(xì)粒度識(shí)別4個(gè)部分，如圖1所示。

圖1 多目標(biāo)細(xì)粒度識(shí)別架構(gòu)

本文通過(guò)引入多維樣本集和負(fù)樣本增強(qiáng)學(xué)習(xí)策略，通過(guò)數(shù)據(jù)集訓(xùn)練對(duì)標(biāo)注后的樣本集空間進(jìn)行訓(xùn)練，形成卷積特征圖。目標(biāo)的典型特征提取負(fù)責(zé)將各類(lèi)船舶的特征進(jìn)行歸類(lèi)化處理，形成各類(lèi)船舶的特征庫(kù)，為細(xì)粒度目標(biāo)識(shí)別奠定基礎(chǔ)。生成目標(biāo)參考區(qū)域是將待識(shí)別遙感圖像中的目標(biāo)進(jìn)行初步性識(shí)別并形成預(yù)測(cè)的位置框信息。目標(biāo)細(xì)粒度識(shí)別是將預(yù)測(cè)的位置框和目標(biāo)類(lèi)型進(jìn)行最終的修正和歸類(lèi)處理，得到正確的識(shí)別結(jié)果。

2 多維數(shù)據(jù)訓(xùn)練與特征提取

卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)會(huì)直接影響船舶特征提取的性能。如果要實(shí)現(xiàn)小目標(biāo)、多種類(lèi)船舶的精確分類(lèi)與識(shí)別，則需要多維度、多尺度提取各類(lèi)別船舶的特征。本文在模型訓(xùn)練過(guò)程中，每次都隨機(jī)采樣一個(gè)尺度，通過(guò)金字塔式結(jié)構(gòu)的圖片庫(kù)來(lái)給網(wǎng)絡(luò)進(jìn)行不同尺度的訓(xùn)練，采用迭代的方式最終以實(shí)現(xiàn)近似的尺度不變。并且，由于船舶遙感原始圖像的拍攝角度會(huì)在一定程度上產(chǎn)生圖像的拉伸、放大、縮小等變換。這些情況都會(huì)產(chǎn)生目標(biāo)特征提取的損失和差錯(cuò)。為了應(yīng)變這類(lèi)的問(wèn)題，文中設(shè)計(jì)了圖像變形糾正模型，將圖像按照旋轉(zhuǎn)，拉伸，縮放，斜切的形式進(jìn)行變換。其表達(dá)式為：

式中：x、y為原始遙感圖像；u、v為轉(zhuǎn)換后的遙感圖像；a、b、m、c、d、n為圖像的變換參數(shù)。

在對(duì)待訓(xùn)練的樣本數(shù)據(jù)進(jìn)行預(yù)處理后，本文結(jié)合Imaget等提出的ZF網(wǎng)絡(luò)，通過(guò)卷積層和池化層的組合構(gòu)成特征提取網(wǎng)絡(luò)，將船舶的特征提取和船舶的分類(lèi)同時(shí)放入一個(gè)端到端的網(wǎng)絡(luò)中，網(wǎng)絡(luò)根據(jù)輸出值和標(biāo)簽值之間的誤差，不斷地迭代去優(yōu)化修正網(wǎng)絡(luò)參數(shù)。通過(guò)以上方式來(lái)讓網(wǎng)絡(luò)學(xué)習(xí)到更高精度的船舶特征值，在有效提取船舶特征的同時(shí)還降低了特征提取的時(shí)間，為細(xì)粒度目標(biāo)識(shí)別奠定基礎(chǔ)。

3 目標(biāo)參考區(qū)域

本文采用RPN來(lái)進(jìn)行目標(biāo)邊界框的定位和目標(biāo)的初步判斷。本文在模型中對(duì)正、負(fù)樣本的標(biāo)簽進(jìn)行如下規(guī)定：（1）IoU最大值和與任意標(biāo)定區(qū)域的IoU交叉比例超過(guò)0.7的候選區(qū)域設(shè)置為正樣本；（2）與所有標(biāo)定區(qū)域的IoU交叉比例小于0.3的候選區(qū)域設(shè)置為負(fù)樣本；（3）其他的標(biāo)簽樣本不參與訓(xùn)練。采用多任務(wù)損失函數(shù)進(jìn)行模型訓(xùn)練，由邊界框損失函數(shù)和分類(lèi)損失函數(shù)兩部分構(gòu)成，如下：

式中：i為目標(biāo)區(qū)域在一個(gè)子集中的下標(biāo)；Mrek和Mcls為歸一化參數(shù)，分別設(shè)置為130和1 400；λ為平衡因子，設(shè)置為9；xi為候選框i是目標(biāo)置信度；hi為預(yù)測(cè)區(qū)域4個(gè)坐標(biāo)向量；h*i為真實(shí)目標(biāo)的4個(gè)坐標(biāo)向量。

式中：L1(a)為平滑范數(shù)；hi為預(yù)測(cè)區(qū)的坐標(biāo)；h*i為標(biāo)定區(qū)的坐標(biāo)。

基于以上算法對(duì)預(yù)測(cè)區(qū)域和標(biāo)定區(qū)域進(jìn)行判定，得到比較準(zhǔn)確的目標(biāo)區(qū)域定位。但是由于本文方法設(shè)置的正樣本IoU大于0.7及負(fù)樣本IoU小于0.3，其余有干擾情況均不被學(xué)習(xí)。在以上參數(shù)的設(shè)置下，當(dāng)有海岸和港口等干擾時(shí)，會(huì)將部分岸口近似于船的背景識(shí)別為目標(biāo)船舶，產(chǎn)生了誤檢。

因此本文還加入了瀑布式負(fù)樣本增強(qiáng)學(xué)習(xí)策略，將大量具備干擾項(xiàng)的圖像加入學(xué)習(xí)網(wǎng)絡(luò)，增加負(fù)樣本集，提高模型對(duì)正確目標(biāo)的識(shí)別率。瀑布式負(fù)樣本增強(qiáng)學(xué)習(xí)算法：設(shè)負(fù)樣本圖像集F(1,2,3,…,n)，設(shè)置初始分類(lèi)器層數(shù)l=1、負(fù)樣本集Hi（i=1），負(fù)樣本統(tǒng)計(jì)數(shù)值t′，每次需自舉出的負(fù)樣本總數(shù)t。

步驟1：開(kāi)始掃描負(fù)樣本集F的第一幅圖像的第一個(gè)像素，將產(chǎn)生的預(yù)測(cè)窗口輸入到分類(lèi)器Cm中進(jìn)行訓(xùn)練，同時(shí)將誤檢窗口加入到負(fù)樣本集Hi+1中。統(tǒng)計(jì)所有誤檢樣本個(gè)數(shù)t′，當(dāng)負(fù)樣本數(shù)量達(dá)到t時(shí)停止圖像掃描。

步驟2：判斷已使用負(fù)樣本圖像是否為負(fù)樣本集F最后一張。如果是負(fù)樣本集的最后一張則跳轉(zhuǎn)步驟4。

步驟3：取l=l+1，i=i+1。將負(fù)樣本集Hi和正樣本一起來(lái)訓(xùn)練第Cm層分類(lèi)器，判斷該層是否為強(qiáng)分類(lèi)器。如果是強(qiáng)分類(lèi)器時(shí)，則跳轉(zhuǎn)到步驟4；當(dāng)不是強(qiáng)分類(lèi)器時(shí)，則跳轉(zhuǎn)到步驟1。

步驟4：結(jié)束學(xué)習(xí)過(guò)程，將各分類(lèi)器級(jí)聯(lián)后組成瀑布式分類(lèi)器。

4 交替式模型訓(xùn)練策略

瀑布式分類(lèi)層實(shí)現(xiàn)了船舶和非船舶的辨別。將提取到的目標(biāo)特征通過(guò)多個(gè)全連接層的組合從高維數(shù)據(jù)轉(zhuǎn)化到一個(gè)四維數(shù)據(jù)組中。將該四維數(shù)據(jù)組作為細(xì)粒度分類(lèi)器的輸入，輸出值為目標(biāo)類(lèi)型的概率值，概率值越高表明目標(biāo)為該類(lèi)別的可能性越大，從而實(shí)現(xiàn)對(duì)船舶目標(biāo)的細(xì)粒度識(shí)別。

為了解決傳統(tǒng)識(shí)別算法中多階段訓(xùn)練數(shù)據(jù)緩存問(wèn)題，本文算法使用端到端的網(wǎng)絡(luò)進(jìn)行船舶細(xì)粒度識(shí)別，該方法不僅提升了識(shí)別精度，還提高了識(shí)別的速度。具體采用階段性交替式訓(xùn)練方式，將RPN網(wǎng)絡(luò)訓(xùn)練的結(jié)果輸入到改進(jìn)R-CNN中進(jìn)行訓(xùn)練，又將改進(jìn)R-CNN訓(xùn)練的結(jié)果作為下一階段RPN網(wǎng)絡(luò)訓(xùn)練的初始值，這樣將兩個(gè)網(wǎng)絡(luò)構(gòu)成了一個(gè)有機(jī)的整體，達(dá)到了對(duì)船舶細(xì)粒度分類(lèi)的目的，如圖2所示。

圖2 交替式訓(xùn)練方式

在訓(xùn)練過(guò)程中主要有5個(gè)步驟：（1）將待學(xué)習(xí)的遙感衛(wèi)星圖像進(jìn)行多維預(yù)處理；（2）引入負(fù)樣本增強(qiáng)學(xué)習(xí)策略，加入多維度訓(xùn)練提取船舶特征向量，形成瀑布式分類(lèi)器；（3）將特征圖送入到預(yù)測(cè)區(qū)域網(wǎng)絡(luò)生成船只目標(biāo)預(yù)測(cè)區(qū)域；（4）利用一個(gè)多目標(biāo)分類(lèi)器對(duì)船只目標(biāo)候選區(qū)域進(jìn)行目標(biāo)位置回歸和分類(lèi)；（5）輸出圖像中船舶所處位置以及船舶的具體類(lèi)型。

5 實(shí)驗(yàn)分析

5.1 實(shí)驗(yàn)數(shù)據(jù)集

本次實(shí)驗(yàn)中的數(shù)據(jù)集由28 015張圖片構(gòu)成（貨船標(biāo)記數(shù)量為18 795，郵輪為9 542，游艇為11 230，漁船為4 560），還特別補(bǔ)充了5 000張含港口背景的圖片作為負(fù)樣本增強(qiáng)學(xué)習(xí)樣本。

本文采用精確度Precision和召回率Recall兩個(gè)參數(shù)來(lái)評(píng)價(jià)模型性能如下：

式中：Precision和Recall的取值范圍均在［0，1］；TP為正確樣本數(shù)；FP為錯(cuò)誤樣本數(shù)；FN為漏檢樣本數(shù)。

以下實(shí)驗(yàn)將從小目標(biāo)細(xì)粒度識(shí)別、復(fù)雜背景下目標(biāo)識(shí)別、模型魯棒性、適應(yīng)性等維度進(jìn)行比較分析。

5.2 網(wǎng)絡(luò)測(cè)試對(duì)比

（1）小目標(biāo)細(xì)粒度測(cè)試對(duì)比

該類(lèi)實(shí)驗(yàn)將MRCNN模型與本文中模型就小目標(biāo)識(shí)別的效果進(jìn)行比較，圖3所示為典型的識(shí)別效果對(duì)比。由圖可知，MRCNN針對(duì)以上圖片右上角小目標(biāo)船只的識(shí)別率比較差，相比較本文的模型在識(shí)別小目標(biāo)能完全檢出，并進(jìn)行了正確的目標(biāo)分類(lèi)。

圖3 小目標(biāo)細(xì)粒度效果對(duì)比

（2）復(fù)雜背景下目標(biāo)識(shí)別

本類(lèi)實(shí)驗(yàn)通過(guò)負(fù)樣本增強(qiáng)學(xué)習(xí)的方法，所訓(xùn)練的模型相比沒(méi)有加入負(fù)樣本增強(qiáng)學(xué)習(xí)的模型降低了漏檢和誤檢，準(zhǔn)確的識(shí)別出了岸基干擾下的船舶目標(biāo)，船舶目標(biāo)的置信度也有所提升。如圖4～5所示。

圖4 負(fù)樣本增加學(xué)習(xí)效果對(duì)比1

圖5 負(fù)樣本增加學(xué)習(xí)效果對(duì)比2

從圖4和圖5可以看出：圖4（a）中錯(cuò)誤地將港口的房屋識(shí)別為船只，并且沒(méi)有識(shí)別到港口位置?？康拇唬粓D5（a）中沒(méi)有識(shí)別到港口內(nèi)?？康木S修的船只。相比較，采用負(fù)樣本增強(qiáng)學(xué)習(xí)后的模型，在圖4（b）和圖5（b）中能正確地排除干擾，識(shí)別到正確位置的船只。通過(guò)試驗(yàn)對(duì)比，增加負(fù)樣本增強(qiáng)學(xué)習(xí)機(jī)制可以提高目標(biāo)在干擾情況下的識(shí)別率。

5.3 識(shí)別效果對(duì)比

為驗(yàn)證訓(xùn)練后模型的魯棒性和適應(yīng)性，試驗(yàn)中選擇了1 000多張多個(gè)不同類(lèi)型船體目標(biāo)進(jìn)行識(shí)別，其中還包括了復(fù)雜背景下的圖像，比較典型的識(shí)別結(jié)果如圖6所示。

圖6 適應(yīng)性識(shí)別效果

結(jié)果表明，模型可以準(zhǔn)確地識(shí)別圖片中的貨船、郵輪及游艇等目標(biāo)。實(shí)驗(yàn)結(jié)果表明本文提出的算法模型適用于復(fù)雜海情條件下的船舶細(xì)粒度識(shí)別，精確度達(dá)到了一定的效果，并且具有較強(qiáng)的魯棒性。另外，為驗(yàn)證本文學(xué)習(xí)訓(xùn)練策略的有效性，將本文模型與MRCNN模型進(jìn)行實(shí)驗(yàn)對(duì)比，兩種算法的Precision、Recall值如表1所示。

表1 檢測(cè)效率對(duì)比

通過(guò)以上實(shí)驗(yàn)的對(duì)比發(fā)現(xiàn)，本文模型相比MRCNN模型，從Precision和Recall兩個(gè)評(píng)價(jià)指標(biāo)上都得到了一定程度的提升，尤其針對(duì)小目標(biāo)細(xì)粒度的識(shí)別具有顯著優(yōu)勢(shì)。

6 結(jié)束語(yǔ)

本文通過(guò)分析細(xì)粒度目標(biāo)識(shí)別的研究熱點(diǎn)，基于R-CNN模型引入負(fù)樣本增強(qiáng)學(xué)習(xí)策略，加大網(wǎng)絡(luò)提取小目標(biāo)、復(fù)雜背景目標(biāo)船舶的特征，構(gòu)建了一種海上船舶識(shí)別與分類(lèi)的深度學(xué)習(xí)網(wǎng)絡(luò)，提升了船舶目標(biāo)識(shí)別率。構(gòu)建的網(wǎng)絡(luò)采用交替式訓(xùn)練方式，成功實(shí)現(xiàn)了端到端的網(wǎng)絡(luò)訓(xùn)練及識(shí)別模式。最后還通過(guò)實(shí)驗(yàn)說(shuō)明了模型的有效性、魯棒性和適應(yīng)性。但是本文所提出的方法還存在一些問(wèn)題需要改進(jìn)：（1）雖然采用交替式訓(xùn)練策略去構(gòu)造一體化識(shí)別網(wǎng)絡(luò)，但是卻帶來(lái)了網(wǎng)絡(luò)復(fù)雜度的提高和網(wǎng)絡(luò)體積的增大，如何將網(wǎng)絡(luò)輕量化處理將會(huì)是一個(gè)研究重點(diǎn)；（2）本文實(shí)驗(yàn)中標(biāo)注的船舶類(lèi)型僅限于貨船、郵輪、游艇、漁船4類(lèi)，下一步將擴(kuò)大船舶細(xì)粒度識(shí)別類(lèi)型。