多特征區(qū)域的細(xì)粒度船舶圖像目標(biāo)識(shí)別方法

徐志京，孫久武，霍煜豪

上海海事大學(xué) 信息工程學(xué)院，上海 201306

隨著航運(yùn)業(yè)的發(fā)展，水運(yùn)環(huán)境日益復(fù)雜，水路交通事故也在頻繁發(fā)生。因此，基于計(jì)算機(jī)視覺的船舶目標(biāo)檢測(cè)已經(jīng)應(yīng)用到現(xiàn)代化的船舶監(jiān)管系統(tǒng)。2017年，張雷等[1]提出了一種適用于高分辨率光學(xué)遙感圖像的艦船檢測(cè)方法，通過實(shí)現(xiàn)海陸分離并引入顯著性模型，達(dá)到了較高的檢測(cè)率。但有時(shí)只對(duì)船舶檢測(cè)不符合船舶監(jiān)管要求，還需要對(duì)目標(biāo)進(jìn)一步分類識(shí)別。

傳統(tǒng)的船舶識(shí)別方法主要基于船舶的形狀或船舶噪聲等特征。張仲瑜等[2]針對(duì)紅外艦船圖像分別提取邊緣信息特征、經(jīng)過多級(jí)濾波處理后的特征以及局部灰度最大值特征，分別給它們賦予不同的權(quán)值，得出最終的特征融合圖。劉許等[3]將圖像RST不變性特征與船舶噪聲的MFCC系數(shù)融合，實(shí)現(xiàn)船舶目標(biāo)分類。傳統(tǒng)的識(shí)別方法往往需要人工提取特征，并且計(jì)算復(fù)雜，識(shí)別率不高。隨著深度學(xué)習(xí)的發(fā)展，利用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）進(jìn)行目標(biāo)識(shí)別成為研究的重點(diǎn)。2016年，趙亮等[4]利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)船舶圖像進(jìn)行特征提取，取得了較高的識(shí)別準(zhǔn)確率。2018年，趙春暉等[5]通過改進(jìn)Faster-RCNN網(wǎng)絡(luò)，使得識(shí)別率和識(shí)別速度有了很大的提高。2018年，Cho等[6]針對(duì)SAR圖像提出了基于多個(gè)特征的卷積神經(jīng)網(wǎng)絡(luò)（multiple feature-based convolutional neural networks，MFCNNs），將多特征聚合后送到分類器識(shí)別，識(shí)別率有了明顯的提升。2020年，喬丹等[7]采用卷積神經(jīng)網(wǎng)絡(luò)InceptionV3對(duì)船舶樣本進(jìn)行分類識(shí)別并引入遷移學(xué)習(xí)的思想避免網(wǎng)絡(luò)過擬合，驗(yàn)證了該方法具有較強(qiáng)的泛化能力。

綜上所述，利用深度學(xué)習(xí)的方式對(duì)船舶進(jìn)行識(shí)別已經(jīng)取得了不錯(cuò)的效果。但當(dāng)前船舶種類繁多，同一類別又派生出許多不同的子類，使得船舶之間的差別微乎其微，對(duì)船舶進(jìn)行更細(xì)致的識(shí)別成為一個(gè)重要的研究方向。近年來，國(guó)內(nèi)外學(xué)者將細(xì)粒度圖像分類[8]應(yīng)用于目標(biāo)識(shí)別領(lǐng)域。熊昌鎮(zhèn)等[9]使用Faster-RCNN進(jìn)行多尺度區(qū)域定位，然后將提取的多個(gè)尺度的特征進(jìn)行組合并用SVM訓(xùn)練細(xì)粒度分類器，通過多個(gè)數(shù)據(jù)集驗(yàn)證了該方法的有效性。Zhang等[10]基于改進(jìn)的RCNN進(jìn)行細(xì)粒度檢測(cè)，取得了良好的結(jié)果。胡志偉等[11]基于注意力機(jī)制與殘差機(jī)制構(gòu)建ARNet模型對(duì)番茄病害進(jìn)行細(xì)粒度識(shí)別，通過多個(gè)測(cè)試驗(yàn)證了該模型的實(shí)用性。Fu等[12]提出了

RA-CNN（recurrent attention convolutional neural network）用于解決細(xì)粒度圖像分類問題，并在多個(gè)細(xì)粒度數(shù)據(jù)集得到了較高的識(shí)別準(zhǔn)確率。但是在船舶識(shí)別中，關(guān)于細(xì)粒度圖像分類的研究較少，目前尚處于初級(jí)階段。2019年，霍煜豪等[13]提出了一種改進(jìn)的RA-CNN模型，將目標(biāo)分類網(wǎng)絡(luò)修改后，同時(shí)在定位網(wǎng)絡(luò)APN（attention proposal network）對(duì)同一特征使用不同的先驗(yàn)矩形框來框取，形成一種單特征區(qū)域的船舶識(shí)別方法，最終在光電船舶圖像集中取得了可觀的效果。當(dāng)前的細(xì)粒度方法大多只提取目標(biāo)的單一特征，模型無法很好地利用全局信息，因此關(guān)于細(xì)粒度船舶圖像識(shí)別的問題還有待研究。本文創(chuàng)新性地提出一種多特征區(qū)域與細(xì)粒度圖像結(jié)合的船舶識(shí)別方法。即在RA-CNN的框架下，VGG-19[14]分類網(wǎng)絡(luò)中引入SDP（scale-dependent pooling）[15]算法用于更好地提取特征信息，采用聯(lián)合聚類（joint clustering）的方法生成一種多特征區(qū)域的定位網(wǎng)絡(luò)（JCMR-APN）用于輸出特征區(qū)域，同時(shí)在定位網(wǎng)絡(luò)中引入特征區(qū)域優(yōu)化，避免出現(xiàn)區(qū)域重疊率過高的現(xiàn)象。最后針對(duì)新的模型重新定義損失函數(shù)，從而提高模型的魯棒性。

1 模型方法

1.1 系統(tǒng)結(jié)構(gòu)和原理

傳統(tǒng)的RA-CNN網(wǎng)絡(luò)主要由3個(gè)尺度層構(gòu)成，每個(gè)尺度層中都包含兩種不同的網(wǎng)絡(luò)，分別為分類網(wǎng)絡(luò)VGG-19和定位網(wǎng)絡(luò)APN，每個(gè)尺度層的參數(shù)也不同。輸入圖像經(jīng)過分類網(wǎng)絡(luò)提取特征并進(jìn)行分類，APN網(wǎng)絡(luò)利用提取到的特征進(jìn)行訓(xùn)練得到特征區(qū)域信息，然后將特征區(qū)域信息裁剪放大作為第二個(gè)尺度層的輸入，如此反復(fù)3次就能得到3個(gè)尺度層的輸出結(jié)果，通過融合不同尺度網(wǎng)絡(luò)的結(jié)果判斷細(xì)粒度圖像的類別[16]。圖1為傳統(tǒng)RA-CNN網(wǎng)絡(luò)船舶識(shí)別結(jié)構(gòu)圖。

圖1 傳統(tǒng)RA-CNN網(wǎng)絡(luò)船舶識(shí)別結(jié)構(gòu)圖Fig.1 Traditional RA-CNN network ship recognition structure diagram

隨著尺度層的變深，提取的單一特征會(huì)使得原來的網(wǎng)絡(luò)無法很好地利用全局信息，從而導(dǎo)致識(shí)別率下降。針對(duì)這一問題，本文設(shè)計(jì)了RA-CNN網(wǎng)絡(luò)與多特征區(qū)域融合的船舶目標(biāo)識(shí)別新型網(wǎng)絡(luò)。新型RA-CNN網(wǎng)絡(luò)仍然保持原來的3個(gè)尺度層，但每個(gè)尺度層中的分類網(wǎng)絡(luò)由VGG-19變成VGG-SDP網(wǎng)絡(luò)，第一尺度層的定位網(wǎng)絡(luò)APN變成JCMR-APN網(wǎng)絡(luò)。圖2為新型RA-CNN網(wǎng)絡(luò)船舶識(shí)別結(jié)構(gòu)圖。

圖2 新型RA-CNN網(wǎng)絡(luò)船舶目標(biāo)識(shí)別結(jié)構(gòu)圖Fig.2 New RA-CNN network ship target recognition structure diagram

在構(gòu)建了新型RA-CNN網(wǎng)絡(luò)之后，基于該網(wǎng)絡(luò)的多特征船舶目標(biāo)識(shí)別系統(tǒng)框圖如圖3所示。整個(gè)系統(tǒng)主要包含船舶圖像數(shù)據(jù)集、預(yù)處理、新型RA-CNN網(wǎng)絡(luò)三大部分，其中新型RA-CNN網(wǎng)絡(luò)每個(gè)尺度均由VGG-SDP網(wǎng)絡(luò)和相應(yīng)的定位網(wǎng)絡(luò)構(gòu)成。船舶圖像數(shù)據(jù)集經(jīng)過預(yù)處理，將圖像輸送到訓(xùn)練好的新型RA-CNN網(wǎng)絡(luò)，經(jīng)過兩部分網(wǎng)絡(luò)的交叉訓(xùn)練，最后判斷船舶的類別。

圖3 多特征船舶目標(biāo)識(shí)別系統(tǒng)框圖Fig.3 Block diagram of multi-feature ship target recognition system

船舶圖像預(yù)處理首先將輸入船舶圖像統(tǒng)一轉(zhuǎn)換成224×224分辨率的船舶圖像，然后根據(jù)式（1）將圖像的每個(gè)像素值從[0,255]歸一映射到[-1,1]之間。

新型RA-CNN網(wǎng)絡(luò)的工作步驟如下：

（1）在第一尺度層，輸入圖像先經(jīng)VGG-SDP網(wǎng)絡(luò)v1提取特征，第5個(gè)池化層的輸出P5將作為JCMR-APN網(wǎng)絡(luò)的輸入。

（2）JCMR-APN網(wǎng)絡(luò)m1將根據(jù)P5生成的多個(gè)通道進(jìn)行聚類，并選擇合適的部分生成多個(gè)獨(dú)立特征區(qū)域。

（3）v1網(wǎng)絡(luò)選擇多個(gè)特征區(qū)域中最小特征區(qū)域的像素個(gè)數(shù)N作為自適應(yīng)池化準(zhǔn)則的輸入，挑選合適的池化層生成第一尺度的分類置信向量Y()1。

（4）評(píng)估多個(gè)特征區(qū)域之間的覆蓋率，對(duì)區(qū)域進(jìn)行調(diào)整。

（5）將調(diào)整好的特征區(qū)域截取并放大作為下一尺度層的輸入。

（6）將第（5）步的特征輸入到第二尺度層的VGGSDP網(wǎng)絡(luò)v2進(jìn)行特征提取，重復(fù)步驟（2）、（3），生成第二尺度的分類置信向量Y(2)。與第一層不同的是，第二層的定位網(wǎng)絡(luò)m2采用與RA-CNN一致的APN網(wǎng)絡(luò)，截取每個(gè)輸入特征區(qū)域并放大，輸入到第三尺度層。

（7）在第三尺度層中重復(fù)步驟（6）生成第三尺度層的分類置信向量Y(3)。本層中的APN網(wǎng)絡(luò)m3只生成對(duì)應(yīng)的特征區(qū)域，不再進(jìn)行截取，最終的定位將依據(jù)第一尺度層生成的各個(gè)特征區(qū)域決定。

1.2 VGG-SDP分類網(wǎng)絡(luò)

RA-CNN中的分類網(wǎng)絡(luò)VGG-19是由谷歌Deep-Mind實(shí)驗(yàn)室在2015年提出的卷積神經(jīng)網(wǎng)絡(luò)，具有穩(wěn)定的網(wǎng)絡(luò)結(jié)構(gòu)和良好的特征提取能力，VGG-19在進(jìn)行最終的全連接層運(yùn)算時(shí)，全連接層的輸入始終是第五個(gè)池化層P5的輸出。圖4為VGG-19網(wǎng)絡(luò)結(jié)構(gòu)圖。在RA-CNN網(wǎng)絡(luò)中，當(dāng)APN網(wǎng)絡(luò)輸出的特征區(qū)域較小時(shí)，往往是因?yàn)閳D像尺寸較小并經(jīng)過層層卷積和池化，第五個(gè)池化層輸出的特征區(qū)域已經(jīng)不能很好地反映目標(biāo)的特征信息。針對(duì)小尺寸目標(biāo)的過度池化問題，本文在VGG-19網(wǎng)絡(luò)中加入尺度依賴池化（SDP）方法，轉(zhuǎn)換成VGG-SDP網(wǎng)絡(luò)，使網(wǎng)絡(luò)智能地選擇合適的卷積塊輸出進(jìn)行分類，從而提高網(wǎng)絡(luò)對(duì)小型船舶的識(shí)別率。VGG-SDP網(wǎng)絡(luò)結(jié)構(gòu)圖如圖5所示。

圖4 VGG-19網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 VGG-19 network structure diagram

當(dāng)VGG-SDP輸入圖像I時(shí)，圖像先經(jīng)過5個(gè)卷積塊進(jìn)行特征提取并將第五個(gè)池化層P5的輸出送入JCMRAPN網(wǎng)絡(luò)。JCMR-APN網(wǎng)絡(luò)根據(jù)多個(gè)特征區(qū)域統(tǒng)計(jì)區(qū)域的大小N，VGG-SDP網(wǎng)絡(luò)將根據(jù)N的大小在后3個(gè)池化層中選擇合適的特征圖輸入到全連接層進(jìn)行分類。這里VGG-SDP網(wǎng)絡(luò)將選擇多個(gè)獨(dú)立特征區(qū)域中最小特征區(qū)域的像素個(gè)數(shù)N。自適應(yīng)池化選擇標(biāo)準(zhǔn)如下：

式（2）中，P3(I)和P4(I)分別代表第三、第四池化層的輸出；M(I)函數(shù)根據(jù)N的大小選擇合適的池化層輸出。當(dāng)特征區(qū)域N過大時(shí)，網(wǎng)絡(luò)會(huì)選擇第五個(gè)池化層P5來表示目標(biāo)的特征；當(dāng)N過小時(shí)，網(wǎng)絡(luò)則會(huì)選擇經(jīng)歷更少卷積池化的第三池化層P3來描述特征，以保留更多的信息。網(wǎng)絡(luò)前兩個(gè)卷積塊提取效果較P3來說較差，因此不使用第一和第二池化層的輸出。N的分段點(diǎn)使用2的冪次方數(shù)，更助于網(wǎng)絡(luò)的優(yōu)化。

1.3 JCMR-APN定位網(wǎng)絡(luò)

船舶圖像經(jīng)過卷積池化生成的特征圖具有多個(gè)通道，APN網(wǎng)絡(luò)將第五個(gè)池化層形成的512個(gè)通道映射成一個(gè)3×1的區(qū)域參數(shù)向量，對(duì)應(yīng)一個(gè)特征區(qū)域。為了提高整個(gè)網(wǎng)絡(luò)利用全局信息的能力，考慮將多個(gè)通道劃分為多個(gè)部分，每部分對(duì)應(yīng)一個(gè)特征區(qū)域。

1.3.1 聯(lián)合聚類

本文采用聯(lián)合聚類（joint clustering）算法生成多個(gè)特征區(qū)域的定位網(wǎng)絡(luò)JCMR-APN。聯(lián)合聚類算法流程圖如圖6所示。

圖6 聯(lián)合聚類算法流程圖Fig.6 Flowchart of joint clustering algorithm

聯(lián)合聚類的大致思想為：利用譜聚類解析特征圖通道樣本集S的拉普拉斯矩陣并對(duì)組成的矩陣特征向量使用K-means聚類[17]最終生成多個(gè)特征區(qū)域。譜聚類[18]是基于圖論的一種聚類方式，擅長(zhǎng)將高維樣本映射到低維。

設(shè)定特征圖通道樣本集S={s1,s2,…,s k}中的樣本均為方陣，樣本間若存在相互關(guān)系則會(huì)相互連接。定義相互連接的樣本之間的權(quán)重為ωij，樣本s i和s j之間的權(quán)重ωij計(jì)算公式見式（3）：

根據(jù)樣本集S構(gòu)造鄰接矩陣W（樣本間權(quán)重的矩陣）、度矩陣D（每個(gè)樣本與其所有相連接樣本權(quán)重之和），本文方法步驟如下：

（1）由W、D得拉普拉斯矩陣L=D-W。

（3）將Lnorm的特征值從大到小排列，取前K個(gè)特征值計(jì)算其特征向量。

（4）標(biāo)準(zhǔn)化每個(gè)特征向量并組成特征向量矩陣L f。

（5）取L f中每個(gè)行向量生成新的樣本集S′，對(duì)S′進(jìn)行K-means聚類生成K個(gè)簇，對(duì)應(yīng)K個(gè)船舶圖像的特征區(qū)域。

這里K-means聚類選取歐氏距離[19]作為距離衡量標(biāo)準(zhǔn)，其公式見式（4）：

1.3.2 特征區(qū)域優(yōu)化

JCMR-APN網(wǎng)絡(luò)在訓(xùn)練過程中，容易出現(xiàn)過擬合的情況，表現(xiàn)為訓(xùn)練收斂于局部最優(yōu)，多個(gè)特征區(qū)域重疊率過高等情況。針對(duì)這個(gè)問題，需要對(duì)網(wǎng)絡(luò)生成特征區(qū)域組的區(qū)域坐標(biāo)進(jìn)行干預(yù)。圖7為JCMR-APN網(wǎng)絡(luò)過擬合示意圖。

圖7 JCMR-APN網(wǎng)絡(luò)過擬合示意圖Fig.7 JCMR-APN network overfitting diagram

根據(jù)式（5），兩個(gè)特征區(qū)域重疊像素部分Nol的計(jì)算公式為：

特征區(qū)域優(yōu)化算法步驟如下：

（1）從坐標(biāo)參數(shù)序列中計(jì)算每個(gè)特征區(qū)域像素值大小，并將最大特征區(qū)域的位置作為基準(zhǔn)區(qū)域，將該區(qū)域計(jì)入固定區(qū)域序列。

（2）將第二個(gè)特征區(qū)域按式（5）、（6）計(jì)算與基準(zhǔn)區(qū)域的重疊面積Nol。

（3）當(dāng)重疊面積與自身的比值大于一定閾值時(shí)，對(duì)特征區(qū)域進(jìn)行調(diào)整，直到比值低于閾值。

（4）第二個(gè)特征區(qū)域調(diào)整后計(jì)入固定區(qū)域序列，后續(xù)特征區(qū)域?qū)墓潭▍^(qū)域序列中由大到小依次選取對(duì)比區(qū)域進(jìn)行步驟（2）、（3）操作。

1.4 網(wǎng)絡(luò)損失函數(shù)

由于JCMR部分采用了譜聚類方法，網(wǎng)絡(luò)損失函數(shù)僅有尺度內(nèi)損失和尺度間損失會(huì)使聚類優(yōu)化優(yōu)勢(shì)變得不明顯，因此定義新的網(wǎng)絡(luò)損失函數(shù)見式（7）：

式（8）中，i、j代表不同特征圖的序號(hào)；β代表間隔系數(shù)，可以提升圖像對(duì)于噪聲的魯棒性，這里設(shè)置為0.5。加入信道損失后，通過交叉訓(xùn)練的方式使VGG-19和APN相互學(xué)習(xí)，從而加快損失收斂的速度；同時(shí)優(yōu)化了通道聚類的情況，使得網(wǎng)絡(luò)模型更好地利用全局信息，從而提高船舶識(shí)別的準(zhǔn)確率。

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集和實(shí)驗(yàn)環(huán)境

本文采用文獻(xiàn)[13]的數(shù)據(jù)集，包括了集裝箱船、帆船、拖船、客輪、油輪、海監(jiān)船、航空母艦和驅(qū)逐艦8種常見的船種。數(shù)據(jù)集共2 635個(gè)樣本，訓(xùn)練樣本和測(cè)試樣本比值約為4∶1，具體的數(shù)量分布如表1所示。每個(gè)類別包含了該類別的前視圖、后視圖、側(cè)視圖和俯視圖，樣圖如圖8所示。實(shí)驗(yàn)環(huán)境主要硬件配置及軟件版本如表2所示。

表2 實(shí)驗(yàn)環(huán)境主要配件及軟件版本Table 2 Main hardware configuration and software

圖8 不同子類視圖Fig.8 Different views of subclasses

表1 細(xì)粒度船舶數(shù)據(jù)集樣本分布表Table 1 Sample distribution table of fine-grained ship datasets

2.2 實(shí)驗(yàn)結(jié)果分析

2.2.1 實(shí)驗(yàn)1不同參數(shù)對(duì)于網(wǎng)絡(luò)準(zhǔn)確率的影響

新型RA-CNN網(wǎng)絡(luò)在使用細(xì)粒度船舶數(shù)據(jù)集訓(xùn)練前，先在ImageNet數(shù)據(jù)集上訓(xùn)練10輪，方便加速后續(xù)的訓(xùn)練速度。網(wǎng)絡(luò)的dropout率設(shè)置為0.2，初始學(xué)習(xí)率為0.1并每迭代1萬次縮減為原來的1 10。

本文采用準(zhǔn)確率衡量分類性能。定義準(zhǔn)確率為r，計(jì)算公式見式（9）：

式（9）中，NTP表示預(yù)測(cè)正確的正樣本的個(gè)數(shù)，NTN表示預(yù)測(cè)正確的負(fù)樣本的個(gè)數(shù)，NFP表示將負(fù)樣本預(yù)測(cè)成正樣本即誤測(cè)的個(gè)數(shù)，NFN表示將正樣本預(yù)測(cè)成負(fù)樣本即漏測(cè)的個(gè)數(shù)。

由于JCMR網(wǎng)絡(luò)部分中有很多參數(shù)，在本實(shí)驗(yàn)中將測(cè)試不同參數(shù)對(duì)于網(wǎng)絡(luò)最終準(zhǔn)確率的影響。在前面式（3）中，帶寬σ影響了樣本分布，根據(jù)式（10）定義表3中γ的參數(shù)。

從表3中可以看出，在特征區(qū)域K相同的情況下，γ影響準(zhǔn)確率的大??；在同一γ的情況下，特征區(qū)域數(shù)量越多，準(zhǔn)確率越高，說明網(wǎng)絡(luò)通過大量的特征區(qū)域?qū)W習(xí)到了更多的特征信息。但是考慮到計(jì)算量的限制，選擇γ=0.05，K=4的情況。

表3 不同參數(shù)下的網(wǎng)絡(luò)準(zhǔn)確率Table 3 Network accuracy under different parameters

2.2.2 實(shí)驗(yàn)2不同模型的準(zhǔn)確率與性能

本實(shí)驗(yàn)主要驗(yàn)證SDP算法的有效性以及對(duì)比文獻(xiàn)[13]在整個(gè)網(wǎng)絡(luò)和不同尺度層的識(shí)別準(zhǔn)確率，實(shí)驗(yàn)結(jié)果如圖9所示。

圖9 不同基類網(wǎng)絡(luò)下的準(zhǔn)確率Fig.9 Accuracy under different base class networks

從圖9中可以看出，傳統(tǒng)的VGG-19和RA-CNN識(shí)別率相對(duì)較低，在加上SDP算法后分別提高了0.7個(gè)百分點(diǎn)和0.5個(gè)百分點(diǎn)；本文方法比傳統(tǒng)RA-CNN網(wǎng)絡(luò)在識(shí)別準(zhǔn)確率上提高了6.0個(gè)百分點(diǎn)，較文獻(xiàn)[13]的方法也提高了3.5個(gè)百分點(diǎn)，在各個(gè)尺度層的準(zhǔn)確率也是全面領(lǐng)先。當(dāng)只使用第一和第二尺度層時(shí)，準(zhǔn)確率為89.1%，在加上第三尺度層后，準(zhǔn)確率達(dá)到了90.2%，說明在更深的尺度層網(wǎng)絡(luò)也能挖掘有效信息。圖10展示了不同模型的計(jì)算量和處理單幀圖像的時(shí)間。

從圖10可以看出，相對(duì)于VGG-19，RA-CNN模型多尺度層的結(jié)構(gòu)也意味著計(jì)算量成倍增加，處理單幀圖像的時(shí)間也在略微上升；從幾個(gè)模型的對(duì)比可以看出，SDP算法幾乎不增加計(jì)算量和計(jì)算時(shí)間。本文方法處理單幀圖像的時(shí)間約為1.75 s，可以用于單幀圖像的實(shí)時(shí)識(shí)別。

圖10 算法性能圖Fig.10 Algorithm performance graph

2.2.3 實(shí)驗(yàn)3特征關(guān)注區(qū)域的變化

在JCMR部分會(huì)產(chǎn)生多個(gè)網(wǎng)絡(luò)關(guān)注的區(qū)域，本實(shí)驗(yàn)展示了不同訓(xùn)練輪次第一尺度層輸出的特征區(qū)域。這里選擇K=4，分別在1 000、20 000和80 000輪次的不同類別樣本的關(guān)注區(qū)域，結(jié)果如圖11所示。

圖11 不同船舶特征區(qū)域的變化Fig.11 Changes in characteristics regions of different ships

從圖11中可以看出在訓(xùn)練初期，網(wǎng)絡(luò)的關(guān)注區(qū)域比較混亂，有時(shí)會(huì)定在背景等無關(guān)區(qū)域且重疊率較高；在20 000輪時(shí)已經(jīng)向目標(biāo)真正的特征區(qū)域靠近，區(qū)域間基本無重疊，說明區(qū)域優(yōu)化算法避免了局部最優(yōu)的可能；臨近訓(xùn)練結(jié)束時(shí)，區(qū)域位置基本都定在目標(biāo)的特征部分。

3 總結(jié)

本文針對(duì)單一特征的細(xì)粒度船舶圖像目標(biāo)識(shí)別問題，提出了一種基于多特征區(qū)域的新型RA-CNN網(wǎng)絡(luò)目標(biāo)識(shí)別方法。在分類網(wǎng)絡(luò)中引入SDP算法提升分類性能，在定位網(wǎng)絡(luò)中加入JCMR算法使得網(wǎng)絡(luò)關(guān)注多個(gè)特征區(qū)域，從而使目標(biāo)識(shí)別更具魯棒性，同時(shí)設(shè)計(jì)特征優(yōu)化算法解決了JCMR可能出現(xiàn)的過擬合問題。重新定義損失函數(shù)對(duì)VGG-19和APN進(jìn)行交叉訓(xùn)練，提高了網(wǎng)絡(luò)的收斂速度。實(shí)驗(yàn)結(jié)果表明新型的RA-CNN網(wǎng)絡(luò)對(duì)全局信息利用率較高，較基于單特征區(qū)域的方法取得了更高的識(shí)別率，并驗(yàn)證了特征優(yōu)化算法的有效性。本文的細(xì)粒度船舶圖像目標(biāo)識(shí)別方法在復(fù)雜背景下有時(shí)會(huì)將無關(guān)部分計(jì)入特征區(qū)域，尚需要更先進(jìn)的背景處理網(wǎng)絡(luò)算法來解決這一問題。