基于改進(jìn)SSD算法的航母艦面多尺度目標(biāo)檢測研究?

朱興動 田少兵 范加利 王 正

（1.海軍航空大學(xué)岸防兵學(xué)院 煙臺 264001）

（2.海軍航空大學(xué)（青島校區(qū)）艦面航空保障與場站管理系 青島 266041）

1 引言

航母艦面是進(jìn)行航空保障作業(yè)的主要平臺，安全有序的航空保障作業(yè)是保證航母作戰(zhàn)效能的前提。航母甲板復(fù)雜的飛機類型、牽引設(shè)備、保障物資以及作業(yè)人員，在持續(xù)的作業(yè)中蘊含著巨大的事故風(fēng)險。通過基于機器視覺的艦面目標(biāo)檢測，有助于對艦面各類目標(biāo)進(jìn)行實時監(jiān)控，同時為艦面目標(biāo)的調(diào)運提供數(shù)據(jù)支持。

航母艦面各目標(biāo)尺度不同，固定翼飛機、直升機等大型裝備與靈活的牽引車以人員構(gòu)成了極為明顯的大小對比，也是對檢測算法的一種考驗。由于小目標(biāo)包含像素區(qū)域少，卷積神經(jīng)網(wǎng)絡(luò)提取特征比較困難，是一項極大的挑戰(zhàn)。針對細(xì)小目標(biāo)的檢測，專家學(xué)者在各領(lǐng)域都開展了探索與研究，文獻(xiàn)［1］對SSD算法的各特征層進(jìn)行融合，實驗表明，改進(jìn)方法提高了對小目標(biāo)檢測的能力。文獻(xiàn)［2］針對復(fù)雜環(huán)境的紅外弱小目標(biāo)檢測問題，采用單階段目標(biāo)檢測網(wǎng)絡(luò)YOLO v3算法，顯著提升了對紅外弱小目標(biāo)的檢測精度。文獻(xiàn)［3］針對遙感圖像中的小目標(biāo)檢測效果不佳的問題，提出了一種多尺度特征融合的遙感圖像目標(biāo)檢測算法，提高了對遙感圖像小目標(biāo)的檢測性能。文獻(xiàn)［4］提出了一種改進(jìn)的多類別單階段檢測器（SSD）算法，借鑒特征金字塔網(wǎng)絡(luò)的思想對算法進(jìn)行改進(jìn)，實驗表明，所提的算法能夠準(zhǔn)確地檢測出小目標(biāo)。

航母艦面目標(biāo)類型多且能夠在一定范圍內(nèi)運動，從而造成目標(biāo)尺度大小不一，同時艦載機與人員較大的大小差異，都給目標(biāo)檢測帶來了較大難度，本文提出了一種改進(jìn)的SSD艦面多尺度目標(biāo)檢測算法［5］，通過對SSD算法6個特征層進(jìn)行特征融合，并調(diào)整網(wǎng)絡(luò)的先驗框大小以適應(yīng)多尺度目標(biāo)的檢測需求，經(jīng)過優(yōu)化后的網(wǎng)絡(luò)具有較好的多尺度目標(biāo)檢測能力，對小目標(biāo)也具有良好的檢測效果。

2 SSD目標(biāo)檢測算法原理

SSD目標(biāo)檢測算法是在YOLO目標(biāo)檢測算法［6～8］的基礎(chǔ)上發(fā)展起來的，繼承了YOLO算法中的直接在特征圖上回歸目標(biāo)邊界框和目標(biāo)類別概率思想，同時沿用了Faster R-CNN的候選框的思想，綜合利用不同尺度的特征圖進(jìn)行目標(biāo)檢測，提高了算法的檢測精度，同時也保持了YOLO算法的高檢測速率。

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

SSD算法網(wǎng)絡(luò)結(jié)構(gòu)主要分為基礎(chǔ)網(wǎng)絡(luò)和附加網(wǎng)絡(luò)，結(jié)構(gòu)圖如圖1所示。

圖1 SSD 300網(wǎng)絡(luò)結(jié)構(gòu)

基礎(chǔ)網(wǎng)絡(luò)對經(jīng)典的VGG網(wǎng)絡(luò)進(jìn)行了改進(jìn)，將VGG網(wǎng)絡(luò)的兩個全連接層置換為卷積層，即將圖1中的FC6、FC7置換為Conv6、Conv7，同時通過卷積操作在基礎(chǔ)網(wǎng)絡(luò)之后將圖像從左到右生成一系列特征圖，即為附加網(wǎng)絡(luò)。Conv4_3、Conv7、Conv8_2、Con9_2、Conv10_2、Conv11_2等6個特征層的尺寸分別為38×38、19×19、10×10、5×5、3×3、1×1，最后將在每個特征層上運算的檢測結(jié)果進(jìn)行綜合，產(chǎn)生一系列固定大小的邊界框集合和邊界框中目標(biāo)類別預(yù)測分?jǐn)?shù)，最后使用非極大值抑制（Non-maximum suppression，NMS）對各個層對應(yīng)的檢測結(jié)果進(jìn)行過濾篩選，得到最終的目標(biāo)檢測結(jié)果。

2.2 先驗框生成

SSD目標(biāo)檢測算法［9～10］的先驗框生成方式借鑒了Faster R-CNN中的anchor思想，根據(jù)2.1節(jié)介紹的網(wǎng)絡(luò)結(jié)構(gòu)采用多尺度方法設(shè)置了6個層次的特征響應(yīng)圖，并對不同尺度的特征圖設(shè)定不同數(shù)量的anchor數(shù)量。先驗框的設(shè)置遵循一個規(guī)律：隨著特征圖大小的降低，先驗框尺度線性增加，如式（1）所示：

式中Smin表示第一層，即最底層的尺度設(shè)置為0.2，Smax表示最高層的尺度設(shè)置為0.9，m取值為5。SSD算法默認(rèn)的長寬比例為默認(rèn)的寬高計算公式為

式（2）、（3）分別表示先驗框的寬高計算公式，此外，每個特征尺度上都默認(rèn)有一個ar=1的先驗框。

2.3 損失函數(shù)

SSD目標(biāo)檢測算法主要分為兩類：目標(biāo)框位置損失和目標(biāo)框類別置信度損失。對于目標(biāo)框位置損失，算法采用Smooth L1損失函數(shù)來計算真實標(biāo)注的目標(biāo)邊界框和網(wǎng)絡(luò)預(yù)測的目標(biāo)邊界框之間的誤差，對于目標(biāo)類別損失，算法采用Softmax損失函數(shù)計算網(wǎng)絡(luò)分類的損失?？偟膿p失函數(shù)如式（4）所示：

式中，Lloc(x,l,g) 代表目標(biāo)框位置損失函數(shù)，Lconf(x,c)代表目標(biāo)類別損失，l代表預(yù)測的目標(biāo)框，g代表標(biāo)注的真實目標(biāo)框，c表示置信度，α為權(quán)重系數(shù)，N為預(yù)測的目標(biāo)框與真實目標(biāo)框匹配的個數(shù)；x={1 ,0}，當(dāng)預(yù)測的目標(biāo)框與真實的目標(biāo)框面積的交并比（Intersection over Union，IOU）大于閾值（本文設(shè)置為0.5）時，x取值為1，否則x取值為0。

目標(biāo)框位置損失定義為如式（5）所示：

目標(biāo)類別損失定義為如式（7）所示：

3 算法改進(jìn)

針對SSD算法在航母艦面復(fù)雜背景下對多尺度目標(biāo)下檢測性能不高尤其是牽引車、人員等小目標(biāo)檢測能力不足的問題，本文提出了特征融合、調(diào)整先驗框尺寸等改進(jìn)方法，融合深層和淺層特征以同時獲取細(xì)節(jié)和語義信息，并且構(gòu)建了能夠適應(yīng)多尺度目標(biāo)檢測的先驗框，提高了算法對于多尺度目標(biāo)檢測的準(zhǔn)確性以及對小目標(biāo)的檢測能力。

3.1 特征融合

特征融合的方法主要有兩種，分別為向量拼接和特征對應(yīng)元素逐元素相加?；谙蛄科唇拥奶卣魅诤戏椒▽⑿枰诤系奶卣鲗舆M(jìn)行合并，這種方式雖然能夠最大程度地保留各特征層的信息，但是會產(chǎn)生大量的參數(shù)，降低算法運行的效率。

對于深度卷積神經(jīng)網(wǎng)絡(luò)，淺層的特征層由于特征尺度大，所含的圖像細(xì)節(jié)信息豐富，但包含的語義信息較少，適合于小目標(biāo)的檢測；深層特征層特征尺度較小，所含的語義信息較多，但包含圖像細(xì)節(jié)信息很少，因此可用于大目標(biāo)的檢測。受特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）的啟發(fā)［11］，本文采用特征向量逐元素相加的方式進(jìn)行圖像特征融合，將淺層網(wǎng)絡(luò)和深層網(wǎng)絡(luò)融合在一起，以進(jìn)一步增強對多尺度目標(biāo)的檢測能力。當(dāng)深層次的小尺度特征與淺層次的大尺度特征進(jìn)行融合時，對深層次的特征圖進(jìn)行反卷積操作，本文設(shè)計的圖像特征融合模塊如圖2所示。

圖2 特征融合

如圖2所示，對深層特征進(jìn)行反卷積操作后，與上一層的圖像特征進(jìn)行逐元素相加，生成新的特征融合層，依次進(jìn)行相同的融合操作，直至所有特征層融合完畢。經(jīng)過特征融合，將具有圖像細(xì)節(jié)信息的淺層特征和具有語義信息的深層特征融合在一起，提高了網(wǎng)絡(luò)對目標(biāo)特征的表達(dá)能力。

3.2 調(diào)整先驗框

為了準(zhǔn)確地檢測不同尺度的目標(biāo)，本文對SSD先驗框的尺寸進(jìn)行改進(jìn)，以使其能夠適應(yīng)牽引車、行人等目標(biāo)。原算法對于先驗框的計算公式如式（1）所示，式中Sk表示先驗框的尺寸相對于原圖的比例，Smin和Smax表示比例的最小值和最大值，本文將Smin和Smax分別調(diào)整為0.10和0.95，這樣能夠有效避免由于目標(biāo)過小從而導(dǎo)致在訓(xùn)練階段目標(biāo)的真實邊界框無法找到相應(yīng)的先驗框與之匹配的問題。尺寸調(diào)整后的先驗框大小如表1所示。

表1 先驗框尺寸大小

4 實驗及分析

4.1 實驗數(shù)據(jù)集及數(shù)據(jù)增強

通過搭建等比例模型，采集了5546張包含5類艦面目標(biāo)的圖像集，并建立PASCAL VOC 2007格式的目標(biāo)檢測數(shù)據(jù)集，如表2所示。

表2 數(shù)據(jù)集

在數(shù)據(jù)集中，設(shè)置訓(xùn)練集比例為0.6，驗證集比例為0.2，測試集比例為0.2。

在數(shù)據(jù)預(yù)處理上，對圖像進(jìn)行［-45°，+45°］的水平或垂直翻轉(zhuǎn)，0.7～1.3范圍的放縮處理，實現(xiàn)數(shù)據(jù)樣本的豐富性，在訓(xùn)練時實現(xiàn)在線數(shù)據(jù)增強，從而提升模型的的泛化能力。

4.2 實驗環(huán)境配置及算法性能評價指標(biāo)

1）實驗環(huán)境配置

實驗中，軟硬件及環(huán)境配置如表3所示。

表3 實驗環(huán)境及參數(shù)

2）算法評價指標(biāo)

準(zhǔn)確率（precision）反映的是檢測正確樣本占檢測出樣本的比重，召回率（recall）反映的是被檢測出的樣本占總樣本的比重，公式定義如下：

TP表示檢測正確的艦載機目標(biāo)數(shù)量，F(xiàn)P為將其他目標(biāo)誤檢測為艦載機目標(biāo)的數(shù)量，F(xiàn)N表示存在但是未檢測到的艦載機數(shù)量。

平均準(zhǔn)確率（Average Precision，AP）來表示算法對某一目標(biāo)類別的檢測準(zhǔn)確率，公式為

其中P為準(zhǔn)確率，r為召回率。對于M個類別的平均準(zhǔn)確率，用平均準(zhǔn)確率的均值來表示，公式為

4.3 改進(jìn)后算法對比實驗

將原SSD算法和改進(jìn)后的SSD算法在本文的測試數(shù)據(jù)集上進(jìn)行性能實驗對比，實驗結(jié)果如表3所示。

表4 SSD算法改進(jìn)前后性能對比

由表3實驗結(jié)果可知，相比于改進(jìn)前的原SSD算法，改進(jìn)后的算法mAP提高了2.74%，并且在檢測各類目標(biāo)的效果都有改善，牽引車、人員等小目標(biāo)的平均準(zhǔn)確率分別提升了4.0%和5.1%，提升尤為突出，說明本文提出的特征融合、調(diào)整先驗框等改進(jìn)策略起到了良好的效果，特征融合使得圖像特征層既包含了目標(biāo)的圖像細(xì)節(jié)信息，又包含了圖像的語義信息，為網(wǎng)絡(luò)預(yù)測目標(biāo)提供了豐富的特征信息，同時又通過調(diào)整先驗框提高了網(wǎng)絡(luò)對不同尺度目標(biāo)的檢測能力。算法測試對比圖如圖3所示。

圖3 算法改進(jìn)前后檢測結(jié)果對比

圖3（a）、（b）分別為SSD算法改進(jìn)前后的艦面目標(biāo)檢測結(jié)果，由檢測結(jié)果可知，由于進(jìn)行了特征融合，增強了對不同尺度目標(biāo)特征的表征能力，且調(diào)整了適應(yīng)于多尺度目標(biāo)檢測的先驗框，算法能夠準(zhǔn)確地檢測出不同尺度的目標(biāo)，且明顯提升了對小目標(biāo)的檢測性能，具有良好的檢測效果。

4.4 消融實驗

1）改進(jìn)方案對算法檢測性能的影響

為了探究兩個改進(jìn)方案對算法性能提升的影響，分別獨立施加兩個改進(jìn)方案和同時施加兩個改進(jìn)方案對算法性能進(jìn)行測試，以實驗分析兩個改進(jìn)方案對目標(biāo)檢測準(zhǔn)確率的影響。設(shè)置如表5所示的實驗方案，實驗結(jié)果如下所示。

表5 改進(jìn)方案影響對比

由表5實驗結(jié)果可知，方案2對于艦載機、艦載直升機1、艦載直升機2等大目標(biāo)性能的提升幅度為0.7%、0.7%、0.5%，算法對牽引車、人員等小目標(biāo)性能提升幅度為2.9%、4.3%。方案3對于艦載機、艦載直升機1、艦載直升機2等大目標(biāo)檢測性能的提升幅度為1.2%、0.6%、0.7%，對于牽引車、人員等小目標(biāo)檢測性能的提升幅度為1.6%、2.2%。

相比于方案1的算法性能表明特征融合改進(jìn)策略和調(diào)整先驗框改進(jìn)策略對于艦載機、艦載直升機1、艦載直升機2等大目標(biāo)檢測性能提升幅度相當(dāng)，但是特征融合改進(jìn)策略對于小目標(biāo)檢測性能的提升效果明顯優(yōu)于調(diào)整先驗框改進(jìn)策略，可以推斷特征融合改進(jìn)策略對于小目標(biāo)檢測性能的提升起主要作用。與方案4的測試性能對比可知同時施加兩個改進(jìn)策略時，算法檢測性能提升效果最好。

2）特征融合層對算法檢測性能的影響

為了探究深層特征向淺層特征融合時對各個淺層特征檢測性能影響的大小，設(shè)置如表6所示的實驗方案。當(dāng)特征融合層逐漸增多時，實驗結(jié)果如下，首先設(shè)置基準(zhǔn)測試方案，即在Conv11_2—Conv9_2三個特征層融合后的特征圖上進(jìn)行性能測試并將結(jié)果作為比較基準(zhǔn)，后面依次融合增加更淺的特征層，并在融合后的特征層上進(jìn)行性能測試。

表6 特征融合對各淺層特征層性能影響對比

實驗結(jié)果表明，當(dāng)融合的淺層特征層越多時，算法檢測目標(biāo)的平均準(zhǔn)確率的均值越高，說明融合的層數(shù)越多，最終得到的特征層的信息越豐富，檢測準(zhǔn)確率也越高。

4.5 不同算法對比實驗

實驗對比Faster R-CNN、YOLO v3、FPN等目標(biāo)檢測算法與本文算法的性能，采用平均準(zhǔn)確率的均值（mAP）和幀率（fps）來衡量算法的性能，如表7所示。

表7 同類目標(biāo)檢測算法對比

由實驗對比結(jié)果可知，基于兩階段目標(biāo)檢測的Faster R-CNN檢測平均準(zhǔn)確率的均值為88.97%，均高于其他目標(biāo)檢測算法的準(zhǔn)確率，但檢測速率只有9幀每秒，處于較低水平?；趩坞A段目標(biāo)檢測的YOLO v3和本文算法相比，本文算法平均準(zhǔn)確率的均值比YOLO v3高出5.13%，檢測速率兩者相當(dāng)，實時性較高。FPN算法檢測準(zhǔn)確率與檢測實時性較本文算法均有一定差距，綜合檢測準(zhǔn)確率和實時性考慮，本文算法的性能均處于較高水平。

5 結(jié)語

本文針對航母艦面復(fù)雜的多尺度目標(biāo)檢測環(huán)境，提出了改進(jìn)SSD的航母艦面多尺度目標(biāo)檢測算法。通過對網(wǎng)絡(luò)尺度以及先驗框大小進(jìn)行調(diào)整，增強了網(wǎng)絡(luò)的多尺度目標(biāo)檢測能力，特別是提升了對小微目標(biāo)的檢測效果。然后在消融實驗中探究了兩個改進(jìn)方案對算法性能提升的影響，并對網(wǎng)絡(luò)各特征層融合時的性能效果進(jìn)行了實驗分析對比。最后與其他目標(biāo)檢測算法進(jìn)行了實驗比較，綜合考慮檢測準(zhǔn)確性和實時性，本文算法性能都處于較高水平。