結(jié)合輕量級特征提取網(wǎng)絡(luò)的艦船目標檢測算法

李登峰，高 明，葉文韜

西安工業(yè)大學 光電工程學院，西安 710021

隨著我國海洋貿(mào)易的快速發(fā)展，船舶的數(shù)量和種類不斷增加，海面船舶交通日益繁榮，這對海上船舶的識別能力提出了更高的要求[1]。海面環(huán)境相較于自然環(huán)境更加復(fù)雜，經(jīng)常受到風、海浪、霧、光照等噪聲的干擾，這些噪聲對遠處的弱小目標影響較大，易產(chǎn)生虛警和漏檢現(xiàn)象，檢測效果差。傳統(tǒng)目標檢測算法一般采用特征加分類器的方式，對于復(fù)雜多變、噪聲多的海洋環(huán)境魯棒性差，且耗時長，易造成檢測窗口冗余，不適用于目前的艦船檢測[2]。

基于深度學習的目標檢測，使用損失函數(shù)前向傳播學習目標的特征，再通過反向傳播更新學習到的特征信息，可以更好地挖掘出數(shù)據(jù)之間的關(guān)聯(lián)，適合復(fù)雜環(huán)境下的海面目標檢測[3]。目前，目標檢測算法不僅在檢測的精度上屢創(chuàng)新高，還在模型的結(jié)構(gòu)上發(fā)生了很大變化。通常分為兩類：單階段（one-stage）檢測模型和兩階段（twostage）檢測模型[4-5]。單階段模型一般包括：YOLO（you only look once）系列[6]及SSD（single shot multibox detector）[7]等。單階段目標檢測通過回歸的方法獲得目標信息，輸入圖片經(jīng)過單次處理，就能得到目標的坐標信息和分類信息。隨著YOLOv2到Y(jié)OLOv5[8-11]接踵而出，YOLO系列算法的檢測速度和精度都得到相應(yīng)的提高。兩階段模型檢測精度高但是模型結(jié)構(gòu)復(fù)雜，導致參數(shù)量和計算量大，模型檢測速度慢。經(jīng)典的兩階段檢測模型有：R-CNN[12]、Fast R-CNN[13]、Faster R-CNN[14]等。其中，Girshick 提出了兩階段中最經(jīng)典的Faster R-CNN模型，該模型的速度得到提升，但是遠沒有達到Y(jié)OLO系列的檢測速度。2021年7月，Ge等[15]提出的新型目標檢測模型YOLOX，其檢測的精度與速度超越了以往YOLO系列模型。隨著檢測模型的發(fā)展，檢測精度不斷提高，模型結(jié)構(gòu)更加復(fù)雜，模型的計算量和參數(shù)量加大，但是要將其應(yīng)用在工程實踐中還需考慮部署平臺的設(shè)備承受能力。多數(shù)部署平臺沒有強大的計算性能和充足的存儲空間，無法部署這些復(fù)雜的檢測模型。因此平衡模型的大小和檢測精度成為目前主要面臨的問題。王子鵬等[16]引入輕量級特征提取網(wǎng)絡(luò)MobileNetv3代替YOLOv3的主干網(wǎng)絡(luò)達到減少模型計算量的目的。張劍飛等[17]添加注意力機制和Transformer模塊強化模型的特征提取能力，引入通道混合技術(shù)提高模型的檢測精度。譚顯東等[18]針對艦船目標檢測框特點對損失函數(shù)進行曲線優(yōu)化，提高了模型精度，但是模型權(quán)重比較大。陳科峻等[19]采用剪枝方法對模型進行壓縮，降低了模型的參數(shù)量和計算量，但是模型檢測精度僅為77.3%。這些網(wǎng)絡(luò)在輕量化的同時犧牲了精度，或者在保持高精度的同時放棄了輕量化，不能真正做到目標檢測的輕量化和高精度并存。

針對以上問題，本文從檢測的精度和模型大小的角度出發(fā)，在YOLOX網(wǎng)絡(luò)的基礎(chǔ)上提出改進。設(shè)計輕量級的特征提取網(wǎng)絡(luò)Ghost_ECA，將輕量級的通道注意力機制ECA 串聯(lián)到輕量級的特征提取網(wǎng)絡(luò)Ghostbottleneck中，用12個桶形排列的Ghost_ECA替代原YOLOX網(wǎng)絡(luò)中特征提取部分，壓縮了模型的大小。網(wǎng)絡(luò)優(yōu)化器更改為Adam優(yōu)化器，引入了Focal loss損失函數(shù)，提高了模型的檢測精度。

1 YOLOX基本原理

YOLOX提出了4種不同深度、寬度的模型，由淺至深分別為：YOLOX_s、YOLOX_m、YOLOX_l、YOLOX_x。此外還提出了兩種輕量型的模型：YOLOX_tiny 和YOLOX_nano，但是這兩種輕量型的模型犧牲了高精度，所以本文以YOLOX_s 為基線模型，對模型做出改進。YOLOX的結(jié)構(gòu)圖如圖1所示。

圖1 YOLOX整體結(jié)構(gòu)圖Fig.1 YOLOX structure diagram

YOLOX主要由三部分組成：骨干部分（Backbone）、頸部部分（Neck）、檢測頭（Head）部分。骨干部分提取輸入圖像特征，將提取到的特征傳入網(wǎng)絡(luò)的頸部部分做特征融合，融合后的特征圖輸入檢測頭部分，提取檢測結(jié)果。Focus 結(jié)構(gòu)如圖2（a）所示，通過切片操作對特征點信息進行隔點采樣，將特征點信息堆疊到通道上，相當于將一張高分辨率圖片切片成多張低分辨率圖片，等同于對特征圖像做了下采樣，但保證圖片信息不丟失。BaseConv 是YOLOX 網(wǎng)絡(luò)中的基本卷積，它包括Conv、BN、SiLu，如圖2（b）所示。卷積操作在網(wǎng)絡(luò)中主要負責特征提取，是模型最重要的操作之一。BN 讓每層的輸出和下層的輸入數(shù)據(jù)分布盡量保持一致，模型在訓練的時候更加穩(wěn)定。激活函數(shù)為網(wǎng)絡(luò)提供了非線性變化的能力，實現(xiàn)深度模型中層次化逐級抽象特征的能力。CSPLayer 結(jié)構(gòu)如圖2（c）所示，在殘差模塊堆疊的同時構(gòu)建了大的殘差邊，經(jīng)過少量處理直接連接到最后，主要負責網(wǎng)絡(luò)的特征提取?？臻g金字塔池化層（spatial pyramid pooling，SPP）主要解決了輸入圖片大小不統(tǒng)一的問題，通過三種不同的池化操作融合多重感受野，結(jié)構(gòu)如圖2（d）所示。

圖2 骨干部分結(jié)構(gòu)圖Fig.2 Structure diagram of backbone

2 YOLOX改進模型

2.1 YOLOX網(wǎng)絡(luò)改進

本文設(shè)計了輕量級的特征提取網(wǎng)絡(luò)Ghost_ECA，融合Ghostbottleneck和ECA注意力機制，Ghost_ECA模型結(jié)構(gòu)如圖3所示。Ghostbottleneck是輕量級特征提取模塊，可以降低模型的計算量和參數(shù)量。ECA是輕量級注意力機制，將ECA注意力機制串聯(lián)在Ghostbottleneck的兩個Ghost module 之間，只增加極少的參數(shù)量，提高模型的檢測精度。Ghost_ECA 模型在保持模型較高檢測性能的同時降低模型的計算量和參數(shù)量。圖3（a）是步長為1 時Ghost_ECA 的結(jié)構(gòu)圖，圖3（b）是步長為2 時Ghost_ECA的結(jié)構(gòu)圖。

圖3 Ghost_ECA模型結(jié)構(gòu)Fig.3 Structure of Ghost_ECA model

本文以YOLOX_s 為基線模型，改進了模型的特征提取部分，優(yōu)化器和損失函數(shù)。改進的YOLOX網(wǎng)絡(luò)結(jié)構(gòu)圖如圖4 所示。使用12 個Ghost_ECA 模塊代替YOLOX模型中特征提取部分，這12個Ghost_ECA模塊以桶形的方式排列，即dark2 中包含2 個Ghost_ECA 模塊、dark3中包含3個Ghost_ECA模塊、dark4中包含4個Ghost_ECA 模塊、dark5 中包含3個Ghost_ECA 模塊。這種排列方式使得模型保持較高的準確率，且減少了網(wǎng)絡(luò)的計算量和參數(shù)量。取消了SPP層，因為SPP在模型中主要的作用是增大感受野，從而加強網(wǎng)絡(luò)的特征提取能力，而Ghost_ECA模塊已經(jīng)提高了網(wǎng)絡(luò)的特征提取能力，使得SPP對模型的影響力減弱，且SPP參數(shù)量較大，增大了模型在磁盤中所需的空間大小。更換模型的優(yōu)化器，將YOLOX 原優(yōu)化器SGD 換為Adam。Adam 較SGD添加了一階動量和二階動量，使得損失函數(shù)更加接近全局最小值，且本文數(shù)據(jù)集較小，訓練輪數(shù)也設(shè)置較小，因此選用Adam優(yōu)化器更適合本文。引入損失函數(shù)Focal loss，緩解數(shù)據(jù)集樣本不平衡問題，通過使用兩個參數(shù)因子，控制易分類樣本的權(quán)重，并調(diào)節(jié)易分類樣本損失降低的速率。

圖4 改進的YOLOX模型結(jié)構(gòu)Fig.4 Improved YOLOX model structure

2.2 輕量級目標檢測模塊

Ghost 模塊是一個主要為輕量級檢測模型設(shè)計的即插即用的模塊[20]，由兩個Ghost module 組成，Ghost module 結(jié)構(gòu)如圖5 所示。輸入圖像通過卷積生成的特征圖部分是相似的，但是這些相似的特征圖有利于模型全面理解輸入圖像。Ghost模塊提出不是所有的特征圖都要通過卷積獲得，可以使用較低成本的方式去生成這些相似特征，這里低成本指使用深度可分離卷積獲得相似特征。輸入圖像的尺寸為H×W×C（高×寬×通道數(shù)），卷積核尺寸為k，輸出圖像尺寸為H′×W′×C′ 。Ghost卷積通過一個普通的卷積，獲得通道數(shù)為m的特征層，再通過對已經(jīng)生成的特征層使用深度可分離卷積，線性內(nèi)核的尺寸為d，生成n個相似的特征，填充到已生成特征層中，獲得最終輸出特征層。這樣不僅減少了計算參數(shù)，還降低了模型體積，檢測速度也得到了提升。

普通卷積和Ghost卷積的參數(shù)量分別為：

普通卷積和Ghost卷積參數(shù)量比值為：

普通卷積核Ghost卷積的計算量分別為：

普通卷積和Ghost卷積計算量比值為：

通過分析發(fā)現(xiàn)，普通卷積與Ghost 卷積的參數(shù)量和計算量之比均為C′/m，Ghost卷積通過普通卷積生成的特征圖通道數(shù)m的減少，Ghost卷積的參數(shù)量和計算量相較于普通卷積更少。

2.3 輕量級通道注意力機制

ECA模塊是一種輕量級的注意力機制，它通過增加少量參數(shù)提高網(wǎng)絡(luò)的特征提取能力[21]。ECA結(jié)構(gòu)如圖6所示。ECA模塊是一種不降維的跨通道交互模塊，不降維有利于學習網(wǎng)絡(luò)的特征，跨信道交互可以降低模型復(fù)雜度的同時提高檢測精度。通過不降維和跨通道交互，提高模型在目標特征上的注意力降低模型復(fù)雜度，最終提高模型檢測的精度。H、W代表輸入圖像的高和寬，C代表通道數(shù)，K代表跨通道交互的鄰居數(shù)也代表1×1 卷積的卷積核數(shù)，K與通道維數(shù)C成正比。利用非線性函數(shù)，給定通道維數(shù)C，K值就可以自適應(yīng)地來確定。C和K的非線性函數(shù)表達式如下：

表1 參數(shù)對比實驗Table 1 Parameter comparison experiment單位：%

圖6 ECA結(jié)構(gòu)圖Fig.6 Structure of ECA

|t|odd代表距離t最近的奇數(shù)，γ和b是系數(shù)分別為2 和1。本文模型在特征提取部分的通道數(shù)C值分別為32、64、128、256，通過公式計算可得，本文模型的K值分別為3、3、4、4。通過自適應(yīng)的方式確定K值，有利于節(jié)省計算資源。

ECA 模塊先通過不降維的全局平均池化策略學習網(wǎng)絡(luò)的特征，對每個通道及其K個相鄰?fù)ǖ肋M行1×1卷積來獲得跨通道交互信息，然后再通過一個1×1卷積后和平均池化前的圖像進行相加。

2.4 損失函數(shù)

Focal loss損失函數(shù)是在標準交叉熵損失基礎(chǔ)上改進得到的，最初用于圖像領(lǐng)域解決數(shù)據(jù)不平衡造成的模型性能問題[22]。在YOLO檢測算法中，通常一張圖會產(chǎn)生104個可能候選框，但只有極少數(shù)的候選框真正包含被檢測物體，這種正負樣本不均衡會導致模型學習的大部分是簡單負樣本，訓練不充分，訓練效果變差。Focal loss 損失函數(shù)根據(jù)模型的置信度信息動態(tài)調(diào)整損失來解決類別不平衡的問題，當預(yù)測正確的置信度信息增加時，損失的權(quán)重逐漸衰減，通過調(diào)整權(quán)重信息，讓模型訓練時更加關(guān)注難分類的樣本。公式可以表示為：

公式（8）為交叉熵損失函數(shù)，y′代表預(yù)測的結(jié)果是某一類的概率，y代表標簽，在二分類任務(wù)中對應(yīng)0 和1，也就是對應(yīng)分類正確和分類錯誤。公式（9）為本文使用的Focal loss 損失函數(shù)，在權(quán)重上添加γ可調(diào)節(jié)因子，且γ ＞0，用于調(diào)節(jié)易分類樣本損失降低的速度，本文模型的γ因子設(shè)置為2。添加α權(quán)重因子，用于平衡正負樣本本身的比例不均，本文模型的α因子設(shè)置為0.25。γ和α的值沿用文獻[22]中的實驗結(jié)果，當γ為2、α為0.25時，效果最好。

3 實驗

3.1 數(shù)據(jù)集構(gòu)建

選用SMD 數(shù)據(jù)集（singapore-maritime-dataset）新加坡海事數(shù)據(jù)集，包括共40 個可見光下在岸上拍攝的海面艦船視頻，視頻長度為3 s 到30 s 不等。由于模型訓練使用的是圖片格式，將40 個視頻每15 幀提取一張圖片，一共截取了1 240 張不同的海面艦船圖片。將訓練集和測試集按照7∶3的比例劃分，其中訓練集868張、測試集372 張。使用MAKE SENSE 在線標注軟件，對數(shù)據(jù)集以VOC格式進行標注，共有8 877個標注樣本。該數(shù)據(jù)集的檢測目標可以分為8 類，包括：Ferry、Buoy、Ship、Speed Boat、Boat、Kayak、Sail Boat、Other。

3.2 評價指標

AP（average precision）計算某一類別P-R曲線下的面積。mAP（mean average precision）也就是計算所有類別P-R 曲線下面積的平均值。P 為模型檢測的準確率，R 為模型檢測的召回率。P-R 曲線就是以準確率為y軸，召回率為x軸繪制的曲線。公式如下：

TP是預(yù)測為正，實際也為正，預(yù)測正確的樣本數(shù)量；FN是預(yù)測為負，實際為正，是預(yù)測錯誤的樣本數(shù)量；FP是預(yù)測為正，實際為負，預(yù)測錯誤的樣本數(shù)量；TN是預(yù)測為負，實際為負的樣本數(shù)量，是預(yù)測正確的樣本數(shù)量。

參數(shù)量是模型中參數(shù)的總和，跟模型在磁盤中所需的空間大小直接相關(guān)。計算量是模型所需的計算次數(shù)，反映了模型對硬件計算單元的要求。FPS（frames per second）是每秒傳輸?shù)膸瑪?shù)，體現(xiàn)模型處理圖片的速度，其檢驗結(jié)果受硬件影響。本文選擇mAP、參數(shù)量（Params）、計算量（GFLOPs）、FPS來評估算法的性能。

3.3 實驗結(jié)果與分析

本文實驗使用Ubuntu-18.04 操作系統(tǒng)，IDE 是PyCharm，開發(fā)語言是Python 3.8.10，深度學習框架為Pytorch 1.8.0，CUDA 版本為10.2。硬件中CPU 和GPU分別是Intel Xeon 和NVIDIA 2080Ti。設(shè)置輸入圖片和驗證圖片大小均為640×640，數(shù)據(jù)增強中mosaic的范圍是0.1到1，最后15個epoch不做mosaic數(shù)據(jù)增強。訓練輪數(shù)設(shè)置為80輪，batch_size為12，動量為0.9。

針對Focal loss中的參數(shù)γ和α的取值進行對比實驗，參數(shù)γ用于調(diào)節(jié)易分類樣本損失降低的速度，參數(shù)α用于平衡正負樣本的比例不均，實驗結(jié)果如表1 所示。從表1 中可以看出，當γ為2、α為0.25 時，本文模型檢測精度最高。

為驗證本文模型的性能，在相同的實驗條件下，利用自制艦船數(shù)據(jù)集進行訓練和驗證對比。YOLOX_s和本文算法每類的AP 值，如表2 所示。本文模型在小目標皮劃艇（Kayak）的檢測效果略低于YOLOX_s，在浮標（Buoy）、輪渡（Ferry）上的檢測效果高于YOLOX_s，其他目標檢測效果相差不大，在mAP@0.5 上本文模型略高于YOLOX_s，達0.28個百分點，因此本文模型在檢測精度上保持較高水平。

表2 每類AP值的實驗數(shù)據(jù)Table 2 Experimental data of AP values of each type 單位：%

YOLOX_s 和改進后的模型檢測結(jié)果如圖7 所示，矩形框框出的物體代表模型能檢測到的物體。圖7（a）YOLOX_s 模型檢測到5 個目標，在海天分界線處有兩個小目標漏檢，圖7（c）改進YOLOX模型可以全部檢測到。圖7（b）YOLOX_s 模型檢測到7 個目標，在圖片的邊界處漏檢了一個不完整目標，圖7（d）改進YOLOX模型可以全部檢測到?？梢钥闯鲈谶h處的弱小目標或圖像邊界處的不完整目標，YOLOX_s模型檢測效果不佳，本文模型均可檢測到。

圖7 YOLOX_s和改進YOLOX實驗結(jié)果對比。Fig.7 Comparison of experimental results between YOLOX_s and improved YOLOX

在訓練參數(shù)相同的情況下，對本文模型進行縱向?qū)Ρ葘嶒?。選擇兩個不同深度和寬度的模型，s和m進行驗證。YOLOX_s 模型的深度為0.33，寬度為0.5；YOLOX_m模型的深度為0.67，寬度為0.75，結(jié)果如表3所示。通過驗證發(fā)現(xiàn)，在相同的實驗條件下，s模型中改進后的模型比原模型的mAP高出0.28%，檢測精度相比原模型有少量提高，參數(shù)量和計算量上相比原模型分別降低36.57%和27.54%；m模型中改進后的模型比原模型的mAP 高出0.21 個百分點，參數(shù)量和計算量上相比原模型分別降低40.70%和35.88%。

表3 模型改進后性能指標對比Table 3 Comparison of performance indexes after model improvement

為客觀驗證改進模型的性能，利用自制艦船數(shù)據(jù)集，選取Faster-RCNN、SSD、CenterNet、Efficientdet、DETR、YOLOV3、YOLOX_s、YOLOX_tiny 共八個主流的目標檢測模型，在相同的實驗設(shè)備下進行對比實驗。通過對比八個主流檢測模型的mAP@0.5、Params、GFLOPs、FPS 共4 個檢驗指標，客觀分析本文算法的優(yōu)劣性，如表4所示。

表4 主流目標檢測模型實驗數(shù)據(jù)Table 4 Experimental data of mainstream target detection model

Efficientdet模型是對比模型中最輕量的，但是檢測精度僅有31.3%。CenterNet 模型的檢測速度是對比模型中最快的，可達每秒71.51幀，但是檢測精度和模型大小均表現(xiàn)較差。YOLOX_tiny 模型的計算量和參數(shù)量略小于本文模型，但是精度低于本文模型5.8個百分點。在相同實驗條件下，綜合mAP@0.5、Params、GFLOPs、FPS共4個檢測指標，本文算法的檢測精度最高，計算量和參數(shù)量較低，檢測速度較高。

為進一步驗證改進部分Ghost_ECA 和排列方式對模型的有效性，以YOLOX_s模型為基線模型設(shè)計實驗，結(jié)果如表5所示。

表5 改進部分Ghost_ECA的實驗對比Table 5 Improved ghost_ Experimental comparison of ECA

YOLOX_s 模型的特征提取部分是CSPLayer 模塊，CSPLayer在骨干部分的結(jié)構(gòu)為：dark2中使用了1個CSPLayer、dark3 中使用了3 個CSPLayer、dark4 中使用了3個CSPLayer、dark5中使用了1個CSPLayer。將特征提取網(wǎng)絡(luò)換成本文設(shè)計的Ghost_ECA，采用YOLOX_s骨干部分的排列方式，也就是1、3、3、1 的排列方式，模型精度降低了5.27 個百分點。換用本文的排列方式2、3、4、3，增加少量計算量和參數(shù)量，提高模型精度2.48個百分點。證明了本文的排列方式對模型的有效性。使用12 個桶形排列的Ghostbottleneck 模塊可以減少模型的計算量和參數(shù)量，與基線模型相比，計算量減少27.57%，參數(shù)量減少36.57%。與此同時模型精度也降低了3個百分點左右，更換Ghostbottleneck為Ghost_ECA模塊，融合了輕量級的注意力機制，提高了模型精度0.26個百分點，證明了Ghost_ECA模塊對模型的有效性。

為驗證各個改進部分對模型的有效性，評估改進部分不同組合方式對算法的影響，設(shè)計消融實驗，實驗結(jié)果如表6 所示。Ghost_ECA 模塊主要降低模型的計算量和參數(shù)量，但是模型的精度受到了影響；Adam優(yōu)化器大幅提高模型的精度至原YOLOX_s 水平，彌補了Ghost_ECA 為降低計算量和參數(shù)量造成的精度損失；Focal loss在此基礎(chǔ)上，不增加計算量和參數(shù)量，小范圍提高模型的精度。Ghost_ECA、優(yōu)化器、Focal loss三個部分共同作用，使改進后的模型輕量化的同時保持檢測精度不變，易于部署在算力不足的小型設(shè)備上。

表6 消融實驗數(shù)據(jù)Table 6 Ablation experimental data

4 結(jié)束語

為了解決海面艦船檢測需同時具備輕量化和高精度的問題，本文提出了一種基于改進YOLOX的艦船檢測模型。以YOLOX_s為基線模型，對骨干網(wǎng)絡(luò)、優(yōu)化器和損失函數(shù)進行改進，設(shè)計輕量級的特征提取網(wǎng)絡(luò)Ghost_ECA并以桶形的排列方式排列，替換模型的優(yōu)化器為Adam，引入Focal loss 損失函數(shù)。通過對比發(fā)現(xiàn)，改進后的YOLOX 模型mAP 達89.86%，與基線模型的結(jié)果相比較精度提高了0.28個百分點，模型的計算量和參數(shù)量分別降低27.54%、36.57%。本文模型提高檢測精度的同時降低了參數(shù)量和計算量，平衡了模型的大小和模型檢測精度，有益于模型部署在算力不足和存儲空間小的移動設(shè)備端。