基于改進(jìn)YOLOv5 的海面可見光圖像船舶檢測技術(shù)

宦毓泰，陳 琳，劉 彬，王文杰

（上海船舶設(shè)備研究所，上海 200031）

0 引言

近年來，智能船舶的研發(fā)應(yīng)用不斷推陳出新[1]。隨著云技術(shù)、大數(shù)據(jù)、人工智能以及虛擬現(xiàn)實的運用日益成熟，信息化、自動化船舶向著自主決策、自主控制的智能化方向發(fā)展。其發(fā)展方向之一就是智能無人船（Unmanned Surface Vessel，USV）[2]，即當(dāng)面對復(fù)雜的海洋環(huán)境時，可以對目標(biāo)或障礙物進(jìn)行檢測與識別，以進(jìn)行避障、規(guī)劃和自主完成任務(wù)，因此，無人船的環(huán)境感知和識別系統(tǒng)需要較高的準(zhǔn)確性和實時性。

目前，海洋環(huán)境下雷達(dá)作為傳統(tǒng)的傳感器，但基于船用雷達(dá)有限的空間分辨率和相對較低的掃描速率，雷達(dá)的精度有限[3]。為了克服此局限性，可用可見光傳感器進(jìn)行海上目標(biāo)檢測，提高海洋環(huán)境中自主導(dǎo)航的感知和態(tài)勢感知性能[4]。考慮到無人船感知和決策的強(qiáng)實時性和YOLOv5新的先驗框機(jī)制，本文采用基于改進(jìn)YOLOv5的網(wǎng)絡(luò)架構(gòu)進(jìn)行目標(biāo)檢測，同時對原始圖像進(jìn)行圖像預(yù)處理和數(shù)據(jù)增強(qiáng)，優(yōu)化神經(jīng)網(wǎng)絡(luò)模型，采用K-means改進(jìn)錨點框的尺寸大小，實現(xiàn)較好的海面目標(biāo)檢測效果[5-7]。

1 YOLOv5 算法網(wǎng)絡(luò)原理與結(jié)構(gòu)

基于無人船感知系統(tǒng)對實時性和準(zhǔn)確性的需求，本文采用YOLOv5l網(wǎng)絡(luò)結(jié)構(gòu)，主要由4個部分組成，分別是輸入（Input）、主干網(wǎng)絡(luò)（Backbone）、頸部網(wǎng)絡(luò)（Neck）、檢測頭（Prediction），見圖1，其中Focus模塊是指聚焦模塊，CONV模塊是指卷積（Convolution）模塊，BN模塊是指批標(biāo)準(zhǔn)化（Batch Normalization）模塊，SiLU模塊是一種激活函數(shù)，CBS模塊是指卷積模塊、批標(biāo)準(zhǔn)化模塊、SiLU模塊的串聯(lián)模塊，Res unit模塊是指殘差組件，Concat是指特征融合模塊，CSP1_X是指有X個殘差組件的跨階段局部網(wǎng)絡(luò)模塊（Cross Stage Partial Network），CSP2_X是指有2X個殘差組件的跨階段局部網(wǎng)絡(luò)模塊，Upsampling模塊是指上采樣模塊，Maxpool模塊是指最大池化模塊，slice模塊是指切片模塊[8-10]。

圖1 YOLOv5l 網(wǎng)絡(luò)結(jié)構(gòu)圖

2 YOLOv51 改進(jìn)算法

2.1 輸入端改進(jìn)

基于無人船海面圖像的近方船舶和遠(yuǎn)方船舶的像素點不同，引入Mixup數(shù)據(jù)增強(qiáng)方法，可對兩個樣本-標(biāo)簽數(shù)據(jù)對按比例相加后生成新的樣本-標(biāo)簽數(shù)據(jù)。

假設(shè)batchx1是一個batch樣本，batchy1是該batch樣本對應(yīng)的標(biāo)簽，batchx2是另外一個batch樣本，batchy2是該batch樣本對應(yīng)的標(biāo)簽，λ是由參數(shù)為(α,β)的貝塔分布計算出來的混合系數(shù)，由此得到Mixup原理公式為

式（1）～式（3）中：Beta指的是貝塔分布，mixed_batchx是混合后的batch樣本，mixed_batchy是混合后的batch樣本對應(yīng)的標(biāo)簽。

Mixup數(shù)據(jù)增強(qiáng)后的效果圖見圖2。

圖2 Mixup 數(shù)據(jù)增強(qiáng)效果圖

2.2 損失函數(shù)改進(jìn)

原始YOLOv5使用GIOU_Loss做邊界框的損失函數(shù)，損失函數(shù)如式（4）～式（7）所示，由類別損失、定位損失和置信度損失3個部分構(gòu)成。其中置信度損失和類別損失采用二元交叉熵?fù)p失函數(shù)進(jìn)行計算：

本文采用Focal loss 損失函數(shù)，并采用CIOU_Loss損失函數(shù)代替GIOU_Loss損失函數(shù)。

Focal loss損失函數(shù)本質(zhì)上就是在二元交叉熵?fù)p失函數(shù)引進(jìn)了一個控制正負(fù)樣本的權(quán)重的系數(shù)α和一個控制容易分類和難分類樣本的權(quán)重γ，通過權(quán)重γ和該類別的概率pt計算出調(diào)制系數(shù)(1－pt)γ，代入式（6）和式（7）中，得到：

2.3 先驗框聚類

原始YOLOv5模型中先驗框是固定的9個框，為[12, 16]、[19, 36]、[40, 28]、[36, 75]、[76, 55]、[72, 146]、[142, 110]、[192, 243]、[459, 401]。為了更好地匹配海面船舶圖像的特征，用K-means聚類算法對數(shù)據(jù)集重新聚類，生成適合的先驗框，最終得到的先驗框為[46, 21]、[93, 39]、[178, 42]、[135, 64]、[244, 72]、[187, 107]、[413, 90]、[301,145]、[507, 163]，K-means聚類結(jié)果圖見圖3。

圖3 K-means 聚類結(jié)果圖

3 試驗與結(jié)果分析

將改進(jìn)后的YOLOv5算法應(yīng)用于海面船舶識別的場景下，并與原始的YOLOv5進(jìn)行對比試驗。

3.1 試驗運行環(huán)境和參數(shù)設(shè)置

試驗環(huán)境的具體配置為Windows10 64位，CPU為Intel Core i7 10875H@2.3GHz，GPU為GeForce RTX 2060（6.0 GB），內(nèi)存為16GB，python版本為3.8，CUDA版本為10.2，pytorch版本為1.11.0。

訓(xùn)練參數(shù)方面，所有圖片輸入為640×640，模型采用YOLOv5l，初始學(xué)習(xí)率為0.001，最小學(xué)習(xí)率為0.000 01。訓(xùn)練輪數(shù)（epoch）為64，其中前32個epoch凍結(jié)模型的主干網(wǎng)絡(luò)部分的參數(shù)，批處理量（Batch size）為8，特征提取網(wǎng)絡(luò)不發(fā)生變化，網(wǎng)絡(luò)僅進(jìn)行微調(diào)，后32個batch解凍主干網(wǎng)絡(luò)，batch size為4，優(yōu)化器為adam（Adaptive Moment Estimation），動量（Momentum）為0.937，權(quán)值衰減為0，使用余弦退火算法對學(xué)習(xí)率進(jìn)行更新。

3.2 試驗數(shù)據(jù)集和預(yù)處理

本文數(shù)據(jù)集采用SeaShips數(shù)據(jù)集[11]，該數(shù)據(jù)集由7 000張圖片組成，涵蓋6種常見船型：礦砂船（Ore Carrier）、客船（Passenger Ship）、集裝箱船（Container Ship）、散貨船（Bulk Cargo Carrier）、雜貨船（General Cargo Ship）、漁船（Fishing Boat），所有圖像都是來自真實視頻片段，均使用具體船型標(biāo)簽和高精度邊界框進(jìn)行注釋，SeaShips數(shù)據(jù)集具體分布見圖4。

圖4 SeaShips 數(shù)據(jù)集分布圖

數(shù)據(jù)增強(qiáng)為線上增強(qiáng)，所有圖片數(shù)據(jù)有1/3進(jìn)行Mosaic數(shù)據(jù)增強(qiáng)，1/3進(jìn)行Mixup數(shù)據(jù)增強(qiáng)，1/3只進(jìn)行旋轉(zhuǎn)、平移等基礎(chǔ)數(shù)據(jù)增強(qiáng)?？紤]到Mosaic數(shù)據(jù)增強(qiáng)和Mixup數(shù)據(jù)增強(qiáng)遠(yuǎn)遠(yuǎn)脫離自然圖片的真實分布，故在訓(xùn)練的最后30%batch不進(jìn)行數(shù)據(jù)增強(qiáng)。

3.3 評估指標(biāo)和試驗結(jié)果與分析

本文評估指標(biāo)采用平均精度（Average Precision, AP）、平均精度均值（Mean AP, mAP）、精確率（precision）和召回率（recall）有關(guān)以及每秒檢測圖片的幀數(shù)（Frames Per Second, FPS）這5種在目標(biāo)檢測算法中較為常見的評價指標(biāo)來評估本文算法的性能。

在訓(xùn)練64個epoch的過程中，損失函數(shù)和平均精度的變化曲線見圖5和圖6，可以看到僅10個epoch之后模型就達(dá)到了較好的擬合效果。模型最終的平均精度均值達(dá)到了98.6%，相對于原始YOLOv5l模型的mAP提高了1.69%，具體每類的平均精度值見圖7。以數(shù)量最多的礦砂船為例，精確度達(dá)到了99.03%，召回率達(dá)到了93.18%，精確度和召回率隨門限值變化而變化的折線圖，如圖8和圖9所示。同時本文提出的模型的檢測速度達(dá)到了22.234FPS，較原始模型的20.335FPS也有明顯提升。

圖5 模型在數(shù)據(jù)集上訓(xùn)練過程中損失函數(shù)變化曲線

圖6 模型在數(shù)據(jù)集上訓(xùn)練過程中平均精度變化曲線

圖7 最終模型的平均精度均值和每類的平均精度圖

圖8 精確度隨門限值變化的折線圖

圖9 召回率隨門限值變化的折線圖

本文算法的具體海面目標(biāo)檢測效果圖見圖10，可以看到算法模型對較大的船只和較小的船只都有不錯的檢測效果，且可以有效分辨出不同船只的種類。

圖10 檢測效果圖

4 結(jié)論

為了提高無人船的感知能力，本文基于YOLOv5算法模型，利用深度學(xué)習(xí)的方法，針對海面船舶檢測的特點，提出一種基于改進(jìn)YOLOv5的海面可見光圖像船舶檢測算法，對模型的輸入方法、損失函數(shù)和先驗框作出了改進(jìn)，利用Seaships船舶數(shù)據(jù)集進(jìn)行訓(xùn)練和目標(biāo)檢測，平均精度均值最高可達(dá)98.6%，同時檢測時間也少于50 ms，獲得了較好的檢測結(jié)果，能夠滿足無人船感知的精確性和實時性，完善了無人船的感知系統(tǒng)，對無人船的感知研究工作有一定指導(dǎo)意義。