基于YOLOv5的裝載機(jī)物料細(xì)粒度檢測優(yōu)化算法

顧同成,徐武彬,李 冰,3,李志恒,惠翔禹,何 心

(1.廣西科技大學(xué) 機(jī)械與汽車工程學(xué)院,廣西 柳州 545006;2.廣西土方機(jī)械協(xié)同創(chuàng)新中心,廣西 柳州 545006;3.廣西柳工機(jī)械股份有限公司,廣西 柳州 545116)

1 問題的提出

輪式裝載機(jī)主要用于對物料的鏟裝、卸料和短距離運輸,而頻繁的鏟裝、運輸、卸料和改變車輛方向致使裝載機(jī)操作人員容易進(jìn)入疲勞狀態(tài),進(jìn)而產(chǎn)生工作效率的降低、安全等問題。因此,隨著人工智能技術(shù)的發(fā)展,智能無人化的裝載機(jī)自主鏟裝逐漸成為研究的重點。

相關(guān)研究表明,裝載機(jī)在鏟裝散體物料過程中,不同物料種類,其不同物理屬性和接觸參數(shù)對鏟裝作業(yè)阻力的影響不同,當(dāng)面向特定物料種類時采用最優(yōu)鏟裝作業(yè)曲線能夠最大限度降低鏟裝阻力,進(jìn)而降低發(fā)動機(jī)功耗,達(dá)到節(jié)能、高效的目的[1-10]。曹丙偉[11]通過實機(jī)實驗證明裝載機(jī)在鏟裝不同物料時發(fā)動機(jī)功率不同,如圖1[11]所示,并基于此將深度學(xué)習(xí)算法應(yīng)用于裝載機(jī)智能鏟裝,實現(xiàn)物料與發(fā)動機(jī)功率智能匹配。

圖1 裝載機(jī)鏟裝不同物料時發(fā)動機(jī)的功率

CAO等[12]通過使用反向傳播神經(jīng)網(wǎng)絡(luò)算法建立物料識別模型,獲得了92%的識別準(zhǔn)確率,根據(jù)模型識別出物料類型,自動選擇相應(yīng)的發(fā)動機(jī)曲線。LI等[13]首先利用雷達(dá)圖分析法綜合分析不同物料對裝載機(jī)鏟裝難度的影響,隨后利用YOLOv4目標(biāo)檢測算法實現(xiàn)對石灰石、細(xì)砂、土壤、煤、鐵礦石5種物料的識別,且其識別平均準(zhǔn)確率達(dá)到93.03%。上述研究雖已實現(xiàn)物料目標(biāo)檢測,但均缺乏物料細(xì)粒度識別方面的研究。而目前,常見工業(yè)物料子類繁多且特征極為相近,如識別模型對細(xì)粒度特征聚焦不準(zhǔn)確則無法實現(xiàn)對鏟裝軌跡和電機(jī)功率的精確匹配,另外裝載機(jī)實際工作環(huán)境和條件會在一定程度上對待檢測數(shù)據(jù)產(chǎn)生影響,因此要求模型必須具有較強(qiáng)的數(shù)據(jù)處理和抗干擾能力。

近些年,相關(guān)學(xué)者針對各自項目對YOLO系列算法進(jìn)行了許多優(yōu)化和改進(jìn)。ZHAO等[14]通過將壓縮激勵注意力(Squeeze and Excitation module,SE)機(jī)制分別嵌入YOLOv5的Backbone、Head和Prediction輸出端進(jìn)性能對比,增強(qiáng)網(wǎng)絡(luò)對車輛目標(biāo)的辨識能力;HUANG等[15]利用卷積塊注意力(Convolutional Block Attention Module,CBAM)機(jī)制改善遮擋目標(biāo)與小目標(biāo)的漏檢問題,并利用α-IoU代替原GIoU(generalized intersection over union)邊界框損失函數(shù),最終在柑橘果實識別中獲得較好的識別精度;SONG等[16]通過研究并設(shè)計了一種YOLOv5-MDC的輕量級目標(biāo)檢測網(wǎng)絡(luò),利用混合深度可分離卷積(Mixed Depthwise Convolutional,MDC)和SE機(jī)制模塊對原網(wǎng)絡(luò)進(jìn)行改進(jìn),使得網(wǎng)絡(luò)在重度粘連小麥籽粒上的檢測精度得到較好的改善;SU等[17]提出基于YOLOv4的YOLO-J的PCB缺陷檢測算法,通過更換主干網(wǎng)絡(luò)及添加一系列優(yōu)化改進(jìn)方法,在減少了網(wǎng)絡(luò)模型參數(shù)同時提高了對小目標(biāo)PCB 缺陷的檢測精度。WANG等[18]研究CBAM機(jī)制,將其嵌入YOLOv5特征提取網(wǎng)絡(luò)中,提出YOLO_CBAM,提高YOLOv5算法對外侵雜草刺萼龍葵的識別準(zhǔn)確率等。張明強(qiáng)等[19]提出一種簡化版的YOLOv3網(wǎng)絡(luò)Fast-Tiny YOLO,利用卷積、批歸一化和Leaky ReLU組成基礎(chǔ)殘差卷積單元(Conv+BN+Leaky ReLU)構(gòu)建特征提取網(wǎng)絡(luò),實現(xiàn)降低模型參數(shù)的同時提高了模型對空調(diào)外觀檢測任務(wù)的檢測精度。

為解決裝載機(jī)智能鏟裝過程中缺少對物料細(xì)粒度方面的高精度檢測算法問題,本文以優(yōu)化YOLOv5網(wǎng)絡(luò)性能為目標(biāo),研究提高模型物料細(xì)粒度識別準(zhǔn)確率以及網(wǎng)絡(luò)數(shù)據(jù)處理和抗干擾能力的方法。物料細(xì)粒度識別具有“類內(nèi)差異大,類間差異小”的難點,如圖2和圖3所示,嚴(yán)重影響目標(biāo)檢測準(zhǔn)確率,增加檢測難度。因此本文重點從以下兩個方面強(qiáng)化網(wǎng)絡(luò)性能:①提高網(wǎng)絡(luò)對細(xì)粒度特征的提取和聚焦能力,使模型在預(yù)測過程中準(zhǔn)確抓取具有代表性的細(xì)粒度特征信息;②對模型訓(xùn)練過程中高維語義信息特征圖賦予權(quán)重參數(shù),使網(wǎng)絡(luò)在處理高維語義特征過程中更精準(zhǔn)地把控細(xì)粒度特征所在的通道與空間信息。

圖2 物料類內(nèi)差異大、類間差異小(同一大類不同子類)

圖3 物料類內(nèi)差異大、類間差異小(不同大類不同子類)

YOLOv5分為YOLOv5n、YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x五種基礎(chǔ)模型。YOLOv5s在COCO2017驗證集上的mAP@0.5為56.8%,圖形處理器(Graphics Processing Unit,GPU)檢測速度為每張圖片6.4 ms,且其參數(shù)量較小(7.2 M)。遵循模型參數(shù)量不宜過大,檢測速度不宜過慢且檢測精度不宜過低的原則,結(jié)合智能裝載機(jī)物料識別過程,選擇YOLOv5s為基礎(chǔ)改進(jìn)模型不僅滿足智能裝載機(jī)系統(tǒng)對檢測實時性要求,還能降低模型在部署方面的難度,適用于工程項目。

本文總體技術(shù)方案分為5步:①以待檢測數(shù)據(jù)是否含有噪聲為前提,提出兩種基于注意力機(jī)制的優(yōu)化算法;②將YOLOv5s各結(jié)構(gòu)與注意力機(jī)制實現(xiàn)功能耦合,提出改進(jìn)的YOLOv5模型;③分別建立適用于目標(biāo)檢測訓(xùn)練的清晰高質(zhì)量和含有噪聲低質(zhì)量兩種物料數(shù)據(jù)集;④實驗對比YOLOv5s采用各優(yōu)化算法前后的準(zhǔn)確率變化,分析低質(zhì)量數(shù)據(jù)對模型準(zhǔn)確率的影響,對比驗證經(jīng)本文提出的兩種注意力算法優(yōu)化后的YOLOv5s在高、低質(zhì)量數(shù)據(jù)集上的檢測準(zhǔn)確率;⑤模型評估。

2 YOLOv5算法

YOLOv5算法根據(jù)各部分功能不同分為特征提取網(wǎng)絡(luò)(Backbone)、特征融合網(wǎng)絡(luò)(Head)和預(yù)測網(wǎng)絡(luò)(Prediction)3部分,如圖4所示為YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)圖。

圖4 YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)圖

Backbone提取特征圖(feature map)特征信息,隨著網(wǎng)絡(luò)深度加深,提取的特征越加抽象,末端由SPPF將輸出的Feature Map串行池化經(jīng)Concat拼接后輸出高維語義信息。Head主要由融入CSP(cross stage partial)結(jié)構(gòu)的FPN(feature pyramid networks)和PAN(path aggregation network)兩部分組成。通過FPN構(gòu)建特征金字塔,自頂向下逐一融合強(qiáng)語義特征,使Feature Map兼具低層紋理信息和高層語義信息,有利于網(wǎng)絡(luò)對目標(biāo)特征的聚焦。通過PAN構(gòu)建路徑聚合網(wǎng)絡(luò),自底向上逐一傳遞強(qiáng)語義特征,與FPN兩兩作用,從不同主干層對不同檢測層進(jìn)行參數(shù)聚合,大幅度增強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)性能。Prediction主要由3部分組成,分別負(fù)責(zé)Head網(wǎng)絡(luò)輸出的3個預(yù)測特征層,其3部分分別由大小為1,步距為1的卷積層組成,卷積核個數(shù)

C=3×(5+ncls)。

(1)

式中:5為目標(biāo)框的橫縱坐標(biāo)、寬、高(x、y、w、h)4個參數(shù)與該目標(biāo)的置信度一個參數(shù)的數(shù)量和;ncls為識別樣本數(shù)據(jù)集的類別個數(shù);3為Feature Map每一個Grid Cell框(網(wǎng)絡(luò)會將預(yù)測特征層均分為7×7個Grid Cell)的3種預(yù)測錨框(Anchor Box)。

3 本文優(yōu)化算法

本章首先提出雙線性注意力機(jī)制,從多尺度特征圖和多角度全局信息中獲取多方面注意力特征,提高網(wǎng)絡(luò)對細(xì)粒度特征的提取和把控能力;其次,設(shè)計新結(jié)構(gòu),將軟閾值嵌入雙線性注意力機(jī)制,增強(qiáng)網(wǎng)絡(luò)對含噪聲低質(zhì)量數(shù)據(jù)的處理和抗干擾能力,網(wǎng)絡(luò)在訓(xùn)練過程中自適應(yīng)得到一組高維閾值組,利用軟閾值過濾原特征圖中分布在空間和通道方向的噪聲信息,達(dá)到抗干擾的目的。

3.1 基于雙線性改進(jìn)的注意力機(jī)制

常見注意力機(jī)制包括:壓縮激勵注意力(SE)機(jī)制[20]、卷積塊注意力(CBAM)機(jī)制[21]和高效通道注意力(Efficient Channel Attention,ECA)機(jī)制[22]。CBAM以SE機(jī)制在Feature Map通道方向上訓(xùn)練并添加注意力權(quán)重參數(shù)為基礎(chǔ),進(jìn)一步在每一空間特征上訓(xùn)練并添加注意力權(quán)重,使網(wǎng)絡(luò)更注重細(xì)節(jié)特征信息,更適用于細(xì)粒度特征提取;相較于ECA機(jī)制,雖其能加強(qiáng)通道之間的信息交流,但無法更進(jìn)一步針對細(xì)粒度特征的提取過程優(yōu)化網(wǎng)絡(luò)性能。因此,本文通過選擇改進(jìn)CBAM機(jī)制優(yōu)化YOLOv5s對物料的細(xì)粒度檢測性能。

雙線性思想可大幅提高卷積神經(jīng)網(wǎng)絡(luò)對細(xì)粒度特征的提取能力,如雙線性卷積神經(jīng)網(wǎng)絡(luò)(Bilinear CNN,BCNN)[23]、雙線性池化方式(bilinear pooling)等,利用雙線性思想,改進(jìn)CBAM機(jī)制,提出基于雙線性改進(jìn)的注意力機(jī)制(Bilinear CBAM,BCBAM),其結(jié)構(gòu)如圖5所示。

圖5 雙線性注意力機(jī)制原理結(jié)構(gòu)圖

BCBAM由空間注意力(Spatial Attention Module,SAM)與通道注意力(Channel Attention Module,CAM)兩大模塊組成。其中SAM模塊分別利用1×1和3×3大小卷積并行處理,以獲得不同尺度Feature Map,進(jìn)而從多尺度高維特征信息空間中訓(xùn)練得到更細(xì)粒度且更具表現(xiàn)能力的特征注意力參數(shù)。SAM與CAM同時對輸入Feature Map進(jìn)行注意力特征子訓(xùn)練,分別從多尺度特征圖和多角度全局信息中獲取多方面注意力特征,提高網(wǎng)絡(luò)對細(xì)粒度特征的提取和把控能力,最終經(jīng)BCBAM處理輸出既具空間又具通道注意力的Feature Map,式(2)～式(4)為BCBAM的原理表達(dá)式。

(2)

F′SAM=Sigmoid(Conv1×1(ReLU(LN(Conv1×1(F))))?Conv1×1(ReLU(LN(Conv3×3(F)))));

(3)

(4)

3.2 面向裝載機(jī)工作工況環(huán)境的注意力優(yōu)化算法

裝載機(jī)作業(yè)工況環(huán)境復(fù)雜,圖像采集傳感器及信號傳輸元器件長期處在高負(fù)荷且環(huán)境惡劣的條件下,易使采集的數(shù)據(jù)帶有噪聲[24],產(chǎn)生低質(zhì)量待預(yù)測數(shù)據(jù)。因此,本節(jié)進(jìn)一步改進(jìn)3.1節(jié)提出的BCBAM機(jī)制,增強(qiáng)算法對低質(zhì)量樣本數(shù)據(jù)的特征提取能力。

研究表明,利用卷積神經(jīng)網(wǎng)絡(luò)聯(lián)合軟閾值可以有效降低噪聲等相關(guān)干擾特征對模型識別準(zhǔn)確率的影響[25]。軟閾值降噪原理公式如式(5)～式(6)所示?；谲涢撝?改進(jìn)BCBAM,緩解噪聲對目標(biāo)檢測準(zhǔn)確率的影響。如圖6所示為嵌入軟閾值的BCBAM原理結(jié)構(gòu)圖。

(5)

圖6 嵌入軟閾值的BCBAM原理結(jié)構(gòu)圖

(6)

嵌入軟閾值的BCBAM(Soft_threshold BCBAM,St_BCBAM)結(jié)構(gòu)上保留雙線性處理方式,在BCBAM輸出的Feature Map基礎(chǔ)上對其空間和通道方向進(jìn)行軟閾值降噪,使輸出Feature Map不僅具有空間和通道的權(quán)值分配,還能去除輸入Feature Map中在空間和通道方向分布的噪點特征。St_BCBAM主要實現(xiàn)步驟為:利用CAM模塊中Avg Pooling和Max Pooling分別得到的高維全局特征矩陣Xpooling∈(B,C,1,1)基于通道相乘后再與BCBAM機(jī)制的輸出Xatt_out∈(B,C,W,H)高維注意力特征子基于通道相乘,得到軟閾值降噪所需要的高維閾值組?！?B,C,W,H),隨后與輸入BCBAM模塊的Feature Map進(jìn)行軟閾值處理,軟閾值將濾除圖片中噪點的空間、通道特征值,進(jìn)而實現(xiàn)對噪聲多角度降噪的目的,原理總結(jié)如式(7)～式(8)所示。

Γ=Mul(Maxpool(Abs(F′))?

(7)

F″=St(Xin,Γ)。

(8)

式中:St表示軟閾值處理;Mul為乘積計算;Abs為取絕對值;Γ為閾值組。

4 基于YOLOv5s的注意力嵌入方式

本章針對YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu),研究注意力機(jī)制(attention module)的嵌入方式,提出3種基于各結(jié)構(gòu)改進(jìn)的YOLOv5網(wǎng)絡(luò)。

在Backbone中嵌入Attention Module,組成YOLOv5_B(YOLOv5_Backbone),其結(jié)構(gòu)如圖7所示,通過Attention Module對Feature Map注入注意力參數(shù)可為Backbone特征提取過程提供具有偏向性的特征矩陣,更易定位細(xì)粒度特征信息,與此同時,加快網(wǎng)絡(luò)對目標(biāo)特征的過濾效率,使網(wǎng)絡(luò)對用以區(qū)分目標(biāo)的主要特征進(jìn)行充分學(xué)習(xí)。

圖7 嵌入注意力機(jī)制的Backbone網(wǎng)絡(luò)結(jié)構(gòu)(YOLOv5_B)

通過將Attention Module嵌入Head結(jié)構(gòu),組成YOLOv5_H(YOLOv5_Head),可對上下文不同語義信息融合后的高維Feature Map進(jìn)行注意力權(quán)重分配,更高效的從高維特征數(shù)據(jù)中獲取有助于檢測的細(xì)粒度語義信息,有利于網(wǎng)絡(luò)對目標(biāo)特征的聚焦,YOLOv5_H結(jié)構(gòu)圖如圖8所示。

圖8 嵌入注意力機(jī)制的Head網(wǎng)絡(luò)結(jié)構(gòu)(YOLOv5_H)

Feature Map首先通過Backbone實現(xiàn)由底層向高層、由表層到語義的特征提取,隨后在Backbone與Head之間通過SPPF實現(xiàn)輸出特征拼接(在YOLOv5s 6.0中,SPPF與原SPP相比,更換原并行池化為串行依次池化,提高處理效率,降低參數(shù)量)。

SPPF作為Backbone與Head之間的樞紐,對實現(xiàn)特征融合和特征傳遞起到至關(guān)重要的作用。本文在實現(xiàn)YOLOv5_B,YOLOv5_H的同時,進(jìn)一步優(yōu)化SPPF,使SPPF能夠更具偏向性的接收、傳遞由Backbone處理的深層Feature Map,組成YOLOv5_F(YOLOv5_SPPF)。如圖9所示為嵌入Attention Module的SPPF模塊。

圖9 嵌入注意力機(jī)制的SPPF網(wǎng)絡(luò)結(jié)構(gòu)(YOLOv5_F)

5 物料數(shù)據(jù)集及實驗說明

本章首先分別建立清晰高質(zhì)量和含有噪聲低質(zhì)量物料數(shù)據(jù)集,說明如何將數(shù)據(jù)圖片整合成適用于目標(biāo)檢測訓(xùn)練和驗證的樣本,為第6章各實驗提供數(shù)據(jù)集來源;其次闡述本文實驗過程和模型評估方式,為本文結(jié)論提供可靠性支撐。

5.1 數(shù)據(jù)集介紹

針對裝載機(jī)物料目標(biāo)檢測,本文采用常見工業(yè)裝載機(jī)待鏟物料數(shù)據(jù)集樣本進(jìn)行模型訓(xùn)練。將待鏟物料數(shù)據(jù)集以粗粒度劃分為礦石、煤礦、巖石3大類,然后根據(jù)其組成成分不同又可將其細(xì)粒度分為不同子類,如圖10所示,圖中從上到下的大類依次為:礦石、煤礦、巖石。

圖10 各類物料的子類劃分

為更接近真實復(fù)雜工況條件導(dǎo)致的低質(zhì)量圖片,通過數(shù)據(jù)增強(qiáng)算法為圖片隨機(jī)增加噪聲,模擬現(xiàn)實工況下所獲得的低質(zhì)量樣本,用以訓(xùn)練并驗證本文提出的優(yōu)化方式對低質(zhì)量目標(biāo)的檢測準(zhǔn)確率。如圖11所示為添加噪聲前后對比圖。

圖11 噪聲添加前后的對比圖

目標(biāo)檢測算法不僅可以檢測目標(biāo)種類,還可以檢測目標(biāo)在視野中所處的位置,因此,在準(zhǔn)備用以訓(xùn)練的圖片樣本時,樣本圖片應(yīng)同時包含不同物料種類并且應(yīng)處在圖片視野的不同位置。而在現(xiàn)實情況中,較難搜集處在同一視野的物料子類圖片樣本,因此采用圖像拼接技術(shù)實現(xiàn)上述要求,圖像拼接后的圖片樣本如圖12所示。實驗樣本中拼接樣式共4種:1×2,2×2,2×3,3×3。

圖12 基于圖形拼接的數(shù)據(jù)樣本

為驗證本文St_BCBAM算法可靠性,特準(zhǔn)備兩種數(shù)據(jù)集樣本:①只含拼接后物料原圖組成的數(shù)據(jù)集ImdNet1;②只含拼接后添加噪聲的物料圖片組成的數(shù)據(jù)集ImdNet2。ImdNet1和ImdNet2區(qū)別僅為有無噪聲,樣本數(shù)量和數(shù)據(jù)集劃分均一致。

5.2 實驗說明

5.2.1 實驗步驟

步驟1利用原始YOLOv5s網(wǎng)絡(luò)模型對物料進(jìn)行細(xì)粒度識別,分析原始YOLOv5s物料識別性能。

步驟2將傳統(tǒng)優(yōu)化方法(SE機(jī)制、CBAM機(jī)制、ECA機(jī)制)與BCBAM分別嵌入YOLOv5s網(wǎng)絡(luò)中的Backbone、Head和SPPF三部分,利用ImdNet1數(shù)據(jù)集分別訓(xùn)練并對比YOLOv5_B、YOLOv5_H,YOLOv5_F的mAP,得出最佳網(wǎng)絡(luò)改進(jìn)方式并驗證本文算法對物料細(xì)粒度目標(biāo)檢測的優(yōu)越性,同時與原始YOLOv5s檢測結(jié)果對比,驗證優(yōu)化方式的可靠性。

步驟3在步驟2基礎(chǔ)上,將優(yōu)化方法改為St_BCBAM,利用ImdNet2對改進(jìn)后的YOLOv5s進(jìn)行訓(xùn)練,并與原始YOLOv5s在ImdNet2檢測結(jié)果對比,討論低質(zhì)量圖片對模型識別效果的影響,驗證St_BCBAM能夠提高YOLOv5s算法對低質(zhì)量圖片的檢測能力,實現(xiàn)對低質(zhì)量物料數(shù)據(jù)的高精度細(xì)粒度目標(biāo)檢測。

5.2.2 模型評估標(biāo)準(zhǔn)

實驗采用精確度Precision(P)、召回率Recall(R)和均值平均精度(mAP)作為評價指標(biāo),其具體計算公式如式(9)～式(11)所示。衡量模型的關(guān)鍵參數(shù)為mAP(mean Average Precision),其為AP(Average Precision)的平均。mAP衡量指標(biāo)分為mAP@0.5和mAP@0.5:0.95兩種,與P值和R值不同,mAP能單獨衡量模型的好壞,而P、R值則需兩者共同決定。

(9)

(10)

(11)

式中:TP為正確預(yù)測為正樣本的個數(shù)(正確預(yù)測為該物料的數(shù)目);FP為錯誤預(yù)測為正樣本的數(shù)目(錯誤預(yù)測為該物料的數(shù)目);FN為錯誤預(yù)測到負(fù)樣本的數(shù)目(錯誤將該類物料預(yù)測成其他類物料的數(shù)目);AP為平均精度;C為類別總數(shù)。

實驗所用計算機(jī)配置為:Intel Core i7-9000K的CPU,一塊顯存6 G的GTX1060 GPU,在Windows 10系統(tǒng)、Python編程環(huán)境下運行,使用Pytorch深度學(xué)習(xí)框架進(jìn)行細(xì)粒度模型的訓(xùn)練和驗證。

6 實驗結(jié)果分析

按5.2.1節(jié)實驗步驟,首先進(jìn)行步驟1,利用ImdNet1在原始YOLOv5s網(wǎng)絡(luò)上實現(xiàn)物料細(xì)粒度檢測,記錄實驗結(jié)果,為后續(xù)優(yōu)化算法結(jié)果提供數(shù)據(jù)對比。隨后進(jìn)行步驟2,將SE機(jī)制、CBAM機(jī)制、ECA機(jī)制以及本文提出的BCBAM機(jī)制分別嵌入YOLOv5s網(wǎng)絡(luò)中的Backbone、Head和SPPF三部分,得到Y(jié)OLOv5_B,YOLOv5_H,YOLOv5_F,數(shù)據(jù)集為ImdNet1。如表1所示為實驗結(jié)果。

表1 基于注意力機(jī)制改進(jìn)的YOLOv5s對物料細(xì)粒度識別結(jié)果

經(jīng)多次訓(xùn)練調(diào)參,為最大化網(wǎng)絡(luò)性能,將初始學(xué)習(xí)率設(shè)置為0.01,選用隨機(jī)梯度下降(Stochastic Gradient Descent,SGD),動量參數(shù)設(shè)置為0.937,權(quán)重衰減系數(shù)設(shè)置為0.000 5。網(wǎng)絡(luò)在訓(xùn)練過程中通過反向傳播、梯度下降算法不斷更新迭代模型參數(shù),使模型參數(shù)穩(wěn)定于損失函數(shù)最小值區(qū)域,則物料識別模型訓(xùn)練完畢。

表1列出了YOLOv5_B,YOLOv5_H,YOLOv5_F在4種注意力機(jī)制下對物料細(xì)粒度檢測的結(jié)果和評估參數(shù)。分析可知,將BCBAM機(jī)制嵌入SPPF中使網(wǎng)絡(luò)對物料細(xì)粒度檢測準(zhǔn)確度提升最高,且在mAP@0.5及mAP@0.5:0.95方面均高于其他優(yōu)化方式?，F(xiàn)對每一種優(yōu)化方式下最高mAP@0.5單獨進(jìn)行對比,如圖13所示為兩種mAP評估方式的模型性能對比結(jié)果,相較于其他優(yōu)化方式的最優(yōu)結(jié)果,本文BCBAM優(yōu)化方式得到的物料檢測模型達(dá)到93.2%的高精度細(xì)粒度檢測,并且在mAP@0.5和mAP@0.5:0.95均分別超過原始YOLOv5s 6.0%和7.3%。

圖13 各模型mAP@0.5、mAP@0.5:0.95對比柱狀圖

為了更好地反映出本文優(yōu)化方式的優(yōu)越性,實驗時利用Wandb監(jiān)控訓(xùn)練過程,如圖14和圖15所示分別為各優(yōu)化方式mAP@0.5指標(biāo)最高網(wǎng)絡(luò)模型的mAP@0.5、mAP@0.5:0.95變化曲線對比圖;如圖16所示為訓(xùn)練過程中類別損失(class loss)、目標(biāo)框損失(box loss)、目標(biāo)損失(object loss)的變化曲線圖;如圖17所示為驗證過程中類別損失(class loss)、目標(biāo)框損失(box loss)、目標(biāo)損失(object loss)的變化曲線圖。圖14和圖15表明優(yōu)化后的模型,其最終收斂情況大致相同,但BCBAM_YOLOv5_F在mAP@0.5及mAP@0.5:0.95兩種指標(biāo)上均高于其他優(yōu)化方式的下的網(wǎng)絡(luò)模型;如圖16所示為模型訓(xùn)練過程損失下降情況,僅從最終收斂情況分析,優(yōu)化后的網(wǎng)絡(luò)在class loss和box loss兩方面均大致相同,但在object loss方面BCBAM_YOLOv5_F無論是收斂速度還是收斂結(jié)果均優(yōu)于其他優(yōu)化方式;如圖17所示為模型驗證過程損失下降情況,同樣僅從最終收斂情況分析,box loss和object loss均大致相同,而在class loss方面,BCBAM_YOLOv5_F同樣優(yōu)于其他優(yōu)化方法。

圖14 各模型驗證過程mAP@0.5變化曲線對比

圖15 各模型驗證過程mAP@0.5:0.95變化曲線對比

圖16 各模型訓(xùn)練過程損失變化圖

圖17 各模型驗證過程損失變化圖

由上述分析及圖示易得,CBAM_YOLOv5_B與BCBAM_YOLOv5_F性能相近,因此,結(jié)合PR曲線對兩種模型進(jìn)一步分析,如圖18和圖19所示。PR曲線是通過將不同置信度下的P值R值連點成線所獲,曲線與坐標(biāo)軸圍成面積越大則表明模型性能越優(yōu)。圖中細(xì)線代表模型對各類別的PR曲線,粗線則代表模型對所有類別的PR曲線,對比圖18和圖19分析可知,圖18中BCBAM_YOLOv5_F模型的PR曲線與坐標(biāo)軸所圍面積大于圖19中CBAM_YOLOv5_B模型的PR曲線與坐標(biāo)軸圍成的面積,由此得出結(jié)論,將BCBAM以YOLOv5_F的方式嵌入YOLOv5s所得的改進(jìn)網(wǎng)絡(luò)在性能方面優(yōu)于CBAM_YOLOv5_B,且在常見工業(yè)物料數(shù)據(jù)集上尤其是對煙煤、褐煤、鉛礦石、石灰?guī)r的檢測精度均能達(dá)到97%以上,對鉛礦石的檢測精度更是達(dá)到98.9%,因此BCBAM_YOLOv5_F滿足裝載機(jī)自動鏟裝時對物料識別準(zhǔn)確率的要求。

圖18 BCBAM_YOLOv5_F模型PR曲線

圖19 CBAM_YOLOv5_B模型PR曲線

如圖20～圖22所示分別展示了YOLOv5s、CBAM_YOLOv5_B及BCBAM_YOLOv5_F物料細(xì)粒度識別效果圖(檢測IoU閾值與置信度閾值均為0.4)。為了展示模型對不同大小、不定位置以及不同種類的檢測效果,特對檢測圖片進(jìn)行如下不規(guī)則的隨機(jī)組合,如此可表現(xiàn)網(wǎng)絡(luò)對目標(biāo)類別、目標(biāo)框和目標(biāo)本身多方面的識別效果。如下效果圖對比可得,圖20中YOLOv5s識別效果較差,出現(xiàn)漏檢、誤檢和復(fù)檢的情況,圖21中CBAM_YOLOv5_B較YOLOv5s,無誤檢情況但出現(xiàn)漏檢、多余目標(biāo)框重復(fù)定位和定位不精準(zhǔn)的問題。如圖22所示BCBAM_YOLOv5_F的檢測結(jié)果中,無漏檢、誤檢現(xiàn)象,且大部分能夠達(dá)到高置信度的檢測。最后,對3種網(wǎng)絡(luò)的目標(biāo)檢測實時性進(jìn)行了對比,YOLOv5s檢測的每秒幀數(shù)(Frames Per Second,FPS)最高為58.8,其次是CBAM_YOLOv5_B為55.9,BCBAM_YOLOv5_F最低為52.6。雖優(yōu)化后FPS有所降低,但仍然滿足智能裝載機(jī)對物料識別實時性的要求,因此選擇在犧牲部分實時性的前提下保障高的檢測準(zhǔn)確率。

圖20 YOLOv5s

圖21 CBAM_YOLOv5_B

圖22 BCBAM_YOLOv5_F

步驟2得出結(jié)論,本文提出的BCBAM_YOLOv5_F性能最優(yōu)。接下來進(jìn)行步驟3,利用ImdNet2數(shù)據(jù)集,以原始YOLOv5s及BCBAM_YOLOV5_F進(jìn)行實驗,與St_BCBAM_YOLOv5_F進(jìn)行對比,驗證St_BCBAM機(jī)制優(yōu)化后的網(wǎng)絡(luò)對低質(zhì)量數(shù)據(jù)檢測準(zhǔn)確率。

首先進(jìn)行步驟3第一部分:驗證加入噪聲后的低質(zhì)量數(shù)據(jù)集對模型檢測精度的影響,實驗結(jié)果如表2所示。

表2 基于注意力改進(jìn)的YOLOv5s模型對低質(zhì)量圖片檢測結(jié)果

對比同一類型網(wǎng)絡(luò)在ImdNet1和ImdNet2的檢測結(jié)果,原始YOLOv5s網(wǎng)絡(luò)對低質(zhì)量圖片的檢測精度相較于清晰圖片,其mAP@0.5下降了6.90%,而BCBAM_YOLOv5_F相較于ImdNet1的檢測精度,其同樣下降4.5%,此現(xiàn)象也體現(xiàn)在mAP@0.5:0.9和PR值上。因此,得出結(jié)論,低質(zhì)量圖片會影響算法的特征提取過程,降低檢測精度。

在此基礎(chǔ)之上,進(jìn)行步驟3第二部分:將St_BCBAM機(jī)制嵌入BCBAM_YOLOv5_F網(wǎng)絡(luò)結(jié)構(gòu)中,驗證網(wǎng)絡(luò)在訓(xùn)練過程中通過軟閾值能夠緩解圖片噪聲影響。實驗結(jié)果表明,嵌入St_BCBAM機(jī)制后YOLOv5s算法對ImdNet2低質(zhì)量圖片數(shù)據(jù)集的檢測效果:P為0.876;R為0.840;mAP@0.5為0.902;mAP@0.5:0.95為0.767。從結(jié)果分析,St_BCBAM_YOLOv5_F模型能夠在一定程度上克服噪聲對訓(xùn)練過程的影響,相較于未加入軟閾值的BCBAM以及原始YOLOv5s,其在ImdNet2上mAP@0.5分別提高了1.5%和9.9%。如圖23所示為YOLOv5s、St_BCBAM_YOLOv5_F和BCBAM_YOLOv5_F的mAP對比圖,由圖可得St_BCBAM_YOLOv5_F無論在mAP@0.5還是mAP0.5:0.95均超過其他兩種網(wǎng)絡(luò)模型。

圖23 各模型mAP@0.5、mAP@0.5∶0.95對比柱狀圖

如圖24和圖25所示為步驟3中網(wǎng)絡(luò)在ImdNet2數(shù)據(jù)集驗證過程中的PR曲線。由圖對比可知,在對低質(zhì)量數(shù)據(jù)進(jìn)行目標(biāo)檢測方面,St_BCBAM優(yōu)化后的YOLOv5_F性能優(yōu)于BCBAM優(yōu)化的YOLOv5_F。

圖24 St_BCBAM_YOLOv5_F模型PR曲線

圖25 BCBAM_YOLOv5_F模型PR曲線

如圖26和圖27所示分別為St_BCBAM_YOLOv5_F和BCBAM_YOLOv5_F對低質(zhì)量物料圖片目標(biāo)檢測效果。與步驟2一致,為了展現(xiàn)模型對不同目標(biāo)大小、不定位置以及不同種類的檢測效果,對待檢測低質(zhì)量目標(biāo)圖片進(jìn)行不規(guī)則隨機(jī)組合。圖26中,BCBAM_YOLOv5_F能夠準(zhǔn)確檢測目標(biāo)的位置和邊界框但對目標(biāo)種類檢測方面出現(xiàn)誤檢現(xiàn)象,如圖26左下角應(yīng)為褐煤(lignite),但其錯誤地預(yù)測為煙煤(bituminous)。反觀St_BCBAM檢測效果(如圖27),綜合其目標(biāo)位置、目標(biāo)種類和目標(biāo)框3個方面,均未出現(xiàn)誤檢問題,檢測效果好,檢測精度高。模型對低質(zhì)量數(shù)據(jù)集檢測實時性方面,St_BCBAM_YOLOv5_F檢測時的FPS為50.0,滿足裝載機(jī)智能鏟裝對物料識別實時性的要求。

圖26 BCBAM_YOLOv5_F低質(zhì)量圖片檢測

圖27 St_BCBAM_YOLOv5_F低質(zhì)量圖片檢測

7 結(jié)束語

本文針對優(yōu)化算法和結(jié)構(gòu)改進(jìn)兩方面提出一種基于YOLOv5s改進(jìn)的物料細(xì)粒度目標(biāo)檢測算法。①優(yōu)化算法方面:首先改進(jìn)CBAM,提出BCBAM注意力機(jī)制,以雙線性結(jié)構(gòu)使網(wǎng)絡(luò)更聚焦于物料的細(xì)粒度特征,其次將軟閾值與BCBAM結(jié)合,提出St_BCBAM機(jī)制優(yōu)化網(wǎng)絡(luò)模型對低質(zhì)量物料圖片的檢測性能;②網(wǎng)絡(luò)結(jié)構(gòu)方面:針對注意力嵌入方式提出YOLOv5_B、YOLOv5_F和YOLOv5_H三種網(wǎng)絡(luò)結(jié)構(gòu),分別實現(xiàn)對特征提取、高維數(shù)據(jù)處理以及特征融合3方面的優(yōu)化改進(jìn)。

實驗結(jié)果表明,在高質(zhì)量物料數(shù)據(jù)檢測方面,本文的BCBAM_YOLOv5_F在mAP@0.5和mAP@0.5:0.95均分別超過原始YOLOv5s 6.0%和7.3%;在低質(zhì)量物料數(shù)據(jù)檢測方面,本文St_BCBAM_YOLOv5_F檢測精度相較原YOLOv5s在mAP@0.5和mAP@0.5:0.95分別提高9.9%和8.9%;兩方面物料檢測模型FPS分別為52.6和50.0,均符合裝載機(jī)智能鏟裝過程對算法實時性的要求。因此,在本文優(yōu)化算法和結(jié)構(gòu)創(chuàng)新下的YOLOv5s不僅提高了對物料細(xì)粒度的檢測精度,而且更適用于高強(qiáng)度和高負(fù)荷的工作環(huán)境,模型魯棒性和穩(wěn)定性更強(qiáng)。

未來的研究工作中,將對BCBAM的泛用性及對其他網(wǎng)絡(luò)的嵌入框架展開研究。另外,由于目前學(xué)術(shù)界缺乏公開的工程物料細(xì)粒度數(shù)據(jù)集,本文僅在自制細(xì)粒度數(shù)據(jù)集上進(jìn)行了目標(biāo)檢測模型的訓(xùn)練和性能驗證,未來將對改進(jìn)后的YOLOv5在不同數(shù)據(jù)集上的泛化能力展開進(jìn)一步研究驗證。