基于改進(jìn)YOLOv5s+DeepSORT的煤塊行為異常識別

張旭輝， 閆建星， 張超， 萬繼成， 王利欣， 胡成軍， 王力， 王東

（1. 西安科技大學(xué) 機械工程學(xué)院，陜西 西安 710054；2. 中煤（天津）地下工程智能研究院，天津 300121；3. 陜西煤業(yè)化工集團 孫家岔龍華礦業(yè)有限公司，陜西 榆林 719314）

0 引言

煤礦環(huán)境及危險源感知與安全預(yù)警是智能煤礦與智能化開采關(guān)鍵核心技術(shù)[1]。綜采工作面在采煤過程中會產(chǎn)生大量煤矸，為防止煤塊對運輸設(shè)備造成損壞，準(zhǔn)確識別與檢測刮板輸送機上的煤塊及其數(shù)量，判斷煤塊滯留、堵塞狀態(tài)并進(jìn)行預(yù)警至關(guān)重要[2]。

目前，煤塊檢測方法主要包括傳統(tǒng)圖像檢測和深度學(xué)習(xí)目標(biāo)檢測2類。張渤等[3]通過對圖像進(jìn)行預(yù)處理、灰度化、閾值分割，提取運動煤塊進(jìn)行標(biāo)記，實現(xiàn)了大塊煤檢測。許軍等[4]提出了一種基于圖像處理的溜槽堆煤預(yù)警方法，通過分析圖像運動和亮度特性，根據(jù)閾值提取煤塊區(qū)域，計算煤塊煤粒度比值和累計煤粒度比值的大小進(jìn)行堆煤預(yù)警。張立亞[5]采用無監(jiān)督分割算法獲取煤堆邊界，根據(jù)煤量在網(wǎng)格中的時間長短判斷堆煤預(yù)警。以上文獻(xiàn)都是通過傳統(tǒng)圖像處理進(jìn)行邊緣提取和利用閾值來識別煤塊和堆煤預(yù)警，存在檢測精度不高、實時性較差、無法對堆煤進(jìn)行準(zhǔn)確判斷等問題。深度學(xué)習(xí)目標(biāo)檢測方法主要有雙階段檢測方法和單階段檢測方法[6-8]。南柄飛等[9]提出了一種基于視覺顯著性的煤礦井下關(guān)鍵目標(biāo)對象實時感知方法，提高了目標(biāo)檢測的精度與實時性。杜京義等[10]針對現(xiàn)有煤塊檢測方法檢測精度不高的問題，提出了一種基于改進(jìn)HED神經(jīng)網(wǎng)絡(luò)融合Canny算子的煤礦井下輸煤大塊物檢測方法，將預(yù)處理圖像輸入改進(jìn)的HED神經(jīng)網(wǎng)絡(luò)與Canny算子融合模型中，得到邊緣圖像，通過二進(jìn)制填充圖像，并進(jìn)行標(biāo)注得到大塊物個數(shù)與面積。Wang Yujing等[11]通過改進(jìn)SSD（Single Shot MultiBox Detector，單步多框檢測器）損失函數(shù)和優(yōu)化錨框的尺寸，提高了目標(biāo)的檢測精度。胡璟皓等[12]基于YOLOv3模型，通過Focal Loss改進(jìn)損失函數(shù)，解決了非煤異物樣本不平衡問題，通過實驗確定最優(yōu)參數(shù)，提高了檢測精度 。葉鷗等[13]提出了一種融合輕量級網(wǎng)絡(luò)和雙重注意力機制的煤塊檢測方法，減少了模型參數(shù)。以上文獻(xiàn)都是利用深度學(xué)習(xí)方法實現(xiàn)大塊物的檢測，但是沒有對煤塊的數(shù)量、滯留和堵塞狀態(tài)進(jìn)行識別，而且識別模型參數(shù)較多，對計算機硬件要求比較高，無法在顯存和內(nèi)存小的設(shè)備上部署[14-15]。

針對以上問題，本文提出了一種基于改進(jìn)YOLOv5s+DeepSORT的煤塊行為異常識別方法。選擇參數(shù)量最少、檢測速度最快、識別精度較高的YOLOv5模型進(jìn)行煤塊目標(biāo)檢測，將YOLOv5s模型主干網(wǎng)絡(luò)替換為MobileNetV3，以減少其參數(shù)量和計算量，并將YOLOv5s模型中原有的特征融合網(wǎng)絡(luò)改進(jìn)為增強特征金字塔網(wǎng)絡(luò)（Adaptive Attention Module and Feature Enhancement Module-Feature Pyramid Network，AF-FPN）[16]，以提高YOLOv5s網(wǎng)絡(luò)對多尺度煤塊目標(biāo)的檢測性能；將改進(jìn)YOLOv5s模型檢測后的煤塊應(yīng)用DeepSORT算法進(jìn)行多目標(biāo)跟蹤，設(shè)置距離閾值，判斷其是否滯留；設(shè)置數(shù)量閾值，判斷其是否堵塞。實驗結(jié)果證明了該方法的可靠性。

1 改進(jìn)YOLOv5s模型

1.1 YOLOv5s模型

YOLOv5s 模型主要由Input、Backbone、Neck和Output組成，如圖1所示。

圖1 YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 YOLOv5s network structure

Input為輸入端，采用Mosaic數(shù)據(jù)增強、自適應(yīng)圖像填充、自適應(yīng)錨框?qū)斎雸D像進(jìn)行處理。Backbone為CSPDarknet53主干網(wǎng)絡(luò)，主要包含F(xiàn)ocus、CSP和SPP（Spatial Pyranid Pooling，空間金字塔模塊）結(jié)構(gòu)[17]。Focus對輸入圖像進(jìn)行切片操作，減少模型層數(shù)，提高運行速度。CSP網(wǎng)絡(luò)結(jié)構(gòu)由CBL模塊、Resuit模塊、Concat通道融合結(jié)構(gòu)、Leaky_Relu組成。CBL模塊由卷積模塊（Conv）、批標(biāo)準(zhǔn)化模塊（Batch Normalization，BN）、激活函數(shù)（Leaky_Relu）構(gòu)成。SPP可以增大特征圖的感受野。Neck包含F(xiàn)PN（Feature Pyramid Networks，特征金字塔網(wǎng)絡(luò)）、PAN（Path Aggregation Network，路徑聚合網(wǎng)絡(luò)）[18]。Output通過Conv輸出不同尺度的檢測結(jié)果，包括NMS（Non-Maximum Suppression，非極大值抑制）和損失函數(shù)。YOLOv5s原始模型中使用GIoU[19]作為損失函數(shù)。

1.2 YOLOv5s特征提取網(wǎng)絡(luò)改進(jìn)

為了進(jìn)一步減少YOLOv5s參數(shù)量，提高推理速度，本文使用MobileNetV3_Large結(jié)構(gòu)改進(jìn)YOLOv5s的主干網(wǎng)絡(luò)，改進(jìn)后的YOLOv5s網(wǎng)絡(luò)整體框架如圖2所示。

圖2 改進(jìn)后的YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)Fig. 2 Improved YOLOv5s network structure

MobileNetV3_Large 結(jié)構(gòu)見表1，其中Input Shape為輸入特征圖，Operator為對特征層進(jìn)行Block處理，SE為注意力機制，AF為激活函數(shù)（HS表示H-Swish函數(shù)，RE表示ReLU函數(shù)），Stride為卷積的步長。

表1 MobileNetV3_Large結(jié)構(gòu)Table 1 MobileNetV3_Large structure

MobileNetV3_Large結(jié)構(gòu)的核心模塊是Bneck，如圖3所示。Bneck采用了深度可分離卷積與殘差結(jié)構(gòu)，并加入了注意力機制，提高了特征提取能力。相比傳統(tǒng)卷積，Bneck核心在幾乎不影響模型性能的同時使模型參數(shù)量、計算量減少。

圖3 Bneck網(wǎng)絡(luò)結(jié)構(gòu)Fig. 3 Bneck network structure

為在保持精度的同時提高推理速度，在MobileNetV3中引入了H-Swish函數(shù)，在設(shè)計特征提取網(wǎng)絡(luò)時，考慮到模型檢測的實時性要求，在網(wǎng)絡(luò)前端采用ReLU函數(shù)，在后端采用H-Swish函數(shù)，減少H-Swish造成的網(wǎng)絡(luò)延遲，達(dá)到檢測速度和精度的平衡。

1.3 YOLOv5s特征融合網(wǎng)絡(luò)改進(jìn)

刮板輸送機上的煤塊尺度變化較大，為提高對煤塊多尺度目標(biāo)的檢測性能，將YOLOv5s中原有的特征金字塔網(wǎng)絡(luò)改進(jìn)為AF-FPN。AF-FPN在原有的特征金字塔網(wǎng)絡(luò)的基礎(chǔ)上，增加了自適應(yīng)注意力模塊（Adaptive Attention Module，AAM）和特征增強模塊（Feature Enhancement Module，F(xiàn)EM）。AAM減少了特征通道，降低了在高層特征圖中上下文信息丟失概率；FEM增強了特征金字塔的表示并加快了推理速度，在保證實時檢測的前提下提高了YOLOv5s網(wǎng)絡(luò)對煤塊多尺度目標(biāo)的檢測性能。MobileNetV3_YOLOv5s_AF-FPN網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 MobileNetV3_YOLOv5s_AF-FPN網(wǎng)絡(luò)結(jié)構(gòu)Fig. 4 MobileNetV3_YOLOv5s_AF-FPN network structure

輸入圖像通過多個卷積生成多尺度特征圖C1-C5，C5通過AAM生成M6。M6與M5求和融合，得到新的特征圖，通過自上而下傳遞特征，將高層特征圖放大后與淺層特征圖融合，每次融合后通過FEM自適應(yīng)學(xué)習(xí)感受野，同時將淺層中的定位信息自下向上進(jìn)行傳遞，增強整個特征層次。PAN縮短了淺層和高層特征之間的信息路徑，能夠準(zhǔn)確保存空間信息，增強整個特征提取網(wǎng)絡(luò)的定位能力。

AAM的網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。作為AAM的輸入，特征圖C5的大小S=H×W（H為特征圖長度，W為特征圖寬度）。通過自適應(yīng)平均池化層獲得具有不同特征尺度（βi×S，βi為不同特征尺度對應(yīng)的系數(shù)，i為系數(shù)個數(shù)，i=1，2，3；βi為[0.1,0.5]，可以根據(jù)數(shù)據(jù)集中的目標(biāo)大小自適應(yīng)變化）的多個上下文特征，每個上下文特征經(jīng)過1×1卷積獲得相同的信道維度（256）。采用雙線性插值法采集不同尺度特征圖的信息，以進(jìn)行后續(xù)融合。空間注意力機制通過Concat層合并3個上下文特征的通道，將融合后的特征圖依次經(jīng)過1×1卷積層、ReLU激活層、3×3卷積層和Sigmoid激活函數(shù)，生成相應(yīng)的空間權(quán)值圖。生成的空間權(quán)值圖和融合后的特征圖經(jīng)過Hadmard Product分離并添加到特征圖M5中，得到具有上下文特征的新的特征圖M6，最終的特征圖具有豐富的多尺度上下文信息，在一定程度上減輕了由于通道數(shù)量的減少而造成的信息丟失。

圖5 AAM網(wǎng)絡(luò)結(jié)構(gòu)Fig. 5 AAM network structure

FEM主要利用空洞卷積，根據(jù)檢測到的煤塊的不同尺度自適應(yīng)學(xué)習(xí)每個特征圖中不同的感受野，從而提高多尺度目標(biāo)檢測和識別的準(zhǔn)確性。FEM網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示，分為2個部分：多分支卷積層和多分支池化層。多分支卷積層由擴張卷積層、BN層和ReLU激活層組成。3個平行分支中的擴張卷積具有相同尺寸的擴張卷積核，但擴張率不同，分別為3，5和7。平均池化層用于融合來自3個分支感受野的煤塊信息，以提高煤塊多尺度預(yù)測的準(zhǔn)確性。

圖6 FEM網(wǎng)絡(luò)結(jié)構(gòu)Fig. 6 FEM network structure

2 煤塊行為異常識別

2.1 煤塊行為異常識別方法

針對煤塊滯留和堵塞的行為，提出了一種融合改進(jìn)YOLOv5s+DeepSORT的煤塊行為異常識別方法，流程如圖7所示。

圖7 煤塊行為異常識別方法流程Fig. 7 Flow of coal block abnormal behavior identification method

（1） 通過攝像頭和巡檢機器人采集煤礦綜采工作面視頻圖像，并制作數(shù)據(jù)集。

（2） 將當(dāng)前煤塊圖像輸入到訓(xùn)練好的改進(jìn)YOLOv5s目標(biāo)檢測模型中，得到煤塊的定位信息。

（3） 將經(jīng)過YOLOv5s目標(biāo)檢測后的煤塊邊界框信息輸入到DeepSORT中，對煤塊進(jìn)行狀態(tài)估計，通過運動匹配、外觀匹配、級聯(lián)匹配與IoU（Intersection over Union，交并比）匹配進(jìn)行數(shù)據(jù)關(guān)聯(lián)匹配，通過跟蹤器參數(shù)更新確定跟蹤結(jié)果，并對連續(xù)跟蹤的煤塊進(jìn)行ID編碼，對當(dāng)前幀的煤塊數(shù)量進(jìn)行計數(shù)。

（4） 在目標(biāo)跟蹤器中取出連續(xù)跟蹤的每個目標(biāo)框的50幀邊界框信息，循環(huán)計算這50幀內(nèi)的同一個目標(biāo)的最大像素距離。統(tǒng)計煤塊移動距離，如果最大像素距離小于5，則判定為滯留狀態(tài)，進(jìn)行報警和處理，以防進(jìn)一步造成煤塊堵塞；否則判定為正常運輸狀態(tài)。

（5） 統(tǒng)計煤塊滯留數(shù)，如果滯留數(shù)超過3，則判定為堵塞狀態(tài)，進(jìn)行報警和處理。

（6） 根據(jù)當(dāng)前幀煤塊數(shù)量進(jìn)行刮板輸送機的調(diào)速。當(dāng)檢測到的煤塊數(shù)量為0時，刮板輸送機停機；當(dāng)檢測到的煤塊數(shù)量小于閾值時，刮板輸送機低速運行；當(dāng)檢測到的煤塊數(shù)量大于閾值時，刮板輸送機高速運行。

2.2 DeepSORT多目標(biāo)跟蹤算法

DeepSORT多目標(biāo)跟蹤算法流程如圖8所示，包括煤塊狀態(tài)估計、數(shù)據(jù)關(guān)聯(lián)匹配和跟蹤器更新3個步驟。

圖8 DeepSORT多目標(biāo)跟蹤算法流程Fig. 8 DeepSORT multi-target tracking algorithm flow

2.2.1 煤塊狀態(tài)估計

為跟蹤YOLOv5s模型檢測到的每一塊煤塊，定義8維狀態(tài)向量x表征煤塊的狀態(tài)：

式中：(u,v)為煤塊的中心坐標(biāo)；γ，q分別為煤塊邊界框的寬高比和高；為煤塊(u,v,γ,q)在圖像坐標(biāo)系中對應(yīng)的速度信息。

煤塊的狀態(tài)估計通過卡爾曼濾波器實現(xiàn)，包括預(yù)測和更新2個階段。預(yù)測階段根據(jù)前一幀被跟蹤煤塊的位置完成當(dāng)前幀煤塊位置的預(yù)測；更新階段根據(jù)當(dāng)前幀檢測到的煤塊位置更新預(yù)測階段的煤塊位置。煤塊的狀態(tài)預(yù)測為

式中：Xt為第t幀煤塊的位置；F為狀態(tài)轉(zhuǎn)移矩陣；Pt為第t幀煤塊的誤差協(xié)方差矩陣；Qt-1為過程噪聲矩陣。

煤塊的狀態(tài)更新為

式中：Kt+1為第t+1幀煤塊的卡爾曼增益；E為煤塊的觀測矩陣；R為煤塊觀測噪聲；εt+1為第t+1 幀煤塊檢測位置與預(yù)測位置之間的殘差；Xt+1為Xt更新后第t+1 幀的煤塊位置；Pt+1為更新后第t+1 幀煤塊位置 誤差的協(xié)方差矩陣；I為單位矩陣。

2.2.2 數(shù)據(jù)關(guān)聯(lián)匹配

數(shù)據(jù)關(guān)聯(lián)匹配可以使幀與幀之間的煤塊保持關(guān)聯(lián)，保證同一煤塊編碼ID的一致性[20]。利用卡爾曼濾波對煤塊檢測結(jié)果進(jìn)行預(yù)測。使用運動匹配和外觀匹配的線性加權(quán)作為煤塊匹配衡量指標(biāo)。使用級聯(lián)匹配優(yōu)先匹配消失時長較小的煤塊軌跡，解決煤塊被遮擋的問題。

通過計算檢測框和第i個軌跡預(yù)測框的面積得到IoU，計算公式為

式中A，B分別為預(yù)測框與檢測框的面積。

運動匹配是用馬氏空間距離計算經(jīng)卡爾曼濾波后的煤塊預(yù)測位置和檢測位置的匹配程度。

式中：d(1)(i,j)為第i個軌跡和第j個檢測框預(yù)測得到的邊界框的馬氏距離；dj為第j個煤塊檢測框；yi為第i個軌跡預(yù)測邊界框；Gi為第i個軌跡預(yù)測在當(dāng)前測量空間的協(xié)方差矩陣。

當(dāng)馬氏距離小于指定閾值時，認(rèn)為煤塊匹配成功。

外觀匹配是利用最小余弦距離計算當(dāng)前幀中所有煤塊的特征向量與歷史軌跡中所有煤塊特征向量之間的外觀相似度。

式中：d(2)(i,j)為第i個軌跡和第j個檢測框的最小余弦距離，若d(2)(i,j)小于卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練閾值，則關(guān)聯(lián)成功；rj為當(dāng)前幀第j個檢測框dj的外觀描述符，限定條件為‖rj‖；o（i）為第i個確定軌跡儲存的最近100幀成功關(guān)聯(lián)的特征向量，Li為外觀特征向量庫，用于存儲每個確定軌跡的外觀特征向量。

將馬氏距離與余弦距離線性加權(quán)作為關(guān)聯(lián)匹配的衡量值：

式中 λ為權(quán)重系數(shù)。

若ci,j落在指定閾值范圍內(nèi)，則認(rèn)定實現(xiàn)正確關(guān)聯(lián)。

2.2.3 跟蹤器更新

煤塊數(shù)據(jù)關(guān)聯(lián)匹配后，跟蹤器需要更新，以便進(jìn)行下一幀的煤塊跟蹤。跟蹤器更新主要包括以下3種情況：

（1） 對于匹配成功的跟蹤器，被檢測的煤塊將繼承與其匹配成功的跟蹤器編碼，并利用匹配成功的邊界框的信息預(yù)測下一幀煤塊位置。

（2） 對于級聯(lián)匹配未成功的跟蹤器，DeepSORT會進(jìn)行IoU匹配，若匹配成功，則繼承跟蹤器編碼；匹配不成功的跟蹤器，考慮檢測器漏檢的情況，如果跟蹤軌跡的標(biāo)記為不確定，則刪除軌跡，如果標(biāo)記為確定，則為其設(shè)置生存幀數(shù)，若在生存幀數(shù)之內(nèi)仍匹配失敗，則移除軌跡。

（3） 對于級聯(lián)匹配未成功的被檢測煤塊，DeepSORT會進(jìn)行IoU匹配。對于IoU匹配未成功的被檢測煤塊，為其建立一個新的跟蹤器，分配編碼，并標(biāo)記為不確定軌跡，進(jìn)行3次匹配，若匹配成功，則標(biāo)記為確定軌跡。

3 實驗與分析

3.1 數(shù)據(jù)集及實驗環(huán)境

實驗所用的數(shù)據(jù)集主要源自陜西榆林市某煤礦。用ffmpeg調(diào)取刮板輸送機輸送煤塊的工作視頻，每隔1 s存儲1張圖像，共得到10 000張真實圖像，涵蓋了不同尺寸的煤塊。通過LabelImg工具進(jìn)行標(biāo)注，制作dkm_data2021數(shù)據(jù)集。

實驗以Pytorch為軟件框架，模型訓(xùn)練硬件環(huán)境為Intel（R） Core（TM） i7-11800H（內(nèi)存16 GB）和NVIDIA GeForce RTX 3060 Laptop GPU（顯存6 GB）；模型測試硬件環(huán)境為Intel（R） Core（TM） i7-8750H（內(nèi)存16 GB）和NVIDIA RTX 2080 Ti（顯存6 GB）。

3.2 參數(shù)設(shè)置及評價指標(biāo)

模型訓(xùn)練參數(shù)設(shè)置：輸入圖像大小為608×608，迭代次數(shù)為100，批次大小為16，初始學(xué)習(xí)率為0.001。

將模型參數(shù)量、推理時間、召回率Mr、平均精度Mp、 平均漏檢率Mm、平均誤檢率Mf作為評估各模型的客觀指標(biāo)。

式中：TP為被正確檢測出的煤塊；FN為沒有被檢測出的煤塊；FP為誤檢的煤塊；TN為沒有被誤檢的煤塊。

在多目標(biāo)跟蹤實驗評價中，選用多目標(biāo)跟蹤準(zhǔn)確率（Multiple Object Tracking Accuracy，MOTA）和多目標(biāo)跟蹤精度（Multiple Object Tracking Precision，MOTP）作為評價指標(biāo)，同時考慮誤檢、漏檢的情況來評價跟蹤算法的性能。MOTA值越大表示性能越好；MOTP用于定量分析跟蹤器的定位精度，值越大表示精度越高。

3.3 實驗評估與分析

3.3.1 YOLOv5s特征提取網(wǎng)絡(luò)實驗對比

為了驗證主干網(wǎng)絡(luò)輕量化改進(jìn)的有效性，對改進(jìn)前后的 YOLOv5s進(jìn)行實驗對比，實驗結(jié)果見表2。從表2 可看出，MobileNetV3_YOLOv5s 與YOLOv5s相比，平均精度降低了3.2%，參數(shù)量減少了49.8%，推理加速了20.6%，在精度略低的情況下，參數(shù)量大幅下降。

表2 特征提取網(wǎng)絡(luò)實驗對比Table 2 Comparison of feature extraction network experiments

3.3.2 YOLOv5s特征融合網(wǎng)絡(luò)改進(jìn)實驗對比

為了驗證特征融合網(wǎng)絡(luò)的有效性，設(shè)置了2組改進(jìn)網(wǎng)絡(luò)進(jìn)行對比實驗，實驗結(jié)果見表3。從表3可看出，YOLOv5s_AF-FPN相比YOLOv5s，平均精度提高了4.94%；MobileNetV3_YOLOv5s_ AF-FPN相比MobileNetV3_YOLOv5s，平均精度提高了5.78%，說明YOLOv5s_AF-FPN相比YOLOv5s原有的特征金字塔，提高了多尺度煤塊目標(biāo)的檢測精度。MobileNetV3_YOLOv5s_AF-FPN相比YOLOv5s平均精度提高了1.45%，參數(shù)量下降了35.3%，推理加速了12.7%，平均漏檢率降低了11.08%，平均誤檢率降低了11.54%，在精度和實時性方面都有提升。

表3 特征融合網(wǎng)絡(luò)實驗對比Table 3 Comparison of feature fusion network experiments

為進(jìn)一步驗證MobileNetV3_ YOLOv5s_AFFPN模型的可靠性，分別測試YOLOv5s模型與MobileNetV3_ YOLOv5s_AF-FPN模型在光照不均勻、有粉塵、清晰環(huán)境下的煤塊檢測效果，效果對比如圖9所示，其中邊界框上面的dkm表示檢測的煤塊標(biāo)簽，數(shù)字表示檢測煤塊的相似度。從圖9可看出，MobileNetV3_YOLOv5s_AF-FPN相比YOLOv5s，檢測出的煤塊更多，對小目標(biāo)的檢測性能更好，表明MobileNetV3_YOLOv5s_AF-FPN模型對不同環(huán)境、不同尺度的煤塊檢測精度更高。

圖9 YOLOv5s模型與MobileNetV3_YOLOv5s_AF-FPN模型的煤塊檢測效果對比Fig. 9 Comparison of coal detection effect of YOLOv5s model and MobileNetV3_YOLOv5s_AF-FPN model

3.3.3 煤塊行為識別實驗

為了進(jìn)一步驗證煤塊行為異常識別方法的有效性，分別用YOLOv5s+DeepSORT、MobileNetV3_YOLOv5s_ AF-FPN+ DeepSORT算法對刮板輸送機上煤塊正常狀態(tài)、煤塊滯留、煤塊堵塞進(jìn)行實驗測試，用客觀評價指標(biāo)進(jìn)行定量分析，結(jié)果見表4。視頻圖像幀大小1 280×720，幀率為30幀/s。從表4可看出，MobileNetV3_YOLOv5s_ AF-FPN+DeepSORT相比YOLOv5s+DeepSORT，跟蹤準(zhǔn)確率提高了4.79%，跟蹤精度提高了4.71%，漏檢數(shù)減少了24個，誤檢數(shù)減少了15個。MobileNetV3_YOLOv5s_AF-FPN檢測精度更高，達(dá)80.1%，更有利于多目標(biāo)跟蹤。

表4 多目標(biāo)跟蹤結(jié)果對比Table 4 Comparison of multi-target tracking results

用MobileNetV3_YOLOv5s_AF-FPN+DeepSORT算法檢測煤塊不同狀態(tài)，效果如圖10-圖12所示，其中邊界框上dkm表示檢測的煤塊標(biāo)簽，后面的數(shù)字表示目標(biāo)跟蹤分配的ID編號；fps為推理速度；Normal、Stop、Block分別表示當(dāng)前幀檢測到的煤塊為正常狀態(tài)、滯留狀態(tài)、堵塞狀態(tài)；Current_number為當(dāng)前幀中的煤塊數(shù)量；煤塊正常狀態(tài)目標(biāo)框為藍(lán)色，煤塊異常行為狀態(tài)目標(biāo)框為紅色。

圖10 煤塊正常跟蹤Fig. 10 Coal block normal tracking

從圖10可看出：Current_number顯示第3幀、第49幀、第81幀、第95幀的煤塊數(shù)量分別為1，2，2，2，表明可以準(zhǔn)確顯示當(dāng)前幀的煤塊數(shù)量，煤塊為正常追蹤狀態(tài)，邊界框為藍(lán)色。在第3幀、第49幀、第81幀、第95幀中有標(biāo)簽dkm1，表明可以準(zhǔn)確追蹤編號為1的煤塊。在第49幀、第81幀、第95幀中有dkm2，表明可以準(zhǔn)確追蹤編號為2的煤塊。

從圖11可看出：Current_number顯示第136幀、第238幀、第286幀、第407幀的煤塊數(shù)量均為1，表明可以準(zhǔn)確顯示當(dāng)前幀的煤塊數(shù)量。在第286幀、第407幀中，編號為2的煤塊邊界框變成紅色，Stop=1，表明煤塊為滯留狀態(tài)，滯留數(shù)量為1。

圖11 煤塊滯留Fig. 11 Coal block retention

從圖12可看出：Current_number顯示第2 156幀、第2 220幀、第2 426幀、第2 812幀的煤塊數(shù)量分別為3，2，3，3，表明可以準(zhǔn)確顯示當(dāng)前幀的煤塊數(shù)量。在第2 220幀中編號為26、27的煤塊邊界框為紅色，Stop=2，表明煤塊為滯留狀態(tài)，滯留數(shù)量為2。在第2 426幀、第2 812幀中，編號為26、27、30的煤塊邊界框為紅色，Block=3，表明煤塊為堵塞狀態(tài)，堵塞數(shù)量為3。

圖12 煤塊堵塞Fig. 12 Coal block blockage

4 結(jié)論

（1） 基于目標(biāo)檢測、多目標(biāo)跟蹤技術(shù)，提出了一種基于改進(jìn)YOLOv5s+DeepSORT的煤塊行為異常識別方法，利用改進(jìn)YOLOv5s模型對煤塊進(jìn)行檢測，利用DeepSORT算法對煤塊進(jìn)行目標(biāo)跟蹤，設(shè)置距離、數(shù)量閾值，實現(xiàn)煤塊行為異常識別。

（2） 用MobileNetV3替換YOLOv5s主干網(wǎng)絡(luò)，將YOLOv5s中原有的特征金字塔網(wǎng)絡(luò)改進(jìn)為AF-FPN。實驗結(jié)果表明：改進(jìn)YOLOv5s模型相比原網(wǎng)絡(luò)平均檢測精度提高了1.45%，參數(shù)量下降了35.3%，推理加速了12.7%，平均漏檢率降低了11.08%，平均誤檢率降低了11.54%。改進(jìn)后的網(wǎng)絡(luò)提高了煤塊檢測精度，參數(shù)量大幅降低，實時檢測性能好，可移植性高。

（3） 結(jié)合MobileNetV3_YOLOv5s_AF-FPN與DeepSORT模型，設(shè)置距離閾值、數(shù)量閾值，進(jìn)行煤塊行為異常識別。實驗結(jié)果表明：MobileNetV3_YOLOv5s_AF-FPN+DeepSORT模型對煤塊正常狀態(tài)、滯留、堵塞的跟蹤精度為80.1%，煤塊行為判斷準(zhǔn)確。