基于Fast_YOLOv3算法的煤礦膠帶運(yùn)輸異物檢測(cè)

任國(guó)強(qiáng)， 韓洪勇， 李成江， 尹燕芳

(山東科技大學(xué) 電氣信息系， 山東 濟(jì)南 250031)

0 引言

在煤礦膠帶運(yùn)輸煤流過(guò)程中，可能有釬子、錨桿、木條、矸石、鐵塊等異物摻雜在煤塊中，易造成膠帶損壞甚至撕裂，不僅加大生產(chǎn)成本，還會(huì)引發(fā)安全事故，因此實(shí)現(xiàn)膠帶運(yùn)輸異物檢測(cè)具有重要意義。傳統(tǒng)的膠帶運(yùn)輸異物檢測(cè)方法主要有人工檢測(cè)法、金屬探測(cè)器檢測(cè)法、雷達(dá)檢測(cè)法等[1-2]。人工檢測(cè)法效率較低，且在處理膠帶上的異物時(shí)存在安全隱患。金屬探測(cè)器檢測(cè)法只能檢測(cè)釬子、錨桿、鋼板、鐵塊等金屬異物，檢測(cè)類(lèi)型不全面。雷達(dá)檢測(cè)法成本較高，難以推廣應(yīng)用?；趫D像處理技術(shù)的膠帶運(yùn)輸異物檢測(cè)法通過(guò)攝像頭采集膠帶運(yùn)輸圖像，實(shí)時(shí)檢測(cè)膠帶上是否存在異物，可檢測(cè)種類(lèi)多，且精度較高。目前基于圖像處理的煤礦膠帶運(yùn)輸異物檢測(cè)大多采用Faster R-CNN(Region-based ConvolutionalNeural Network,候選區(qū)域卷積神經(jīng)網(wǎng)絡(luò))算法，如郜振國(guó)[1]對(duì)視頻采集進(jìn)行防抖動(dòng)處理后，采用Faster R-CNN算法對(duì)多攝像頭采集的膠帶運(yùn)輸圖像進(jìn)行異物檢測(cè)；呂志強(qiáng)[3]采用中值濾波算法對(duì)井下圖像進(jìn)行去噪處理，采用自適應(yīng)直方圖均衡化算法進(jìn)行圖像增強(qiáng)，構(gòu)建Faster R-CNN網(wǎng)絡(luò)進(jìn)行異物檢測(cè)。Faster R-CNN算法檢測(cè)精度較高，但檢測(cè)速度較慢，無(wú)法滿足煤礦膠帶運(yùn)輸異物實(shí)時(shí)檢測(cè)需求。

本文基于YOLOv3算法，對(duì)其先驗(yàn)框、邊界框、損失函數(shù)等進(jìn)行改進(jìn)，設(shè)計(jì)了Fast_YOLOv3算法，并將其應(yīng)用于煤礦膠帶運(yùn)輸異物檢測(cè)，通過(guò)實(shí)驗(yàn)及現(xiàn)場(chǎng)測(cè)試驗(yàn)證了Fast_YOLOv3算法對(duì)膠帶運(yùn)輸異物檢測(cè)的精度高、速度快，整體性能良好。

1 YOLO算法

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法主要有2類(lèi)：一類(lèi)為two-stage算法，主要是基于Region Proposal的R-CNN系列算法，如R-CNN[4]，F(xiàn)ast R-CNN，F(xiàn)aster R-CNN[5]等，該類(lèi)算法檢測(cè)精度高，但檢測(cè)速度慢；另一類(lèi)為以YOLO，SSD(Single Shot Multibox Detector)為代表的one-stage算法，該類(lèi)算法檢測(cè)速度快，但檢測(cè)精度較Faster R-CNN算法低。為滿足煤礦膠帶運(yùn)輸異物檢測(cè)實(shí)時(shí)性要求，選用YOLO算法進(jìn)行研究。

YOLOv1算法[6]利用多層卷積網(wǎng)絡(luò)提取原始圖像的全局信息，采用全連接層進(jìn)行預(yù)測(cè)和回歸，檢測(cè)速度快，但存在輸出數(shù)據(jù)尺寸固定、小目標(biāo)檢測(cè)效果不佳等問(wèn)題。YOLOv2算法[7]從輸入分辨率、網(wǎng)絡(luò)結(jié)構(gòu)、邊界框訓(xùn)練方法等方面對(duì)YOLOv1算法進(jìn)行改進(jìn)，使得算法模型參數(shù)更易學(xué)習(xí)，模型更加穩(wěn)定。YOLOv3算法[8]將YOLOv2算法的單標(biāo)簽分類(lèi)改進(jìn)為多標(biāo)簽分類(lèi)，用多標(biāo)簽分類(lèi)的邏輯回歸層代替單標(biāo)簽分類(lèi)的softmax層，使得算法可應(yīng)用于復(fù)雜環(huán)境[9-12]；采用融合了YOLOv2和殘差網(wǎng)絡(luò)的結(jié)構(gòu)對(duì)目標(biāo)進(jìn)行特征提取，其骨干網(wǎng)絡(luò)由YOLOv2算法的DartNet19改進(jìn)為DarkNet53，提高了目標(biāo)檢測(cè)性能。

雖然YOLOv3算法有較快的檢測(cè)速度和較高的檢測(cè)精度，但用于煤礦膠帶運(yùn)輸異物檢測(cè)時(shí)仍存在以下問(wèn)題：對(duì)小目標(biāo)檢測(cè)效果不佳且容易出現(xiàn)漏檢情況；易出現(xiàn)正負(fù)樣本不均衡問(wèn)題[13-14]。YOLOv4算法采用Mosaic數(shù)據(jù)增強(qiáng)方法和SAT(Self Adversarial Training，自對(duì)抗訓(xùn)練)方法，提高了目標(biāo)檢測(cè)精度，但對(duì)于小目標(biāo)的檢測(cè)能力較弱。YOLOv5算法采用Focus+CSPNet (Cross Stage Partial Network)，在YOLO算法中數(shù)據(jù)量最小、計(jì)算速度最快，但由于卷積網(wǎng)絡(luò)最后一層壓縮了特征圖，導(dǎo)致小目標(biāo)檢測(cè)能力較YOLOv3算法弱。

2 膠帶運(yùn)輸異物檢測(cè)方法

綜合考慮各YOLO算法的優(yōu)缺點(diǎn)，選擇對(duì)YOLOv3算法進(jìn)行改進(jìn)，設(shè)計(jì)了Fast_YOLOv3算法：改進(jìn)先驗(yàn)框及邊界框，以適應(yīng)煤礦膠帶運(yùn)輸小目標(biāo)異物檢測(cè)場(chǎng)景；針對(duì)小目標(biāo)易漏檢問(wèn)題，設(shè)計(jì)反卷積網(wǎng)絡(luò)，以提高算法對(duì)小目標(biāo)的檢測(cè)能力；針對(duì)YOLOv3算法多尺度檢測(cè)易出現(xiàn)正負(fù)樣本不均衡的問(wèn)題，引入Focal Loss改進(jìn)YOLOv3算法損失函數(shù)中負(fù)樣本置信度的交叉熵，以提高算法檢測(cè)精度。

基于Fast_YOLOv3算法的膠帶運(yùn)輸異物檢測(cè)流程如圖1所示。由煤礦井下攝像頭采集的膠帶運(yùn)輸監(jiān)控圖像經(jīng)數(shù)據(jù)增強(qiáng)等預(yù)處理后輸入Fast_YOLOv3模型進(jìn)行訓(xùn)練，之后采用訓(xùn)練好的模型對(duì)膠帶運(yùn)輸異物進(jìn)行實(shí)時(shí)檢測(cè)。

圖1 基于Fast_YOLOv3算法的膠帶運(yùn)輸異物檢測(cè)流程Fig.1 Foreign object detection flow for belt transportation based on Fast_YOLOv3 algorithm

2.1 數(shù)據(jù)增強(qiáng)方法

為提高小目標(biāo)檢測(cè)精度，針對(duì)煤礦膠帶運(yùn)輸圖像設(shè)計(jì)了StiPic數(shù)據(jù)增強(qiáng)方法。該方法融合了Mixup，CutMix數(shù)據(jù)增強(qiáng)方法，隨機(jī)將2張樣本圖像按比例混合，先裁剪掉一張圖像的部分區(qū)域，再將另一張圖像裁剪后填充至被裁剪區(qū)域，從而生成新的圖像及其對(duì)應(yīng)標(biāo)簽。

設(shè)XA，XB為2張不同的井下監(jiān)控圖像，YA，YB為其對(duì)應(yīng)的標(biāo)簽。采用StiPic數(shù)據(jù)增強(qiáng)方法生成的新圖像X及其標(biāo)簽Y為

X=2F⊙XA+(1-2F)⊙XB

(1)

Y=2λYA+(1-2λ)YB

(2)

式中：F為二進(jìn)制掩碼，用于標(biāo)記被裁剪區(qū)域和保留區(qū)域，被裁剪區(qū)域置為0，保留區(qū)域置為1；⊙為逐像素相乘運(yùn)算符；λ為加權(quán)系數(shù)。

在圖像中以服從(W，H)(W，H分別為采集圖像的寬度和高度)的均勻分布進(jìn)行采樣，獲得裁剪框左上角位置坐標(biāo)(x，y)，即x～Unif(0，W)，y～Unif(0，H)。根據(jù)加權(quán)系數(shù)λ得到裁剪框?qū)挾葁和高度h：

(3)

(4)

裁剪區(qū)域比例為wh/(WH)=1-λ。確定好裁剪區(qū)域邊界后，將該區(qū)域的二進(jìn)制掩碼F置為0，其他區(qū)域的F置為1。之后將XA中的裁剪區(qū)域去除，將XB中的裁剪區(qū)域填充到XA中，生成新的訓(xùn)練樣本。

本文隨機(jī)選取4張膠帶運(yùn)輸圖像，采用StiPic數(shù)據(jù)增強(qiáng)方法，通過(guò)隨機(jī)縮放、裁剪、排列方式拼接為1張圖像，如圖2所示，從而增加了膠帶運(yùn)輸異物訓(xùn)練集數(shù)量特別是小目標(biāo)異物訓(xùn)練集數(shù)量，且增加了異物檢測(cè)樣本的多樣性，使得Fast_YOLOv3算法能夠從1張圖像的局部視圖中識(shí)別出多個(gè)異物，提高了訓(xùn)練效率，增強(qiáng)了算法對(duì)井下小型異物的識(shí)別能力。

2.2 Fast_YOLOv3算法

2.2.1 先驗(yàn)框和邊界框

煤礦膠帶運(yùn)輸煤流過(guò)程中，除存在工字鋼、錨桿等較大異物外，還有矸石、釬子等較小異物。為增強(qiáng)小目標(biāo)異物檢測(cè)能力，在YOLOv3算法原有的9種先驗(yàn)框基礎(chǔ)上，針對(duì)小尺寸特征圖，設(shè)置了3種先驗(yàn)框。以在COCO數(shù)據(jù)集上進(jìn)行目標(biāo)檢測(cè)為例，增加(6×12)，(8×24)，(16×32)這3種尺寸的先驗(yàn)框。對(duì)于不同尺寸的特征圖，均采用3種不同的先驗(yàn)框，具體見(jiàn)表1。

圖2 數(shù)據(jù)增強(qiáng)Fig.2 Data enhancement

表1 不同尺寸特征圖對(duì)應(yīng)的先驗(yàn)框Table 1 Priori boxes suitable for different characteristic images

獲得先驗(yàn)框后，在特征圖上生成初始邊界框。根據(jù)式(5)計(jì)算預(yù)測(cè)邊界框。

(5)

式中：(xb，yb)為預(yù)測(cè)邊界框的中心點(diǎn)坐標(biāo)；σ(·)為sigmoid激活函數(shù)；Δxb,Δyb為預(yù)測(cè)邊界框中心點(diǎn)偏移量；(xc,yc)為初始邊界框在特征圖上的中心點(diǎn)坐標(biāo)；wb，hb分別為預(yù)測(cè)邊界框的寬度和高度;wp,hp分別為初始邊界框的寬度和高度；twb，thb分別為預(yù)測(cè)邊界框的寬度和高度縮放比。

2.2.2 損失函數(shù)

YOLOv3算法輸出13×13，26×26，52×52這3種尺寸的特征圖，即同時(shí)輸出10 647個(gè)邊界框，其中只有少量的邊界框包含待檢測(cè)目標(biāo)，特別是在有小目標(biāo)的特征圖中，10 647個(gè)邊界框中包含待檢測(cè)目標(biāo)的比例更小。在模型訓(xùn)練過(guò)程中，輸出的邊界框大部分被標(biāo)記為負(fù)樣本，使得異物檢測(cè)數(shù)據(jù)集中的負(fù)樣本數(shù)量遠(yuǎn)大于正樣本，負(fù)樣本將掌握模型梯度更新方向，導(dǎo)致模型無(wú)法學(xué)習(xí)到有用的信息，降低了模型檢測(cè)精度。針對(duì)該問(wèn)題，引入Focal Loss改進(jìn)YOLOv3算法損失函數(shù)中負(fù)樣本置信度的交叉熵，以降低模型訓(xùn)練過(guò)程中負(fù)樣本損失在模型總損失的占比，避免模型在訓(xùn)練過(guò)程中負(fù)樣本主導(dǎo)梯度更新方向，提高模型檢測(cè)精度。

YOLOv3算法損失函數(shù)中負(fù)樣本置信度的交叉熵為

Lce=-dlog2d′-(1-d)log2(1-d′)=

(6)

式中：d為真實(shí)值；d′為檢測(cè)值。

對(duì)于異物檢測(cè)數(shù)據(jù)集中的正樣本來(lái)說(shuō)，異物檢測(cè)模型的檢出率越高，則二元分類(lèi)的交叉熵?fù)p失越?。粚?duì)于負(fù)樣本來(lái)說(shuō)，異物檢測(cè)模型的檢出率越高，則二元分類(lèi)的交叉熵?fù)p失越大。在模型訓(xùn)練時(shí)，如果異物檢測(cè)數(shù)據(jù)集中的負(fù)樣本數(shù)量遠(yuǎn)大于正樣本，則檢測(cè)精度較低。

采用Focal Loss對(duì)式(6)改進(jìn)，所得損失函數(shù)中負(fù)樣本置信度的交叉熵為

Lfl=-αd(1-d′)γlog2d′-

(1-α)(1-d)d′γlog2(1-d′)=

(7)

式中：α為平衡因子，用于平衡正負(fù)樣本的比例；γ為交叉熵調(diào)整因子。

當(dāng)γ>0時(shí)，模型會(huì)減少對(duì)負(fù)樣本置信度損失的計(jì)算；當(dāng)γ<0時(shí)，模型會(huì)減少對(duì)正樣本置信度損失的計(jì)算。通過(guò)引入γ，解決了模型訓(xùn)練過(guò)程中正負(fù)樣本數(shù)量失衡問(wèn)題。

2.2.3 反卷積網(wǎng)絡(luò)

在煤礦膠帶運(yùn)輸異物檢測(cè)過(guò)程中，小目標(biāo)異物易出現(xiàn)漏檢情況。為了獲得特征中更多的上下文信息，降低小目標(biāo)異物漏檢概率，對(duì)YOLOv3算法的上采樣和卷積過(guò)程進(jìn)行改進(jìn)，得到如圖3所示的反卷積網(wǎng)絡(luò)結(jié)構(gòu)。在卷積層添加批處理歸一化層，并增加反卷積層改進(jìn)雙線性插值上采樣過(guò)程，設(shè)定反卷積層的步長(zhǎng)為2；添加大小為3×3的卷積層和批處理歸一化層，采用金字塔特征圖方式將經(jīng)過(guò)反卷積處理的特征圖與淺層特征圖連接。

圖3 反卷積網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Deconvolution network structure

通過(guò)增加反卷積層改進(jìn)YOLOv3算法的雙線性插值上采樣過(guò)程，可獲得高分辨率的特征圖，使模型在異物檢測(cè)過(guò)程中保留更多的上下文信息，增強(qiáng)了遠(yuǎn)景圖像中小目標(biāo)的檢測(cè)效果。

3 算法驗(yàn)證

3.1 實(shí)驗(yàn)驗(yàn)證

采用由多個(gè)攝像頭(分辨率為1 920×1 080)采集的7 520張膠帶運(yùn)輸圖像為異物檢測(cè)數(shù)據(jù)集，其中不含異物圖像有3 540張，含異物圖像有3 980張。為使異物檢測(cè)模型具有更好的泛化能力，設(shè)置較多的異物種類(lèi)，包括釬子、錨桿、鐵塊、矸石、木條、工字鋼、塑料等。

取異物檢測(cè)數(shù)據(jù)集中的6 016張圖像為訓(xùn)練集，1 504張圖像為測(cè)試集。對(duì)訓(xùn)練集和測(cè)試集進(jìn)行數(shù)據(jù)增強(qiáng)等預(yù)處理，之后將增強(qiáng)訓(xùn)練集數(shù)據(jù)輸入Fast_YOLOv3模型進(jìn)行訓(xùn)練。采用訓(xùn)練好的模型對(duì)增強(qiáng)測(cè)試集進(jìn)行異物檢測(cè)實(shí)驗(yàn)，結(jié)果如圖4所示?？煽闯鯢ast_YOLOv3算法能夠準(zhǔn)確檢測(cè)出膠帶上各種異物。

圖4 膠帶運(yùn)輸異物檢測(cè)結(jié)果Fig.4 Foreign object detection results of belt transportation

基于生成的增強(qiáng)數(shù)據(jù)集，分別采用SSD，F(xiàn)aster R-CNN，YOLOv2，YOLOv3，YOLOv5，F(xiàn)ast_YOLOv3算法進(jìn)行膠帶運(yùn)輸異物檢測(cè)，結(jié)果如圖5所示?？煽闯鯢ast_YOLOv3算法較其他算法能識(shí)別出更多異物。

圖5 基于不同算法的異物檢測(cè)結(jié)果Fig.5 Foreign object detection results based on different algorithms

從測(cè)試集中隨機(jī)選取200張包含釬子、鐵塊、矸石等小目標(biāo)圖像進(jìn)行異物檢測(cè)，結(jié)果見(jiàn)表2。可看出Fast_YOLOv3算法較其他算法對(duì)于小目標(biāo)異物有更高的檢出率。

表2 小目標(biāo)異物檢測(cè)結(jié)果Table 2 Detection results of small target foreign object

采用平均檢測(cè)精度、平均檢測(cè)時(shí)間、召回率指標(biāo)評(píng)價(jià)不同異物檢測(cè)算法的性能，結(jié)果見(jiàn)表3?？煽闯鯢ast_YOLOv3算法的平均檢測(cè)精度為90.12%，較SSD，F(xiàn)aster R-CNN，YOLOv2，YOLOv3，YOLOv5算法分別提高1.76%，-2.77%，15.91%，5.44%，3.44%；平均檢測(cè)時(shí)間為35 ms，較其他5種算法分別減少76.20%，90.33%，27.08%，33.96%，14.63%；召回率為93.86%，較其他5種算法分別提高2.72%，0.58%，9.21%，6.63%，4.41%?？梢?jiàn)Fast_YOLOv3算法在異物檢測(cè)準(zhǔn)確性和速度方面具有較大優(yōu)勢(shì)。

表3 異物檢測(cè)算法性能比較Table 3 Performance comparison of foreign object detection algorithms

3.2 現(xiàn)場(chǎng)測(cè)試

在陜西正通煤業(yè)有限責(zé)任公司高家堡煤礦對(duì)采煤工作面西翼主運(yùn)膠帶運(yùn)輸進(jìn)行異物檢測(cè)。采用攝像頭采集多點(diǎn)圖像，經(jīng)井下千兆環(huán)網(wǎng)傳送至地面監(jiān)控中心。監(jiān)控中心主工作站對(duì)數(shù)據(jù)進(jìn)行處理后，運(yùn)行異物檢測(cè)程序，并將檢測(cè)結(jié)果返回監(jiān)控界面。異物檢測(cè)程序采用Python語(yǔ)言在Pytorch框架下編寫(xiě)，采用C#.Net設(shè)計(jì)監(jiān)控界面。程序運(yùn)行環(huán)境為Inter(R) Core i7-8750H處理器，16 GB內(nèi)存，Windows10系統(tǒng)。

異物檢測(cè)監(jiān)控界面如圖6所示?？煽闯鯢ast_YOLOv3算法能夠較準(zhǔn)確地檢測(cè)出矸石、塑料、錨桿等異物，檢測(cè)速度快，漏檢率較低，小目標(biāo)檢測(cè)效果較好，異物類(lèi)型及數(shù)量可實(shí)時(shí)顯示在監(jiān)控界面。

(a) 錨桿檢測(cè)

(b) 雜物檢測(cè)圖6 膠帶運(yùn)輸異物檢測(cè)監(jiān)控界面Fig.6 Monitoring interface of foreign object detection in belt transportation

4 結(jié)論

(1) 為滿足煤礦井下膠帶運(yùn)輸異物實(shí)時(shí)、精確檢測(cè)需求，基于YOLOv3算法，通過(guò)改進(jìn)先驗(yàn)框、邊界框、損失函數(shù)，增加反卷積網(wǎng)絡(luò)等方法，設(shè)計(jì)了Fast_YOLOv3算法。

(2) 為提高Fast_YOLOv3算法的檢測(cè)精度，提出了StiPic數(shù)據(jù)增強(qiáng)方法，通過(guò)對(duì)采集圖像進(jìn)行隨機(jī)縮放、裁剪、排列，將4張圖像拼接為1張圖像，增加了訓(xùn)練樣本的數(shù)量及多樣性，提高了模型訓(xùn)練效率及對(duì)小目標(biāo)的識(shí)別能力。

(3) 對(duì)Fast_YOLOv3算法的異物檢測(cè)效果進(jìn)行了實(shí)驗(yàn)及現(xiàn)場(chǎng)測(cè)試，結(jié)果表明，該算法對(duì)于膠帶運(yùn)輸異物的平均檢測(cè)精度達(dá)90.12%，平均檢測(cè)時(shí)間為35 ms，對(duì)小目標(biāo)異物的檢出率達(dá)93.50%，滿足膠帶運(yùn)輸現(xiàn)場(chǎng)對(duì)異物檢測(cè)精度和實(shí)時(shí)性的要求。