基于改進(jìn)YOLO v4的煤矸石識別檢測技術(shù)研究

崔 斌，陳 林，亓玉浩，張 坤，趙得福，黃梁松，李明霞，孔祥俊，杜明超，蔣祥卿，劉 源

(1.山東科技大學(xué) 山東省機(jī)器人與智能技術(shù)重點(diǎn)實(shí)驗(yàn)室，山東 青島 266590；2.歐普瑞泰環(huán)境科技有限公司，山東 青島 266200；3.青島華夏橡膠工業(yè)有限公司，山東 青島 266200；4.北斗天地股份有限公司，山東 濟(jì)寧 710000；5.青海能源發(fā)展(集團(tuán))有限公司，青海 西寧 810008)

煤炭是我國最主要的能源，國家高度重視煤炭開采智能化發(fā)展[1]，在煤炭開采過程中會有約10%～15%的矸石，若不及時(shí)進(jìn)行煤矸石分揀并回填，摻雜矸石的煤炭會影響燃燒質(zhì)量，而且大量的矸石存在會占用過多的空間，造成空間浪費(fèi)。傳統(tǒng)的分揀由人工完成，存在著分揀效率低、精度差以及對工人身體危害較大的問題[2]，因此，使用目標(biāo)檢測模型快速高效的分揀出煤矸石從而代替?zhèn)鹘y(tǒng)分揀具有重要意義。

隨著機(jī)器視覺及相關(guān)算法的不斷發(fā)展，基于圖像處理的煤矸石檢測技術(shù)研究成為重點(diǎn)研究方向[3，4]，相關(guān)研究人員采用數(shù)字圖像處理的方式人工提取煤矸石特征，再結(jié)合支持向量機(jī)的方法對特征進(jìn)行訓(xùn)練以識別煤和矸石[5-7]。自2012年以來，在圖像識別領(lǐng)域中以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)算法在各大產(chǎn)業(yè)中逐步得到了應(yīng)用[8，9]，其根據(jù)處理方式的不同，分為two-stage目標(biāo)檢測算法與one-stage目標(biāo)檢測算法。二階段目標(biāo)檢測算法首先生成若干個(gè)可能含有目標(biāo)的候選框，而后使用卷積神經(jīng)網(wǎng)絡(luò)對這些候選框的進(jìn)行檢測。RCNN系列網(wǎng)絡(luò)為其代表性網(wǎng)絡(luò)。Fast RCNN在RCNN的基礎(chǔ)上，使用選擇搜索算法提取候選框后，將全圖送入卷積神經(jīng)網(wǎng)絡(luò)，并將候選區(qū)域通過ROI池化映射至網(wǎng)絡(luò)輸出的特征圖中，之后對候選區(qū)域進(jìn)行處理完成目標(biāo)的定位與分類[10]。一階段目標(biāo)檢測算法則不產(chǎn)生候選框，而是通過回歸直接完成分類與定位任務(wù)。YOLO系列算法是其代表的算法。YOLO v1提出了該系列算法的基本概念[11]。YOLO v2[12]、 YOLO v3[13]使得網(wǎng)絡(luò)檢測精度有了很大的提升并降低了漏檢率。YOLO v4[14]在YOLO v3的基礎(chǔ)上，結(jié)合當(dāng)時(shí)的優(yōu)秀研究成果進(jìn)行改進(jìn)，犧牲少量推理速度大幅度提升了檢測精度，實(shí)現(xiàn)了檢測精度與檢測速度的平衡。來文豪[15]提出了一種基于多光譜成像技術(shù)和改進(jìn)YOLO v4的檢測方法，蔡金秀[16]進(jìn)行了YOLO v4煤矸石檢測方法研究，克服在煤矸石檢測中存在漏檢誤檢的問題。

近幾年，基于機(jī)器學(xué)習(xí)的異物識別方法大多是使用分類神經(jīng)網(wǎng)絡(luò)[17-19]，只能識別圖像中的單個(gè)目標(biāo)，未考慮到多目標(biāo)識別。為了加快煤礦智能化發(fā)展，全面提升煤礦智能化技術(shù)水平[20-21]，實(shí)現(xiàn)快速、高精度檢測煤矸石圖像的目標(biāo)，本文將檢測速度較快并且可以進(jìn)行多目標(biāo)檢測的一階段目標(biāo)檢測模型 YOLO v4引入煤與煤矸石分選領(lǐng)域，對目標(biāo)檢測模型進(jìn)行改進(jìn)，完成對單幅圖像中多目標(biāo)識別以及定位作用，進(jìn)而完成視頻檢測，大大提升了模型的綜合檢測能力，為皮帶輸送機(jī)煤矸石分揀提供理論依據(jù)，促進(jìn)了煤礦智能化的發(fā)展。

1 煤矸石識別試驗(yàn)系統(tǒng)

煤矸石識別系統(tǒng)由工控機(jī)、工業(yè)相機(jī)、光源等組成，如圖1所示。其中，光源選用SUMITA公司生產(chǎn)的LS-NTP-210，工業(yè)相機(jī)選用邁德威視公司生產(chǎn)的MV-GE502GC-T-CL相機(jī)，鏡頭選用邁德威視公司的MV-GE502GC-T-CL，兩者組合可以獲得最大分辨率為2592×2048的RGB圖像，且有多種分辨率可選，可以準(zhǔn)確提取煤矸石紋理特征，在最大分辨率時(shí)幀速率可達(dá)22 f/s，保證了整套識別系統(tǒng)采集和傳輸數(shù)據(jù)的實(shí)時(shí)性。

圖1 煤矸石實(shí)驗(yàn)設(shè)備

在進(jìn)行數(shù)據(jù)采集時(shí)，相機(jī)通過Glge網(wǎng)線連接至工控機(jī)，調(diào)整合適的參數(shù)，通過相機(jī)將帶式輸送機(jī)上采集到的實(shí)時(shí)圖像信息傳輸給工控機(jī)，完成數(shù)據(jù)的實(shí)時(shí)采集。

2 煤矸石數(shù)據(jù)集制作

煤矸石的種類豐富，根據(jù)礦物含量不同可分為黏土巖類、砂石巖類以及鋁質(zhì)巖類，本次實(shí)驗(yàn)選用泰安新汶煤礦的白色砂巖石類煤矸石作為實(shí)驗(yàn)樣本?，F(xiàn)場采集的白色砂巖石類煤和煤矸石的部分樣本如圖2所示。

圖2 白色砂巖類煤和煤矸石樣本

1)數(shù)據(jù)采集。使用MV-GE502GC-T-CL相機(jī)拍攝制作數(shù)據(jù)集所需要的圖片，并根據(jù)每張圖片中煤和煤矸石的總數(shù)分為單目標(biāo)圖像，雙目標(biāo)圖像，多目標(biāo)圖像，三種圖像的數(shù)量見表1。

表1 煤與煤矸石圖像采集

2)圖像預(yù)處理。對于YOLO v4目標(biāo)檢測網(wǎng)絡(luò)，輸入的圖片尺寸為416×416或者608×608，但通過相機(jī)拍攝的圖片尺寸為2592×2048，尺寸并非正方形，若直接將制作好的數(shù)據(jù)集送入網(wǎng)絡(luò)，會導(dǎo)致圖像在送入網(wǎng)絡(luò)時(shí)有一定程度的失真，故采用在短邊兩側(cè)補(bǔ)灰條的方式將圖片尺寸調(diào)整尺寸為2592×2592的圖片，從而避免將原始圖像送入網(wǎng)絡(luò)后出現(xiàn)的形狀失真問題，添加灰條前后圖片對比如圖3所示。

圖3 煤矸石圖像處理前后對比

3)圖像標(biāo)注與數(shù)據(jù)增強(qiáng)。使用Labelimg對圖像進(jìn)行標(biāo)注，生成數(shù)據(jù)集，如圖4所示。

圖4 數(shù)據(jù)集標(biāo)注

3 YOLO v4目標(biāo)檢測算法

3.1 數(shù)據(jù)采集

YOLO v4作為YOLO v3的改良版本，運(yùn)行速度大大提高，其主要包括YOLO v4使用 CSPDarkNet53作為主干網(wǎng)絡(luò)，繼承YOLO v3中的分類回歸層以及頭部(Head)，使用Neck連接主干網(wǎng)絡(luò)與頭部，Neck由SPP-block和PANet構(gòu)成。

3.2 改進(jìn)YOLO v4目標(biāo)檢測網(wǎng)絡(luò)

煤矸石識別任務(wù)中對于煤矸石的識別準(zhǔn)確度以及識別幀率均有一定的要求，針對YOLO v4本身的參數(shù)量相對較大，需要在較好的GPU上才能有比較好的幀率的問題，對YOLO v4進(jìn)行改進(jìn)，主要改進(jìn)部分如下：

3.2.1 采用Focal Loss函數(shù)

My-YOLO v4目標(biāo)檢測網(wǎng)絡(luò)將置信度和分類的二分交叉熵?fù)p失函數(shù)替換為 Focal Loss函數(shù)，可以在一定程度上緩解背景分類不平衡以及減少易分類目標(biāo)所占的損失比重的問題。Focal Loss函數(shù)在交叉熵?fù)p失基礎(chǔ)上改進(jìn)，通過減少簡單背景樣本以及簡單分類樣本所占權(quán)值讓模型專注于前景識別困難物體的檢測。Focal Loss函數(shù)如式(1)所示：

FL(pt)=-α(1-pt)γlg(pt)

(1)

式中，α為正負(fù)樣本的權(quán)值；γ為難易樣本的權(quán)值。本次實(shí)驗(yàn)中α取0.25，γ取2性能最優(yōu)。

3.2.2采用K-means++聚類算法優(yōu)化初始錨定框

My-YOLO v4選用K-means++算法優(yōu)化初始聚類中心，有效避免了K-means算法需人為確定或隨機(jī)給定初始聚類中心，造成聚類效果差的問題，K-means++選擇初始點(diǎn)的原則是讓聚類中心相互之間的距離盡量的遠(yuǎn)，其具體步驟如下：

Step1：在采集的數(shù)據(jù)集的所有標(biāo)注的框中隨機(jī)選擇一個(gè)框的寬高作為初始的聚類中心。

Step2：對于數(shù)據(jù)集中所有的錨定框，選擇一樣的中心點(diǎn)，根據(jù)其寬高數(shù)據(jù)與已經(jīng)獲得的聚類中心的寬高數(shù)據(jù)計(jì)算數(shù)據(jù)集中所有錨定框與聚類中心的IOU并計(jì)算兩者的距離情況，去樣本框與所有聚類中心中距離最近的距離值D(Xd=Xk+(Xk-1)×(Dr-1))，最后，選出下一個(gè)聚類中心，D越大被選為聚類中心的概率越大。

Step3：重復(fù)Step2，選出K個(gè)聚類中心。

Step4：計(jì)算每個(gè)數(shù)據(jù)中的點(diǎn)到選擇的k個(gè)聚類中心的距離，并根據(jù)距離遠(yuǎn)近劃分到所對應(yīng)的類中。

Step5：對劃分好的類再進(jìn)行計(jì)算，計(jì)算出新的聚類中心，與初始聚類中心進(jìn)行比較。

Step6：若聚類中心發(fā)生變化，重復(fù)Step4，5；若沒變化，輸出聚類結(jié)果。

3.2.3 PANet特征融合網(wǎng)絡(luò)中卷積CSP化

由于YOLO v4目標(biāo)檢測網(wǎng)絡(luò)參數(shù)量較大，故而限制了其在煤矸石檢測任務(wù)中的作用，而在其中PANet則占其中大部分參數(shù)，為了適當(dāng)降低參數(shù)量，同時(shí)保證特征融合效果，My-YOLO v4采用CSP結(jié)構(gòu)代替PANet中的五次卷積操作。

YOLO v4中使用了SPP結(jié)構(gòu)，其采用了四種不同尺度的最大池化操作增加感受野，分離出顯著的上下文特征但是這樣會損失一些細(xì)節(jié)特征信息，為解決此問題，引入空洞卷積來增大感受野，獲取更多不同尺度信息，空洞卷積根據(jù)空洞率的大小在普通卷積核中間填充0，空洞率大小與空洞卷積核大小的關(guān)系為：

Xd=Xk+(Xk-1)×(Dr-1)

(2)

式中，Xk為原卷積核大??；Xd為空洞卷積核大小；Dr為空洞率系數(shù)。

空洞卷積因在卷積核中間填充0，會導(dǎo)致單個(gè)尺度的空洞卷積會丟失局部信息，空洞率為2的空洞卷積核如圖5所示。

圖5 空洞率為2的空洞卷積核

為解決此問題，將SPP結(jié)構(gòu)中，三路最大池化操作更改為系數(shù)為2，3，5的空洞卷積操作，用多尺度空洞卷積來獲取不同尺度的特征信息，并將修改后的結(jié)構(gòu)引入至已經(jīng)替換的CSP結(jié)構(gòu)中，其結(jié)構(gòu)如圖6所示。

圖6 加入空洞卷積融合網(wǎng)絡(luò)的CSP結(jié)構(gòu)

3.2.4 使用跨連接邊構(gòu)成BiFPN結(jié)構(gòu)

由于在煤矸石檢測任務(wù)中，大部分的煤與矸石大小都處在較為中等的大小，故而My-YOLO v4通過添加了連接主干網(wǎng)絡(luò)提取的中間特征層與中間YOLO-Head以及的一條殘差邊，構(gòu)成BiFPN結(jié)構(gòu)，以提高對于中等目標(biāo)的檢測能力。

YOLO v4與My-YOLO v4目標(biāo)檢測網(wǎng)絡(luò)模型大小對比見表2。

表2 煤與煤矸石圖像采集

通過表3數(shù)據(jù)對比可以看出，改進(jìn)后的參數(shù)量與模型大小有了明顯的減少，更有利于提升檢測速度。

表3 四種目標(biāo)檢測算法性能比較

經(jīng)過上述步驟的修改，得到修改后的網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。

圖7 My-YOLO v4目標(biāo)檢測算法

3.3 目標(biāo)檢測網(wǎng)絡(luò)性能評價(jià)指標(biāo)

目標(biāo)檢測網(wǎng)絡(luò)通過平均準(zhǔn)確率mAP(mean Av-erage Precision)，即各個(gè)類別AP(Average Pre-cision)的平均值來評價(jià)算法的性能，在計(jì)算AP之前首先需要計(jì)算準(zhǔn)確率(Precision)和召回率(Recall)。

準(zhǔn)確率的計(jì)算公式為：

召回率的計(jì)算公式為：

AP的計(jì)算公式為：

(5)

式中，TP為被模型預(yù)測為正類的正樣本；FP為被模型預(yù)測為正類的負(fù)樣本；FN為被模型預(yù)測為負(fù)類的正樣本。

4 實(shí)驗(yàn)過程與結(jié)果分析

4.1 數(shù)據(jù)采集

本文實(shí)驗(yàn)數(shù)據(jù)訓(xùn)練在Windows操作系統(tǒng)下完成，其中CPU選用Intel Xeon E5-2630L v3，GPU選用NVIDIA GeForce RTX1080Ti，深度學(xué)習(xí)框架選用tensorflow2.2.0。

調(diào)整后的數(shù)據(jù)集按照8∶1∶1的比例劃分為訓(xùn)練集，驗(yàn)證集與測試集，同時(shí)采用遷移學(xué)習(xí)的思想，在VOC2007中訓(xùn)練好的YOLO v4模型的基礎(chǔ)上進(jìn)行訓(xùn)練，在訓(xùn)練過程中，首先對主干特征提取網(wǎng)絡(luò)CSPDarknet-53進(jìn)行凍結(jié)，優(yōu)先訓(xùn)練其他的非主干特征提取網(wǎng)絡(luò)，以達(dá)到防治訓(xùn)練初期權(quán)值被破壞的情況，同時(shí)加快訓(xùn)練速度，初始階段訓(xùn)練中Batchsize設(shè)置為32，學(xué)習(xí)率為0.001，使用Adam作為優(yōu)化器，訓(xùn)練輪數(shù)為25輪。接著對整個(gè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，第二階段訓(xùn)練中Batchsize設(shè)置為16，初始學(xué)習(xí)率為0.001，若連續(xù)5輪loss不下降，則自動將學(xué)習(xí)率減半，使用Adam作為優(yōu)化器，訓(xùn)練輪數(shù)為50輪，根據(jù)訓(xùn)練日志繪制出模型損失函數(shù)值的變化曲線如圖8所示。

圖8 模型損失值變化曲線

由圖8可以得出，使用改進(jìn)后的My-YOLO v4目標(biāo)檢測算法在對煤矸石數(shù)據(jù)集訓(xùn)練過程中，階段一為0—25輪，凍結(jié)主干特征提取網(wǎng)絡(luò)，對剩余網(wǎng)絡(luò)進(jìn)行訓(xùn)練，可以有效防止訓(xùn)練初期主干網(wǎng)絡(luò)權(quán)值被破壞，提高訓(xùn)練速度，使損失值快速降低；階段二為25—50輪，采用解凍訓(xùn)練，對全部網(wǎng)絡(luò)進(jìn)行訓(xùn)練，損失值快速降低至比較平緩的階段；階段三為50—75輪，損失值緩慢降低，loss收斂至較好的值，并且在剩余輪數(shù)的訓(xùn)練過程中模型性能并未得到提高。

4.2 結(jié)果分析

完成模型訓(xùn)練后，挑選部分新的煤和矸石的樣本放在實(shí)驗(yàn)臺上，使用MV-GE502GC-T-CL相機(jī)對煤和煤矸石進(jìn)行實(shí)時(shí)檢測，檢測效果如圖9所示。

圖9 My-YOLO v4檢測效果

將改進(jìn)后的My-YOLO v4目標(biāo)檢測模型與 YOLO v3，YOLO v4，SSD目標(biāo)檢測模型進(jìn)行性能比較，重新采集200張煤與煤矸石數(shù)量不等的圖片制成測試集，并進(jìn)行mAP的計(jì)算，三種目標(biāo)檢測模型性能見表3。

由表4可以得出，改進(jìn)My-YOLO v4模型mAP值相較于YOLO v4減少了0.55%，但是其因模型參數(shù)的減少使得其檢測速度獲得了提升，在視頻檢測上有著很大的優(yōu)勢。同時(shí)相較于SSD與YOLO v3目標(biāo)檢測算法，My-YOLO v4能在保持大致的檢測速度的情況下檢測準(zhǔn)確度有著較大的提升。

5 結(jié) 論

1)本文基于YOLO v4目標(biāo)檢測模型進(jìn)行改進(jìn)，將二分類交叉熵?fù)p失函數(shù)替換為 Focal損失函數(shù)，從而獲得更加準(zhǔn)確的分類精度，使用K-means++聚類算法優(yōu)化初始錨定框，提高對中等目標(biāo)的檢測能力，采用CSP結(jié)構(gòu)代替PANet中的五次卷積操作以及使用跨連接邊構(gòu)成BiFPN結(jié)構(gòu)，最終得到改進(jìn)后的My-YOLO v4目標(biāo)檢測模型。選用50～300 mm大小的煤矸石進(jìn)行數(shù)據(jù)集的采集與制作，更加符合實(shí)際工作環(huán)境，使用圖像處理的方式，能夠?qū)崿F(xiàn)煤矸石的快速準(zhǔn)確識別，此外，My-YOLO v4目標(biāo)檢測網(wǎng)絡(luò)在驗(yàn)證集上mAP達(dá)到了98.14%。

2)選用50～300 mm大小的煤矸石進(jìn)行數(shù)據(jù)集的采集與制作，更加符合實(shí)際工作環(huán)境，在搭建好的煤矸石分揀平臺中進(jìn)行動態(tài)實(shí)驗(yàn)測試，實(shí)驗(yàn)數(shù)據(jù)分析得出：My-YOLO v4目標(biāo)檢測網(wǎng)絡(luò)mAP為98.14%，F(xiàn)PS為28.3Hz，相較于SSD目標(biāo)檢測網(wǎng)絡(luò)以及YOLO v3目標(biāo)檢測網(wǎng)絡(luò)，在保持良好FPS的情況下，精度分別提高了5.41%以及2.87%，相較于YOLO v4目標(biāo)檢測網(wǎng)絡(luò)，在保持較好檢測精度的情況下，識別速度提高了7.7Hz。實(shí)驗(yàn)結(jié)果表明，My-YOLO v4目標(biāo)檢測網(wǎng)絡(luò)在較復(fù)雜的實(shí)際工況中檢測性能良好，具有較高的實(shí)時(shí)性和準(zhǔn)確率，可以為煤矸石檢測分揀裝置的提供理論技術(shù)參考。