基于改進(jìn)YOLOv4 的綜采工作面目標(biāo)檢測(cè)

王科平， 連凱海， 楊藝， 費(fèi)樹(shù)岷

（1. 河南理工大學(xué) 電氣工程與自動(dòng)化學(xué)院，河南 焦作 454003；2. 河南理工大學(xué) 河南煤礦裝備智能檢測(cè)與控制重點(diǎn)實(shí)驗(yàn)室，河南 焦作 454003；3. 東南大學(xué) 自動(dòng)化學(xué)院，江蘇 南京 210096）

0 引言

煤炭作為我國(guó)最豐富的能源資源，是國(guó)家能源安全的“壓艙石”[1-4]。隨著人工智能技術(shù)的不斷發(fā)展，基于計(jì)算機(jī)視覺(jué)的深度學(xué)習(xí)算法在提升煤炭開(kāi)采效率、保障采煤安全及煤炭智能化開(kāi)采等方面發(fā)揮的作用愈發(fā)重要[5-9]。目標(biāo)檢測(cè)是計(jì)算機(jī)視覺(jué)技術(shù)的重要分支，針對(duì)綜采工作面關(guān)鍵設(shè)備及人員的目標(biāo)檢測(cè)算法，是煤炭智能化開(kāi)采信息感知的重要內(nèi)容[10]。

目前，應(yīng)用于煤礦井下的目標(biāo)檢測(cè)常用算法有傳統(tǒng)目標(biāo)檢測(cè)算法和基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）的目標(biāo)檢測(cè)算法[11]。傳統(tǒng)目標(biāo)檢測(cè)算法通過(guò)人工提取特征實(shí)現(xiàn)目標(biāo)檢測(cè)，如趙謙[12]提出了一種基于小波分解的Canny 邊緣檢測(cè)算法對(duì)井下員工進(jìn)行檢測(cè)，程健等[13]針對(duì)帶式輸送機(jī)視覺(jué)場(chǎng)景復(fù)雜、視頻圖像質(zhì)量差等問(wèn)題，采用改進(jìn)的高斯混合模型提取視頻背景，實(shí)現(xiàn)視頻背景分離，從而實(shí)現(xiàn)煤矸石檢測(cè)和識(shí)別。但上述算法復(fù)雜度高，不具有普適性，易受環(huán)境影響，且無(wú)法適應(yīng)待檢測(cè)目標(biāo)的大幅度動(dòng)作，穩(wěn)定性很差。隨著深度學(xué)習(xí)的興起，基于CNN 的目標(biāo)檢測(cè)算法被應(yīng)用到綜采工作面智能化建設(shè)中。與傳統(tǒng)目標(biāo)檢測(cè)算法相比，基于CNN 的目標(biāo)檢測(cè)算法可以自適應(yīng)地提取深層信息，具有泛化能力強(qiáng)、穩(wěn)定性高等特點(diǎn)。李偉山等[14]以Faster RCNN 為基礎(chǔ)，對(duì)候選區(qū)域網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)并加入特征融合技術(shù)，構(gòu)建了一種金字塔結(jié)構(gòu)的煤礦井下行人檢測(cè)算法。劉備戰(zhàn)等[15]提出了一種具有層級(jí)相連結(jié)構(gòu)的RetinaNet 算法，可實(shí)現(xiàn)井下人員檢測(cè)。付燕等[16]使用YOLOv3 算法設(shè)計(jì)了一種井下工作人員持續(xù)檢測(cè)系統(tǒng)。任志玲等[17]提出了一種改進(jìn)的CenterNet 算法，可對(duì)煤礦膠帶運(yùn)輸異物進(jìn)行準(zhǔn)確識(shí)別。但上述算法大多僅針對(duì)簡(jiǎn)單場(chǎng)景，且檢測(cè)目標(biāo)單一。而綜采工作面常見(jiàn)的是多個(gè)檢測(cè)目標(biāo)出現(xiàn)在同一場(chǎng)景，且常伴有煤塵干擾、目標(biāo)運(yùn)動(dòng)、光照干擾等，導(dǎo)致采集的視頻圖像質(zhì)量較差，檢測(cè)精度難以保證；另外，基于CNN 的目標(biāo)檢測(cè)算法大多網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、參數(shù)多、計(jì)算量大[18]，不利于綜采工作面工業(yè)部署的實(shí)際應(yīng)用。

本文提出了一種基于改進(jìn)YOLOv4 的綜采工作面目標(biāo)檢測(cè)算法。為解決井下復(fù)雜環(huán)境下目標(biāo)難以檢測(cè)問(wèn)題，在YOLOv4[19]模型基礎(chǔ)上，融合CNN 的高效局部信息聚合能力和殘差自注意力（Residual Self-Attention，RSA）模塊的長(zhǎng)距離依賴信息獲取能力，在確保局部上下文信息質(zhì)量的同時(shí)加強(qiáng)全局信息的獲取，增強(qiáng)待檢測(cè)目標(biāo)的顯著度，進(jìn)而提升檢測(cè)精度；為減小綜采工作面目標(biāo)檢測(cè)模型的工業(yè)部署難度，引入深度可分離卷積來(lái)簡(jiǎn)化模型，以減少模型參數(shù)量和計(jì)算量。

1 綜采工作面目標(biāo)檢測(cè)

1.1 改進(jìn)YOLOv4 模型

為準(zhǔn)確從綜采工作面復(fù)雜環(huán)境中檢測(cè)到所需目標(biāo)，借鑒Google 提出的BoTNet[20]設(shè)計(jì)思想，本文提出輕量級(jí)改進(jìn)YOLOv4 模型。該模型主要由特征提取網(wǎng)絡(luò)CSPDarkNet53、空間金字塔池化（Spatial Pyramid Pooling，SPP）模 塊、路 徑 聚 合 網(wǎng) 絡(luò)（Path Aggregation Network，PANet）模塊構(gòu)成，結(jié)構(gòu)如圖1所示（Conv 為卷積，dw 為深度可分離卷積，Conv_dw_ Conv 表示分別進(jìn)行卷積、深度可分離卷積、卷積操作）。特征提取網(wǎng)絡(luò)CSPDarkNet53 融合了RSA 模塊，在提取局部特征的同時(shí)增強(qiáng)全局信息獲取 能 力；SPP 模 塊 利 用13×13、9×9、5×5 和1×1 這4 個(gè)不同尺度的最大池化對(duì)特征進(jìn)行處理，以增大特征感受野，豐富特征圖表達(dá)能力；PANet 模塊引入深度可分離卷積，簡(jiǎn)化網(wǎng)絡(luò)的同時(shí)加強(qiáng)了特征融合，有利于多樣化特征的提取。

圖1 改進(jìn)YOLOv4 模型結(jié)構(gòu)Fig. 1 Improved YOLOv4 model structure

1.2 融合RSA 模塊的CSPDarkNet53

針對(duì)綜采工作面復(fù)雜環(huán)境，原有CSPDarkNet53網(wǎng)絡(luò)僅能捕獲局部信息，無(wú)法獲取長(zhǎng)距離依賴信息，可能導(dǎo)致網(wǎng)絡(luò)提取過(guò)多的冗余信息而不能提取到關(guān)鍵信息，減弱語(yǔ)義信息和位置信息的依賴關(guān)系，進(jìn)而導(dǎo)致誤檢、漏檢現(xiàn)象產(chǎn)生。RSA 模塊主要通過(guò)局部之間的關(guān)系來(lái)引入權(quán)重，分別在通道、空間2 個(gè)層面，通過(guò)計(jì)算每個(gè)單元（通道與通道之間、像素與像素之間）的值，來(lái)加強(qiáng)局部信息間的聯(lián)系，進(jìn)而掌握長(zhǎng)距離依賴信息，從而增強(qiáng)待檢測(cè)目標(biāo)的顯著度。因此，在CSPDarkNet53 中引入RSA 模塊，既可以發(fā)揮CNN 參數(shù)共享及高效局部信息聚合優(yōu)勢(shì)，又能充分利用自注意力獲取全局信息能力，增強(qiáng)圖像關(guān)鍵目標(biāo)特征表達(dá)能力，進(jìn)而提高特征提取網(wǎng)絡(luò)聚集關(guān)鍵信息的能力。

RSA 模塊結(jié)構(gòu)如圖2 所示。

圖2 RSA 模塊結(jié)構(gòu)Fig. 2 Residual self-attention module architecture

輸入特征圖經(jīng)過(guò)3 次1×1 逐點(diǎn)卷積進(jìn)行單點(diǎn)特征提取，分別得到查詢Q、鍵K、值V。Q與K相乘得到局部關(guān)系矩陣，并加入垂直、水平位置嵌入矩陣Rh和Rw，分別從垂直、水平2 個(gè)方向逐元素求和，之后再與Q交互，得到相對(duì)位置編碼Srel，以增強(qiáng)網(wǎng)絡(luò)對(duì)輸入特征圖位置信息的感知能力。局部關(guān)系矩陣與相對(duì)位置編碼求和后通過(guò)softmax 操作與V相乘，可得

式中：A為自注意力；為超參數(shù)，其作用是防止分子向量點(diǎn)積后結(jié)果過(guò)大，確保softmax 梯度穩(wěn)定性。

RSA 模塊對(duì)輸入特征圖先進(jìn)行1 次下采樣操作以減小特征圖尺寸，之后將輸入支路分成主分支和短連接分支。主分支的特征圖通過(guò)多個(gè)由1×1 卷積和自注意力模塊堆疊而成的殘差結(jié)構(gòu)對(duì)輸入特征圖進(jìn)行上下文信息處理和聚合，以獲得融合全局信息的主分支輸出，增強(qiáng)特征表達(dá)能力。主分支輸出經(jīng)過(guò)1×1 卷積后與短連接分支的特征圖拼接，得到輸出特征圖。

1.3 深度可分離卷積

為了提升網(wǎng)絡(luò)檢測(cè)性能，引入深度可分離卷積[21]替代傳統(tǒng)卷積，如圖1 中綠色模塊所示。深度可分離卷積通過(guò)串聯(lián)深度卷積和逐點(diǎn)卷積的方式提取特征信息。先使用深度卷積逐通道獨(dú)立進(jìn)行卷積計(jì)算來(lái)過(guò)濾空間信息，再串聯(lián)逐點(diǎn)卷積來(lái)映射通道信息。這種將空間信息與通道信息相結(jié)合的方式既提取了關(guān)鍵特征，又大大減少了計(jì)算量和參數(shù)量。

傳統(tǒng)卷積是將通道數(shù)為M的輸入特征圖與相應(yīng)的N個(gè)卷積核進(jìn)行卷積操作，其計(jì)算量為

式中：Dk為 卷積核大小；Dw，Dh分別為輸出特征圖的寬和高。

深度可分離卷積過(guò)程如圖3 所示，將通道數(shù)為M的輸入特征圖與相應(yīng)的M個(gè)卷積核進(jìn)行深度卷積，再用N個(gè)1×1 卷積核對(duì)深度卷積得到的特征圖進(jìn)行逐點(diǎn)卷積，其計(jì)算量為

圖3 深度可分離卷積操作Fig. 3 Depthwise separable convolution operation

深度可分離卷積與傳統(tǒng)卷積的計(jì)算量比值為

本文輸入圖像大小為416×416×3，假設(shè)經(jīng)過(guò)通道數(shù)為16 的3×3 卷積，最后輸出16 個(gè)特征圖，則N2與N1比值約為1∶6。利用深度可分離卷積后，計(jì)算量和參數(shù)量大幅度減少，提高了特征提取網(wǎng)絡(luò)的運(yùn)算速度，節(jié)約了運(yùn)算成本。

2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)平臺(tái)為Ubuntu18.04 操作系統(tǒng)，硬件配置：Intel Xeon Gold 6146 CPU，12 核24 線 程；顯 卡 為6 塊RTX 2080Ti，顯存72 GB；內(nèi)存250 GB。網(wǎng)絡(luò)基于PyTorch 框 架 實(shí) 現(xiàn)， 并 調(diào) 用OpenCV， CUDA，cuDNN 庫(kù)。在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，設(shè)定輸入圖片尺寸為416×416，訓(xùn)練輪次為100，1 輪訓(xùn)練處理16 張樣本圖片，初始學(xué)習(xí)率為0.001，采用等間隔學(xué)習(xí)率調(diào)整方法（StepLR），設(shè)置調(diào)整間隔（step_size）為1，動(dòng)量（momentum） 為0.92， 權(quán) 值 衰 減（weight_decay） 為0.000 5。當(dāng)網(wǎng)絡(luò)連續(xù)多個(gè)訓(xùn)練輪數(shù)（epoch）的損失差值在0.01 以內(nèi)振蕩時(shí)，則完成網(wǎng)絡(luò)訓(xùn)練，得到最優(yōu)的模型權(quán)重。

2.1 數(shù)據(jù)集制作與評(píng)價(jià)

實(shí)驗(yàn)數(shù)據(jù)集來(lái)自某煤炭開(kāi)采公司調(diào)度室存儲(chǔ)的各個(gè)角度攝像視頻，將視頻中包含工作面關(guān)鍵設(shè)備及人員的選取出來(lái)進(jìn)行剪輯、拼接，使用視覺(jué)目標(biāo)標(biāo)注工具（Visual Object Tagging Tool，VOTT）對(duì)處理過(guò)的視頻圖片進(jìn)行標(biāo)注處理。

為了使神經(jīng)網(wǎng)絡(luò)模型更好地適應(yīng)井下工作面復(fù)雜環(huán)境，數(shù)據(jù)集涵蓋各種情況下的工作面關(guān)鍵設(shè)備及人員，包括采煤機(jī)、滾筒、線槽、刮板輸送機(jī)、大煤塊、護(hù)幫板和行人等7 類，共29 569 張圖片。數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集及測(cè)試集，其中23 951 張圖片用于訓(xùn)練模型，2 661 張圖片用于驗(yàn)證模型，2 957 張圖片用于測(cè)試模型。

本文采用目標(biāo)檢測(cè)常用的評(píng)價(jià)指標(biāo)：平均精度（Average Precision， AP） 、 平 均 精 度 均 值（mean Average Precision，mAP）、參數(shù)量、浮點(diǎn)運(yùn)算次數(shù)（Floating-point Operations，F(xiàn)LOPs）和模型大小。AP和mAP 越大，則檢測(cè)精度越高；參數(shù)量、FLOPs 和模型大小越小，則檢測(cè)性能越好。

mAP 與查準(zhǔn)率和召回率密切相關(guān)。查準(zhǔn)率是指在所有正樣本中，被檢測(cè)為正確的設(shè)備及人員所占比例；召回率是指在所有真實(shí)目標(biāo)中，被模型正確檢測(cè)的設(shè)備及人員所占比例。

式中：p為查準(zhǔn)率；nTP為被檢測(cè)為正確目標(biāo)的關(guān)鍵設(shè)備及人員數(shù)量；nFP為被誤測(cè)為正確目標(biāo)的非關(guān)鍵設(shè)備及人員數(shù)量；r為召回率；nFN為漏檢的樣本數(shù)量。

以查準(zhǔn)率為橫坐標(biāo)，召回率為縱坐標(biāo)，繪制p（r）曲線。該曲線在坐標(biāo)軸上的面積即AP。

式中PAP為AP。

根據(jù)各個(gè)類別的p（r）曲線在坐標(biāo)軸上的面積，求取mAP。

式中：PmAP為mAP；c為工作面關(guān)鍵設(shè)備及人員的類別數(shù)；PAPd為第d（d=1，2，…，c）個(gè)類別的AP。

2.2 模型對(duì)比

為驗(yàn)證本文改進(jìn)YOLOv4 模型的優(yōu)勢(shì)，選取YOLOv3，CenterNet，YOLOv4 這3 種井下常用目標(biāo)檢測(cè)模型與改進(jìn)YOLOv4 模型進(jìn)行對(duì)比實(shí)驗(yàn)。YOLOv3， CenterNet， YOLOv4 模 型 分 別 使 用DarkNet53，ResNet50，CSPDarkNet53 作為骨干特征提取網(wǎng)絡(luò)。

不同模型在井下綜采工作面數(shù)據(jù)集上的mAP見(jiàn)表1?？煽闯龈倪M(jìn)YOLOv4 模型的mAP 最高，達(dá)92.59%，且改進(jìn)YOLOv4 模型在綜采工作面各個(gè)關(guān)鍵設(shè)備及人員上的檢測(cè)精度均為最高。

表1 不同模型在井下綜采工作面數(shù)據(jù)集上的檢測(cè)結(jié)果Table 1 Test results of different models on data set of underground fully-mechanized mining face

不同模型檢測(cè)性能對(duì)比見(jiàn)表2。由于改進(jìn)YOLOv4 模型使用了大量深度可分離卷積結(jié)構(gòu)，使得模型大小、參數(shù)量及計(jì)算量得到改善。由表2 可知：與YOLOv4 模型相比，改進(jìn)YOLOv4 模型的大小壓縮了123.1 MB，參數(shù)量減少了30.86×106，F(xiàn)LOPs 減少了10.42×109，mAP 提升了1.85%；與CenterNet 模型相比，改進(jìn)YOLOv4 模型的參數(shù)量和模型大小不相上下，但在FLOPs 和mAP 上有較大提升，F(xiàn)LOPs減少了3.66×109，mAP 提升了4.8%；與YOLOv3 模型相比，改進(jìn)YOLOv4 模型的參數(shù)量減少了28.45×106，模型大小壓縮了113.3 MB，F(xiàn)LOPs 減少了13.3×109，mAP 提升了5.68%。上述結(jié)果表明改進(jìn)YOLOv4 模型在參數(shù)量、計(jì)算量和mAP 上具有更優(yōu)的平衡。

表2 不同模型檢測(cè)性能對(duì)比Table 2 Comparison of detection performance of different models

將不同模型在測(cè)試集上進(jìn)行驗(yàn)證，部分結(jié)果如圖4 所示。

圖4 不同模型檢測(cè)結(jié)果Fig. 4 Detection results of different models

由圖4 可知：第1 組實(shí)驗(yàn)，由于煤塵干擾造成待檢測(cè)目標(biāo)與背景環(huán)境灰度值較為接近，導(dǎo)致YOLOv3、CenterNet 及YOLOv4 模型均沒(méi)有檢測(cè)出行人，而改進(jìn)YOLOv4 模型可以較好地檢測(cè)出目標(biāo)；第2 組實(shí)驗(yàn)，受光照影響，圖像亮度分布不均勻且場(chǎng)景中包含各個(gè)尺寸大小的目標(biāo)，改進(jìn)YOLOv4 模型對(duì)大中小各個(gè)尺度目標(biāo)的檢測(cè)均比YOLOv3、CenterNet 及YOLOv4 模型具有更好的準(zhǔn)確性；第3 組實(shí)驗(yàn)，采煤機(jī)滾筒高速運(yùn)動(dòng)造成獲取的圖像較為模糊，改進(jìn)YOLOv4 模型相較于其他3 種模型提取到了采煤機(jī)的輪廓特征，完整地檢測(cè)出了目標(biāo)。上述結(jié)果表明改進(jìn)YOLOv4 模型能夠在煤塵干擾、光照不均、運(yùn)動(dòng)模糊等復(fù)雜場(chǎng)景下表現(xiàn)出較好的檢測(cè)性能，具有更好的魯棒性。

2.3 消融實(shí)驗(yàn)

通過(guò)消融實(shí)驗(yàn)進(jìn)一步驗(yàn)證改進(jìn)YOLOv4 模型的有效性，結(jié)果見(jiàn)表3。由表3 可知：YOLOv4 模型僅加入深度可分離卷積后，雖然mAP 略有下降，但大大縮減了參數(shù)量；增加RSA 模塊后，相較于僅加入深度可分離卷積模塊，mAP 提升了2.34%，相較于YOLOv4 模型參數(shù)量降低了約1/2，滿足工業(yè)部署的要求。

3 結(jié)論

1） 在YOLOv4 模型CSPDarkNet53 網(wǎng)絡(luò)中加入RSA 模塊，在提取局部特征的同時(shí)增強(qiáng)了全局信息獲取能力，提升了待檢測(cè)目標(biāo)的顯著度，進(jìn)而防止多目標(biāo)在同一場(chǎng)景下誤檢、漏檢現(xiàn)象的發(fā)生。

2） 在YOLOv4 模型中引入深度可分離卷積替代傳統(tǒng)卷積，減少了模型參數(shù)量和計(jì)算量，使得模型輕量化，有利于模型的工業(yè)部署。

3） 與YOLOv3，CenterNet，YOLOv4 模型 相比，改進(jìn)YOLOv4 模型的檢測(cè)精度最高， mAP 達(dá)92.59%，且在參數(shù)量、計(jì)算量和mAP 上具有更優(yōu)的平衡，能夠在煤塵干擾、光照不均、運(yùn)動(dòng)模糊等條件下表現(xiàn)出較好的檢測(cè)性能。