基于注意力機(jī)制的礦工危險(xiǎn)行為檢測算法研究

李春賀

（中國礦業(yè)大學(xué)（北京）管理學(xué)院，北京100083）

研究表明，煤炭行業(yè)的重大事故大多是由于工作人員的不當(dāng)操作所導(dǎo)致，因此在生產(chǎn)過程中，對礦工危險(xiǎn)行為的監(jiān)控和預(yù)警是防止發(fā)生事故的重要方法[1-3]。近年來，隨著深度學(xué)習(xí)、人工智能技術(shù)的不斷發(fā)展和應(yīng)用，基于計(jì)算機(jī)視覺的深度學(xué)習(xí)算法逐漸開始應(yīng)用到實(shí)際項(xiàng)目中[4-5]。為了遏制煤炭安全事故，礦井中安裝有大量的監(jiān)控?cái)z像頭，但是工作人員無法同時(shí)關(guān)注多個監(jiān)控?cái)z像頭返回的畫面，因此導(dǎo)致了一定的生產(chǎn)安全隱患產(chǎn)生[2]。使用基于深度學(xué)習(xí)的計(jì)算機(jī)視覺算法完成對煤礦井下礦工危險(xiǎn)行為的檢測和識別，不但可以有效的抑制煤礦安全事故的發(fā)生，更能提高企業(yè)經(jīng)濟(jì)效益。針對煤礦井下背景復(fù)雜、目標(biāo)尺度變化大、小目標(biāo)較多等問題，提出了一種礦工危險(xiǎn)動作檢測算法。該算法在YOLOv3 檢測模型的基礎(chǔ)之上，設(shè)計(jì)了一種輕量化的輕量化的特征提取網(wǎng)絡(luò)，在保持模型特征提取能力不變的情況下，極大壓縮了模型體積和計(jì)算量，有效地提升了模型的測試速度。為了解決YOLOv3 算法對于小目標(biāo)的漏檢和誤檢這一問題，設(shè)計(jì)了一種基于注意力機(jī)制的特征融合模塊，該模塊通過空間注意力機(jī)制來融合局部細(xì)節(jié)信息來增強(qiáng)小目標(biāo)的檢測性能，通過通道注意力機(jī)制來融合全局特征來優(yōu)化目標(biāo)檢測的精度。經(jīng)過大量對比試驗(yàn)，結(jié)果證明所提出的方法在礦工危險(xiǎn)動作檢測方面具有很好的性能和檢測精度。

1 研究方法

1.1 礦工危險(xiǎn)行為定義

煤炭井下環(huán)境復(fù)雜多變，一旦礦工出現(xiàn)不安全的行為有可能導(dǎo)致重大安全事故產(chǎn)生[6]。為了使用計(jì)算機(jī)視覺技術(shù)高效的監(jiān)控礦工的危險(xiǎn)行為，預(yù)防發(fā)生安全事故，首先需要對礦工的危險(xiǎn)行為進(jìn)行定義[7-9]。根據(jù)實(shí)際需求在項(xiàng)目中，將所需檢測的礦工危險(xiǎn)行為分為“常規(guī)型危險(xiǎn)動作”和“入侵型危險(xiǎn)動作”。其中，常規(guī)型危險(xiǎn)動作主要包括：未佩戴安全帽、未佩戴探照燈、未佩戴防塵罩、使用手機(jī)以及吸煙；入侵型危險(xiǎn)動作包括：進(jìn)入警戒區(qū)域、進(jìn)入軌道。

1.2 目標(biāo)檢測算法概述

目前基于深度學(xué)習(xí)的目標(biāo)檢測方法在精度和效率等方面己經(jīng)遠(yuǎn)優(yōu)于傳統(tǒng)方法，成為工業(yè)界和學(xué)術(shù)界一個熱點(diǎn)的研究課題。一般來說，目標(biāo)檢測算法主要分為2 階段目標(biāo)檢測算法和單階段目標(biāo)檢測算法。2 階段目標(biāo)檢測算法[6]精度高，但是實(shí)時(shí)性較差、模型體積大，很難在實(shí)際的項(xiàng)目中直接使用。單階段目標(biāo)檢測算法為了提升檢測速度，直接使用檢測模型來輸出檢測框的位置和分類信息。這種算法主要以SSD[5]，YOLO9000 以及YOLOv3[10]為代表，和2階段算法相比，單階段目標(biāo)檢測模型體積小、檢測速度快、召回率高，具有較強(qiáng)的使用價(jià)值，但是檢測精度略差。

在礦工危險(xiǎn)動作檢測應(yīng)用場景中，需要使用算法實(shí)時(shí)的處理幾十個監(jiān)控?cái)z像頭返回的畫面，所以對算法的運(yùn)行速度以及檢測精度具有很高的要求[11]，因此只能選擇單階段目標(biāo)檢測算法。YOLOv3 是一種常用的端到端的單階段目標(biāo)檢測模型，算法使用DarkNet-19 作為特征提取網(wǎng)絡(luò)，借助特征金字塔來融合高層的語意信息和低層的細(xì)節(jié)信息，實(shí)現(xiàn)快速目標(biāo)檢測。選擇YOLOv3 作為基本框架，通過設(shè)計(jì)輕量化特征提取網(wǎng)絡(luò)和基于注意力機(jī)制的特征融合模塊來提高算法的實(shí)時(shí)性和檢測精度。

2 基于注意力機(jī)制的目標(biāo)檢測算法

2.1 算法總體流程

算法的總體結(jié)構(gòu)如圖1。輸入圖像經(jīng)過輕量化神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取后，將最后3 層所輸出的特征圖進(jìn)行多尺度特征融合，然后使用空間注意力機(jī)制（Space Attention Module, PAM）和信道注意力機(jī)制（Channel Attention Module, CAM）來分別完成對局部特征進(jìn)行空間關(guān)聯(lián)性建模和信道關(guān)聯(lián)性建模，最后進(jìn)行邊框回歸，輸出定位坐標(biāo)和分類結(jié)果。

圖1 算法總體流程圖Fig.1 Flow chart of proposed algorithm

2.2 輕量化特征提取網(wǎng)絡(luò)

在原本的YOLOv3 結(jié)構(gòu)中，為了提升目標(biāo)檢測精度，使用了具有很強(qiáng)特征提取能力的DarkNet-19作為骨干網(wǎng)絡(luò)。經(jīng)過測試，DarkNet-19 的在精度上都取得了較好的結(jié)果，但是DarkNet-19 模型中包含有19 個卷積操作，參數(shù)量較大，在實(shí)際運(yùn)行中需要消耗大量的內(nèi)存；此外該模型的計(jì)算量較大，無法做到對多路監(jiān)控?cái)z像頭進(jìn)行實(shí)時(shí)處理，因此無法直接應(yīng)用到我們的項(xiàng)目中。

針對上述問題，同時(shí)結(jié)合實(shí)際項(xiàng)目需求，提出了一種輕量化的特征提取網(wǎng)絡(luò)，該網(wǎng)絡(luò)在保證精度不變的情況下，可以極大的壓縮模型參數(shù)量和計(jì)算量。我們采用深度可分離卷積來取代模型中的部分標(biāo)準(zhǔn)卷積，并對模型的Block 結(jié)構(gòu)進(jìn)行重新設(shè)計(jì)，將原本用于降采樣操作的Max Pooling 結(jié)構(gòu)使用Stride=2的3×3 的卷積層代替，加速模型前向傳播速度。為了解決ReLU 在模型訓(xùn)練時(shí)導(dǎo)致的神經(jīng)元退化現(xiàn)象，使用Leaky ReLU 作為輕量化模型的激活函數(shù)。網(wǎng)絡(luò)的具體結(jié)構(gòu)見表1。其中ConvDW 為可分離卷積模塊，ConvDW*為使用卷積層完成特征圖降采樣。

所提出的輕量化模型的參數(shù)量為0.39 M，與DarkNet-19（參數(shù)量為20 M）相比，僅占后者的1.7%。輕量化模型的極小的參數(shù)量和計(jì)算量為目標(biāo)檢測算法的實(shí)時(shí)性提供了有力的保證。

表1 輕量化模型的具體結(jié)構(gòu)Table 1 Structure of lightweight model

2.3 基于注意力機(jī)制的特征融合模塊

YOLOv3 目標(biāo)檢測框架，雖然具有檢測精度高、實(shí)時(shí)性好等一系列優(yōu)點(diǎn)；但是該算法對小目標(biāo)不敏感，容易造成小目標(biāo)的誤檢和漏檢影響算法的總體性能；此外算法生成的檢測框貼合度不夠，在這一場景中容易導(dǎo)致系統(tǒng)誤報(bào)產(chǎn)生。為了解決上述的這些問題，提出了一種基于注意力機(jī)制的特征融合模塊，該模塊包含空間注意力機(jī)制（PAM）和通道注意力機(jī)制（CAM）2 個部分。

2.3.1 空間注意力機(jī)制（PAM）

目標(biāo)檢測算法在小目標(biāo)問題上表現(xiàn)不佳，因?yàn)樯疃壬窠?jīng)網(wǎng)絡(luò)在特征提取階段將部分細(xì)節(jié)信息丟失。為了解決這一問題，設(shè)計(jì)了一種空間注意力機(jī)制來對局部細(xì)節(jié)信息進(jìn)行特征建模。PAM 可以在局部特征上構(gòu)建豐富的上下文語義關(guān)系，從而增強(qiáng)特征的細(xì)節(jié)表示能力，空間注意力機(jī)制結(jié)構(gòu)如圖2。

圖2 空間注意力機(jī)制結(jié)構(gòu)圖Fig.2 Structure of spatial attention mechanism

對于給定的一個特征F∈RC×H×W，需要使用卷積層來生成2 組與原始輸入特征維度相同的新的特征U 和V；然后對新的特征進(jìn)行Reshape（重塑），將維度調(diào)整為RC×N，其中N＝H×W，表示單個同道中特征點(diǎn)的總數(shù)；最后使用Softmax 函數(shù)對U 和V 矩陣相乘的結(jié)果進(jìn)行處理，得到PAM 的特征矩陣S∈RN×N。

在PAM 中，為了獲得特征之間的語義信息，還需要將Reshape（重塑）之后的特征D，與注意力關(guān)系矩陣相乘，然后與原有的特征圖在每一個元素上執(zhí)行相加操作，得到最終的輸出特征中包含局部細(xì)節(jié)信息和全局的語義信息，有助于提升目標(biāo)檢測模型對小目標(biāo)的敏感程度，提升檢測性能。

式中：η 為一個常數(shù)，用來平衡局部細(xì)節(jié)特征與原始輸入特征之間的比例關(guān)系；sij為i-th 位置的特征對j-th 特征產(chǎn)生的影響，特征之間的相似度越高sij的值越大；Di為特D 中的i-th 個向量；Fi為特征圖中的i-th 層。

2.3.2 通道注意力機(jī)制（CAM）

深度神經(jīng)網(wǎng)絡(luò)所輸出的特征圖中的每一個信道都可以當(dāng)成是對圖像中某一具體類別的響應(yīng)，并且不同的信道相應(yīng)之間具有一定的關(guān)聯(lián)性。因此，提出了一種通道注意力機(jī)制來探索不同信道之間的相依賴關(guān)系，增強(qiáng)模型的特征提取和建模能力，從而提高目標(biāo)檢測的精度，信道注意力機(jī)制結(jié)構(gòu)如圖3。

圖3 信道注意力機(jī)制結(jié)構(gòu)圖Fig.3 Structure of channel attention mechanism

與PAM 不同，CAM 直接使用深度神經(jīng)網(wǎng)絡(luò)輸出的特征F∈RC×H×W來計(jì)算出注意力矩陣X∈RC×C；接下來，將特征圖F 縮放到RC×N這一維度，并計(jì)算F的特征轉(zhuǎn)置矩陣；然后使用Softmax 函數(shù)對獲得的矩陣進(jìn)行處理，獲得最終的注意力矩陣X∈RC×C。

在CAM 中，將注意里矩陣X 與原始的輸入特征X 相乘，獲得信道之間的關(guān)系矩陣，最后將關(guān)系矩陣與原始的輸入特征F 在相加，獲得最后的輸出∈RC×H×W。

式中：γ 為固定參數(shù)；xij為第i-th 個通道對j-th個通道的影響；Fi為特征圖中的第i-th 層。

最終輸出的特征圖中的每一個通道都通過全局信息加權(quán)得到的，因此具有更強(qiáng)的特征表達(dá)能力。

3 試驗(yàn)分析

項(xiàng)目中需要完成“一般型危險(xiǎn)動作”和“入侵型危險(xiǎn)動作”2 個任務(wù)。因此，根據(jù)實(shí)際的需要，訓(xùn)練2個模型來應(yīng)對不同的需求。

3.1 構(gòu)建數(shù)據(jù)庫

根據(jù)需求，在項(xiàng)目實(shí)際部署和使用的煤礦采集了10 000 張RGB 圖片進(jìn)行標(biāo)注。數(shù)據(jù)集一共含有6類標(biāo)注目標(biāo)，分別是人、安全帽、安全燈、防塵罩、手機(jī)、吸煙，其中8 000 張圖片用于模型訓(xùn)練，2 000 張圖片用于實(shí)驗(yàn)測試。

3.2 實(shí)現(xiàn)細(xì)節(jié)

模型訓(xùn)練時(shí)使用Adam 進(jìn)行優(yōu)化，初始學(xué)習(xí)率為0.001，批次處理（Batch size）是64，共訓(xùn)練100 epoch，每隔30 epoch 學(xué)習(xí)率減小為原來的1/10。算法使用mAP、準(zhǔn)確率、召回率以及錯誤率作為評價(jià)指標(biāo)。

3.3 試驗(yàn)驗(yàn)證

為了證明所提出算法的可靠性和穩(wěn)定性，與常用的目標(biāo)檢測算法進(jìn)行了對比。根據(jù)實(shí)際的需要，我們需要針對“一般型危險(xiǎn)動作”和“入侵型危險(xiǎn)動作”分別進(jìn)行對照試驗(yàn)。動作檢測結(jié)果（AP）見表2。表2 中A 任務(wù)是“一般型危險(xiǎn)動作”的試驗(yàn)對照結(jié)果，因?yàn)闄z測類別較多，所以使用mAP 作為檢測指標(biāo)；B 任務(wù)是“入侵型危險(xiǎn)動作”檢測對比結(jié)果，檢測中只需要檢測一類，AP 作為判斷指標(biāo)。

表2 動作檢測結(jié)果Table 2 The detection results of dangerous action %

從表2 的結(jié)果中可以看出，提出的基于注意力機(jī)制的目標(biāo)檢測算法在性能上明顯優(yōu)于常用的目標(biāo)檢測算法。

3.4 模型的計(jì)算量和參數(shù)量對比

一般來說，模型的參數(shù)量和計(jì)算量會直接影響到模型的推理時(shí)間。為了證明提出算法在實(shí)時(shí)性和參數(shù)量上的優(yōu)勢，將提出的輕量化特征提取網(wǎng)絡(luò)與MobileNet V2 等結(jié)構(gòu)進(jìn)行對比。網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)對比結(jié)果見表3。

表3 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)對比Table 3 Comparison of network structure parameters

從表3 對比結(jié)果可以發(fā)現(xiàn)，提出的輕量化特征提取網(wǎng)絡(luò)參數(shù)量和計(jì)算量明顯小于其他對比網(wǎng)絡(luò)。并且運(yùn)行速度遠(yuǎn)高于其他結(jié)構(gòu)；其中輕量化模型的測試速度是6.6 倍。

3.5 圖片分辨率大小

對于深度學(xué)習(xí)模型來說，輸入圖片的尺寸越大，模型可以提取的細(xì)節(jié)信息越多，最終的檢測精度也就越高，但是模型運(yùn)行速度會受到一定的影響。為了平衡模型的運(yùn)算速度和準(zhǔn)確率，基于“一般型危險(xiǎn)動作檢測”任務(wù)設(shè)計(jì)了1 組對比實(shí)驗(yàn)來尋找最佳的圖像輸入尺寸。試驗(yàn)中使用了多種圖像分辨率進(jìn)行分析，當(dāng)輸入圖片的尺寸為512×512 時(shí)，模型的速度和準(zhǔn)確率都較好，因此在算法中選擇512×512 進(jìn)行訓(xùn)練和測試。

3.6 注意力模塊的作用

為了探索提出的PAM 和CAM 2 種注意力模塊在算法中的作用，進(jìn)行1 組試驗(yàn)，來探索注意力模塊對檢測算法所產(chǎn)生的影響。結(jié)果顯示，同時(shí)使用了PAM 和CAM 2 種注意力模塊的算法比基準(zhǔn)模型在mAP 上提升了5.7%，并且注意力模塊只增加了極少的運(yùn)算量。

4 結(jié) 語

為了有效的對礦工在井下出現(xiàn)的危險(xiǎn)動作進(jìn)行實(shí)時(shí)監(jiān)控，提出了一種基于注意力機(jī)制的危險(xiǎn)動作檢測算法。為了解決目標(biāo)檢測算法對小目標(biāo)容易產(chǎn)生漏檢和誤檢等問題，提出了PAM 和CAM 2 種基于注意力機(jī)制的特征融合算法，優(yōu)化了算法的檢測性能。同時(shí)為了適應(yīng)監(jiān)控場景下對算法實(shí)時(shí)性的要求，設(shè)計(jì)了一種輕量化的特征提取網(wǎng)絡(luò)，在不損害性能的情況下，極大地提升了算法的測試速度。此外，對于煤礦井下目標(biāo)檢測仍然有很多需要解決的問題，例如解決井下光照條件對檢測算法性能的影響等。