基于注意力機(jī)制的煤礦工作面遮擋行人檢測

馮磊FENG Lei；李斌LI Bin；何勇HE Yong

（①國家能源集團(tuán)新疆能源有限責(zé)任公司，烏魯木齊 830000；②中國煤炭科工集團(tuán)太原研究院，太原 030006）

0 引言

行人檢測技術(shù)作為目標(biāo)檢測領(lǐng)域的重要應(yīng)用方向，一直以來都是研究人員關(guān)注的熱點(diǎn)問題。行人檢測的任務(wù)本質(zhì)是在識(shí)別行人的同時(shí)對(duì)行人位置進(jìn)行定位。也就是說，行人檢測技術(shù)就是計(jì)算機(jī)對(duì)于給定的視頻和圖像，判斷出其中是否有行人存在，同時(shí)標(biāo)記出行人位置。

實(shí)際應(yīng)用場景中，由于行人的非剛性特點(diǎn)，外觀特征易受姿態(tài)，形狀，視角，衣著等變化因素影響，并且在外界光照，遮擋，背景環(huán)境變化時(shí)，檢測精度也易受到影響。因此，行人檢測性能的提升是目標(biāo)檢測中極具挑戰(zhàn)性的課題。而這其中，行人遮擋是亟待解決的重要問題。由于行人遮擋往往造成漏檢和誤檢，影響行人檢測的準(zhǔn)確率和精確率，因此對(duì)于行人檢測技術(shù)而言，研究行人遮擋對(duì)于行人檢測性能提升意義重大。本文以不同遮擋程度的行人為研究對(duì)象，采用基于深度學(xué)習(xí)算法的雙階段檢測器Faster RCNN 為基礎(chǔ)架構(gòu)，設(shè)計(jì)了一種基于注意力機(jī)制的網(wǎng)絡(luò)，從而降低行人檢測的漏檢率，增強(qiáng)了遮擋行人的檢測魯棒性。

1 Faster R-CNN 結(jié)構(gòu)與原理

1.1 Faster R-CNN 基本原理

Faster R-CNN 的主要結(jié)構(gòu)包括主干特征提取網(wǎng)絡(luò)（ResNet50），候選區(qū)域網(wǎng)絡(luò)（RPN），池化層網(wǎng)絡(luò)（RoI pooling 層），分類網(wǎng)絡(luò)（Classification 層）等。

Faster R-CNN 的主要原理如下：①首先將輸入圖像預(yù)處理，然后用主干特征提取網(wǎng)絡(luò)提取圖片特征，輸出對(duì)應(yīng)的特征圖（Feature Map）；②接著將特征圖（Feature Map）輸入RPN 網(wǎng)絡(luò)，經(jīng)過3×3 卷積之后分別執(zhí)行18 通道和36通道的1×1 卷積，輸出一系列候選框（Proposal）；③然后將特征圖，候選框，原圖相關(guān)信息等輸入候選框特征池化層，經(jīng)過分塊池化操作，輸出大小一致的候選框特征圖；④最后將大小一致的候選框特征圖輸入分類網(wǎng)絡(luò)，并經(jīng)過分類全連接網(wǎng)絡(luò)和回歸全連接網(wǎng)絡(luò)對(duì)候選框識(shí)別與定位。

ResNet 是殘差網(wǎng)絡(luò)（Residual Network） 的縮寫，ResNet50 表示網(wǎng)絡(luò)層數(shù)為50 的深度殘差網(wǎng)絡(luò)。

1.2 Faster R-CNN 主干網(wǎng)絡(luò)

Faster R-CNN 主干網(wǎng)絡(luò)采用ResNet50，ResNet50 表示網(wǎng)絡(luò)層數(shù)為50 的深度殘差網(wǎng)絡(luò)。殘差網(wǎng)絡(luò)ResNet50 由兩個(gè)基本的模塊組成，分別命名為卷積殘差塊（Conv Block）和恒等殘差塊（Identity Block）。由卷積殘差塊和恒等殘差塊構(gòu)成的ResNet50 結(jié)構(gòu)如圖1 所示，第一個(gè)模塊由1 個(gè)卷積層構(gòu)成（如圖1 第二個(gè)模塊），第二個(gè)網(wǎng)絡(luò)模塊由3×3 個(gè)卷積層構(gòu)成（如圖1 第三個(gè)模塊），第三個(gè)模塊由3×4 個(gè)卷積層構(gòu)成（如圖1 第四個(gè)模塊），第四個(gè)模塊由3×6 個(gè)卷積層構(gòu)成（如圖1 第五個(gè)模塊），第五個(gè)模塊由3×3個(gè)卷積層構(gòu)成（如圖1 第六個(gè)模塊），最后再加一個(gè)全連接層，一共是1+3×3+3×4+3×6+3×3+1=50 層。

圖1 ResNet50 網(wǎng)絡(luò)結(jié)構(gòu)

1.3 候選區(qū)域網(wǎng)絡(luò)（RPN）

Faster R-CNN 不再使用選擇搜索算法生成候選區(qū)域，而是直接用卷積神經(jīng)網(wǎng)絡(luò)（RPN）生成候選區(qū)。具體操作流程如下：首先生成feature Map 對(duì)應(yīng)的錨框（anchor），每個(gè)feature Map 上的特征點(diǎn)對(duì)應(yīng)9 個(gè)anchor；其次對(duì)feature Map 進(jìn)行3×3 卷積，然后分別進(jìn)行18 通道和36 通道的1×1 卷積，分別表示9 個(gè)anchor 對(duì)應(yīng)的前景背景得分和回歸系數(shù)；然后分別對(duì)anchor 進(jìn)行回歸微調(diào)和對(duì)anchor 是否為前景或背景打分，最終獲得候選框（proposal）。

1.4 RoI 池化層

RoI pooling 的作用是將尺寸各異的輸入特征轉(zhuǎn)化為尺寸一致的輸出特征。RoI 處理流程：首先計(jì)算Feature Map 與輸入圖片的尺度比例，然后將RoI 各個(gè)坐標(biāo)除以該比例獲得Feature Map 對(duì)應(yīng)的坐標(biāo)，最后將Feature Map 中對(duì)應(yīng)的區(qū)域分塊進(jìn)行最大值池化或者平均值池化操作，獲得尺寸一致的特征圖輸出。

1.5 分類網(wǎng)絡(luò)

通過RoI 對(duì)公用特征層截取并經(jīng)過RoI pooling 層之后，RoI pooling 層輸出的特征層是對(duì)應(yīng)RoI 區(qū)域尺寸大小一致的特征層，然后對(duì)特征層卷積操作和平均池化，最后將其結(jié)果進(jìn)行回歸操作和softmax 分類操作。

2 基于注意力機(jī)制的Faster R-CNN 檢測網(wǎng)絡(luò)

2.1 注意力（Attention）機(jī)制模型

注意力機(jī)制（Attention）的核心思想是更多關(guān)注局部信息，比如圖像中的某一空間區(qū)域或者某一通道維度。計(jì)算機(jī)視覺中的注意力機(jī)制，主要靈感來源于人類的生物視覺系統(tǒng)。其核心思想與人類視覺注意類似，也是為了使計(jì)算機(jī)視覺針對(duì)當(dāng)前任務(wù)能夠更高效準(zhǔn)確地提取出圖像中的關(guān)鍵信息。注意力機(jī)制按照作用原理角度可分為三類：通道注意力模型，空間注意力模型，空間和通道注意力機(jī)制的融合模型。

2.2 CBAM 結(jié)構(gòu)與原理

CBAM 是典型的融合空間和通道注意力機(jī)制的網(wǎng)絡(luò)，CBAM 注意力機(jī)制模塊主要作用原理是將中間特征層與集成了空間和通道兩個(gè)維度的注意力模塊結(jié)合在一起，然后通過訓(xùn)練學(xué)習(xí)對(duì)應(yīng)維度的注意力權(quán)重，并將權(quán)重與原特征層相乘來對(duì)特征層進(jìn)行自適應(yīng)調(diào)整。

整個(gè)CBAM 的注意力機(jī)制模塊如圖2 所示，其具體計(jì)算流程為：

圖2 CMAB 注意力機(jī)制模塊

①輸入特征圖F；

②F 進(jìn)入通道注意力機(jī)制模塊Mc（F），Mc（F）中的參數(shù)與對(duì)應(yīng)通道相乘，得到通道加權(quán)的F’；

③F’繼續(xù)進(jìn)入到空間注意力機(jī)制模塊Ms（F’），Ms（F’）中參數(shù)與對(duì)應(yīng)的空間特征點(diǎn)相乘，得到空間加權(quán)的F”

其對(duì)應(yīng)的公式為（1）：

其中Ms表示空間注意模塊，Mc表示通道注意模塊。

CBAM 之所以要用AvgPool 和MaxPool 兩條并行的池化路徑，是因?yàn)锳vgPool 更多注意宏觀上的信息，而MaxPool 更多注意局部的信息，同時(shí)使用兩種方法并行池化有利用網(wǎng)絡(luò)獲得魯棒性。

2.3 基于CBAM 的改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)

本文選用ResNet50 為骨架網(wǎng)絡(luò)。針對(duì)遮擋行人特征不足的問題，本文將CBAM 加入到ResNet50 中，形成新的特征提取網(wǎng)絡(luò)，將Faster R-CNN 主干網(wǎng)絡(luò)與CBAM 進(jìn)行有效的結(jié)合。原理如圖3 所示。

圖3 CBAM 在Resnet50 中的原理圖

ResNet50 的兩個(gè)基本組成模塊為卷積殘差塊（Conv Block）和恒等殘差塊（Identity Block），其整體結(jié)構(gòu)是由若干基本組成模塊卷積殘差塊和恒等殘差塊有序堆疊而成。

由于ResNet50 整體網(wǎng)絡(luò)層數(shù)較深，為了整個(gè)網(wǎng)絡(luò)的簡潔高效，本文不選擇在每個(gè)卷積殘差塊和恒等殘差塊之后都加一個(gè)CBAM，而是選擇在每一次特征維度發(fā)生變化時(shí)加入CBAM，其網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖4 所示。

圖4 ResNet50 結(jié)合CBAM 結(jié)構(gòu)圖

在基于注意力機(jī)制CBAM 的ResNet50 結(jié)構(gòu)中，卷積層1_x 采用了一個(gè)7×7，64 通道，步長為2 的卷積；在進(jìn)入卷積層2_x 之前要使用一個(gè)3×3，步長為2 的最大值池化操作，之后增加一個(gè)CBAM 模塊；卷積層2_x 由1 個(gè)卷積殘差塊和2 個(gè)恒等殘差塊順序連接構(gòu)成，之后增加一個(gè)CBAM 模塊；卷積層3_x 由1 個(gè)卷積殘差塊（步長為2）和3 個(gè)恒等殘差塊順序連接構(gòu)成，之后增加一個(gè)CBAM 模塊；卷積層4_x 由1 個(gè)卷積殘差塊（步長為2）和5 個(gè)恒等殘差塊順序連接構(gòu)成，之后增加一個(gè)CBAM 模塊，之后增加一個(gè)CBAM 模塊，經(jīng)此處輸出的特征層則作為公用特征層（Feature Map）輸入RPN 網(wǎng)絡(luò)和RoI pooling 層；卷積層5_x 由1 個(gè)卷積殘差塊（步長為2）和2 個(gè)恒等殘差塊順序連接構(gòu)成，構(gòu)成分類層（Classification），經(jīng)此處輸出的特征層用于分類和回歸，對(duì)行人進(jìn)行檢測。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

Caltech 數(shù)據(jù)集和Cityperson 數(shù)據(jù)集不僅標(biāo)注了行人的完整邊界框，而且標(biāo)注了行人可見區(qū)域的邊界框，能夠區(qū)別不同行人的遮擋程度，因此本文選擇這兩個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行綜合評(píng)估。行人檢測中最常用的評(píng)價(jià)準(zhǔn)則之一是MR-FPPI（Miss rate against False positive per image）曲線和平均對(duì)數(shù)漏檢率MR-2（log-average miss rate）。其中FPPI（False positive per image）為橫坐標(biāo)，表示平均每張測試圖片的誤檢數(shù)量，漏檢率為縱坐標(biāo)，都采用對(duì)數(shù)刻度。若MR-FPPI 的曲線與X 軸之間的面積越小，表示整個(gè)算法漏檢率更小。通過MR-FPPI 曲線，可以在每張圖像誤檢數(shù)在[10-2，100]范圍內(nèi)均勻取9 個(gè)FPPI 對(duì)應(yīng)的漏檢率求平均值得到對(duì)數(shù)平均漏檢率MR-2。

3.2 實(shí)驗(yàn)軟硬件平臺(tái)

本實(shí)驗(yàn)是基于64 位windows10 操作系統(tǒng)，中央處理器為Intel Core（TM）i5-10400F CPU@2.90GHz，內(nèi)存RAM 為16G，GPU 為GTX1080，顯存8G。python3.7，Pytorch1.2.0，Cuda 版本10.0，Cudnn 版本7.4.1.5。主要用到的第三方庫包括numpy，matplotlib，cupy，opencv，PIL，os 等。

本文提出的改進(jìn)faster R-CNN 算法骨架網(wǎng)絡(luò)為ResNet50，在訓(xùn)練之前該骨架網(wǎng)絡(luò)在ImageNet 上經(jīng)過預(yù)訓(xùn)練，訓(xùn)練時(shí)使用預(yù)訓(xùn)練好的網(wǎng)絡(luò)權(quán)值作為骨架網(wǎng)絡(luò)ResNet50 的初始化權(quán)重。所有經(jīng)過改進(jìn)之后新添加的網(wǎng)絡(luò)結(jié)構(gòu)均使用Xavier 方法[59]對(duì)權(quán)重進(jìn)行初始化。整個(gè)網(wǎng)絡(luò)采用端到端的訓(xùn)練，整個(gè)網(wǎng)絡(luò)使用自適應(yīng)學(xué)習(xí)率的梯度下降方法Aadm 算法訓(xùn)練，動(dòng)量（momentum）設(shè)為0.9，設(shè)置權(quán)重衰減系數(shù)為0.0005。在Caltech 數(shù)據(jù)集上，我們一共進(jìn)行100 個(gè)世代（epoch）的訓(xùn)練，每個(gè)epoch 訓(xùn)練圖片為4250 張，前50 個(gè)世代凍結(jié)ResNet50 的預(yù)訓(xùn)練權(quán)重進(jìn)行微調(diào)，訓(xùn)練初始的學(xué)習(xí)率1×10-4，之后50 個(gè)世代解凍預(yù)訓(xùn)練權(quán)重訓(xùn)練，初始學(xué)習(xí)率設(shè)為1×10-5，學(xué)習(xí)率以指數(shù)方式衰減，系數(shù)為0.95。在Cityperson 數(shù)據(jù)集上，我們一共進(jìn)行100 個(gè)世代的訓(xùn)練，每個(gè)epoch 的訓(xùn)練驗(yàn)證圖片為2975 張圖片，前50 個(gè)世代凍結(jié)ResNet50的預(yù)訓(xùn)練權(quán)重進(jìn)行微調(diào)，訓(xùn)練初始的學(xué)習(xí)率為1×10-3，之后50 個(gè)世代解凍預(yù)訓(xùn)練權(quán)重訓(xùn)練，初始學(xué)習(xí)率設(shè)為1×10-4，學(xué)習(xí)率以指數(shù)方式衰減，系數(shù)為0.95。

3.3 基于注意力機(jī)制的網(wǎng)絡(luò)實(shí)驗(yàn)與分析

本文針對(duì)遮擋問題引進(jìn)了注意力機(jī)制并選擇遮擋程度不同的若干子集實(shí)驗(yàn)。

如表1 所示為注意力機(jī)制Faster R-CNN 在Cityperson 數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果，表中數(shù)據(jù)表示對(duì)數(shù)平均漏檢率MR-2。引進(jìn)注意力機(jī)制的方法在合理遮擋，嚴(yán)重遮擋，部分遮擋和幾乎無遮擋四個(gè)子集上MR-2分別降低了3.6%，8.8 %，4.5%，0.7%，表明基于注意力機(jī)制的特征融合網(wǎng)絡(luò)能夠有效改善網(wǎng)絡(luò)性能，尤其在行人遮擋嚴(yán)重的情況下。

表1 改進(jìn)的Faster R-CNN 在Cityperson 數(shù)據(jù)集的MR-2 實(shí)驗(yàn)結(jié)果

如表2 所示為注意力機(jī)制Faster R-CNN 在Caltech 數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果，檢測網(wǎng)絡(luò)在Caltech 數(shù)據(jù)集的檢測效果整體好于Cityperson，主要是因?yàn)镃ityperson 相比于Caltech，數(shù)據(jù)集場景更加多樣，行人數(shù)量和行人密度更大，并且行人的遮擋程度更加嚴(yán)重，因此對(duì)檢測器性能的抗遮擋性能有更高要求。由表中數(shù)據(jù)可知，采用基于注意力機(jī)制網(wǎng)絡(luò)訓(xùn)練，在無遮擋、部分遮擋、嚴(yán)重遮擋子集上MR-2分別降低了2.6%，3.4%，6.5%，性能提升明顯。

表2 改進(jìn)的Faster R-CNN 在Caltech 數(shù)據(jù)集的MR-2 實(shí)驗(yàn)結(jié)果

4 總結(jié)與展望

本文以煤礦工作面遮擋行人為主要研究對(duì)象，基于Faster R-CNN 檢測框架，對(duì)提升遮擋行人檢測性能展開研究。針對(duì)遮擋行人可見區(qū)域有限，可見部分不完整，本文采用注意力機(jī)制模塊（CBAM）對(duì)遮擋行人的特征從空間維度和通道維度增強(qiáng)其權(quán)重分配。在此基礎(chǔ)上，將兩種方法結(jié)合起來提出基于注意力機(jī)制的特征融合模塊，增強(qiáng)遮擋行人的特征提取，獲得了更好的檢測效果。