基于改進EfficientDet算法的安全帽佩戴檢測

李政謙 潘 健,2 潘嵐川,2 李志強

1(北京華電天仁電力控制技術有限公司 北京 100039) 2(華北電力大學控制與計算機工程學院 北京 102206)

0 引 言

研究表明，在建筑工地及巡檢現(xiàn)場中，有接近90%的腦損傷是因為沒有正確地佩戴安全帽引起[1]，有必要對相關人員的安全帽佩戴進行檢測，降低相關事故發(fā)生率。

目標檢測需要對圖片上判斷是否存在檢測目標，并獲得目標數(shù)量，標記目標位置。對于安全帽佩戴檢測算法，還要求實時識別動態(tài)視頻并進行跟蹤；對不同環(huán)境適應性強，且不受人員遮擋及姿態(tài)影響。

近年來，研究人員對安全帽佩戴檢測做了很多具有創(chuàng)新性的研究工作?；趥鞲衅鞯臋z測原理主要通過定位技術來獲得目標位置，提供給系統(tǒng)進行評價[2-5]。由于定位精度和健康隱患問題，傳感器識別技術很難在現(xiàn)場落地。對于通過圖形處理進行安全帽檢測，主要分為對安全帽的形狀特征[6]、顏色特征[7-9]、邊緣特征[10]、特征表示和分類器相結合[11]等四類。但手動構建大量的特征，檢測速度慢、準確率低等問題使得其不適用于復雜性較高的施工及巡檢現(xiàn)場。

由于傳統(tǒng)目標檢測算法存在以上缺點，無法達到安全帽佩戴檢測實際需求，基于深度學習的檢測算法依靠其網(wǎng)絡簡單、檢測速度快準確性高等特點超過傳統(tǒng)檢測算法，成為當前安全帽佩戴檢測方面的主流算法。其可分為基于分類的目標檢測算法和基于回歸的目標檢測算法?；诜诸惖哪繕藱z測算法也稱為兩階段目標檢測(two-stage)，首先針對圖像中目標物體位置，預先提出候選區(qū)域，然后微調候選區(qū)并輸出檢測結果。2014年Girshick等[12]提出的R-CNN(Regions with CNN features)是將卷積神經(jīng)網(wǎng)絡(CNN)用于目標檢測的開端，之后研究人員在此基礎上研究出了Fast R-CNN[13]、Faster R-CNN[14]、FPN[15]、R-FCN[16]、MASK R-CNN[17]等檢測算法，大幅提高了檢測精度及檢測速度。由于兩階段檢測存在提取候選區(qū)域的過程，檢測速度難以滿足部分現(xiàn)場需求，因此研究人員開發(fā)出單階段(one-stage)算法，將整個檢測過程簡化為一次端對端的檢測。Redmon等[18]提出Yolo(You Only Look Once)算法無疑是此中佼佼者，之后其又將此升級為Yolo9000(Yolov2)[19]、Yolov3[20]等版本，進一步在保證實時性的同時提高檢測精度。研究人員也通過修改網(wǎng)絡結構、損失函數(shù)、特征提取等方式研究出了RetinaNet[21]、M2Det[22]、ATSS[23]、EfficientDet[24]等等。

在實際工程中，2018年，F(xiàn)u等[25]使用Faster R-CNN+ZFNet的組合搭建了安全帽檢測系統(tǒng)，該系統(tǒng)能夠實時識別監(jiān)控視頻中的人員和安全帽，較原方法提升了檢測精度。方明等[26]通過在以YOLOv2為基礎的模型中加入密集塊，使模型的大小縮減為原來的十分之一，增加了模型的可用性。2019年，Oviedo等[27]使用了EspiNet V2模型，改進了Faster R-CNN的CNN部分，獲得了一個6層(4卷積)的簡單CNN網(wǎng)絡，減少了一定的參數(shù)量。該模型能夠從低角度和移動攝像機拍攝且存在一定遮擋的情況下獲得較高的mAP。劉君等[28]設計了一種改進的YOLO網(wǎng)絡結構，將RPN檢測算法融入到YOLO算法中，并借鑒R-FCN算法，去掉一個全連接層，在卷積層上進行滑動窗口操作，采用先池化再卷積的方法，以減少圖片特征丟失。該模型在準確率與檢測速度上都取得滿意的結果。Fu等[29]將深度殘差網(wǎng)絡技術與基于YOLOv3檢測算法的多尺度卷積特征相結合，結合多尺度檢測訓練，調整訓練過程中的損失函數(shù)。該改進提高了安全帽佩戴檢測精度。

雖然研究人員做了很多安全帽檢測相關工作，但使用的都是早期檢測算法，檢測性能與檢測效率的綜合性能相對較差，不能滿足現(xiàn)場與日俱增的使用需求。隨著各類新的目標檢測算法的推出，我們致力于尋找一個能夠在滿足現(xiàn)場檢測實時性和“應檢盡檢”即在降低置信度并提高NMS的前提下，進一步提升mAP。

本文所做貢獻：1) 通過采集11 823幅網(wǎng)絡上的安全帽佩戴圖片、86 429幅來自于12個電廠113個監(jiān)控攝像頭的視頻獲取到的圖片建立了安全帽檢測數(shù)據(jù)集，能夠充分反映現(xiàn)場實際場景。2) 改進了MBConv卷積塊，通過改進卷積塊結構，改變激活函數(shù)和BN層增大了特征圖感受野，提高了信息傳輸量并避免了小批量樣本對訓練的影響。3) 改進BIFPN結構，通過改變結構內連線方式提高了信息傳輸量。4) 損失函數(shù)使用GHM-C[30]，在抑制負樣本的同時增強了訓練的穩(wěn)定性。5) 通過多次實驗獲得適合本數(shù)據(jù)集的交并比及置信度閾值。6) 與原模型及其他檢測方法進行比較，在能夠實現(xiàn)檢測實時展示的同時獲得較好的檢測結果。

1 EfficientDet算法

1.1 EfficientNet整體結構

EfficientDet算法使用改進后的EfficientNet[32]作為主干網(wǎng)絡，使用BiFPN作為特征網(wǎng)絡，并使用共享的邊界框和類別預測網(wǎng)絡。

EfficientNet結構主要借鑒了MnasNet[33]，采取了同時優(yōu)化精度以及計算量的方法，由此產(chǎn)生了初代EfficientNet-B0，其結構如表1所示。

表1 EfficientNet-B0網(wǎng)絡結構

EfficientNet作者通過對比得出結論：增大網(wǎng)絡寬度、深度或分辨率的任何維度都會提高精度，但對于較大的模型，精度增益會減小。因此作者在EfficientNet-B0網(wǎng)絡結構的基礎上進行深度、寬度和分辨率的增強來獲得檢測性能更強的模型，但同時為了更高的準確率和效率，很有必要去平衡提升網(wǎng)絡中深度、寬度和分辨率的所有維度。由此其提出了一個新的復合縮放方法：使用一個復合系數(shù)φ來統(tǒng)一縮放網(wǎng)絡寬度、深度和分辨率，算法見式(1)。

(1)

式中：d代表模型深度；w代表模型寬度；r代表輸入圖片分辨率。

在獲得初始的網(wǎng)絡結構后及計算公式后，縮放卷積網(wǎng)絡將會使得整體計算量近似增加(α·β2·γ2)φ倍，固定φ為1，則計算量為原來的2倍，為了大幅降低計算量，此網(wǎng)絡選擇先在這樣一個小模型上做網(wǎng)格搜索，得到了最佳系數(shù)為α=1.2,β=1.1,γ=1.15。之后使用不同的混合系數(shù)來放大初代網(wǎng)絡分別得到EfficientNet-B1到EfficientNet-B7，各模型的基礎模型與B0相同，具體參數(shù)如表2所示。

表2 EfficientNet各模型結構

1.2 EfficientDet整體結構

在EfficienDet-D0中增大了B0主干網(wǎng)絡的分辨率與通道數(shù)，并對各層的輸出進行了改進，以使其更適合進行目標檢測，改進后的模型結構如表3所示。

表3 EfficienDet-D0網(wǎng)絡結構

續(xù)表3

之后從修改后的EfficientNet中取了P3-P7的5個比例的特征圖作為多尺度特征金字塔BiFPN的輸入，其中的BIFPN是借鑒于FPN思想的特征金字塔網(wǎng)絡，網(wǎng)絡結構如圖1所示。

圖1 BIFPN網(wǎng)絡結構

目標檢測的難點在于有效地表示和處理多尺度特征。如圖2(a)所示，F(xiàn)PN融合多尺度特征采用自頂向下的方式，但它受到單向的信息流的限制，信息流只能自上而下，一定程度上限制了特征的融合。為了解決此問題，如圖2(b)所示，PANet[34]將一些信息流改為自底向上，雙向的連接有助于特征融合。BIFPN在PANet基礎上首先去掉沒有進行融合的只有單一輸入的節(jié)點，之后同一層中增加從原始節(jié)點到輸出節(jié)點的連接來增加信息的傳遞量。在各EfficienDet模型中通過重復堆疊BIFPN來獲得更高級的特征融合方式。

(a) FPN結構示意圖 (b) PANet結構示意圖圖2 FPN與PANet結構示意圖

BiFPN對于不同尺度特征融合采用的是加權和，而不是直接相加加權的策略來為不同的特征圖分配不同的權重，BIFPN選擇了快速正則化融合作為加權策略，這種方法簡單地將值進行歸一化，使得上限為1，合理地控制了參數(shù)的上限，與基于softmax的方法相比，大幅降低了計算復雜度。

以EfficientNet中的復合尺度縮放方法為基礎，對檢測網(wǎng)絡中的各個部分進行復合尺度縮放。其中BIFPN寬度與深度計算公式為：

Wbifpn=64·(1.35φ),Dbifpn=2+φ

(2)

預測網(wǎng)絡深度計算公式為：

Dbox=Dclass=3+φ/3>

(3)

輸入分辨率為：

Rinput=512+φ·128

(4)

式中：φ與EfficientNet處相同。

在EfficientDet各模型中使用了對應的改進后的EfficientNet模型作為主干網(wǎng)絡，其特征融合層BIFPN的輸入為EfficientNetP3-P7層的輸出，整體結構如表4所示。

表4 EfficientDet各模型結構

其中D7只增加了圖片輸入尺寸，未改變其他參數(shù)。整體網(wǎng)絡結構圖如圖3所示。

圖3 EfficientDet-D1結構圖

圖3中包含3層BIFPN結構，即為EfficientDet-D1網(wǎng)絡結構，當模型改變時，對應表4增減相應的BIFPN模型堆疊即可獲得對應模型。

1.3 基礎模型選擇

網(wǎng)絡有8個系數(shù)即存在D0-D7等8個由淺入深的模型，其在自有安全帽數(shù)據(jù)集上的表現(xiàn)如表5所示。

表5 EfficientDet各模型在自有數(shù)據(jù)集檢測結果

由表5可以看出，模型系數(shù)由小到大其mAP不斷提升，但幀速率不斷下降，為滿足現(xiàn)場應用實時性的需求，我們需要選擇幀速率大于24幀每秒的模型，因此只能在D0與D1模型中選擇，因此我們選擇了mAP更高的D1模型。

2 改進EfficientDet-D1算法

2.1 改進MBConv卷積塊

EfficientNet模型的內部是通過多個MBConv卷積塊實現(xiàn)的，我們對MBConv卷積塊做了以下改進：

首先我們在卷積塊內增加了3×3的卷積核，同時對步長為2的depthwise_conv2d改步長為1，并在其后增加了一層空洞卷積，能夠擴大模型的感受野，更有利于小目標的檢測。

之后我們選擇Mish激活函數(shù)替代網(wǎng)絡中的Swish激活函數(shù)，Mish激活函數(shù)計算公式為：

f(x)=x·tanh(softplus(x))=x·tanh(ln(1+ex))

(5)

Mish激活函數(shù)有一定的負值會獲得更好的梯度流，而沒有最大值的限制避免了數(shù)值封頂而導致的飽和，同時平滑的激活函數(shù)允許更多信息深入神經(jīng)網(wǎng)絡，從而得到更優(yōu)的準確性和泛化，因此我們選擇其來代替模型中的Swish激活函數(shù)。

最后我們采用CBN(Cross-Iteration Batch Normalization)代替BN層，這樣能夠在較低GPU的情況下仍取得很高的檢測成績，避免batch_size過小而影響模型訓練效果。

改進后的MBConv結構如圖4所示。

圖4 改進MBConv卷積塊

2.2 Cross-BIFPN網(wǎng)絡結構

由BIFPN在PANet基礎上首先去掉沒有進行融合的只有單一輸入的節(jié)點，之后同一層中增加從原始節(jié)點到輸出節(jié)點的短接并堆疊FPN結構。我們認為輸入越多的節(jié)點所擁有的信息量越多，由表4可知在D1模型下?lián)碛?層BIFPN，我們在增加中間三層節(jié)點跨接線并去掉堆疊的第二層BIFPN連線，以保證更多的有效信息得到傳輸?shù)耐瑫r盡量減少所需計算量，我們稱之為Cross-BIFPN網(wǎng)絡。效果圖如圖5所示。

圖5 使用Cross-BIFPN后的網(wǎng)絡結構圖

2.3 損失函數(shù)

我們選擇GHM-C(Gradient Harmonizing mechanism)損失函數(shù)來替換EfficientDet算法中使用了Focal loss損失函數(shù)，公式如下：

FL(p)=-α(1-p)γlnp

(6)

該損失函數(shù)在原有的基礎上加了α，降低了大量簡單負樣本在訓練中所占的權重，其中γ>0使得減少易分類樣本的損失，使得更關注于困難的、錯分的樣本。

我們選擇的GHM-C損失函數(shù)同樣是解決梯度分布上樣本數(shù)量和難易不均衡的問題，將交叉熵損失函數(shù)產(chǎn)生的梯度分布標準化為梯度模長。在二分類交叉熵損失函數(shù)：

(7)

(8)

定義梯度模：

(9)

根據(jù)樣本梯度模長分布的比例，進行相應的正則化，使得各種類型的樣本對模型參數(shù)更新有更均衡的貢獻，進而讓模型訓練更加高效可靠。

(10)

由此得出分類的損失函數(shù)GHM-C的計算公式：

(11)

GHM-C不僅能抑制簡單樣本，還能抑制一些離群樣本，這可以使得模型訓練更具穩(wěn)定性。因此我們選用GHM-C替代Focal Loss以獲得更穩(wěn)定的訓練結果。

2.4 置信度與交并比

由于現(xiàn)場重視安全生產(chǎn)，對未正確佩戴安全帽容忍度低，因此檢測模型需要盡可能地檢測出違規(guī)樣本，我們從置信度與交并比兩方面入手。

置信度是模型檢驗目標是哪一類物體概率，而置信度閾值是檢測結果能否正常顯示的值，高于該閾值則在圖像中顯示，這個閾值通常設置為0.5，因為我們需要得到更多的檢測結果，因此需要在一定范圍內調低置信度閾值來達到目標。

獲得當前檢測框與已采納的檢測框的重疊度交并比(IOU)閾值[35-37]，如果大于這個閾值說明檢測的是同一個物體，則不予采納，低于這個閾值就會采納置信度最高的那個。因此我們需要在一定范圍內調高交并比閾值以提高目標重疊度較高時的檢測效果。

我們選擇置信度[0.3,0.5]，交并比[0.3,0.7]，以在安全帽數(shù)據(jù)集上訓練完成的EfficientDet-D1模型作為檢測模型，經(jīng)過實驗得知，在本數(shù)據(jù)集中，使用EfficientDet-D1模型在置信度低于0.42，交并比高于0.59后mAP會快速降低，我們認為是置信度的降低和交并比的提高會導致很多重復目標的檢測框出現(xiàn)，進而降低了mAP。另外在置信度閾值分別等于0.48、0.47、0.46，交并比等于0.53、0.52、0.53等三種情況時mAP達到最高85.8。為了達到應檢盡檢的目標，我們選擇置信度閾值等于0.46，交并比等于0.53。

3 實驗結果分析

3.1 數(shù)據(jù)集

本實驗數(shù)據(jù)集選用自有的安全帽佩戴檢測數(shù)據(jù)集，此數(shù)據(jù)集包括11 823幅網(wǎng)絡上的安全帽佩戴圖片，86 429幅來自于12個電廠113個監(jiān)控攝像頭的視頻獲取到的圖片。所有圖片包括早晨、中午、傍晚、夜晚全時間段，晴天、陰天、雨天、雪天等多天氣條件，巡檢及施工現(xiàn)場、門禁進出等多場景，在安全帽佩戴檢測方面有足夠的代表性。

3.2 評價指標

(1) 檢測速度:每秒能夠檢測的圖片數(shù)量。

(2) 平均準確率均值:mAP。

(12)

式中：TP是預測正確的正樣本的數(shù)量；FP是將負樣本預測成正樣本的數(shù)量；P是檢測準確率；AP是平均準確率

3.3 模型訓練

本文實驗仿真在PyTorch框架下進行，訓練及測試的計算機硬件配置CPU為i9- 9900X處理器，32 GB內存，GPU為Nvidia GeForce GTX 1080Ti，CUDA版本號為10.2.120，操作系統(tǒng)為Ubuntu 19.04。

從數(shù)據(jù)集中隨機選取78 427幅圖片作為訓練集，9 825幅圖片作為測試集，最后10 000幅作為驗證集。我們采用Mosaic方式進行圖像增廣。

為了驗證每一項改進的效果，我們將原EfficientDet-D1模型(表中簡稱D1)搭配單個改進進行訓練，訓練中每一批次包含32幅圖片，優(yōu)化器選擇adamW[38]，初始學習率為0.1，在完成3代訓練后調整學習率至0.000 1，連續(xù)50代未獲得更優(yōu)模型則在當前學習率乘以系數(shù)0.3得到新的學習率，訓練共迭代1 000代。

如圖6所示，損失函數(shù)前期下降較快，迭代到160次時逐漸穩(wěn)定但時有波動，迭代到300次后基本平穩(wěn)在0.13附近。

圖6 損失函數(shù)曲線圖

3.4 性能對比

我們選擇了以下主流的和最新的方法與我們的改進方法進行對比：

YOLOV3:Redmon等[20]在2018年提出的，目前工業(yè)上部署最廣泛的目標檢測算法。

Faster-RCNN:Ren等[14]在2015年提出的兩階段檢測器，主流的目標檢測算法。

MASK RCNN:He等[17]2017年提出的Faster-RCNN的改進版本，精度高但速度相對較慢。

M2Det:Zhao等[22]2019年提出的單階段檢測器，其多尺度版本在COCO數(shù)據(jù)集中表現(xiàn)為同類型檢測器最好，達到44.2%的mAP。

Cascade-RetinaNet:Zhang等[39]2019年提出的多階段目標檢測器，通過維持不同階段中特征的一致性，提高了Retinanet[21]在COCO數(shù)據(jù)集上的性能。

CornerNet:Law等[40]在2018年提出的一種單階段、無錨框，通過兩組heat maps進行預測的檢測器，得到了很好的檢測效果。

NAS-FCOS:Wang等[41]根據(jù)谷歌提出的NAS-FPN自動搜索網(wǎng)絡進行了優(yōu)化，在獲得最優(yōu)結構的同時，大幅降低了最優(yōu)架構的搜索時間。

經(jīng)過訓練后使用10 000幅圖片的驗證集進行驗證，得到的結果如表6所示。

表6 改進算法在安全帽檢測訓練集上的訓練結果

通過實驗結果可以看出，實驗的模型中表現(xiàn)最好的是NAS-FCOS，但該模型速度緩慢，無法保證現(xiàn)場監(jiān)控的實時性，用戶體驗較差；次優(yōu)的結果是我們的改進模型，該改進模型既能提高檢測性能，又能在檢測速度上保證現(xiàn)場需求。

具體檢測結果我們對比了工業(yè)上最廣泛部署的YOLOv3、efficientdet-D1原模型與我們的改進模型，如圖7所示，在同一幅圖片的檢測結果發(fā)現(xiàn)，圖7(a)中由于有光線問題，人員①在YOLOV3中無法被正確識別，誤判斷為未佩戴安全帽，同時YOLOV3對左側有一定遮擋的未佩戴安全帽人員②和右側半入鏡的佩戴安全帽人員③未能進行有效識別。在(b)中使用EfficientDet-D1原模型檢測，已經(jīng)能夠正確識別人員①與人員②的安全帽佩戴情況，但仍然無法識別半入鏡人員③，而圖7(c)中對這些目標都可以有效識別。

(a) Yolov3檢測結果

(b) EfficientDet-D1檢測結果

(c) 改進模型檢測結果圖7 各模型在驗證集上的檢測結果

在實際視頻檢測中，由于我們的模型有較高的mAP,且修改了置信度閾值，能夠更早地發(fā)現(xiàn)目標，其相較于原EfficientDet-D1模型提前了7幀，相較于Yolov3提前了23幀。圖8與圖9是本文改進模型與原模型視頻截圖對比，每兩幅圖像間隔3幀。

(a) 第一幀 (b) 第四幀

(c) 第七幀 (d) 第十幀圖8 EfficientDet-D1檢測結果

(a) 第一幀 (b) 第四幀

(c) 第七幀 (d) 第十幀圖9 改進模型檢測結果

由以上結果可見，我們的調整對于模型的mAP有了1.5百分點的提升，相對于主流算法YOLOV3有5.9百分點的提升，對遮擋、光線、入鏡不全等問題有了很大改進。檢測速度盡管略低于原模型與YOLOV3，但仍然符合實時性要求，且有一定余量，在實際檢測中能夠更早地發(fā)現(xiàn)異常目標，適合在現(xiàn)場落地實施。

4 結 語

本文在數(shù)據(jù)集建立、模型選擇、超參數(shù)調整、溝通交流現(xiàn)場實際需求上做了大量工作，并在此基礎上提出了改進的EfficientDet-D1算法。通過改進MBConv卷積塊、堆疊特征網(wǎng)絡BIFPN并修改其網(wǎng)絡結構獲得了能夠傳遞更多有效信息的Cross-BIFPN網(wǎng)絡，并使用改變激活函數(shù)、損失函數(shù)、調整置信度與交并比等方法提高改進算法的性能。經(jīng)過自有安全帽佩戴檢測數(shù)據(jù)集驗證，本改進方法在保證檢測實時性的同時，提高了mAP，并且能夠滿足現(xiàn)場對于未正確佩戴安全帽容忍程度低的需求，做到應檢盡檢，有助于目標檢測系統(tǒng)在施工現(xiàn)場的大范圍應用，對現(xiàn)場安全生產(chǎn)的有序開展、降低因未正確佩戴安全帽帶來的安全風險有重要意義。

在后續(xù)的工作中，我們要將本算法在實際工程中落地，查看實際檢測效果并優(yōu)化模型參數(shù)、改進網(wǎng)絡結構以獲得更高的檢測精度。精簡本算法骨干網(wǎng)絡EfficientNet的計算量以獲得更高的幀速率也是主要的研究任務。