改進YOLOv4的安全帽佩戴檢測方法

張 震 李浩方 李孟洲 馬軍強

(鄭州大學電氣工程學院 河南 鄭州 450001)

0 引 言

“十三五”時期，我國仍處于新型工業(yè)化、城鎮(zhèn)化持續(xù)推進的過程中，安全生產(chǎn)工作面臨許多挑戰(zhàn)。特別是在建筑、電力、礦山等行業(yè)的施工過程中，因為違章施工而導致事故頻發(fā)。一方面存在企業(yè)主體責任不落實、監(jiān)管環(huán)節(jié)有漏洞、執(zhí)法監(jiān)督不到位、規(guī)范施工安全體系不完善等；另一方面存在施工一線的操作人員安全意識和操作技能較差等因素。安全帽是個體防護裝備中的頭部防護裝備，在施工過程中佩戴安全帽是有效保護一線施工人員頭部的有效防護性措施，可以減少因意外事故導致的頭部損傷。因此，在需要佩戴安全帽的施工現(xiàn)場中，采用視頻監(jiān)控手段替代人工檢測是否佩戴安全帽，不僅可以減少人工成本，同時在一定程度上保證一線施工人員的生命安全。

隨著深度學習的廣泛運用，目標檢測在智能監(jiān)控系統(tǒng)中的快速發(fā)展，通過計算機視覺減少人力資本的消耗在安全施工中有著較好的發(fā)展前景。目前，不需要使用區(qū)域選取直接獲取物體的類別概率和物體坐標位置方法有著快速的發(fā)展，典型檢測算法有YOLO[1]、SSD[2]和CornerNet[3]等，這類算法優(yōu)點在于在保證精度的前提下，有著較高的檢測速度，可以滿足視頻監(jiān)控檢測實時性的要求。

綜合考慮，本文針對安全帽佩戴提出如下檢測算法：首先采用K-means聚類算法針對本文自制佩戴安全帽數(shù)據(jù)集獲取適合本文算法的先驗框；然后在YOLOv4[4]網(wǎng)絡增加通道注意力和空間注意力整合的Attention Block模塊，增強網(wǎng)絡內(nèi)的信息流動；接著采用CIoU[4]邊界回歸損失函數(shù)作為新的邊界回歸損失函數(shù)；最后采用多候選框?qū)W習策略減少漏檢的概率。實驗表明，改進后的方法在視頻監(jiān)控下滿足安全帽佩戴檢測的準確性和實時性。

1 YOLOv4原理

1.1 特征提取網(wǎng)絡CSPDarkNet53

YOLOv4使用新的特征提取網(wǎng)絡CSPDarkNet53代替YOLOv3[5]中采用的darknet53特征提取網(wǎng)絡。新的特征提取網(wǎng)絡首先借鑒CSPNet[6](Cross Stage Partial Network)網(wǎng)絡結(jié)構(gòu)，將梯度變化整合到特征圖中，增強卷積網(wǎng)絡的學習能力，在保證檢測準確率的同時降低計算量，減少運算過程中內(nèi)存消耗。其次，特征提取網(wǎng)絡結(jié)構(gòu)中采用平滑的Mish[7]激活函數(shù)替換原有l(wèi)eaky-ReLU[8]激活函數(shù)，提高信息在網(wǎng)絡中傳播的準確性。最后，特征提取網(wǎng)絡采用了DropBlock[9]正則化方法，該方法在訓練的不同階段靈活修改刪減特征圖中連續(xù)區(qū)域的概率，加強網(wǎng)絡對重要特征的學習能力。特征提取網(wǎng)絡CSPDarkNet53網(wǎng)絡結(jié)構(gòu)如圖1所示。

圖1 CSPDarkNet53網(wǎng)絡結(jié)構(gòu)

1.2 YOLOv4網(wǎng)絡結(jié)構(gòu)改進

在網(wǎng)絡結(jié)構(gòu)改進方面，YOLOv4網(wǎng)絡結(jié)構(gòu)首先在骨干網(wǎng)絡和輸出層中引入了SPP[10](Spatial Pyramid Pooling)模塊。該模塊可以將輸入不同尺寸大小的圖像轉(zhuǎn)化為固定大小輸出，且與特定的網(wǎng)絡結(jié)構(gòu)相對獨立，因此采用SPP模塊既能提升感受視野，提高尺度不變形，還可以降低過擬合現(xiàn)象。其次，借鑒路徑聚合網(wǎng)絡PANet[11](Path Aggregation Network)中采用從下向上的路徑增強策略，縮短信息傳播的路徑，充分利用底層特征的位置信息，實現(xiàn)與FPN[12](Feature Pyramid Networks)自上而下的特征信息聚合，提升小目標的檢測效果。

在數(shù)據(jù)處理方面，YOLOv4引入馬賽克[4]與自對抗訓練SAT(Self-adversarial-training)方式對數(shù)據(jù)集進行擴展。馬賽克數(shù)據(jù)增強采用增加一定訓練時間，將四幅圖片合為一幅，通過長寬隨機變化產(chǎn)生新的數(shù)據(jù)，其優(yōu)點在于增加檢測物體的背景。自對抗訓練在反向傳播中改變圖像中的信息但不改變網(wǎng)絡中參數(shù)，并且改變后的圖片可以正常進行目標檢測。兩種方式結(jié)合能有效提升模型泛化能力。

2 改進分析

對于安全帽佩戴檢測，本文結(jié)合現(xiàn)有YOLOv4網(wǎng)絡模型，通過增加通道注意力和空間注意力整合的Attention Block模塊，選擇CIoU邊界回歸損失函數(shù)，采用多候選框?qū)W習策略[13]和先驗框K-means聚類算法，提升安全帽佩戴檢測效果。

2.1 引入注意力機制

目標檢測中引入注意力機制可以聚焦安全帽的重要特征，同時抑制和忽略同行背景中不必要的其他特征信息。由于Woo等[14]提出同時采用通道注意力和空間注意力卷積模塊方法CBAM(Convolutional Block Attention Modul)能有效提升網(wǎng)絡性能，所以本文將通道注意力和空間注意力整合后的Attention Block模塊增加到Y(jié)OLOv4網(wǎng)絡中，提升安全帽佩戴檢測的準確率。

注意力模塊主要由通道注意力模塊和空間注意力模塊構(gòu)成。通道注意力模塊對輸入維度為C×1×1的特征圖，C為通道數(shù)，通過使用全局平均池化和全局最大池化對輸入特征圖像的所有特征值進行計算壓縮。然后使用1×1的卷積降低網(wǎng)絡維度，利用ReLU激活函數(shù)學習特征之間的非線性關(guān)系，再用1×1的卷積重新構(gòu)建計算壓縮前的維度。最后輸出的維度與前面全局平均池化和全局最大池化計算的權(quán)值通過Sigmoid運算得到歸一化的權(quán)值，生成新特征圖像的特征值。通道注意力模塊得到的特征圖能有效地向下傳播，其模塊構(gòu)成如圖2(a)所示。

(a) 通道注意力構(gòu)成(b) 空間注意力構(gòu)成圖2 注意力機構(gòu)結(jié)構(gòu)

空間注意力模塊主要是獲取特征圖中特征信息的位置信息?？臻g注意力模塊首先將輸入尺寸為W×H×C的特征圖通過通道平均池化和通道最大池化突出新的特征信息得到新的特征圖，W×H為原始圖像壓縮后的尺寸。然后經(jīng)過一個卷積層后得到一個通道為1的特征圖，卷積層中卷積核大小為7×7，padding為3。最后通過Sigmoid函數(shù)將加權(quán)后的空間注意力特征與輸入特征圖相乘，得到增加空間注意力的特征圖。其模塊構(gòu)成如圖2(b)所示，其中：F代表輸入特征圖；F-new為更新特征圖。

本文將通道注意力和空間注意力整合為一個Attention Block模塊，并與CSPDarknet53特征提取網(wǎng)絡中卷積層第54層、85層和104層相連接，其中卷積54冊、85層和104層分別對應圖1中①、②、③三個位置，增加Attention Block模塊后對應大、中、小三個尺寸的融合特征圖。三個不同尺寸的特征圖通過FPN和PANet網(wǎng)絡結(jié)構(gòu)實現(xiàn)對特征圖的上采樣和下采樣的縮放操作，使尺寸相同的特征圖相互融合。融合后的三個尺寸特征圖通過大、中、小三個YOLO層，進行安全帽佩戴檢測的識別。增加Attention Block模塊后的網(wǎng)絡如圖3所示。

圖3 改進網(wǎng)絡結(jié)構(gòu)

2.2 邊界框回歸損失函數(shù)選擇

目前，邊界框回歸損失函數(shù)經(jīng)常采用交并比IoU[15](Intersection-over-Union)來評價目標檢測算法的檢測效果。其計算公式如式(1)所示。

(1)

式中：A表示真實標定框；B表示預測候選框。

但在實際訓練中發(fā)現(xiàn)，當遇到預測框與真實框不相交時，根據(jù)IoU定義此時損失為零，無法進行訓練，因此為解決邊界框不重合時的問題，而Rezatofighi等在IoU的基礎(chǔ)上提出的GIoU損失函數(shù)不僅能解決重合區(qū)和非重合區(qū)域的重合度信息，還能維持IoU的尺度不敏感特性。GIoU[16]計算公式如式(2)所示。

(2)

式中：C為包含A與B的最小框。但是IoU和GIoU沒有考慮到真實標定框與預測候選框中心的距離信息和長寬比信息，因此Zheng等[17]提出了兩種邊界框損失函數(shù)DIoU和CIoU。其中：DIoU損失函數(shù)考慮邊界框的重疊面積和中心點距離；而CIOU損失函數(shù)在DIoU損失函數(shù)的基礎(chǔ)上增加真實標定框和預測候選框的長寬比一致性的衡量。DIoU與CIoU的計算公式如式(3)-式(5)所示。

(3)

(4)

(5)

式中：ρ表示為預測框中心與真實框中心點的歐氏距離；c表示預測框與真實框中的最小包區(qū)域的對角線距離；b和bgt表示預測框與真實框的中心點；wgt和hgt表示真實框的寬和高；w和h表示預測框的寬和高。

綜合以上邊框回歸損失函數(shù)優(yōu)點和缺點，本文根據(jù)自制的安全帽檢測數(shù)據(jù)集的特點，選用CIoU邊界回歸損失函數(shù)，不僅能在目標框相互包裹重疊情況下快速收斂，還能進一步提升安全帽檢測模型的性能。

2.3 采用多候選框?qū)W習策略

在直接獲取安全帽檢測物體與安全帽位置時，由于是否佩戴安全帽與圖中安全帽的位置信息不存在直接聯(lián)系，因此在改進網(wǎng)絡使用DIoU-NMS[17]時，存在安全帽的位置確定而是否佩戴分類檢測結(jié)果低的情況，這會在使用DIoU-NMS時過濾掉候選框而導致漏檢。因此為解決是否佩戴安全帽和安全帽定位置信度之間不匹配問題，本文借鑒多候選框?qū)W習策略MAL(Multiple Anchor Learning)改善這個問題。

多候選框?qū)W習策略先將待檢測目標候選框的位置信息與分類置信度信息進行整合優(yōu)化，計算得到新的候選框位置與分類置信度，然后將計算后的候選框參數(shù)在迭代過程中優(yōu)化訓練損失，最終選出置信度和位置最高的候選框，進而提升目標檢測效果。本文采用多候選框?qū)W習策略的過程為：先將某個是否佩戴安全帽目標的i個候選框構(gòu)成一個數(shù)組Ai。再采用式(6)，評估數(shù)組中每個候選框的分類置信度與位置信息，選取待檢測目標分類置信度和位置得分最高的候選框更新模型參數(shù)。然后使用更新后的模型，重新評估是否佩戴安全帽目標候選框的分類置信度與位置。最后經(jīng)過多次迭代，得到安全帽佩戴檢測最優(yōu)的候選框信息。最優(yōu)候選框可以有效減少因使用DIoU-NMS過濾掉位置確定而分類置信度低的情況發(fā)生。目標函數(shù)計算公式如式(6)所示。

(6)

從數(shù)組Ai中找到分數(shù)較高的候選框需要采用選擇深化方法。選擇方法是在學習過程中線性地降低Ai中候選框的數(shù)量直到為1。深化方法是使未被選擇的候選框參加訓練，降低得分較高的候選框得分。其選擇計算公式如式(7)所示。

(7)

式中：t為當前迭代次數(shù)；T為總迭代次數(shù)；λ=t/T；Φ(λ)為候選框的索引。

通過選擇深化方法選取最優(yōu)解是一個對抗過程。選擇方法選出分類置信度與位置分數(shù)較高的候選框降低檢測損失得到局部最優(yōu)解。然后通過深化方法學習未被選中候選框中的特征，減低候選框的得分使損失上升脫離局部最優(yōu)解。最后，重復選擇深化過程，在收斂時得到最優(yōu)解。其選擇深化過程如圖4所示。

圖4 選擇深化過程示意圖

2.4 先驗框聚類

YOLOv4延續(xù)了YOLOv2[18]和YOLOv3中采用K-means聚類算法得到先驗框的尺寸。由于YOLOv4算法中的9個先驗框是從COCO[19]數(shù)據(jù)集中聚類產(chǎn)生的，不能應用于本文的數(shù)據(jù)集，因此需要對自制數(shù)據(jù)集中的先驗框進行重新聚類，聚類效果如圖5所示。

圖5 K-means聚類分析圖

如圖5所示，聚類效果的評價指標采用誤差平方和SSE。當選取K=12時誤差平方和最小，可以考慮選取K=12作為聚類數(shù)量。但依據(jù)肘部法，圖像在K=9時曲線畸變程度得到極大改善，因此本文選取聚類數(shù)為9。對自制數(shù)據(jù)集重新聚類依次獲取的9組先驗框是：(15×23)、(18×27)、(22×31)、(35×42)、(47×51)、(64×78)、(79×82)、(92×109)和(108×116)。

3 實 驗

3.1 數(shù)據(jù)集和實驗平臺

安全帽實驗數(shù)據(jù)集一部分采用開源的安全帽數(shù)據(jù)集SHWD(SafetyHelmetWearing-Dataset)。該數(shù)據(jù)集一共包含了7 581幅圖片，其中：標注佩戴安全帽的正樣本有9 044個；未佩戴的負樣本有111 514個。由于開源數(shù)據(jù)集中正負樣本數(shù)量差距明顯，在預測過程中容易出現(xiàn)預測偏向負樣本的分類，降低模型的泛化能力?？紤]以上因素，本文通過網(wǎng)絡爬蟲和視頻截取安全帽圖像，借助LabeLImg標注工具，在原有數(shù)據(jù)集中新增4 000幅圖像，手動擴充數(shù)據(jù)集中的佩戴安全帽中佩戴安全帽的數(shù)量18 326個。增加標注數(shù)據(jù)后的數(shù)據(jù)集，是否佩戴安全帽的正負樣本數(shù)量比接近1 ∶4，一定程度上提升模型的泛化能力。

本文實驗在PC端進行。實驗平臺采用i7- 8700K處理器，顯卡采用NVIDAIA GeForce 2080Ti，操作系統(tǒng)為Ubuntu 18.04。訓練過程中對每次輸入的圖片采取隨機翻轉(zhuǎn)、添加噪聲、調(diào)整飽和度和曝光度方法，一共訓練100個epoch。其中訓練過程中的學習率為0.016，采取等間隔調(diào)整學習率StepLR，調(diào)整間隔(step_size)為25,動量參數(shù)(momentum)為0.832。

3.2 算法性能對比實驗

為驗證YOLOv4算法引入注意力后的網(wǎng)絡性能，本文對YOLOv2、YOLOv3、YOLOv4和YOLOv4引入注意力機制在自制安全帽數(shù)據(jù)集上，都采用訓練100個epoch后的訓練結(jié)果進行對比分析。其中輸入尺寸都使用尺寸為608×608的圖像，對比結(jié)果以mAP數(shù)值、計算量次和每秒識別幀速率為算法性能指標，其性能參數(shù)對比結(jié)果如表1所示。

表1 網(wǎng)絡性能對比表

由表1可知，雖然YOLOv4算法在引入注意力機制后算法增加了一定的計算量，但是檢測mAP數(shù)值相比較YOLOv2、YOLOv3、YOLOv4分別提升了15.98百分點、8.73百分點、4.06百分點。雖然YOLOv4在增加注意力機制后的幀速率不及前面三種算法，但是在滿足視頻監(jiān)控實時檢測幀率大于25幀/s的實際需求下，采用引入注意力機制適當增大一定計算量，可以提升安全帽佩戴的檢測效果。

3.3 損失函數(shù)對比實驗

為驗證不同損失函數(shù)對目標檢測算法的影響，本文采用YOLOv4網(wǎng)絡分別使用IoU、GIoU、DIoU和CIoU四種損失函數(shù)使用自制安全帽數(shù)據(jù)集在100個epoch后的結(jié)果進行對比分析，其對比結(jié)果以mAP數(shù)值作為評價指標，對比結(jié)果如表2所示。其不同邊界損失函數(shù)在50個epoch后訓練過程結(jié)果如圖6所示。

表2 不同邊界框回歸損失函數(shù)對比表

圖6 不同邊界框回歸損失函數(shù)訓練圖

由表2可知，在使用四種不同的損失函數(shù)時，都能在一定程度上提升YOLOv4的檢測性能。本文選擇CIoU邊界回歸損失函數(shù)，相比較IoU、GIoU和CIoU在性能上分別提升了7.18百分點、4.81百分點、2.12百分點。并且由圖6可知，本文選擇的CIoU邊界框回歸損失函數(shù)在訓練時相比其他損失函數(shù)更容易快速收斂并達到穩(wěn)定。因此，選擇CIoU作為損失函數(shù)可以在一定程度上提升安全帽佩戴檢測性能。

3.4 檢測效果對比實驗

為驗證采用多候選框策略對安全帽檢測算法的影響，實驗將YOLOv4算法結(jié)合引入注意力機制，使用CIoU邊界框損失函數(shù)，分別對是否采用多候選框策略進行對比實驗。實驗結(jié)果以mAP數(shù)值為評價指標，檢測對比結(jié)果如表3所示，檢測效果如圖7所示。

表3 采用MAL策略性能對比表

(a) 未引入MAL策略 (b) 引入MAL策略圖7 采用多候選框策略對比圖

由表3可知，采用多候選框策略在安全帽佩戴檢測的mAP數(shù)值上提升了2.85百分點。由圖7可知，在安全帽佩戴檢測存在目標遮擋時，由于YOLOv4采用DIoU-NMS存在過濾掉有位置信息但目標得分置信度不高的候選框,從而導致漏檢現(xiàn)象的出現(xiàn)。綜合考慮，本文采用多候選框?qū)W習策略既可以提升佩戴安全帽檢測性能，還能減少漏檢現(xiàn)象的出現(xiàn)。

3.5 不同網(wǎng)絡對比實驗

本文將優(yōu)化后的檢測算法與Faster RCNN[20]、SSD和YOLOv3[5]在自制數(shù)據(jù)集上進行安全帽佩戴檢測的對比實驗，以mAP以及每秒識別幀率作為檢測評價的性能指標，其對比結(jié)果如表4所示。

表4 不同算法的性能對比表

由表4可知，本文安全帽佩戴檢測算法不僅mAP數(shù)值比Faster RCNN和YOLOv3算法分別高11.57百分點和14.7百分點，并且檢測速率上是Faster RCNN的7倍。雖然本文算法的檢測安全帽佩戴的幀速率相比較SSD算法低，但是檢測幀率也滿足視頻監(jiān)控檢測實時性要求。通過不同網(wǎng)絡的性能對比，本文算法在準確率和實時性上可以較好地完成安全帽佩戴檢測的要求。本文優(yōu)化后的安全帽檢測效果如圖8所示。

圖8 本文算法檢測效果

4 結(jié) 語

本文提出一種改進YOLOv4網(wǎng)絡和視頻監(jiān)控相結(jié)合檢測佩戴安全帽的方法。通過對自制的安全帽佩戴檢測數(shù)據(jù)集，采用K-means聚類算法獲取適用于安全帽數(shù)據(jù)集的先驗框，在YOLOv4網(wǎng)絡增加注意力機制模塊聚焦安全帽特征，接著選用新的邊界框回歸損失函數(shù)CIoU提高檢測精度，最后使用多候選框?qū)W習策略減少漏檢概率。本文方法能夠快速、準確地檢測是否佩戴安全帽，并可以通過監(jiān)控視頻手段減少因未佩戴安全帽造成的意外安全事故。