改進(jìn)YOLOX的輕量級(jí)安全帽檢測(cè)方法

呂志軒，魏 霞，馬志鋼

新疆大學(xué) 電氣工程學(xué)院，烏魯木齊 830000

目前我國(guó)建筑行業(yè)仍處在一個(gè)持續(xù)發(fā)展的階段，每年建筑從業(yè)人員都在增加，根據(jù)國(guó)家統(tǒng)計(jì)局發(fā)布的數(shù)據(jù)顯示，與2016年相比，2020年我國(guó)工程監(jiān)理從業(yè)人員增長(zhǎng)39%，達(dá)到139萬(wàn)人；執(zhí)業(yè)人員增長(zhǎng)60%，達(dá)到40萬(wàn)人。隨著從業(yè)人數(shù)的增加，每年因?yàn)槲磁宕靼踩碑a(chǎn)生的安全事故也隨之增加，給建筑行業(yè)帶來(lái)了人員和財(cái)產(chǎn)的損失。目前在建筑工地中，仍然采用人工監(jiān)督的方法判斷工作人員是否佩戴安全帽，這種方法存在很大的缺陷，因?yàn)楣ぷ鳝h(huán)境范圍大，一人監(jiān)督的范圍有限很可能出現(xiàn)漏檢的區(qū)域，如果分配多人進(jìn)行監(jiān)督則會(huì)增加人工成本。因此有研究者從人員安全和工程建設(shè)成本兩個(gè)方面考慮，提出了基于目標(biāo)檢測(cè)技術(shù)的安全帽檢測(cè)方法，該方法平衡了人員安全和工程建設(shè)成本之間的關(guān)系。近幾年目標(biāo)檢測(cè)技術(shù)不斷發(fā)展，在對(duì)安全帽檢測(cè)方法的研究上也取得了一些成果，雖然基于目標(biāo)檢測(cè)的安全帽檢測(cè)方法還未大范圍使用，但作為保障生產(chǎn)安全的一項(xiàng)重要技術(shù)，未來(lái)在建筑工地、煤礦、變電站等工作環(huán)境下需求廣泛。

目前對(duì)安全帽的檢測(cè)方法分為傳統(tǒng)檢測(cè)方法和基于卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)方法。傳統(tǒng)的目標(biāo)檢測(cè)方法依靠人工構(gòu)造被檢測(cè)對(duì)象的特征，主要有HOG特征+SVM[1]、Harr特 征+Adaboost[2]、DPM特 征[3]等 算 法。Marayatr等[4]使用霍夫變換（Hough transform）方法檢測(cè)摩托車(chē)行進(jìn)過(guò)程中的頭盔形態(tài)特征，檢測(cè)準(zhǔn)確率達(dá)到77%。這些傳統(tǒng)算法僅適用于固定的特征，一旦檢測(cè)目標(biāo)的特征發(fā)生變化或者特征具有多樣性，檢測(cè)的準(zhǔn)確性便會(huì)下降，魯棒性較差。為了解決傳統(tǒng)檢測(cè)算法出現(xiàn)的問(wèn)題，研究人員提出了基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法。2014年，Girshick等[5]提出了R-CNN卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)方法，該方法將目標(biāo)檢測(cè)分為兩階段（two-stage），第一階段使用一個(gè)網(wǎng)絡(luò)模型生成預(yù)選框（proposal），第二階段使用另一個(gè)網(wǎng)絡(luò)模型對(duì)預(yù)選框進(jìn)

行檢測(cè)與判別來(lái)得到物體的類(lèi)別和位置信息。2016年，Redmon等[6]在R-CNN的基礎(chǔ)了提出了單階段（one-stage）檢測(cè)方法YOLO（you only look once），該方法只使用一個(gè)網(wǎng)絡(luò)來(lái)獲得物體的類(lèi)別和位置信息，提高了對(duì)物體的檢測(cè)速度；2018年，Law等[7]對(duì)單階段檢測(cè)方法進(jìn)一步改進(jìn)，提出了無(wú)錨框（anchor free）類(lèi)型網(wǎng)絡(luò)檢測(cè)方法CornerNet，該方法對(duì)物體關(guān)鍵點(diǎn)進(jìn)行檢測(cè)來(lái)得到位置信息，大幅減少網(wǎng)絡(luò)參數(shù)，由此基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法逐漸走向成熟。在目前基于卷積神經(jīng)網(wǎng)絡(luò)的方法中，YOLO系列目標(biāo)檢測(cè)方法對(duì)物體的檢測(cè)表現(xiàn)較好，被很多研究者用于安全帽檢測(cè)研究。王雨生等[8]使用YOLOv4與YCbCr顏色空間交叉篩選的方法來(lái)檢測(cè)安全帽；Fu等[9]在YOLOv5上新增了一個(gè)特征輸出來(lái)檢測(cè)小目標(biāo)安全帽，并使用聚類(lèi)方法得到更合適的先驗(yàn)錨框；高明華等[10]改進(jìn)YOLOv3中的交并比函數(shù)和數(shù)據(jù)增強(qiáng)方法，使得對(duì)交通目標(biāo)的檢測(cè)精度達(dá)到86.3%；蔣潤(rùn)熙等[11]將YOLOv5的主干網(wǎng)絡(luò)換為Hour-Glass網(wǎng)絡(luò)，將對(duì)安全帽的檢測(cè)精度提高到了84.3%。

以上安全帽檢測(cè)方法都有較好的檢測(cè)精度，但在施工環(huán)境下進(jìn)行實(shí)時(shí)檢測(cè)時(shí)要求模型不僅需要高檢測(cè)精度，還需要輕量化參數(shù)權(quán)重滿足較低算力的硬件配置。因此本文使用輕量級(jí)網(wǎng)絡(luò)結(jié)構(gòu)的YOLOX-s作為基線模型，首先設(shè)計(jì)了分支注意力模塊（branch attention，BA），將基線模型的預(yù)測(cè)端輸出按通道承載信息類(lèi)別不同拆為兩部分分別輸入BA的上下分支，在提高模型檢測(cè)精度的同時(shí)減少加入注意力模塊帶來(lái)的計(jì)算量，接著，用馬賽克（Mosaic）方法拼接數(shù)據(jù)集生成復(fù)雜背景模擬施工中的復(fù)雜環(huán)境，通過(guò)在線困難樣本挖掘（OHEM）搜索拼接數(shù)據(jù)里的困難樣本進(jìn)行再訓(xùn)練，提高模型在復(fù)雜環(huán)境下的魯棒性，增加施工環(huán)境中安全帽的檢測(cè)精度，然后，設(shè)計(jì)一種余弦退火算法（cosine decay warm restarts，CDWR）在模型訓(xùn)練中調(diào)節(jié)學(xué)習(xí)率，在學(xué)習(xí)率曲線中加入預(yù)熱（warm up）使得模型權(quán)重逐步穩(wěn)定，加入重啟（restart）增加模型權(quán)重跳出局部最優(yōu)的能力，加快訓(xùn)練收斂的同時(shí)使模型達(dá)到更小損失值，最后，在safety helmet wearing數(shù)據(jù)集上進(jìn)行測(cè)試，驗(yàn)證模型的檢測(cè)性能。

1 YOLOX網(wǎng)絡(luò)模型介紹

YOLOX是Ge等[12]對(duì)YOLOv3網(wǎng)絡(luò)進(jìn)行改進(jìn)后提出的新一代目標(biāo)檢測(cè)網(wǎng)絡(luò)，相較于之前的YOLOv3、YOLOv4[13]、YOLOv5網(wǎng)絡(luò)，YOLOX最大的改進(jìn)是取消了在預(yù)測(cè)端（prediction）使用多個(gè)錨框預(yù)測(cè)物體的位置和類(lèi)別，使網(wǎng)絡(luò)檢測(cè)頭處的參數(shù)量減少約66%。YOLOX繼承了YOLOv5的網(wǎng)絡(luò)拆分功能，可以將網(wǎng)絡(luò)按大小劃分為：YOLOX-s、YOLOX-m、YOLOX-l、YOLOX-x、YOLOX-Darknet53，其 中 輕 量 級(jí) 模 型YOLOX-s的網(wǎng)絡(luò)深度和寬度最小，網(wǎng)絡(luò)參數(shù)量為9.0 MB，權(quán)重文件大小為35 MB，與YOLO系列中最具代表性的YOLOv3相比參數(shù)量減小了85.46%，權(quán)重減小了85.77%。

YOLOX-s的結(jié)構(gòu)如圖1所示，網(wǎng)絡(luò)結(jié)構(gòu)分為輸入端、主干網(wǎng)絡(luò)、頸部、預(yù)測(cè)端四個(gè)部分。在輸入端部分，YOLOX-s可以使用數(shù)據(jù)增強(qiáng)方法對(duì)輸入的圖像進(jìn)行預(yù)處理；主干網(wǎng)絡(luò)部分使用CBL模塊和SSP[14]模塊來(lái)增強(qiáng)網(wǎng)絡(luò)的特征提取能力；頸部使用FPN結(jié)構(gòu)進(jìn)行特征融合；預(yù)測(cè)端部分使用解耦頭（decoupled head）將經(jīng)過(guò)特征融合后的輸出拆分為類(lèi)別概率、位置、置信度三部分，分別進(jìn)行計(jì)算并拼接后得到預(yù)測(cè)結(jié)果，最后預(yù)測(cè)端部分會(huì)將三個(gè)不同尺度大小的預(yù)測(cè)結(jié)果合并，輸出預(yù)測(cè)結(jié)果。

圖1 YOLOX-s的網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Network structure diagram of YOLOX-s

2 網(wǎng)絡(luò)模型改進(jìn)與創(chuàng)新

2.1 數(shù)據(jù)增強(qiáng)

在復(fù)雜的施工環(huán)境下，多變的天氣、工作中的塵埃以及密集的工作人員是影響模型檢測(cè)效果的因素；考慮到數(shù)據(jù)集中的大部分圖像中被檢測(cè)物體數(shù)量少、物體背景清晰、單一，不符合施工復(fù)雜環(huán)境的要求，這會(huì)影響訓(xùn)練模型后的檢測(cè)性能。因此，本文將在線困難樣本挖掘（OHEM）[15]和Mosaic數(shù)據(jù)增強(qiáng)方法結(jié)合來(lái)提高數(shù)據(jù)的多樣性以及困難樣本的數(shù)量。

在進(jìn)行數(shù)據(jù)增強(qiáng)前，首先對(duì)safety helmet wearing安全帽數(shù)據(jù)集進(jìn)行分析，得到如圖2所示的安全帽標(biāo)記框面積分布情況。

圖2 數(shù)據(jù)集標(biāo)記框面積分布情況Fig.2 Distribution of dataset true frame size

由分布圖可以看出標(biāo)記框面積集中在10 000以下，在整個(gè)數(shù)據(jù)集中大部分安全帽的標(biāo)記框?qū)挾群烷L(zhǎng)度集中在50個(gè)像素左右，若輸入圖片大小為416×416像素，標(biāo)記框面積約占圖像總面積的0.029%，因此可以看出數(shù)據(jù)集中的目標(biāo)大多屬于小目標(biāo)類(lèi)型。

在目標(biāo)檢測(cè)中，數(shù)據(jù)集中的圖片分辨率不高，小目標(biāo)物體信息少、噪音多，這些問(wèn)題是檢測(cè)小目標(biāo)實(shí)際且常見(jiàn)的困難問(wèn)題。為了解決模型在檢測(cè)小目標(biāo)安全帽時(shí)遇到的以上問(wèn)題，在模型訓(xùn)練過(guò)程中加入在線困難目標(biāo)挖掘方法。每一輪訓(xùn)練周期結(jié)束，模型會(huì)篩選出10%損失值最高的數(shù)據(jù)標(biāo)記為困難樣本，在下一輪訓(xùn)練周期被標(biāo)記為困難樣本的數(shù)據(jù)將被加入到訓(xùn)練集中繼續(xù)進(jìn)行訓(xùn)練，直到網(wǎng)絡(luò)對(duì)其的檢測(cè)損失值低于其余10%數(shù)據(jù)。加入OHEM后的模型訓(xùn)練流程圖如圖3所示。

圖3 模型訓(xùn)練步驟Fig.3 Model training steps

同時(shí)為了提高模型在復(fù)雜環(huán)境下的檢測(cè)能力以及魯棒性，在每一批次訓(xùn)練前使用馬賽克（Mosaic）方法進(jìn)行數(shù)據(jù)增強(qiáng)。Mosaic將訓(xùn)練集中抽取的4張圖片進(jìn)行隨機(jī)大小縮放、色域變換、水平翻轉(zhuǎn)，然后將經(jīng)過(guò)變換后的4張圖片拼接在一起形成一張初始數(shù)據(jù)集中沒(méi)有的圖片輸入模型進(jìn)行訓(xùn)練。如圖4為經(jīng)過(guò)Mosaic數(shù)據(jù)增強(qiáng)后的結(jié)果，圖4（a）由4張單獨(dú)圖片合并為一張安全帽更加密集的圖像，模擬施工環(huán)境下密集人員工作時(shí)佩戴安全帽的情況，圖4（b）為多張施工塵埃環(huán)境下造成背景模糊的圖像被Mosaic合并在一起，形成一張新模糊背景圖像，圖4（c）將沙塵、晴天、雨天、雪天背景安全帽合并，新形成的圖像背景復(fù)雜多樣，能夠避免單張圖像背景單一的問(wèn)題，圖4（d）分別選取了塵埃背景、密集人群、不同天氣下的圖片，使用Mosaic方法合并后的新數(shù)據(jù)具備了施工中復(fù)雜環(huán)境的所有情況，并且因?yàn)槊恳慌纬槿〉膱D像均不同，所以Mosaic能在提高數(shù)據(jù)集多樣性的同時(shí)避免數(shù)據(jù)訓(xùn)練時(shí)出現(xiàn)過(guò)擬合狀況，同時(shí)Mosaic將多張圖片合并創(chuàng)造了和復(fù)雜環(huán)境相似的背景，提高模型訓(xùn)練過(guò)程中對(duì)復(fù)雜環(huán)境下安全帽的檢測(cè)能力。

圖4 經(jīng)過(guò)數(shù)據(jù)增強(qiáng)后的圖片F(xiàn)ig.4 Data enhanced pictures

OHEM與Mosaic相結(jié)合的數(shù)據(jù)增強(qiáng)方法能提高模型對(duì)小目標(biāo)安全帽的檢測(cè)能力，避免數(shù)據(jù)集反復(fù)訓(xùn)練產(chǎn)生過(guò)擬合情況。因?yàn)閟afety helmet wearing數(shù)據(jù)集中大部分安全帽都為小目標(biāo)，而小目標(biāo)物體檢測(cè)難度高產(chǎn)生的損失值大，因此使用OHEM搜索時(shí)小目標(biāo)安全帽數(shù)量越多的圖像越容易被標(biāo)記困難樣本反復(fù)訓(xùn)練，從更多次訓(xùn)練中提高對(duì)小目標(biāo)特征的檢測(cè)能力；同時(shí)為了避免OHEM搜索困難樣本時(shí)標(biāo)記同一批圖片造成過(guò)擬合，在訓(xùn)練時(shí)使用Mosaic方法從訓(xùn)練集中隨機(jī)抽取圖片拼接，OHEM根據(jù)比較拼接圖片的損失值來(lái)標(biāo)記樣本，若第一次拼接的4張圖片被標(biāo)記，則下一次訓(xùn)練這4張仍被拼接在一起的概率僅為0.152%，且經(jīng)過(guò)Mosaic隨機(jī)大小縮放、色域變換、水平翻轉(zhuǎn)后，每一次訓(xùn)練圖片的大小顏色都與之前不同，極大降低了反復(fù)訓(xùn)練相同圖片過(guò)擬合的可能。

2.2 分支注意力模塊

輕量級(jí)網(wǎng)絡(luò)模型YOLOX-s參數(shù)量少，但相對(duì)YOLOX的其他結(jié)構(gòu)網(wǎng)絡(luò)檢測(cè)精度較低，為彌補(bǔ)精度方面的不足，在模型中加入分支注意力模塊（branch attention，BA）。

注意力模塊包括通道注意力模塊（channel attention，CA）和空間注意力模塊（special attention，SA）。CA的作用是計(jì)算出輸入特征每個(gè)通道對(duì)應(yīng)的權(quán)重，模塊結(jié)構(gòu)如圖5所示，首先對(duì)輸入特征F進(jìn)行通道間的最大池化和平均池化得到特征描述Favg和Fmax，將特征描述輸入三層全連接層構(gòu)成的多層感知器MLP，結(jié)果相加使用激活函數(shù)Sigmoid處理，得到一維通道注意力權(quán)重MC∈RC×1×1。MC的計(jì)算公式如下：

圖5 通道注意力模塊結(jié)構(gòu)Fig.5 Structure of channel attention module

式中F是圖片經(jīng)過(guò)YOLOX-s模型處理后的輸出特征，AvgPool是通道間的平均池化函數(shù)，MaxPool是通道間的最大池化函數(shù)，MLP是多層感知器，σ表示Sigmoid[16]函數(shù)。

SA的作用是計(jì)算出每個(gè)特征點(diǎn)對(duì)應(yīng)的權(quán)重。模塊結(jié)構(gòu)如圖6所示，首先對(duì)輸入特征F進(jìn)行全局最大池化和平均池化，并對(duì)得到的兩個(gè)特征描述Fmax、Favg進(jìn)行拼接、卷積和激活函數(shù)處理，得到二維空間注意力權(quán)重MS∈。MS的計(jì)算公式如下：

圖6 空間注意力模塊結(jié)構(gòu)Fig.6 Structure of special attention module

式中AvgPool是空間上的平均池化函數(shù)，MaxPool是空間上的最大池化函數(shù)，Conv是卷積函數(shù)，⊕表示特征合并操作，其余符號(hào)均與公式（1）相同。

普通注意力模塊（CBAM）[17]中通道注意力模塊和空間注意力模塊為串聯(lián)連接，訓(xùn)練過(guò)程中預(yù)測(cè)端輸出的所有通道都經(jīng)過(guò)CA和SA的處理，但預(yù)測(cè)端輸出的通道有一部分對(duì)空間信息敏感，另一部分對(duì)通道信息敏感，因此將所有通道輸入普通注意力模塊增加了計(jì)算量，并且CA中使用全連接層來(lái)提取空間特征效率不高的同時(shí)增加了網(wǎng)絡(luò)的計(jì)算量。為了解決以上兩點(diǎn)問(wèn)題，對(duì)注意力模塊進(jìn)行改進(jìn)。首先，圖像特征在經(jīng)過(guò)解耦頭（decoupled head）后會(huì)被分成三部分：第一部分是物體位置通道Freg∈R4×H×W，第二部分是置信度通道Fcof∈R1×H×W，第三部分是物體的類(lèi)別通道Fcls∈RC×H×W，F(xiàn)reg上的特征點(diǎn)記錄著預(yù)測(cè)框中心點(diǎn)相較于當(dāng)前特征點(diǎn)的偏移量信息(x,y)與預(yù)測(cè)框的寬高信息(w,h)，對(duì)應(yīng)4個(gè)通道，F(xiàn)cof上的每個(gè)特征點(diǎn)代表對(duì)應(yīng)預(yù)測(cè)框內(nèi)存在被檢測(cè)物體的概率信息，F(xiàn)cls的各個(gè)通道內(nèi)容代表模型所要檢測(cè)的各個(gè)類(lèi)別的概率信息。將類(lèi)別通道僅輸入CA模塊計(jì)算得到通道權(quán)重，將物體位置通道和置信度通道僅輸入SA模塊進(jìn)行計(jì)算得到空間權(quán)重；其次，將CA模塊中的多層感知器結(jié)構(gòu)換成濾波器大小為1×1的卷積層，通過(guò)以上操作來(lái)減小計(jì)算量。改進(jìn)后的通道注意力權(quán)重M′C計(jì)算公式為公式（3），空間注意力權(quán)重MS的計(jì)算公式為公式（2），注意力模塊對(duì)輸入特征的總體計(jì)算公式為公式（4）。

式中F1是類(lèi)別通道，F(xiàn)2是位置與置信度合并后的通道，MS是空間注意力模塊，M′C是經(jīng)過(guò)改進(jìn)的通道注意力模塊。改進(jìn)后的分支注意力模塊（BA）結(jié)構(gòu)如圖7所示。

圖7 分支注意力模塊結(jié)構(gòu)Fig.7 Structure of branch channel attention module

特征F∈R(C+5)×H×W（C是輸入特征的類(lèi)別數(shù)，H、W是輸入特征的高和寬）輸入分支注意力模塊后將分為類(lèi)別通道F1∈RC×H×W與位置、置信度合并后的通道F2∈R5×H×W。F1經(jīng)過(guò)通道注意力模塊由公式（3）計(jì)算得到通道權(quán)重MC∈RC×1×1，通道權(quán)重MC被定義為一個(gè)由檢測(cè)類(lèi)別數(shù)量(C)個(gè)1×1張量組成的張量矩陣，其中第Ci∈{ }1,2,…,C個(gè)張量的數(shù)值大小代表當(dāng)前圖片對(duì)應(yīng)第Ci∈{ }1,2,…,C個(gè)類(lèi)別的權(quán)重，將所有張量的權(quán)重合并形成矩陣權(quán)重，矩陣權(quán)重中數(shù)值最高的一個(gè)張量值對(duì)應(yīng)的類(lèi)別最有可能為輸入圖片的類(lèi)別。F2通道處理過(guò)程與F1類(lèi)似，通過(guò)公式（2）計(jì)算得到空間權(quán)重MS∈R1×H×W，MS權(quán)重矩陣是1個(gè)高為H寬為W的二維張量，由H×W個(gè)張量元素Cij∈{{1,2,…,W}，{1,2,…,H}}組成，每個(gè)張量元素對(duì)應(yīng)的權(quán)重越大代表該位置的信息越重要。計(jì)算權(quán)重MS時(shí)置信度通道Fcof起到了決定位置權(quán)重大小的作用，因?yàn)镕cof上的每個(gè)特征點(diǎn)的數(shù)值大小代表存在被檢測(cè)物體的概率，因此Fcof中特征值越接近1的特征點(diǎn)存在物體的可能性越大，該特征點(diǎn)對(duì)應(yīng)Freg越精確，同理Fcof特征值越趨近0的特征點(diǎn)存在物體的概率越小，對(duì)應(yīng)位置處的Freg值也趨近于0，計(jì)算得到的權(quán)重越小，因此在計(jì)算MS過(guò)程中，高特征值對(duì)應(yīng)的Fcof位置更有可能獲得高注意力權(quán)重。將權(quán)重與對(duì)應(yīng)通道相乘得到輸出特征，對(duì)經(jīng)過(guò)注意力模塊處理的輸出特征F′1與F′2進(jìn)行合并得到對(duì)圖片一次訓(xùn)練后的結(jié)果F′。

類(lèi)別通道F1與位置、置信度通道F2在輸入注意力模塊后要經(jīng)過(guò)Sigmoid函數(shù)處理，將原本值域在的空間權(quán)重和通道權(quán)重值變換到(0,1)區(qū)間內(nèi)，當(dāng)一張圖片上的物體類(lèi)別與位置特征被檢測(cè)出來(lái)，對(duì)應(yīng)的通道權(quán)重與通道上特征點(diǎn)的權(quán)重將接近于1，錯(cuò)誤類(lèi)別和位置的特征點(diǎn)權(quán)重向0靠近。

2.3 學(xué)習(xí)率控制算法

在訓(xùn)練模型過(guò)程中使用隨機(jī)梯度下降（stochastic gradient descent，SGD）[18]作為優(yōu)化器（optimizer），使用指數(shù)下降算法（exponential LR，ELR）[19]控制optimizer學(xué)習(xí)率的大小，改變模型權(quán)重更新時(shí)的迭代步長(zhǎng)。ELR作為學(xué)習(xí)率控制器下降曲線如圖8（a）所示，隨著訓(xùn)練batch次數(shù)的增加ELR控制的學(xué)習(xí)率按指數(shù)減少，更新步長(zhǎng)逐漸趨近于0，符合梯度下降算法在初始時(shí)用大步長(zhǎng)尋找最小值范圍，逐步減小步長(zhǎng)向最小點(diǎn)靠近的尋優(yōu)規(guī)律；但由于目標(biāo)優(yōu)化函數(shù)曲線上可能分布著多個(gè)局部最小值（local minima），僅有一個(gè)全局最小值（global minima），ELR算法控制的SGD優(yōu)化器很容易陷入局部最優(yōu)，如圖9所示，初始時(shí)較大學(xué)習(xí)率下的大步長(zhǎng)讓模型很容易跳過(guò)前兩個(gè)local minima，之后學(xué)習(xí)率持續(xù)減小，到達(dá)第三個(gè)local minima時(shí)模型權(quán)重更新步長(zhǎng)太小而陷入局部最小點(diǎn)。

圖8 三種不同的學(xué)習(xí)率下降曲線Fig.8 Decline curves of three different learning rates

圖9 指數(shù)下降算法控制下的尋優(yōu)過(guò)程Fig.9 Optimization process controlled by exponential LR

文獻(xiàn)[20]將模擬退火算法與正余弦算法結(jié)合，提出的余弦退火算法（cosine annealing warm restarts，CAWR）解決了模型陷入局部最優(yōu)的問(wèn)題，學(xué)習(xí)率下降曲線如圖8（b）所示。CAWR算法中加入了重啟（restart）機(jī)制，在學(xué)習(xí)率下降到一個(gè)較低點(diǎn)時(shí)重啟返回到原點(diǎn)，通過(guò)這種方法增大步長(zhǎng)跳出局部最小點(diǎn)，但由于CAWR每次重啟時(shí)均回到初始值，初始較大的步長(zhǎng)可能導(dǎo)致模型跳出global minima。如圖10中CAWR控制的優(yōu)化器在到達(dá)第三個(gè)local minima后學(xué)習(xí)率降為最小值，這時(shí)restart學(xué)習(xí)率增大步長(zhǎng)使模型跳出了局部最小點(diǎn)繼續(xù)尋優(yōu)，但global minima處的再一次的restart讓模型跳出了全局最小點(diǎn)；因此余弦退火算法優(yōu)化器可以找到目標(biāo)優(yōu)化函數(shù)的最優(yōu)值，但很難在最優(yōu)值點(diǎn)處達(dá)到穩(wěn)定，增加了模型訓(xùn)練達(dá)到收斂的時(shí)間。

圖10 余弦退火算法控制下的尋優(yōu)過(guò)程Fig.10 Optimization process controlled by cosine annealing warm restarts

為了解決指數(shù)下降算法的局部最優(yōu)問(wèn)題和余弦退火算法重啟機(jī)制造成的模型訓(xùn)練收斂時(shí)間慢的問(wèn)題，將指數(shù)下降算法的逐步下降規(guī)律與余弦退火算法的重啟機(jī)制結(jié)合，設(shè)計(jì)一種新的余弦退火算法（CDWR）。首先，在算法中加入重啟機(jī)制，將restart次數(shù)減小為3次，同時(shí)增加每個(gè)restart后的batch數(shù)量來(lái)保證模型重啟跳出局部最優(yōu)后能達(dá)到下一個(gè)穩(wěn)定值，然后，每次restart后降低學(xué)習(xí)率最大值為前一峰值的2/3，總體上逐步減小權(quán)重更新步長(zhǎng)，在保持模型有跳出局部最優(yōu)能力的情況下逐漸變得穩(wěn)定，最后，在算法中加入預(yù)熱[21]（warm up）機(jī)制，學(xué)習(xí)率在訓(xùn)練開(kāi)始時(shí)設(shè)置為0逐漸增大，模型在學(xué)習(xí)率增大過(guò)程中進(jìn)行預(yù)熱訓(xùn)練，直到達(dá)到設(shè)定值后開(kāi)始正式訓(xùn)練，因?yàn)槌跏紩r(shí)模型權(quán)重是隨機(jī)值，較大的學(xué)習(xí)率讓權(quán)重大幅度振蕩，而warm up使權(quán)重達(dá)到穩(wěn)定之后再開(kāi)始正式訓(xùn)練，模型收斂速度會(huì)變得更快，CDWR算法的下降曲線如圖8（c）所示。CDWR算法的尋優(yōu)過(guò)程如圖11所示，在初始warm up階段權(quán)重步長(zhǎng)逐漸變大，在到達(dá)第三個(gè)local minima處陷入局部最小，此時(shí)經(jīng)過(guò)restart后跳出局部最小點(diǎn)逐步到達(dá)global minima，這時(shí)模型再次restart后學(xué)習(xí)率僅能達(dá)到第一次的2/3，此學(xué)習(xí)率下優(yōu)化器的步長(zhǎng)已經(jīng)不能跳出當(dāng)前全局最小點(diǎn)，之后模型權(quán)重在global minima左右擺動(dòng)直到到達(dá)全局最小點(diǎn)。

圖11 改進(jìn)余弦退火算法控制下的尋優(yōu)過(guò)程Fig.11 Optimization process controlled by cosine decay warm restarts

CDWR算法的計(jì)算公式如下：

式中Ti是當(dāng)前訓(xùn)練批次數(shù)，T是總訓(xùn)練批次數(shù)，Twarm是預(yù)熱批次數(shù)，Thold是學(xué)習(xí)率維持不變批次數(shù)，μmax是學(xué)習(xí)率最大值，μmin是學(xué)習(xí)率最小值，φ是幅度變化常數(shù)，lr是當(dāng)前學(xué)習(xí)率大小，count是跳出局部最優(yōu)次數(shù)。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)使用的是safety helmet wearing數(shù)據(jù)集共7 581張圖片，數(shù)據(jù)集中的圖片來(lái)自谷歌和百度，并且使用Labelimg對(duì)圖片進(jìn)行了標(biāo)定，符合實(shí)驗(yàn)訓(xùn)練要求。使用其中3 241張圖片進(jìn)行實(shí)驗(yàn)，訓(xùn)練集和測(cè)試集的比例設(shè)置為9∶1，訓(xùn)練集圖片數(shù)量為2 624張，驗(yàn)證集數(shù)量293張，測(cè)試集數(shù)量324張。

3.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)在Win10操作系統(tǒng)上進(jìn)行訓(xùn)練和測(cè)試，顯卡使用NVIDIA Tesla K80，深度學(xué)習(xí)框架為Pytorch，使用GPU進(jìn)行運(yùn)算，使用CUDA并行架構(gòu)來(lái)提高計(jì)算能力，在訓(xùn)練過(guò)程中訓(xùn)練批次大?。╞atch size）設(shè)置為32，初始學(xué)習(xí)率（learning rate）設(shè)置為0.01，實(shí)驗(yàn)所需的具體運(yùn)行環(huán)境如表1所示。

表1 實(shí)驗(yàn)訓(xùn)練環(huán)境配置Table 1 Experimental training environment configuration

3.3 模型訓(xùn)練

實(shí)驗(yàn)中訓(xùn)練集圖片數(shù)量2 624張，1個(gè)訓(xùn)練批次（batch size）包含32張圖片，1個(gè)訓(xùn)練周期（epoch）包含82個(gè)訓(xùn)練批次，本次實(shí)驗(yàn)總共訓(xùn)練100個(gè)周期，8 200個(gè)批次，262 400張圖片。在訓(xùn)練過(guò)程中，每完成1個(gè)訓(xùn)練批次（batch size）調(diào)節(jié)1次學(xué)習(xí)率，實(shí)驗(yàn)總共調(diào)節(jié)8 200次學(xué)習(xí)率，學(xué)習(xí)率由改進(jìn)余弦退火算法（CDWR）調(diào)節(jié)。

3.4 評(píng)價(jià)指標(biāo)

能反映網(wǎng)絡(luò)模型性能的因素主要有網(wǎng)絡(luò)模型的檢測(cè)精度、檢測(cè)速度和模型的權(quán)重大小，對(duì)以上因素進(jìn)行評(píng)價(jià)需要恰當(dāng)?shù)脑u(píng)價(jià)指標(biāo)。本文使用召回率（recall）、精確率（precision）、平均精度（average precision，AP）、平均精度均值（mean average precision，mAP）指標(biāo)來(lái)評(píng)價(jià)模型的檢測(cè)精度，使用幀率（frame per second，F(xiàn)PS）指標(biāo)來(lái)評(píng)價(jià)模型的檢測(cè)速度，使用模型參數(shù)量（parameter）指標(biāo)來(lái)評(píng)價(jià)模型的權(quán)重大小，使用損失值（loss）指標(biāo)來(lái)評(píng)價(jià)模型的訓(xùn)練情況。

3.4.1 召回率和準(zhǔn)確率

召回率和準(zhǔn)確率的計(jì)算方法為公式（6）和（7）：

式中，R表示召回率，P表示準(zhǔn)確率；TP為預(yù)測(cè)正確的正樣本數(shù)，F(xiàn)N為預(yù)測(cè)錯(cuò)誤的負(fù)樣本數(shù)，F(xiàn)P為預(yù)測(cè)錯(cuò)誤的正樣本數(shù)。

3.4.2 平均精度和平均精度均值

平均精度和平均精度均值的計(jì)算方法為公式（8）和（9）：

式中，AP為平均精度，mAP為平均精度均值，PA為不同檢測(cè)類(lèi)別均精度的計(jì)算需要用到召回率和準(zhǔn)確率；在模型實(shí)驗(yàn)結(jié)束后會(huì)得到所有數(shù)據(jù)的召回率和準(zhǔn)確率值，將這兩個(gè)值作為橫縱坐標(biāo)軸，可以繪制出模型的PR曲線圖，使用積分計(jì)算出曲線圖的面積，就可以得到模型的平均精度AP，AP值用于評(píng)估模型在單個(gè)檢測(cè)類(lèi)別上的表現(xiàn)；所有類(lèi)別的AP的平均值就是mAP值，模型的mAP值越高，其檢測(cè)性能越好。

3.4.3 幀率

幀率（FPS）表示模型每秒處理圖片的數(shù)量，模型的幀率越大處理圖片的速度越快，模型的檢測(cè)速度也越快。

3.4.4 參數(shù)量

模型參數(shù)量和計(jì)算量的計(jì)算如公式（10）：

其中，Params表示在一個(gè)卷積層且不考慮偏置條件下的參數(shù)量，公式中K為卷積核大小，Ci、Co為輸入輸出通道數(shù)量，H、W為輸入特征的大小。

3.4.5 損失值

在訓(xùn)練中使用二值交叉熵?fù)p失函數(shù)來(lái)計(jì)算損失值，式中Yi為類(lèi)別標(biāo)簽，p(Yi)為目標(biāo)被預(yù)測(cè)為該類(lèi)別的概率，N為被預(yù)測(cè)為該類(lèi)別的目標(biāo)數(shù)量。將模型訓(xùn)練過(guò)程中的所有損失值繪制成曲線圖，可以得到模型訓(xùn)練時(shí)的損失下降情況和收斂情況。

3.5 實(shí)驗(yàn)結(jié)果及分析

3.5.1 消融實(shí)驗(yàn)

為了驗(yàn)證各個(gè)模塊對(duì)YOLOX-s2檢測(cè)效果的影響，在safety helmet waring數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)，實(shí)驗(yàn)以YOLOX-s作為基線模型，逐漸增加模塊測(cè)試模型的性能結(jié)果，消融實(shí)驗(yàn)結(jié)果如表2所示。

表2 消融實(shí)驗(yàn)結(jié)果Table 2 Ablation experimental results

對(duì)比YOLOX-s和YOLOX-s+OHEM的性能，加入在線困難樣本挖掘方法的模型比基線模型mAP提升了0.88個(gè)百分點(diǎn)，recall提升了2.35個(gè)百分點(diǎn)，表明使用OHEM方法對(duì)難識(shí)別圖像反復(fù)檢測(cè)能在一定程度上提高對(duì)安全帽特征的提取能力，增加樣本中檢測(cè)到安全帽的數(shù)量。加入Mosaic的YOLOX-s+OHEM模型與YOLOX-s+OHEM相比mAP提升了3.39個(gè)百分點(diǎn)，F(xiàn)1提升0.3，precision提升2.65個(gè)百分點(diǎn)，recall提升3.58個(gè)百分點(diǎn)，證明對(duì)經(jīng)過(guò)Mosaic預(yù)處理后的數(shù)據(jù)集訓(xùn)練可以增強(qiáng)網(wǎng)絡(luò)識(shí)別定位物體的能力，提高模型在多數(shù)量小目標(biāo)場(chǎng)景下及復(fù)雜環(huán)境下判別安全帽的能力。對(duì)比YOLOX-s+OHEM+Mosaic+CDWR和YOLOX-s+OHEM+Mosaic的性能，加入CDWR后的模型mAP僅提升了0.06個(gè)百分點(diǎn)，因?yàn)閷W(xué)習(xí)率控制器對(duì)模型的檢測(cè)效果影響較小，其最主要的作用是控制模型在更少的時(shí)間里達(dá)到收斂，模型收斂時(shí)間對(duì)比結(jié)果詳見(jiàn)3.5.3小節(jié)。

對(duì)比YOLOX-s+OHEM+Mosaic+CDWR和YOLOX-s+OHEM+Mosaic+CDWR+BA性能，加入分支注意力模塊后模型mAP提升2.36個(gè)百分點(diǎn)，F(xiàn)1提升0.4，precision提升5.29個(gè)百分點(diǎn)，recall提升2.34個(gè)百分點(diǎn)，表明分支注意力模塊可以對(duì)每層通道和通道特征點(diǎn)合理分配權(quán)重，提升網(wǎng)絡(luò)對(duì)存在物體區(qū)域的關(guān)注程度，獲得關(guān)鍵區(qū)域的類(lèi)別與位置信息。

對(duì)比消融實(shí)驗(yàn)的所有模型，向基線模型逐漸增加模塊后各改進(jìn)模型的detection time和FPS變化幅度較小，證明在實(shí)驗(yàn)中增加模塊提升模型準(zhǔn)確率和召回率的同時(shí)，并沒(méi)有較大增加對(duì)圖片的檢測(cè)時(shí)間，改進(jìn)模型的檢測(cè)速度仍然符合實(shí)時(shí)檢測(cè)要求。

3.5.2 注意力模塊可視化實(shí)驗(yàn)

對(duì)加入分支注意力（BA）的仿真結(jié)果與未使用注意力模塊的仿真結(jié)果進(jìn)行可視化處理，可視化處理結(jié)果如圖12所示，對(duì)比兩者的可視化圖可以發(fā)現(xiàn)使用BA的模型結(jié)果比原模型結(jié)果覆蓋了更多包含安全帽的面積。因?yàn)槲醇尤胱⒁饬δK的方法過(guò)于關(guān)注圖片中特征明顯的物體，容易檢測(cè)到帶有明顯特征的目標(biāo)，但經(jīng)常漏檢錯(cuò)檢小目標(biāo)與特征不明顯的目標(biāo)。實(shí)驗(yàn)中帶有BA的方法不僅關(guān)注主要特征，對(duì)較為次要的特征也給予了關(guān)注權(quán)重，因此可以提取到更多信息，仿真結(jié)果中也能檢測(cè)到更多的物體。

圖12 可視化處理結(jié)果Fig.12 Visual simulation results

BA模塊的兩個(gè)分支分別給類(lèi)別通道的通道、位置與置信度通道的空間點(diǎn)分配不同大小的權(quán)重，根據(jù)權(quán)重大小反應(yīng)通道和空間點(diǎn)的重要性，為了證明BA模塊的每個(gè)分支都有效果，將經(jīng)過(guò)上分支的類(lèi)別通道和經(jīng)過(guò)下分支的位置與置信度通道進(jìn)行像素值分布可視化。

實(shí)驗(yàn)設(shè)置兩個(gè)類(lèi)別通道，第一個(gè)通道為正確類(lèi)別safety helmet，第二個(gè)通道設(shè)置為數(shù)據(jù)集中不存在的類(lèi)別book，將模型訓(xùn)練40個(gè)epoch后按通道像素值繪制直方圖，每個(gè)通道的像素值分布如圖13所示。圖13（a）為所要檢測(cè)物體正確類(lèi)別通道的像素值分布情況，其像素點(diǎn)有多半像素值大于0，表明該通道極有可能是正確類(lèi)別，對(duì)照組圖13（b）為第二個(gè)通道的像素值分布情況，由直方圖發(fā)現(xiàn)二通道的所有像素值均小于0，表明在檢測(cè)圖片中不存在該通道類(lèi)別的物體。

圖13 類(lèi)別通道像素值可視化Fig.13 Visualization of category channel pixel value

初始時(shí)位置與置信度通道的像素值分布情況如圖14（a）所示，通道上的像素值集中在0附近，存在較多像素值大于0.5的像素點(diǎn)（像素值大于0.5表示該特征點(diǎn)有很大概率存在物體）表明這時(shí)通道空間點(diǎn)的像素值為隨機(jī)分布，對(duì)圖像中物體位置、置信度信息描述仍不準(zhǔn)確。經(jīng)過(guò)40個(gè)epoch訓(xùn)練后，位置與置信度通道的像素值的分布情況為14（b）所示，此時(shí)大部分空間點(diǎn)的像素值小于0，對(duì)應(yīng)圖像中大多數(shù)不存在物體的特征點(diǎn)，只有少數(shù)像素值處于（0，1）之間，此時(shí)位置與置信度輸出特征包含了圖像中接近真實(shí)物體數(shù)量的位置與置信度信息。

圖14 位置與置信度通道像素值可視化Fig.14 Visualization of position-confidence channel pixel value

3.5.3 模型訓(xùn)練結(jié)果

使用CDWR控制模型學(xué)習(xí)率并進(jìn)行100個(gè)周期（epoch）的訓(xùn)練后，YOLOX-s2模型的損失值變化情況如圖15所示。訓(xùn)練到30個(gè)周期時(shí)模型的損失值逐漸趨于穩(wěn)定但仍處于一個(gè)較高值，可以基本確定此時(shí)模型陷入局部最優(yōu)；此時(shí)將學(xué)習(xí)率升高使模型訓(xùn)練到60個(gè)周期時(shí)達(dá)到了更低點(diǎn)，證明模型跳出了局部最優(yōu)點(diǎn)，同理當(dāng)模型訓(xùn)練到90個(gè)周期時(shí)損失再次達(dá)到更低點(diǎn)，在此之后損失值基本不再變化，從模型損失值的下降情況來(lái)看模型訓(xùn)練結(jié)果較為理想。

圖15 模型在訓(xùn)練過(guò)程中的損失變化情況Fig.15 Loss change of model during training

為檢測(cè)改進(jìn)學(xué)習(xí)率對(duì)模型訓(xùn)練時(shí)間的影響，分別將YOLOX-s2模型的學(xué)習(xí)率下降算法設(shè)置為指數(shù)下降算法（ELR）、余弦退火算法（CAWR）和本文提出的CDWR算法，在相同實(shí)驗(yàn)環(huán)境下進(jìn)行三次訓(xùn)練。實(shí)驗(yàn)結(jié)果如圖16所示，可以看出使用改進(jìn)余弦退火控制學(xué)習(xí)率的曲線在第十個(gè)訓(xùn)練周期時(shí)已經(jīng)達(dá)到穩(wěn)定，和另外兩個(gè)算法相比收斂時(shí)間較快，與原余弦退火算法相比收斂時(shí)間減少50%以上，并且在同樣的訓(xùn)練周期下模型損失值能下降到一個(gè)更低點(diǎn)，與指數(shù)下降算法相同訓(xùn)練周期下的損失值下降了1左右，與余弦退火算法相比損失值下降了0.5左右。

圖16 訓(xùn)練中的模型損失變化曲線Fig.16 Model loss variation curve in training

3.5.4 對(duì)比實(shí)驗(yàn)

實(shí)驗(yàn)選擇目前目標(biāo)檢測(cè)領(lǐng)域主流方法SSD、CenterNet、YOLOv3、YOLOv4、YOLOv5-s、YOLOX-s與本文方法進(jìn)行比較，其中SSD、YOLOv3、YOLOv4[22]、YOLOv5-s是基于錨框的單階段類(lèi)型檢測(cè)方法，Center-Net、YOLOX-s是無(wú)錨框（anchor free）類(lèi)型檢測(cè)方法，YOLOv5-s、YOLOX-s、YOLOX-s2是輕量級(jí)檢測(cè)方法。對(duì)以上方法實(shí)驗(yàn)后的性能結(jié)果，如表3所示。

從表3中可以看出，SSD、YOLOv3、YOLOv4作為基于錨框單階段檢測(cè)方法的準(zhǔn)確率（precision）和召回率（recall）均達(dá)到60%以上，但參數(shù)量（params）較大模型權(quán)重（weight）均在100 MB以上，檢測(cè)時(shí)間（detection time）長(zhǎng)，不適合配置在移動(dòng)端且不滿足實(shí)時(shí)檢測(cè)要求。無(wú)錨框檢測(cè)方法CenterNet的precision為99.72%，在所有方法中領(lǐng)先，但recall僅為44.13%，表明該方法幾乎可以正確識(shí)別出檢測(cè)到的安全帽，但很難檢測(cè)到所有安全帽，同時(shí)params與weight太大，也不適合配置在移動(dòng)端。對(duì)比輕量級(jí)網(wǎng)絡(luò)檢測(cè)方法YOLOv5-s、YOLOX-s和YOLOX-s2，YOLOv5-s的params與weight最小，僅為7.1×106和27.9 MB，但平均精度均值（mAP）在三者中最低，檢測(cè)效果相對(duì)較差，本文算法YOLOX-s2在略微增加params和weight的條件下，模型的mAP值達(dá)到95.11%，precision值為95.18%，recall值為90.23%，檢測(cè)性能領(lǐng)先于其他輕量級(jí)檢測(cè)方法，且較低的params和weight適合布置在移動(dòng)端進(jìn)行實(shí)時(shí)檢測(cè)。

表3 本文方法與現(xiàn)有方法性能比較Table 3 Performance of proposed method compared with existing methods

為對(duì)比本文方法YOLOX-s2與原方法YOLOX-s對(duì)施工場(chǎng)景下安全帽的檢測(cè)效果，選取多張施工場(chǎng)景下的圖像進(jìn)行檢測(cè)。圖17（a）為YOLOX-s方法的檢測(cè)結(jié)果，圖17（b）為本文方法的檢測(cè)結(jié)果。從圖中可以看出，使用YOLOX-s對(duì)安全帽進(jìn)行檢測(cè)存在錯(cuò)檢和漏檢，而在YOLOX-s2中錯(cuò)檢漏檢問(wèn)題出現(xiàn)得更少，因此可以證明在YOLOX-s中加入經(jīng)過(guò)改進(jìn)的注意力模塊提高了模型特征提取和分析能力，使得模型對(duì)目標(biāo)的預(yù)測(cè)準(zhǔn)確率更高，在訓(xùn)練過(guò)程中使用在OHEM與Mosaic結(jié)合的數(shù)據(jù)增強(qiáng)方法提高了模型對(duì)困難目標(biāo)的檢測(cè)能力，讓YOLOX-s2模型能檢測(cè)到一些難以發(fā)現(xiàn)的小目標(biāo)。

圖17 兩種模型檢測(cè)結(jié)果對(duì)比Fig.17 Comparison of test results of two models

4 結(jié)束語(yǔ)

本文對(duì)YOLOX網(wǎng)絡(luò)進(jìn)行改進(jìn)，使用在線困難樣本挖掘和Mosaic數(shù)據(jù)增強(qiáng)的方法重點(diǎn)訓(xùn)練困難樣本，在模型預(yù)測(cè)端加入分支注意力模塊提高模型在復(fù)雜環(huán)境下的檢測(cè)精度，在訓(xùn)練中使用CDWR算法替代指數(shù)下降算法控制學(xué)習(xí)率來(lái)減少模型訓(xùn)練收斂時(shí)間。消融實(shí)驗(yàn)結(jié)果表明對(duì)原始模型進(jìn)行以上方法改進(jìn)均在不同程度上提高了檢測(cè)性能。本文通過(guò)實(shí)驗(yàn)證明YOLOX-s2方法的檢測(cè)精度和檢測(cè)時(shí)間符合施工環(huán)境下實(shí)時(shí)檢測(cè)安全帽的需求，并且適合移植到低算力平臺(tái)進(jìn)行實(shí)驗(yàn)。在后續(xù)研究中將繼續(xù)完善YOLOX-s2方法來(lái)提高檢測(cè)精度和檢測(cè)速度，同時(shí)將模型移植到移動(dòng)端來(lái)進(jìn)行測(cè)試。