基于Swin Transformer的YOLOv5安全帽佩戴檢測方法

鄭楚偉，林 輝

(韶關學院 智能工程學院，廣東 韶關 512005)

0 引言

在工地的作業(yè)現(xiàn)場，正確佩戴安全帽能有效地防止施工人員在生產(chǎn)過程中遭受墜落物體對頭部的傷害。然而在實際生產(chǎn)活動中，盡管每個施工項目都明文要求人員一定要正確佩戴安全帽，但仍杜絕不了個別工人缺少自我安全防范意識，在施工現(xiàn)場不戴或者不規(guī)范佩戴安全帽的現(xiàn)象[1]。目前施工現(xiàn)場對安全帽佩戴情況的監(jiān)控大多仍依賴人工監(jiān)視[2]，這種方式存在成本高、耗時長、容易出錯的不足。采用視頻自動監(jiān)控方法有利于實時監(jiān)控施工現(xiàn)場人員的安全帽佩戴情況，對安全生產(chǎn)環(huán)節(jié)中的安全隱患進行實時評估。

目前已有學者對安全帽檢測方法進行研究。劉曉慧等[3]采用膚色檢測的方法定位人臉，再利用支持向量機(SVM)實現(xiàn)安全帽的識別；劉云波等[4]通過統(tǒng)計工人圖像的上三分之一區(qū)域出現(xiàn)頻率最高的像素點色度值并與安全帽顏色相匹配，以此來判斷安全帽佩戴情況。但傳統(tǒng)的目標檢測需要通過手工設計特征，存在準確率低、不具備魯棒性等問題。

隨著深度學習的發(fā)展，國內外已有大量學者使用基于卷積神經(jīng)網(wǎng)絡算法對安全帽檢測進行了一系列研究。其中有先提取候選框再回歸定位的兩階段算法，如R-CNN(regions with convolutional neural network features)[5]、Fast R-CNN(fast region-based convolutional neural network)[6]和Faster R-CNN(faster region-based convolutional neural network)[7]等網(wǎng)絡和直接進行一階段目標檢測的SSD(single shot MultiBox detector)[8]和YOLO(you only look once)[9]系列算法。張玉濤等[10]使用輕量化的網(wǎng)絡設計減小模型的計算量，使得模型達到137幀每秒的運行速度，但是總體的檢測錯誤率達到7.9%。張明媛等[11]使用Faster RCNN網(wǎng)絡檢測施工人員的安全帽佩戴情況，但未考慮檢測效率的問題，無法實現(xiàn)實時檢測。楊莉瓊等[12]提出了一種基于機器學習的安全帽檢測方法，使得每幀圖像的檢測時間小于50 ms，滿足時效性需求，但在檢測圖像中的小目標時準確率較低。孫國棟等[13]提出了一種通過融合自注意力機制來改進Faster RCNN的目標檢測算法，具有較好的檢測效果，但是模型的參數(shù)量和計算復雜度高。張錦等[14]在YOLOv5特征提取網(wǎng)絡中引入多光譜通道注意力模塊，使網(wǎng)絡能夠自主學習每個通道的權重，提升了模型的平均準確率，但網(wǎng)絡模型參數(shù)量以及檢測速率有待提升。

本文提出一種改進YOLOv5的安全帽檢測方法，將Swin Transformer作為YOLOv5的骨干網(wǎng)絡，使得模型能夠更好地提取圖像特征。同時，使用K-means++聚類算法重新設計匹配安全帽數(shù)據(jù)集的先驗錨框尺寸，基于Ghost Bottleneck對YOLOv5的C3模塊進行改進從而減少模型參數(shù)，提出新型跨尺度特征融合模塊，更好地適應不同尺度的目標檢測任務。實驗結果表明，改進的YOLOv5在安全帽檢測任務上的mAP@.5:.95指標提升了2.3%，檢測速度達到每秒35.2幀，有效解決施工現(xiàn)場的安全帽檢測方法存在遮擋目標檢測難度大、誤檢漏檢率高的問題,滿足復雜施工場景下安全帽佩戴檢測的準確率和實時性要求。

1 系統(tǒng)結構及原理

本文通過改進YOLOv5網(wǎng)絡結構以解決安全帽檢測過程存在遮擋目標檢測難度大、誤檢漏檢率高的問題。改進YOLOv5網(wǎng)絡結構如圖1所示，分為數(shù)據(jù)輸入、骨干網(wǎng)絡、頸部及預測部分。

圖1 改進YOLOv5網(wǎng)絡結構

數(shù)據(jù)輸入部分使用自適應圖像填充、Mosaic數(shù)據(jù)增強來對數(shù)據(jù)進行處理，提升小目標的檢測的精度。骨干網(wǎng)絡部分使用Swin Transformer作為YOLOv5的主干特征提取網(wǎng)絡。頸部部分借鑒雙向特征金字塔網(wǎng)絡跨尺度特征融合的結構優(yōu)勢，在FPN + PANet結構進行特征融合的基礎上，增添了兩條特征融合路線，用較少的成本使得同層級上的特征圖能夠共享彼此的語義信息；另一方面，為了減少模型參數(shù)，提出了基于Ghost Bottleneck對YOLOv5的C3模塊進行改進的C3-Ghost模塊。預測部分，如圖1最右側所示，從上到下依次是經(jīng)過特征融合后得到原圖的4、8、16、32倍下采樣的特征圖，在此基礎上使用二元交叉熵損失函數(shù)計算置信度預測損失和分類預測損失，使用廣義交并比(GIoU，generalized intersection over union)計算邊界框的損失，同時采用非極大值抑制對多個目標錨框進行篩選來提高對目標識別的準確度。

2 改進YOLOv5網(wǎng)絡模型

2.1 Swin Transformer模塊

Swin Transformer是基于具有全局信息建模能力的Transformer來構建分層特征圖，同時借鑒locality思想將自注意力計算限制在無重疊的窗口區(qū)域內并允許移動窗口進行特征交互，對圖像大小具有線性計算復雜度[15]，可將其作為YOLOv5的骨干網(wǎng)絡來更有效的提取圖像特征。

Swin transformer網(wǎng)絡架構如圖2(a)所示。首先將輸入的[H,W,3]圖像傳入圖塊分割層(patch partition)，將每4×4相鄰的像素分塊為一個Patch，并沿著通道方向展開，使得圖像維度變成了[H/4,W/4,48]，然后在通過線性嵌入層(linear embeding)對每個像素的通道數(shù)據(jù)做線性變換，使圖像維度變成[H/4,W/4,C],同時將每個樣本在特征維度進行歸一化處理。

Swin transformer構造圖像的層次特征圖是通過在每個階段之間使用圖塊拼接層(patch merging)對圖像進行下采樣，圖塊拼接層的實現(xiàn)類似于YOLOv5的Focus結構對圖片進行切片操作，將間隔為2的相鄰像素劃分為一個個Patch后再進行通道拼接(concat)操作，使得特征圖尺度減半。然后在通過一個標準化層(LN，layer normalization)進行歸一化操作，最后通過一個全連接層將特征圖的通道數(shù)線性變換為原來的一半。原特征圖經(jīng)過圖塊拼接層后，寬和高會減半，通道數(shù)翻倍，隨著網(wǎng)絡層次的加深，節(jié)點的感受野也在不斷擴大。

Swin Transformer 模塊中的W-MSA層是使用從左上角像素開始的常規(guī)窗口劃分策略。如圖2(c)所示，其包括窗口分割(window partition)模塊、窗口重組(window reverse)模塊和MSA模塊。其中窗口分割模塊用于將輸入的特征圖分割為多個M×M相鄰像素的互不重疊的獨立窗口；窗口重組模塊用于對每個獨立窗口的Multi-head自注意力特征進行還原拼接為完整的Multi-head自注意力特征圖；MSA模塊用于對每個獨立窗口分別進行Multi-head的縮放點積注意力計算，步驟包括：對每個獨立窗口的圖塊向量在通道維度進行線性變換，使通道數(shù)增加兩倍，同時在特征維度上分割為h個子空間(h為注意力head的個數(shù))；通過h個不同的參數(shù)矩陣WQ、WK、WV分別在h個子空間中對每個像素的查詢Q(Query)、鍵K(Key)和權重V(Value)進行線性變換，并進行縮放點積注意力計算；將h個計算結果通過可學習的權重矩陣WO進行拼接融合，以聯(lián)合來自不同子空間中學習到的特征信息，得到Multi-head自注意力特征[18]。其中，第i個注意力頭的縮放點積注意力計算結果headi的表達式如式(1)所示：

(1)

(2)

式(2)中，Q,K,V∈M2×d，QKT是不同特征進行信息交互的過程，采用點積來計算不同特征之間的相似度；除以進行縮放操作能保證梯度的穩(wěn)定性；同時，在每一個headi中添加可學習的相對位置編碼B∈M2×M2。Multi-head自注意力特征的拼接融合表達式如式(3)所示。

MultiHead(Q,K,V)=Concat(head1,…,headh)Wo

(3)

為了實現(xiàn)不重疊窗口之間的信息傳遞，可使用SW-MSA的方式重新計算窗口偏移之后的自注意力，讓模型能夠學習到跨窗口的信息。如圖2(c)所示,SW-MSA中使用了循環(huán)移位(Cyclic Shift)的方法，即通過將特征圖最上面的M/2行(M是每個劃分窗口的尺寸)像素移動到最下面，再將最左邊的M/2列像素移動到最右邊,再使用W-MSA劃分窗口的方法將重組的特征圖劃分為不重疊的窗口；然后通過掩碼機制，將每個窗口內來自不相鄰區(qū)域的像素點之間的權重系數(shù)置為0，隔離原特征圖中不相鄰區(qū)域的像素點之間無效的信息交流，以此將自注意力計算限制在每個子窗口內；最后再通過反向循環(huán)移位(reverse cyclic shift)操作還原特征圖的相對位置。

圖2 Swin Transformer模塊結構圖

圖4 C3-Ghost 模塊

2.2 C3-Ghost模塊

在深層神經(jīng)網(wǎng)絡的特征映射中，豐富甚至冗余的信息往往保證了對輸入數(shù)據(jù)的全面理解。部分冗余的特征可能是深層神經(jīng)網(wǎng)絡有效的一個重要原因。Ghost模塊能以一種高效的方式獲得這些冗余的特征[19]。本文提出C3-Ghost模塊, 如圖3所示，基于Ghost Bottleneck對YOLOv5的C3模塊進行改進, 旨在通過低成本的操作生成更多有價值的冗余特征圖, 有效的提升網(wǎng)絡性能。

Ghost模塊將普通卷積層拆分為兩部分，首先使用若干個1×1的卷積核進行逐點卷積，生成輸入特征的固有特征圖，然后用逐層卷積進行一系列線性變換來高效地生成冗余特征圖，再將冗余特征圖和固有特征圖進行拼接，得到和普通卷積結果具有相似作用的特征圖，如圖3所示。與普通卷積操作相比，Ghost模塊在不改變輸出特征尺寸和維度的情況下能有效減少模型參數(shù)和計算復雜度。

圖3 Ghost模塊

本文設計的C3-Ghost模塊使用Ghost Bottlenecks結構來替代原始C3模塊的Bottlenecks結構，Ghost Bottlenecks的本質是用Ghost模塊代替Bottlenecks結構里面的普通卷積。如圖4所示，第一層Ghost模塊用于增加通道數(shù)量，從而增加特征維度，第二層Ghost模塊用于減少特征維度使其適配殘差連接，將輸入與輸出相加。引入批量歸一化(BN，batch normalization)盡可能保證每一層網(wǎng)絡的輸入具有相同的分布[20]，引入具有稀疏性的ReLu激活函數(shù)能避免反向傳播的梯度消失現(xiàn)象，第二層Ghost模塊后沒有使用ReLu激活函數(shù)是因為ReLU負半軸存在的硬飽和置0會使其輸出數(shù)據(jù)分布不為零均值而導致神經(jīng)元失活，從而降低網(wǎng)絡的性能[21]。

2.3 新型跨尺度特征融合模塊

在目標檢測任務中，融合不同尺度的特征是提高性能的一個重要手段。目前已有的特征融合網(wǎng)絡有PANet[22]、FPN[23]、BiFPN[24]等。YOLOv5使用FPN+PANet結構將高層特征豐富的語義信息和低層特征豐富的細節(jié)信息相互融合，如圖5(a)所示。

考慮到加權雙向特征金字塔網(wǎng)絡(BiFPN,bi-directional feature pyramid network)[24]的結構優(yōu)勢，本文提出將BiFPN的思想應用到YOLOv5的多尺度特征融合部分，通過添加橫向跳躍連接，即在處于同一層級的原始輸入和輸出節(jié)點之間添加一條新的融合路線，如圖5(b)所示，在原始YOLOv5特征跨尺度融合模塊基礎上添加沿著兩條虛線的特征融合路線，用較少的成本使得同層級上的特征圖能夠共享彼此的語義信息，加強特征融合以提高模型精度。

圖5 不同特征融合模塊的對比

2.4 改進先驗錨框尺寸

在模型訓練中，先驗錨框尺寸越接近真實邊界框，模型將會越容易收斂，其預測邊界框也會更加接近真實邊界框。原始YOLOv5模型中預設了匹配COCO數(shù)據(jù)集的錨框，但本文使用的安全帽數(shù)據(jù)集的邊界框具有類型單一、邊界框尺寸比較集中的特點，預設的錨點不能合理地直接應用。因此本文提出使用K-means++對安全帽數(shù)據(jù)集的邊界框進行聚類分析，找到12個聚類中心的邊界框作為先驗錨框參數(shù)的值，并將其匹配到相應的特征檢測層，使模型能夠更快收斂。

由于卷積神經(jīng)網(wǎng)絡具有平移等變性[25]，因而只需要通過K-means++對邊界框的寬高進行聚類，不用考慮邊界框位置的影響。首先通過輪盤賭算法依據(jù)概率大小選擇初始聚類中心，然后依次計算每個邊界框與初始聚類中心的距離，按照距離大小對邊界框進行劃分聚類，再更新聚類中心，直到在連續(xù)迭代中聚類中心位置穩(wěn)定。在距離度量上，采用式(4)代替標準K-means++中使用的歐氏距離：

(4)

其中:Boxi為第i個真實邊界框的面積，Centerj為第j個聚類中心的面積，n為真實邊界框總數(shù)，k為聚類中心個數(shù)，本文YOLOv5有4個不同尺度的特征檢測層,每層分配3個先驗錨框，故k=12。

由于安全帽邊界框尺寸較為集中，為了更好的發(fā)揮YOLOv5算法的多尺度目標檢測能力，將對K-means++聚類所得的先驗錨框尺寸進行線性變換操作[26]，如式(5)所示。

(5)

本文使用上述算法所設計的先驗錨框尺寸如表1所示。最佳可能召回率(BPR，best possible recalls)是衡量先驗錨框和真實邊界框匹配程度的指標，定義為一個檢測器最多能召回的真實邊界框數(shù)量與真實邊界框總數(shù)之比[27]。在訓練期間，如果一個真實邊界框被分配給至少一個先驗錨框，則認為該真實邊界框被召回。BRP的最大值為1并且越接近越好。在本文改進的先驗錨框下計算所得的BPR值為0.999，表明本文所設的先驗錨框和安全帽數(shù)據(jù)集的真實邊界框具有很好的匹配程度。

表1 改進先驗錨框尺寸

像素

特征圖尺寸先驗錨框尺寸小(5,7)(6,8)(9,11)中等(12,14)(15,18)(20,24)大(26,31)(35,41)(49,56)最大(69,78)(105,122)(190,225)

3 實驗結果與分析

3.1 實驗環(huán)境

本實驗使用Pytorch 1.9.1深度學習框架、python3.6環(huán)境,操作系統(tǒng)為Window10，CPU型號為英特爾Core i9-9820X、128 GB內存、24 GB顯存的NVIDIA TITAN RTX顯卡的設備上完成訓練,NVIDIA驅動版本為456.71，并行計算架構CUDA版本為10.0.130，深度學習加速庫CUDNN版本為7.6.5。

在訓練過程中，設置最大迭代次數(shù)為200個epochs，采用SGD優(yōu)化器,動量因子為0.937，權重衰減系數(shù)為0.000 5，初始學習率為0.01,初始階段使用warmup預熱學習率，前3個epochs采用一維線性插值調整學習率，隨后使用余弦退火算法更新學習率。

3.2 數(shù)據(jù)集

為了驗證本文改進網(wǎng)絡的優(yōu)越性，實驗使用了開源安全帽佩戴檢測數(shù)據(jù)集(SHWD，safety helmet wearing detect dataset)進行驗證。SHWD提供7 581張圖像，其中包括9 044個佩戴安全帽的正樣本人物頭像和111 514個未佩戴安全帽的負樣本人物頭像。本文以訓練集：測試集=9：1的比例劃分數(shù)據(jù)集，其中訓練集有2 916張正樣本圖像和3 905張負樣本圖像，測試集有325張正樣本圖像和435張負樣本圖像。

3.3 評價指標

在目標檢測領域常采用精確度(P，precision)、召回率(R，recall)、平均精確度(AP，average precision)、平均精確度均值(mAP，mean Average Precision)、每秒傳輸幀數(shù)(FPS，frames per second)指標來評估模型性能。計算公式如式(6)～(9)所示。

(6)

(7)

(8)

(9)

式(9)中，n表示類別總數(shù)。AP用于衡量模型對某一類別的平均精度，mAP是所有類別的平均AP值。其中，真正例(TP，true positive)、假正例(FP，false positive)、真反例(TN，true negative)和假反例(FN，false negative)的混淆矩陣如表2所示。

表2 各指標的混淆矩陣

3.4 實驗結果與分析

本實驗使用具有4個檢測尺度的YOLOv5作為基準模型，其是在標準模型的基礎上將更低層級的特征圖引入到特征融合網(wǎng)絡中，使得特征融合網(wǎng)絡能更有效地捕獲更豐富的細節(jié)信息，從而提高小目標檢測精度。實驗結果如表3所示，其中mAP@.5是IoU閾值為0.5的情況下每一類別的AP值的平均；mAP@.5:.95表示IoU閾值從0.5開始、以0.05的步長增長到0.95所對應的平均mAP。表3中，“C3-Ghost”是指使用本文所設計的C3-Ghost模塊替代基準YOLOv5特征融合網(wǎng)絡中的C3模塊；“新型跨尺度特征融合”是指使用本文提出的新型跨尺度特征融合模塊替代基準YOLOv5的特征融合網(wǎng)絡；“Swin Transformer”是指使用Swin Transformer替代基準YOLOv5的骨干網(wǎng)絡的模型。

由表3可知，YOLOv5基準模型的參數(shù)量為7.17×106，YOLOv5+C3-Ghost模型參數(shù)量為6.14×106，在保持mAP@.5:.95值幾乎不變的情況下，YOLOv5+C3-Ghost的參數(shù)量相比于基準YOLOv5減少了14.4%，證明本文所設計的C3-Ghost模塊能有效減少模型參數(shù)。YOLOv5+新型跨尺度特征融合在mAP@.5:.95指標上相比基準YOLOv5提高了0.6個百分點。YOLOv5+Swin Transformer相比基準YOLOv5模型，在mAP@.5:.95指標上提升了2.1個百分點。YOLOv5+Swin Transformer+C3-Ghost在mAP@.5:.95指標上相比YOLOv5基準模型提升了1.9個百分點。表3中“本文改進算法”是本文提出的改進YOLOv5網(wǎng)絡模型，其具備Swin Transformer強大的特征提取能力外，既有C3-Ghost模塊帶來的輕便性，又有新型跨尺度特征融合加強特征融合帶來的高準確率，從表3中可以看出本文所提出的改進YOLOv5網(wǎng)絡模型相比基準YOLOv5網(wǎng)絡模型，在mAP@.5:.95指標上提升了2.3個百分點，較基準模型具有顯著提升。

為了驗證本文改進算法的有效性，本文使用以resnet50為骨干網(wǎng)絡的兩階段目標檢測網(wǎng)絡Faster RCNN和以vgg為骨干網(wǎng)絡的單階段目標檢測網(wǎng)絡SSD進行對比。從表3可以看出，本文所使用的改進YOLOv5模型在安全帽檢測任務上的mAP@.5:.95值55.2%遠高于Faster RCNN的mAP@.5:.95值37.2%以及SSD的mAP@.5:.95值37.2%。

值得說明的是，YOLOv5單獨融合Swin Transformer模塊和融合Swin Transformer+C3-Ghost模塊的算法相比于本文改進算法，在mAP@.5:.95指標上分別減少了0.2%和0.4%。本文認為,Swin Transformer模塊作為骨干網(wǎng)絡能有效提取圖像初步抽象的、細節(jié)性的特征，而本文設計的新型跨尺度特征融合模塊能更有效的融合來自Swin Transformer淺層特征豐富的紋理信息和深層特征豐富的語義信息，使得網(wǎng)絡更深層的頸部以及預測模塊的特征圖具有更豐富的高級語義信息，從而提高目標檢測精度。

FPS指標用于評估模型每秒處理的圖像幀數(shù)。本文在施工現(xiàn)場監(jiān)控中截取一段視頻進行檢測，如表3所示，可以看出，本文改進算法檢測速度達到每秒35.2幀，能夠達到實時檢測的效果。由于Swin Transformer網(wǎng)絡較高的計算復雜度而導致其FPS低于基準YOLOv5，但仍高于Faster RCNN和SSD每秒能處理的圖像幀數(shù)。

為了更直觀地展示出改進YOLOv5模型的優(yōu)勢，本文使用改進前后的YOLOv5模型進行檢測，如圖6所示，其中正確佩戴安全帽的施工人員上方顯示“hat”標簽，未佩戴安全帽的施工人員上方顯示“no-hat”標簽。圖6(a)中，原始YOLOv5模型漏檢了一個被施工設備遮擋的未佩戴安全帽的施工人員，而改進后的YOLOv5模型則可以正確檢測出來,如圖6(b)所示。圖6(c)中，原始YOLOv5模型錯誤地將控制施工設備的圓形控制器判斷為未佩戴安全帽的施工人員，而改進后的YOLOv5模型則可以得到正確的結果,如圖6(d)所示。圖6(e)是在弱光照下的檢測效果，可以看出原始YOLOv5模型漏檢了一個佩戴安全帽的施工人員，而改進后的YOLOv5模型則具有較好的表現(xiàn)，如圖6(f)所示，能正確檢測出光照不充足的圖像中的目標。由上述檢測對比可知，本文改進后的YOLOv5模型能有效解決施工現(xiàn)場安全帽佩戴檢測存在的遮擋目標檢測難度大、誤檢漏檢率高的問題，滿足復雜施工場景下安全帽佩戴檢測的準確率要求。

圖6 不同場景下原始模型和本文改進模型的檢測結果對比

表3 多種模型實驗結果對比

4 結束語

針對目前施工現(xiàn)場的安全帽檢測方法存在遮擋目標檢測難度大、誤檢漏檢率高的問題，本文提出一種改進YOLOv5的安全帽佩戴檢測方法。通過將Swin Transformer作為YOLOv5的骨干網(wǎng)絡，能夠有效結合Swin Transformer強大的特征提取能力和YOLOv5單階段目標檢測算法高效推理速度的優(yōu)勢。實驗結果表明本文改進算法在安全帽檢測任務上的mAP@.5:.95指標提升了2.3%，每秒檢測圖片的幀數(shù)達到35.2幀，能夠達到實時檢測的效果，滿足復雜施工場景下安全帽佩戴檢測的準確率和實時性要求。下一步的工作是繼續(xù)研究如何在保持精準度的情況下，減少網(wǎng)絡模型參數(shù)量以及提升檢測速率。