復(fù)雜場景下的改進YOLOv8n安全帽佩戴檢測算法

雷源毅, 朱文球, 廖 歡

(湖南工業(yè)大學(xué)計算機學(xué)院, 湖南 株洲 412007)

0 引言(Introduction)

由于建筑行業(yè)施工環(huán)境復(fù)雜,高空物體墜落的傷害風(fēng)險高,因此要求工人在施工現(xiàn)場佩戴安全帽,最大限度地降低工人被墜落物體傷害的風(fēng)險,保護工人的生命安全。目前,用于工地經(jīng)典的目標檢測算法分為兩種,即一階段目標檢測算法和兩階段目標檢測算法。一階段目標檢測算法包括YOLO系列算法[1]、SSD(單激發(fā)多框檢測)算法[2]等。兩階段目標檢測算法包括R-CNN[3](基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò))、Faster R-CNN[4]、Mask R-CNN等。YOLO系列算法是目前為止發(fā)展最快、最好的算法,尤其是2023年發(fā)布的最新的YOLOv8算法,達到了目前為止最高的檢測準確率。然而,YOLO雖然檢測全尺寸的目標效果較好,但是當(dāng)目標為具有不同尺寸的特殊場景時,其性能不如當(dāng)前的一些小尺寸目標檢測算法。工地安全帽目標的尺寸較小,使得檢測器很難準確、全面地提取其特征,并且當(dāng)前各種算法對小物體的檢測準確率普遍較低。

1 相關(guān)研究(Related research)

安全帽圖像具有目標分布密集、目標尺度變化大及背景復(fù)雜等特點,給安全帽佩戴檢測帶來了很大的難度。孫國棟等[5]通過在Faster R-CNN中添加自注意力機制獲取多尺度的全局信息,強化網(wǎng)絡(luò)對小目標的表達信息,但該方法的檢測速度較低。許凱等[6]使用參數(shù)量較少的輕量化模型YOLOv3-tiny,采用增加網(wǎng)絡(luò)層數(shù)、添加注意力機制到特征金字塔中的方法,減少噪音等冗余信息對安全帽檢測結(jié)果的影響,但在密集情況下,出現(xiàn)較多漏檢情況。杜曉剛等[7]在YOLOv5的基礎(chǔ)上選擇性能更好的Swin Transformer作為主干網(wǎng)絡(luò),提取更深層次的語義信息,捕獲更多的安全帽細節(jié)特征,但在顏色相同情況下存在誤檢問題。趙敏等[8]通過在YOLOv7-tiny的基礎(chǔ)上設(shè)計參數(shù)量更少的tiny-BiFPN結(jié)構(gòu),作為原模型特征融合模塊中的特征金字塔結(jié)構(gòu),增強模型多尺度特征融合,但在反光情況下漏檢較多。上述改進算法的檢測精度仍不夠準確,背景特征提取也不夠豐富,未能很好地解決建筑工地中小目標密集、安全帽和背部同色等場景下的漏檢、誤檢問題。針對這些問題,提出一種改進的RDCA-YOLO方法,該方法能夠提高建筑工地復(fù)雜場景中小目標的檢測精度,對正常尺度目標的檢測精度也有較大的提高,實現(xiàn)了工地工人安全帽佩戴的自動化檢測。

2 YOLOv8算法(YOLOv8 algorithm)

Ultralytics于2023年發(fā)布了YOLOv8算法,與之前的網(wǎng)絡(luò)相比,YOLOv8在減少網(wǎng)絡(luò)參數(shù)量的同時,提高了檢測精度和實時性。針對建筑工地實際場景,選擇一個輕量版本的YOLOv8n作為基礎(chǔ)網(wǎng)絡(luò)進行改進。YOLOv8的特點在于融合了許多實時目標檢測中優(yōu)異的技術(shù),仍然采用了YOLOv5中的CSP(跨階段局部網(wǎng)絡(luò))思想、特征融合方法(PAN-FPN)和SPPF模塊;其主要改進如下:(1)提供了全新的基準模型,包括分辨率為640×640的P5和分辨率為1 280×1 280的P6目標檢測網(wǎng)絡(luò)。為了滿足不同項目的需求,還基于與YOLOv5相似的比例系數(shù)設(shè)計了不同比例的模型。(2)在保留YOLOv5原有思想的前提下,參考YOLOv7中的ELAN(高效層聚合網(wǎng)絡(luò))結(jié)構(gòu)設(shè)計了C2f(跨階段局域網(wǎng)絡(luò)卷積塊)模塊。(3)檢測頭部分也采用了目前流行的方法,將分類頭和檢測頭分開,其他大部分仍然是基于YOLOv5的思想。(4)分類損失使用BCE損失(多標簽分類任務(wù)的損失函數(shù)),回歸損失的形式為CIoU損失函數(shù)。與以往的YOLO算法相比,YOLOv8具有很強的擴展性。

在YOLOv8n算法的基礎(chǔ)上,建立了一個RDCA-YOLO復(fù)雜建筑工地情況下的安全帽檢測模型。通過改進Backbone主干結(jié)構(gòu),在網(wǎng)絡(luò)中嵌入CBAM注意力機制,提出一種Coord-BiFPN結(jié)構(gòu),增強網(wǎng)絡(luò)的特征融合能力,設(shè)計了一種OD-C2f結(jié)構(gòu)代替head中的C2f組件,提出一種新的FR-DyHead檢測頭替換原始的Detect結(jié)構(gòu),其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示,該方法可以適應(yīng)建筑工地復(fù)雜場景,并獲得了更好的安全帽檢測精度。

圖1 RDCA-YOLO網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Diagram of RDCA-YOLO network structure

3 RDCA-YOLO安全帽檢測模型(RDCA-YOLO helmet detection model)

3.1 改進Backbone結(jié)構(gòu)

原始網(wǎng)絡(luò)中的主干網(wǎng)絡(luò)較為復(fù)雜,提取信息的能力較低,因此模型通過ResNet-18[9]網(wǎng)絡(luò)改進原有的Backbone結(jié)構(gòu),該網(wǎng)絡(luò)由一個卷積層和八個殘差塊組成,能夠大幅度提高模型的特征提取能力,殘差塊是組成網(wǎng)絡(luò)的基本結(jié)構(gòu),輸出如公式(1)所示:

y=F(x)+x

(1)

其中:F(·)表示殘差函數(shù),x和y分別表示輸入和輸出。網(wǎng)絡(luò)由17個卷積層、一個濾波器大小為3×3的最大池化層(max pooling)和一個全連接層組成。傳統(tǒng)的ResNet-18模型涉及3 316萬個參數(shù),其中ReLU激活函數(shù)和批量歸一化(Batch Normalization)應(yīng)用于整個卷積層的后面,ResNet-18結(jié)構(gòu)如表1所示。

表1 ResNet-18結(jié)構(gòu)表

3.2 注意力機制

通過在網(wǎng)絡(luò)中Head前嵌入CBAM注意力機制[10],使網(wǎng)絡(luò)更加關(guān)注感興趣的目標,CBAM原理圖如圖2所示,其中x表示中間變量。

圖2 CBAM原理圖Fig.2 Diagram of CBAM principle

通道注意力實現(xiàn)原理:輸入H×W×C的特征圖,H和W表示輸入圖像的高和寬,C表示通道數(shù),使用全局平均池化和最大平均池化收集空間信息,然后用兩個1×1的卷積(MLP,多層感知機)和Sigmoid激活函數(shù)獲得每個通道的權(quán)重,通道注意力模型結(jié)構(gòu)圖如圖3所示。

圖3 通道注意力模型結(jié)構(gòu)圖Fig.3 Diagram of channel attention model structure

空間注意力實現(xiàn)原理:首先對通道信息進行最大池化和平均池化操作,并將結(jié)果連接起來,其次由一個7×7的卷積和Sigmoid激活函數(shù)得到每個點的坐標權(quán)重,設(shè)置填充Padding為3,空間注意力模型結(jié)構(gòu)圖如圖4所示。

注意力模塊的計算方法如公式(2)和公式(3)所示,F為輸入特征矩陣,Mc(F)和Ms(F′)分別表示通道注意力和空間注意力所獲得的權(quán)重,?表示逐元素相乘,F′表示通道加權(quán)結(jié)果,F″表示CBAM的最終結(jié)果。

F′=F?Mc(F)

(2)

F″=F′?Ms(F′)

(3)

空間注意力模塊和通道注意力模塊的具體計算方法如公式(4)和公式(5)所示,fn×n表示一個n×n的卷積?！皑挕北硎酒唇硬僮?“+”表示逐元素求和。

(4)

(5)

3.3 Coord-BiFPN結(jié)構(gòu)

模型設(shè)計了一個Coord-BiFPN的頸部網(wǎng)絡(luò),融合添加了BiFPN[11]和CoordConv[12],增強了網(wǎng)絡(luò)的特征融合能力和特征映射的魯棒性。Coord-BiFPN的特點在于高效的雙向跨尺度連接和加權(quán)特征融合(圖5)。首先,從主干網(wǎng)絡(luò)輸入P1、P2、P3三個不同大小的特征圖,P1和P3的特征直接融合到輸出,這兩個階段中只有一個輸出邊緣,并且對合并不同的特征信息影響很小。其次,在P2層的輸出節(jié)點上添加一條額外的邊,融合更多特征的同時,也不會增加計算成本。最后,增加P3和P2的輸入層與P1的輸出層之間的連接,以獲得更高級別的特征融合。

圖5 Coord-BiFPN結(jié)構(gòu)圖Fig.5 Diagram of Coord-BiFPN structure

當(dāng)融合不同分辨率的特征時,通常的做法是將它們調(diào)整到相同的分辨率,然后將它們相加。然而,當(dāng)輸入特征出現(xiàn)變化時,它們的輸出特征的權(quán)重通常是不同的。向Coord-BiFPN的每個輸入添加額外的權(quán)重,讓網(wǎng)絡(luò)學(xué)習(xí)每個輸入特征的重要性,利用快速歸一化融合調(diào)整Coord-BiFPN中的權(quán)重,如公式(6)所示:

(6)

其中:wi為可學(xué)習(xí)的權(quán)重,并且通過在每個wi后應(yīng)用SiLU激活函數(shù)保證wi≥0,并且設(shè)置ε=0.000 1是為了防止值不穩(wěn)定,歸一化權(quán)重的每個值為0～1。Coord-BiFPN的每個模塊的輸出特征圖可以表示如下:

(7)

(8)

(9)

(10)

其中,w1和w2為對應(yīng)的權(quán)重。Coord-BiFPN在同一層的輸入和輸出特征之間增加了跳躍連接,由于尺度相同,因此增加跳躍連接可以更好地提取和傳遞特征信息。此外,使用加權(quán)特征融合可以融合不同分辨率的輸入層,不同分辨率的輸入層對應(yīng)的權(quán)重也不同。將改進后的雙向特征金字塔網(wǎng)絡(luò)Coord-BiFPN模塊引入特征融合部分,在不增加過多計算量的情況下,能夠更好地實現(xiàn)多尺度特征融合。各輸入層的權(quán)值參數(shù)通過網(wǎng)絡(luò)自動學(xué)習(xí),能更好地表示整體特征信息。

3.4 OD-C2f結(jié)構(gòu)

動態(tài)卷積[13]基于卷積層的輸入確定每個卷積核的權(quán)重,并且使用注意力機制對這些卷積核進行加權(quán)和求和,以獲得適合該輸入的動態(tài)卷積核,動態(tài)卷積輸出可以表示如下:

Output(y)=x×(α1W1+α2W2+…+αnWn)

(11)

其中:x和y分別表示輸入特征和輸出特征變量,αi(i=1,2,…,n)為注意力標量,n為卷積核數(shù)量,并且每個卷積核Wi(i=1,2,…,n)具有與標準卷積核相同的大小。

多維動態(tài)卷積ODConv利用多維注意力機制和并行策略,學(xué)習(xí)沿著內(nèi)核空間的所有四個維度的任何卷積層處卷積內(nèi)核的互補注意力。四個注意力為卷積核的輸入通道數(shù)量、卷積核的感受野、卷積核輸出通道數(shù)以及卷積核數(shù)量。這四個注意力相互補充,并且按照位置、通道、濾波器和內(nèi)核的順序與卷積內(nèi)核相乘,顯著增強了對上下文信息的捕獲,ODConv的輸出可以用公式(12)表示:

Output(y)=x×(αw1⊙αf1⊙αc1⊙αs1⊙W1+…+αwn⊙αfn⊙αcn⊙αsn⊙Wn)

(12)

公式(12)中αwi、αfi、αci、αsi(i=1,2,…,n)表示四種注意力,卷積核Wi(i=1,2,…,n)為變量,表示卷積核沿著空間中不同維度進行乘法運算。

RDCA-YOLO安全帽檢測模型在ODConv和C2f的基礎(chǔ)上提出了一種新的OD-C2f結(jié)構(gòu),將C2f的Bottleneck的普通卷積優(yōu)化為ODConv動態(tài)卷積,根據(jù)不同的輸入圖像數(shù)據(jù)自適應(yīng)調(diào)整卷積核,并針對性地提取安全帽的特征,顯著增強了模型的特征提取能力,加強了網(wǎng)絡(luò)的學(xué)習(xí)能力,提高了模型的識別精度,OD-C2f結(jié)構(gòu)如圖6所示。

圖6 OD-C2f結(jié)構(gòu)圖Fig.6 Diagram of OD-C2f structure

3.5 FR-DyHead檢測頭

在復(fù)雜的工地場景下,工人安全帽佩戴檢測面臨位置變化、角度切換、尺度變化的挑戰(zhàn)。YOLOv8n的檢測頭不能很好地收集并融合多尺度信息、空間信息和任務(wù)信息。研究人員嘗試改進已有目標檢測器的檢測頭,以增強模型性能,導(dǎo)致不同的檢測頭對應(yīng)不同對象檢測器。然而,還沒有一種方法可以標準化檢測頭的結(jié)構(gòu)。

良好的目標檢測頭應(yīng)該具有三種能力。一是尺度感知能力。圖像中往往存在多個不同尺度的物體,一些物體檢測器使用特征金字塔網(wǎng)絡(luò)增強模型的尺度感知,但并不能提高檢測頭本身的尺度感知。二是空間感知能力。在不同的視點下,物體會發(fā)生變形和旋轉(zhuǎn),其輪廓和位置也會發(fā)生變化。增強空間感知能力可以使檢測器具有更強的泛化能力。三是任務(wù)感知能力。由于待檢測對象可以用不同的形式(錨框、中心點、角點)表示,這使得相應(yīng)的檢測頭具有不同的結(jié)構(gòu)和損失函數(shù),增強模型的任務(wù)感知能力可以使模型檢測不同形式的對象。FR-DyHead通過在每個維度使用三種不同的注意力機制進行統(tǒng)一分別為特征圖、空間和通道三種感知,從而使模型能夠以更深的尺度關(guān)注信息。動態(tài)檢測頭DyHead[14]是一個新穎的動態(tài)檢測頭結(jié)構(gòu),它使用了多個注意力。本研究在動態(tài)頭DyHead的基礎(chǔ)上設(shè)計了FR-DyHead檢測頭,運用FReLU[15]激活函數(shù)替換原有的ReLU激活函數(shù),增強了模型對目標檢測任務(wù)的適應(yīng)性,提高了檢測的精確度。改進的FR-DyHead結(jié)構(gòu)如圖7所示。

圖7 FR-DyHead結(jié)構(gòu)圖Fig.7 Diagram of FR-DyHead structure

圖7中,πL是尺度感知注意力;πS是空間感知注意力;πC是任務(wù)感知注意力;offset表示偏移量;(1,0,0,0)為超參數(shù),用于控制激活閾值。

4 實驗環(huán)境配置及數(shù)據(jù)準備(Experimental environment setting and data preparation)

4.1 實驗環(huán)境部署

模型基于PyTorch框架,使用GPU進行訓(xùn)練,實驗所使用的GPU為NVIDIA GTX 2070,CUDA版本11.1,PyTorch版本1.7.1,Python版本3.7,CPU為i5-9400F,操作系統(tǒng)為Windows 10家庭中文版。

4.2 數(shù)據(jù)準備

實驗所用安全帽數(shù)據(jù)集為GDUT-HWD,該數(shù)據(jù)集共有3 174張圖像,實驗分別以7∶2∶1的比例將圖片劃分為訓(xùn)練集、驗證集和測試集,共包含18 893個對象,包括建筑工地常見的大部分場景,代表性和廣泛性較強。所有對象實例根據(jù)安全帽的顏色分為藍色、白色、黃色、紅色和無類別,不同顏色代表不同人員的工作屬性,無類別表示個人未戴安全帽,共5個類別。設(shè)置實驗迭代次數(shù)為200次,訓(xùn)練批次為8,學(xué)習(xí)率為0.01,優(yōu)化器為SGD,decay(學(xué)習(xí)率衰減因子)為0.000 5。

4.3 評價指標

評估網(wǎng)絡(luò)性能的指標主要有準確率(Precision,P),召回率(Recall,R),平均準確率(Average Precision,AP),平均準確率均值(mean Average Precision,mAP),計算方法如公式(13)和公式(14)所示:

(13)

(14)

其中:TP為預(yù)測正確的正樣本數(shù)量,FP為預(yù)測錯誤的正樣本數(shù),FN為預(yù)測錯誤的負樣本數(shù)。模型使用mAP@0.5作為評估模型準確性的指標,表示將IoU(Intersection over Union)閾值取50%時的mAP值,通過平均每個類別的AP計算得到,計算方法如公式(15)和公式(16)所示。

(15)

(16)

5 實驗結(jié)果與分析(Experimental results and analysis)

5.1 消融實驗和對比實驗

針對GDUT-HWD數(shù)據(jù)集設(shè)計消融實驗,均采用“4.2”小節(jié)中的實驗參數(shù),本文方法在GDUT-HWD數(shù)據(jù)集的消融實驗結(jié)果比較如表2所示。其中:模型2表示改進Backbone結(jié)構(gòu),模型3表示嵌入CBAM注意力機制,模型4表示設(shè)計一種Coord-BiFPN結(jié)構(gòu),模型5表示在動態(tài)卷積的基礎(chǔ)上設(shè)計了OD-C2f結(jié)構(gòu),模型6表示提出了一種新的FR-DyHead檢測頭替換原始的Detect結(jié)構(gòu)。從表2中的數(shù)據(jù)可以看出,與原YOLOv8n算法相比,本文模型的mAP提高了2.6%。

表2 本文方法在GDUT-HWD數(shù)據(jù)集的消融實驗結(jié)果比較

為驗證改進模型的有效性,采用相同的驗證集做了相關(guān)對比實驗,將其與目前主流的目標檢測算法進行對比,不同算法在GDUT-HWD數(shù)據(jù)集的檢測結(jié)果比較如表3所示,表明改進后的方法獲得了最優(yōu)的mAP值。

表3 不同算法在GDUT-HWD數(shù)據(jù)集的檢測結(jié)果比較

5.2 改進前后檢測效果對比

為更加直觀地評價改進前后的效果,使用GDUT-HWD數(shù)據(jù)集中部分圖片進行測試。對比圖8(a)、圖8(b)可以看出,YOLOv8n在密集目標場景下存在1處漏檢,沒有將圖中遠處的紅色安全帽檢測到。對比圖8(c)、圖8(d)可以看出,YOLOv8n在小目標場景下存在誤檢,將圖中欄桿誤檢為紅色安全帽。對比圖8(e)、圖8(f)可以看出,YOLOv8n在反光場景下存在漏檢,沒有將圖中的白色安全帽檢測到。對比圖8(g)、圖8(h)可以看出,YOLOv8n在黑暗場景下存在漏檢,沒有將圖中沒戴安全帽的人員情況檢測到?？梢钥闯?改進后的模型檢測準確率更高,檢測性能明顯提升。

(a)YOLOv8n密集場景下檢測結(jié)果

6 結(jié)論(Conclusion)

針對復(fù)雜工地場景下安全帽檢測存在的模型識別精度低易出現(xiàn)漏檢以及誤檢等問題。相比于原始的YOLOv8n模型,RDCA-YOLO模型在GDUT-HWD數(shù)據(jù)集上的mAP提升了2.6%、R提高了2.5%,證明本文所提方法在工人安全帽佩戴檢測中有效,與其他目標檢測模型相比具有顯著優(yōu)勢,實現(xiàn)了工地工人安全帽佩戴的自動化檢測。