基于改進(jìn)SSD的口罩佩戴檢測算法

林思海

關(guān)鍵詞：口罩檢測；SSD；SeNet；ResNet；特征融合；數(shù)據(jù)增強(qiáng)

新型冠狀病毒是人類面臨的第三次冠狀病毒大流行。2020年1月30日WHO宣布新冠肺炎疫情構(gòu)成國際關(guān)注的突發(fā)公共衛(wèi)生事件。2020年3月13日，WHO評(píng)估認(rèn)為新冠肺炎可被定為大流行病[1]。

新冠疫情期間，佩戴口罩成為出入公共場合的行為規(guī)范。在機(jī)場、地鐵站、醫(yī)院等公共服務(wù)和重點(diǎn)機(jī)構(gòu)場所規(guī)定需要佩戴口罩，口罩佩戴檢查已成為疫情防控的必備操作[2]。本文提出一種基于深度學(xué)習(xí)的復(fù)雜場景下口罩佩戴實(shí)時(shí)檢測算法。與人工現(xiàn)場監(jiān)督相比，基于深度學(xué)習(xí)的監(jiān)督系統(tǒng)不需要管理人員實(shí)時(shí)監(jiān)控和與人流密切接觸。同時(shí)少量的管理人員即可在管理中心通過多塊監(jiān)視器管理大片區(qū)域，不僅提高了效率，還減少了管理人員與人流的長時(shí)間接觸。

目前，主流的目標(biāo)檢測算法分為兩階段（twostage）方法如R-CNN[3]算法及其變體與一階段（onestage）方法如SSD[4]和YOLO[5]。目前已有許多優(yōu)秀的研究基于上述算法框架進(jìn)行改進(jìn)。張潔等基于Faster R-CNN框架，通過結(jié)合k-means++算法對(duì)標(biāo)注人頭檢測框進(jìn)行聚類[6]，并優(yōu)化原模型非極大值抑制（non-maximum suppression）[7]算法懲罰函數(shù)剔除無效人頭預(yù)測框，改善行人之間由于遮擋導(dǎo)致的召回率低的問題。董艷花等人基于ResNet[8]殘差結(jié)構(gòu)加深網(wǎng)絡(luò)的思想在SSD 網(wǎng)絡(luò)的定位分類前添加殘差結(jié)構(gòu)，將特征提取網(wǎng)絡(luò)和分類定位層進(jìn)行分離，進(jìn)而使得進(jìn)入分類定位層的卷積特征更加抽象，有效解決SSD網(wǎng)絡(luò)同時(shí)學(xué)習(xí)局部信息和高層信息雙重任務(wù)的問題，維護(hù)特征提取網(wǎng)絡(luò)的穩(wěn)定性[9]。曾成等對(duì)YOLOv3框架的特征金字塔框架進(jìn)行重構(gòu)。通過增大尺寸和增加先驗(yàn)框數(shù)量[10]，降低神經(jīng)網(wǎng)絡(luò)感受野，以此增強(qiáng)網(wǎng)絡(luò)對(duì)小目標(biāo)的敏感度。

1 改進(jìn)SSD 算法

1.1 ResNet-B SSD 算法網(wǎng)絡(luò)整體結(jié)構(gòu)

本文提出的基于SSD改進(jìn)的口罩佩戴檢測算法（ResNet50-Bidirectional Attention Feature Fusion SSD） 的網(wǎng)絡(luò)整體結(jié)構(gòu)如圖1所示：

首先，使用ResNet50替換原有的VGG-16特征提取網(wǎng)絡(luò)，并將Conv4_x中Block1的第一個(gè)卷積核與捷徑分支上的卷積核的步長由原先的2調(diào)整為1；其次，為了豐富中低層特征圖的語義信息，針對(duì)中間三層特征圖提出BAFF（Bidirectional Attention Feature Fu?sion） ，將臨近的低層特征信息跨層與臨近高層抽象語義信息相融合，然后，與本層特征相融合后經(jīng)過SeNet[11]進(jìn)行預(yù)測；最后，第一層與最后兩層直接通過非極大值抑制（Non-Maximum Suppression） 進(jìn)行預(yù)測，總共生成6個(gè)有效特征圖進(jìn)行目標(biāo)檢測。

1.2 ResNet50 SSD 特征提取網(wǎng)絡(luò)

本文選取ResNet50作為骨干網(wǎng)絡(luò)，相比原先的VGG-16特征提取網(wǎng)絡(luò)，ResNet50由于其使用跨層連接的思想，使得網(wǎng)絡(luò)層數(shù)更深的同時(shí)不容易發(fā)生梯度爆炸與梯度消失，能夠更好地提取圖像信息。

首先，將輸入尺寸為300X300 的RGB 對(duì)訓(xùn)練圖像，經(jīng)過前三個(gè)模塊后得到38X38的特征圖Conv3_x。然后，通過SeNet對(duì)預(yù)測特征層的通道進(jìn)行權(quán)重分配，得到第一個(gè)預(yù)測特征層Con4_x，同時(shí)將Bolck1中步距全部修改為1。對(duì)于額外添加層，其由卷積、批量歸一化、Relu激活函數(shù)、卷積、批量歸一化、Relu激活函數(shù)構(gòu)成。最后，將Conv4_x和5個(gè)額外添加層作為6個(gè)預(yù)測特征層，通過非極大值抑制算法（Non-MaximumSuppression） 對(duì)結(jié)果進(jìn)行預(yù)測。

1.3 BAFF 特征融合機(jī)制

本文提出一種將注意力機(jī)制與特征融合相結(jié)合的特征強(qiáng)化模塊BAFF（Bidirectional Attention Feature Fu?sion）。對(duì)于預(yù)測特征層的中間三層使用BAFF模塊強(qiáng)化輸出特征圖的表征能力。首先，將上一層與下一層的特征圖經(jīng)過1X1的卷積操作，將通道數(shù)調(diào)整到與本層通道數(shù)一致。然后，對(duì)上層特征圖進(jìn)行尺寸為3×3，步距為2，padding為1的卷積操作；對(duì)下層特征圖進(jìn)行尺寸為3×3步距為2的轉(zhuǎn)置卷積操作。將高層與低層的特征圖調(diào)整到本層的尺度后，通過簡單的注意力機(jī)制分別為其添加權(quán)重，以此來調(diào)整上下一層對(duì)本層特征圖的調(diào)優(yōu)結(jié)果。最后，將上下兩層相加后與本層特征圖進(jìn)行融合，輸入SENet網(wǎng)絡(luò)后得到新的預(yù)測特征圖。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)環(huán)境與評(píng)價(jià)指標(biāo)

本實(shí)驗(yàn)在Windows10操作系統(tǒng)上運(yùn)行，內(nèi)存容量32G，處理器為AMD Ryzen 7 5800X3D，GPU顯卡型號(hào)為3090ti，顯存容量為24G，使用CUDA11.3以及Cudnn 驅(qū)動(dòng)加速計(jì)算機(jī)的運(yùn)行，在Pytorch深度學(xué)習(xí)框架上完成模型的搭建、訓(xùn)練以及測試。

實(shí)驗(yàn)采用COCO評(píng)價(jià)指標(biāo)。首先單獨(dú)計(jì)算0.5到0.95每間隔0.5依次計(jì)算每個(gè)IoU（交并比）對(duì)應(yīng)各個(gè)類別的平均精度值（Average Precision，AP） 后，對(duì)10個(gè)IOU值對(duì)應(yīng)的平均精度取平均值，這是評(píng)估檢測效果的重要指標(biāo)。最后取各個(gè)類別AP的平均值，得到平均精度均值（mean Average Precision，mAP） 用于評(píng)估目標(biāo)檢測模型的精度，避免某些類別極端化而弱化了其他類別的性能，計(jì)算公式如下所示：

2.2 數(shù)據(jù)集

本文選用百度飛槳上的口罩佩戴數(shù)據(jù)集及自行采集標(biāo)注的數(shù)據(jù)，總計(jì)2707張圖像。本文采用8：2的比例劃分訓(xùn)練集和測試集，其中訓(xùn)練集包含2166張圖片，測試集包含541張圖片。

2.3 實(shí)驗(yàn)結(jié)果與分析

訓(xùn)練過程中采用訓(xùn)練集中的20%作為驗(yàn)證集，優(yōu)化器為Adam，初始學(xué)習(xí)率與權(quán)重衰減系數(shù)為0.0005。每15 訓(xùn)練輪次更新一次權(quán)重，更新系數(shù)gamma 為0.55，總計(jì)訓(xùn)練200輪。訓(xùn)練批量大小為16。選用骨干網(wǎng)絡(luò)為VGG16的SSD、Faster R-CNN算法與本文算法進(jìn)行比較，結(jié)果如表1所示。

由表1可知，本文算法優(yōu)于上述兩種一階段與二階段的經(jīng)典算法。特別是在IOU為0.75與0.50：0.95 下提升明顯。主要的原因有兩點(diǎn)：首先采用了網(wǎng)絡(luò)層次更深、特征提取能力更強(qiáng)的RestNet50 骨干網(wǎng)絡(luò)。使得網(wǎng)絡(luò)對(duì)輸入圖像提取的圖形與語義信息更加豐富。其次本文算法結(jié)合注意力機(jī)制與特征融合，對(duì)中間三層結(jié)合上下層進(jìn)行特征融合，在特征融合時(shí)進(jìn)行權(quán)重分配，提高預(yù)測效果好的特征層的權(quán)重，降低預(yù)測效果差的特征層的權(quán)重，以此達(dá)到彌補(bǔ)低層預(yù)測特征層語義信息不足和高層分辨率低對(duì)細(xì)節(jié)感知能力較差的缺點(diǎn)。對(duì)于上述兩點(diǎn)原因，本文進(jìn)行了消融實(shí)驗(yàn)證明兩者對(duì)網(wǎng)絡(luò)性能的影響。實(shí)驗(yàn)結(jié)果如表2所示：

SSD算法與本文改進(jìn)算法檢測效果對(duì)比圖如圖3 所示。由效果圖可知針對(duì)遠(yuǎn)處以及較小人臉，本文算法相比原始算法具有更高的檢測精度和更低的漏檢率。

3 結(jié)束語

本文提出了一種基于SSD改進(jìn)的口罩佩戴檢測算法。首先使用網(wǎng)絡(luò)層次更深、特征提取能力更強(qiáng)的ResNet50替換原有算法的VGG16作為骨干網(wǎng)絡(luò)。同時(shí)針對(duì)原始SSD算法多個(gè)預(yù)測特征層信息交互能力較弱的問題，提出BAFF特征融合機(jī)制。實(shí)驗(yàn)證明，本文提出的算法在百度飛槳上的行人口罩佩戴數(shù)據(jù)集上有良好的表現(xiàn)能力。改進(jìn)后的算法在訓(xùn)練數(shù)據(jù)集上較原有算法的評(píng)價(jià)精度在IOU 為0.5、0.75、0.50：0.95下分別提升4.1%、9.9%、5.3%。