自然環(huán)境下實時人臉口罩檢測與規(guī)范佩戴識別

丁 培，阿里甫·庫爾班，耿麗婷，韓文軒

新疆大學 軟件學院，烏魯木齊830046

自2019年12月新冠疫情在全球范圍內(nèi)爆發(fā)以來，人類的健康面臨著持續(xù)的威脅，生活受到巨大的影響。新型冠狀病毒具有強傳染性和長潛伏期性，它可以通過空氣中的飛沫、氣溶膠等載體進行傳播[1]。新冠病毒離體后可獨立存活數(shù)天，滯留于空氣中的病毒隨時有可能被人吸入身體。規(guī)范佩戴口罩能有效避免人在呼吸時吸入空氣中的新冠病毒，從而降低被病毒傳染的機率，因此規(guī)范佩戴口罩對疫情防控至關(guān)重要[2]。國家健康委員會發(fā)布的《新型冠狀病毒感染肺炎預防指南》中明確指出，個人外出前往公共場所、就醫(yī)和乘坐公共交通工具時，必須規(guī)范佩戴醫(yī)用外科口罩或N95口罩。然而隨著我國新冠疫情防控進入常態(tài)化階段，部分公民防護意識有所松懈，出現(xiàn)了在公共場合不規(guī)范佩戴口罩或不佩戴口罩的現(xiàn)象，增加感染病毒的風險。針對此問題，大部分地區(qū)經(jīng)常浪費大量人力用于檢查口罩是否規(guī)范佩戴。人工檢測工作強度大、效率低、覆蓋面窄、時效性差，且無法避免檢測人員與其他人接觸。因此，利用計算機視覺來設(shè)計人臉口罩規(guī)范佩戴檢測器以替代人力檢測可有效規(guī)避上述弊端，具有重要的研究價值。

傳統(tǒng)的目標檢測算法通常基于手工特征設(shè)計如HOG[3]檢測器（Histogram of Oriented Gradient）；基于可變部件的模型如DPM[4]（Deformable Parts Model）；滑動窗口搜索算法如Viola Jones檢測器[5]。傳統(tǒng)的目標檢測算法需在特定檢測環(huán)境下進行，手工設(shè)計特征存在工作量大和滑動窗口搜索性能差等問題。

隨著深度學習在圖像分類與識別領(lǐng)域的飛速發(fā)展，使用卷積神經(jīng)網(wǎng)絡(luò)進行目標檢測成為研究熱點[6]?；谏疃葘W習的目標檢測主要分為兩類，一類是基于候選框的two-stage算法，另一類則是基于回歸的one-stage算法。two-stage主要是通過啟發(fā)式方法或者卷積神經(jīng)網(wǎng)絡(luò)RPN[7]（Region Proposal Network）來產(chǎn)生一系列的候選框，對其候選框進行分類和回歸從而實現(xiàn)目標檢測如SPPNet[8]和Fast R-CNN[9]，該方法通常檢測準確率較高但速度較慢。One-stage直接通過卷積神經(jīng)網(wǎng)絡(luò)來預測物體的類別和位置，借助錨框加速邊框回歸，輸出向量經(jīng)過非極大值抑制得出最終預測結(jié)果如SSD[10]和YOLO[11-14]，該方法通常檢測速度快，適合做實時檢測任務。本文選擇檢測精度和速度均較優(yōu)的YOLOv4算法。YOLOv4的精度是通過161層網(wǎng)絡(luò)來保證，其層數(shù)和參數(shù)量較大，不利于部署應用在計算資源較少的設(shè)備上。目前，已有學者通過對YOLOv4進行改進以適應于其檢測目標和檢測環(huán)境，如唐翔翔等人[15]對YOLOv4的特征金字塔池化模塊和損失函數(shù)進行優(yōu)化，提高對電線路異物檢測的識別精度?？拙S剛等人[16]將YOLOv4的CSPDarknet53改為MobileNetv3-large網(wǎng)絡(luò)結(jié)構(gòu)，在嵌入式設(shè)備上進行實時檢測任務。王瀅暄等人[17]提出一種改進的YOLOv4網(wǎng)絡(luò)對交通場景下車輛目標進行檢測。本文方法旨在實現(xiàn)自然環(huán)境下的實時人臉口罩檢測與規(guī)范佩戴識別，并可部署應用在計算量小的終端設(shè)備上。

目前，已經(jīng)有學者研究人臉口罩佩戴檢測算法。鄧黃瀟[18]通過遷移學習與RetinaNet網(wǎng)絡(luò)對佩戴口罩的人臉和未佩戴口罩的人臉進行識別檢測。肖俊杰[19]基于YOLOv3，利用YCrCb的橢圓膚色模型對人臉區(qū)域進行膚色檢測，實現(xiàn)人臉是否佩戴口罩及口罩佩戴是否規(guī)范的識別檢測。牛作東等人[20]基于RetinaFace人臉識別算法，優(yōu)化損失函數(shù)，增加改進的自注意力機制，實現(xiàn)人臉口罩檢測。上述算法存在以下不足：在數(shù)據(jù)集方面只有佩戴口罩人臉圖片和未佩戴口罩人臉圖片，缺乏佩戴口罩不規(guī)范人臉圖片；對部署應用在計算資源較少的嵌入式設(shè)備實時檢測任務而言，在實時性和準確性方面仍有改進空間；對自然環(huán)境下目標差異大、場景復雜等問題需做進一步研究。

綜上，有必要設(shè)計一種自然環(huán)境下的實時人臉口罩檢測與規(guī)范佩戴識別方法，本文選擇YOLOv4作為基準網(wǎng)絡(luò)來實現(xiàn)人臉口罩規(guī)范佩戴的識別。針對缺乏佩戴口罩不規(guī)范人臉圖片問題，本文補充收集了不規(guī)范佩戴口罩人臉圖片1 000張。同時，設(shè)計了輕量級骨干網(wǎng)絡(luò)L-CSPDarkNet，以提高模型的檢測速度，滿足實時性的要求。針對自然環(huán)境下目標差異大、場景復雜等問題，設(shè)計輕量級特征增強模塊Light-FEB和多尺度注意力模塊Multi-Scale-Sam增強輕量級主干網(wǎng)絡(luò)的特征提取能力。實驗結(jié)果表明，該方法在自然環(huán)境下人臉口罩檢測任務中具有良好的檢測速度和精度。

1 算法框架

本文以YOLOv4算法為基礎(chǔ)，為解決模型計算量大，運行內(nèi)存過高等難題，設(shè)計了輕量級的骨干網(wǎng)絡(luò)Light-CSPDarkNet提高人臉口罩檢測速度；為解決自然環(huán)境下多尺度、人臉密集等難題，提出輕量級特征增強模塊Light-FEB和多尺度注意力機制Multi-Scale-Sam提高人臉口罩檢測的準確性。算法的具體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 算法的網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Network structure of proposed algorithm

1.1 輕量級骨干網(wǎng)絡(luò)

YOLOv4算法檢測時先將圖片分割成S×S的網(wǎng)格，每個網(wǎng)格進行邊框預測及類別預測后保留置信度最大的邊框，再采用NMS（Non-Maximum Suppression）非極大值抑制算法去除重疊邊框得到預測最準確的邊框。YOLOv4的骨干網(wǎng)絡(luò)為CSPDarknet53，由如圖2（a）的CSPResNe（X）t構(gòu)成，經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)Part1和Part2，Part2后接如圖2（b）的殘差網(wǎng)絡(luò)，最后進行特征融合。這種設(shè)計提高了網(wǎng)絡(luò)的準確性，但也增加了網(wǎng)絡(luò)的復雜度，檢測速度會相對變慢，對本任務而言性價比不高。YOLOv4的CSPDarknet53有52層，骨干網(wǎng)絡(luò)層數(shù)較多，很難在資源受限的設(shè)備上進行實時計算。故本文設(shè)計輕量級的骨干網(wǎng)絡(luò)L-CSPDarkNet降低模型復雜度，減少計算量，從而提高自然環(huán)境下人臉口罩檢測的速度。

圖2 CSPResNet（X）t模塊Fig.2 CSPResNet（X）t Block

本文提出的輕量級骨干網(wǎng)絡(luò)L-CSPDarkNet還基于以下事實：（1）YOLOv4最初是在MS COCO和Pascal VOC數(shù)據(jù)集上進行訓練的，其中數(shù)據(jù)集Pascal VOC有9 963張圖片和20種類別的待檢目標，MS COCO數(shù)據(jù)集有328 000張圖片和91種目標。故52層的CSPDarknet53網(wǎng)絡(luò)才能達到較好的效果。本任務只有3 000張圖片和3種待檢目標，太深的網(wǎng)絡(luò)不易于訓練，同時容易過擬合；（2）隨著網(wǎng)絡(luò)層次的加深，神經(jīng)網(wǎng)絡(luò)的表達能力增強，所需計算資源增多，檢測速度較慢。而本任務要求實時準確，故采用輕量級的L-CSPDarkNet骨干網(wǎng)絡(luò)，其主要是由3個CSPNet構(gòu)成，相比于CSPDarknet53網(wǎng)絡(luò)結(jié)構(gòu)更為簡單，參數(shù)更少，所需計算資源更少，更適合部署應用在移動或嵌入式設(shè)備上。

如圖3所示，L-CSPNet模塊是CSPResNe（X）t去掉Part1部分，同時在Part2部分只連接一個類殘差網(wǎng)絡(luò)，其中類殘差網(wǎng)絡(luò)用concat。具體來說是Path B的一半卷積經(jīng)過3×3的卷積后分成兩路，一路先經(jīng)過3×3的卷積與另一路進行concat使得卷積核的filter加倍后采用1×1卷積，最后用concat連接Path A和Path B。由于Path A保持原來特征，L-CSPNet模塊在擁有原有特征的同時對特征進行了進一步的提取，其構(gòu)成的網(wǎng)絡(luò)特征準確度更高。針對類別數(shù)較少且圖像數(shù)量不多的數(shù)據(jù)集，使用輕量級L-CSPNet模塊能在檢測精度和速度上達到較好的平衡。

圖3 L-CSPNet模塊Fig.3 L-CSPNet Block

本文算法中的輕量級骨干網(wǎng)絡(luò)L-CSPDarkNet共有23層，由2個3×3步長為2的卷積層，3個下采樣層和3個輕量級L-CSPNet模塊構(gòu)成，其通道數(shù)最多為256，相比于CSPdarknet53體積和參數(shù)量大幅下降，有利于實現(xiàn)實時人臉口罩檢測與規(guī)范佩戴識別。

1.2 輕量級特征增強模塊Light-FEB

針對自然環(huán)境下目標多尺度、高密集等問題，本文算法在淺層使用輕量級特征增強模塊Light-FEB。輕量級特征增強模塊Light-FEB在保證小目標準確率提高的同時，兼顧模型的輕量高效，有效解決在淺層特征圖語義信息不足和小目標準確性較低等問題。

輕量級特征增強模塊Light-FEB的設(shè)計主要采用多尺度特征融合網(wǎng)絡(luò)中的多分支Inception[21]設(shè)計思想?？紤]到網(wǎng)絡(luò)的計算量和體積問題，采用膨脹卷積和普通卷積組合設(shè)計該模塊。膨脹卷積通過擴展卷積核像素之間的距離，在不增加計算量的前提下增加模型的感受野[22]。該距離稱為膨脹率比例Rate，如卷積核為3×3情況下，當Rate=1時感受野為3×3，當Rate=2的時感受野為7×7。

受到文獻[23]的啟發(fā)，用多種尺度的卷積核增強目標特征，輕量級特征增強模塊Light-FEB如圖4所示。首先用1×1卷積核，再用3×3的卷積核，最后用3×3膨脹卷積。為了減少計算量，卷積核的大小不超過3×3，卷積核的通道數(shù)小于等于輸入通道數(shù)的1/4。具體來說，每一個分支的前部分，使用普通的卷積，在分支的后半部分使用膨脹卷積，膨脹率比例Rate分別是1、3、5、7，其感受野分別是3×3、7×7、11×11和19×19，之后進行特征融合增大感受野，最后使用add來增加上下文的理解能力。

圖4 輕量級特征提取模塊Light-FEBFig.4 Light feature extraction Light-FEB block

1.3 多尺度注意力機制Multi-Scale-Sam

為了增加自然環(huán)境下人臉口罩檢測與規(guī)范佩戴的準確率，本文提出一種多尺度空間注意力機制Multi-Scale-Sam。如圖5（a）所示的空間注意力機制Sam，卷積神經(jīng)網(wǎng)絡(luò)通過池化層將圖片信息壓縮，減少運算量，池化具有特征不變性，但會降低特征的分辨率，丟失特征細節(jié)。如圖5（b）所示的點注意力機制，不經(jīng)過池化層，直接將有用的信息合并，會導致一些關(guān)鍵信息無法識別。

圖5 空間和點注意力機制Fig.5 Spatial and point attention mechanism

通過對上面兩種注意力機制模型和文獻[24]總結(jié)分析，發(fā)現(xiàn)注意力機制只從一個尺度來對網(wǎng)絡(luò)特征進行操作，容易產(chǎn)生錯誤的注意，或注意信息不全面。本文設(shè)計的多尺度注意力機制由膨脹卷積構(gòu)成的空間卷積池化金字塔和點注意力機制相結(jié)合而成。膨脹卷積增大濾波器視野，其構(gòu)成的空間卷積池化金字塔可以捕獲不同尺度信息，獲得的多尺度信息再經(jīng)過點注意力機制，可以保證關(guān)鍵的信息不丟失，從而增加檢測準確率。

其模型結(jié)構(gòu)如圖6所示，卷積神經(jīng)網(wǎng)絡(luò)先通過3個rate分別是1、3、5的3×3膨脹卷積的和一個1×1的普通卷積。其中膨脹卷積和普通卷積的通道數(shù)都是原始輸入的一半，進行特征融合concat捕獲到多尺度信息后經(jīng)過點注意力機制。實驗結(jié)果表明其mAP比空間注意力Sam提高了3.18個百分點，模型的FPS只比空間注意力Sam少1。

圖6 多尺度注意力機制Multi-Scale-SamFig.6 Multi-scale attention mechanism Multi-Scale-Sam

2 實驗

2.1 實驗環(huán)境

實驗在CPU Intel?CoreTMi7-8750H 2.21 GHz，32 GB內(nèi)存，Windows 10系統(tǒng)下搭建的Pytorch和Darknet環(huán)境下進行，顯卡為GeForce RTX 2070，實驗環(huán)境的配置參數(shù)如表1所示。

表1 實驗環(huán)境配置參數(shù)Table 1 Experimental environment

2.2 實驗數(shù)據(jù)

實驗使用的數(shù)據(jù)集一部分來源于網(wǎng)上公開MAFA（MAsked FAces）和AIZOO數(shù)據(jù)集，另一部由網(wǎng)絡(luò)爬取樣本及相機拍攝。經(jīng)整理數(shù)據(jù)集共計3 000張圖片，包含自然場景下的規(guī)范佩戴口罩人臉、未規(guī)范佩戴口罩人臉和未佩戴口罩人臉三種情況，部分樣本如圖7所示。使用LableImg標注軟件對數(shù)據(jù)集進行人工標注，標注類別分為Mask、Badmask、Nomask三類，數(shù)據(jù)集為VOC2007格式。標注后的數(shù)據(jù)集劃分為訓練集和測試集，其中訓練集包含2 550張圖片。

圖7 圖像數(shù)據(jù)示例Fig.7 Image examples

人工標注的3個分類目標數(shù)目如表2所示，其中Mask數(shù)目是3 862，Nomask數(shù)目是4 124，Badmask數(shù)目是3 527。

表2 目標數(shù)目Table 2 Number of targets

2.3 實驗分析

分別使用目前比較主流的目標檢測算法YOLOv4、YOLOv3、SSD和Faster R-CNN與本文算法進行實驗對比，訓練時圖片大小設(shè)為512×512像素，batch_size設(shè)置為4，epoch設(shè)置為50，初始學習率設(shè)置0.001，訓練時如果超過5個epoch沒有降低，則降低學習率，學習率最低設(shè)為0.000 01。對比結(jié)果如表3所示，本文的算法與原始的YOLOv4方法相比，檢測速度（FPS）提高34.8，達到了69.7，mAP也提高到91.94%。此外與YOLOv3、Faster R-CNN和SSD比，mAP分別提高了13.03、15.49和18.27個百分點，F(xiàn)PS分別提高了19.9、63.4和54。

表3 不同算法測試結(jié)果對比Table 3 Test results of different algorithms

實驗數(shù)據(jù)表明，本文提出的自然環(huán)境下的實時人臉口罩檢測與規(guī)范佩戴識別方法，在自然環(huán)境下對于目標差異大、場景復雜且運算速度要求高的任務而言，明顯優(yōu)于其他幾種算法，可更好地適用于實際檢測任務。

設(shè)計消融實驗驗證本文算法的有效性，分別采用5個實驗對本文所提算法進行分析：實驗一為原始的YOLOv4算法；實驗二僅采用L-CSPDarkNet輕量級骨干網(wǎng)絡(luò)，如圖8所示；實驗三在實驗二的基礎(chǔ)上將CBL模塊②替換為Light-FEB模塊；實驗四在實驗二的基礎(chǔ)上把CBL模塊①替換為Multi-Scale-Sam模塊；實驗五在實驗二的基礎(chǔ)上把CBL模塊②替換為Light-FEB模塊，CBL模塊①替換為Multi-Scale-Sam模塊。

圖8 實驗二的網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.8 Network structure diagram of experiment two

消融實驗的結(jié)果如表4所示，實驗一與實驗二結(jié)果表明，輕量級骨干網(wǎng)絡(luò)L-CSPDarkNet構(gòu)成的網(wǎng)絡(luò)結(jié)構(gòu)，相比于原始的YOLOv4算法mAP下降了2.81個百分點，F(xiàn)PS提高到74.8，是原始YOLOv4的2.14倍，計算量BFLOPS為9.318是原始YOLOv4的10.3%，犧牲少量精度而獲得速度的較大提升，可見本文算法提出的輕量級骨干網(wǎng)絡(luò)L-CSPDarkNet可用于實時檢測任務。實驗二和實驗三的實驗數(shù)據(jù)顯示，在輕量級骨干網(wǎng)絡(luò)上添加Light-FEB模塊后mAP提高了4.82個百分點，F(xiàn)PS下降0.9，證明Light-FEB可在提高精度的同時不對速度造成較大影響。實驗四和實驗二的測試數(shù)據(jù)顯示，在輕量級骨干網(wǎng)絡(luò)網(wǎng)絡(luò)上添加多尺度注意力機制Multi-Scale-Sam后mAP提高3.16個百分點，F(xiàn)PS下降4，證明多尺度注意機制Multi-Scale-Sam在提取多尺度目標的特征方面具有優(yōu)勢。實驗五表明添加Light-FEB和Multi-Scale-Sam的mAP比實驗二提高6.36個百分點，且FPS值下降5.1。綜上，本文所提方法在mAP和FPS上均有不錯的表現(xiàn)，所占用計算資源大幅降低，適用于自然環(huán)境下人臉口罩規(guī)范佩戴的實時檢測任務，可部署應用在計算資源有限的設(shè)備上。

表4 消融實驗Table 4 Ablation Experiment

為驗證本文提出的多尺度空間注意力機制Multi-Scale-Sam的有效性，將實驗二的網(wǎng)絡(luò)結(jié)構(gòu)圖中CBL模塊①分別替換成Sam、Point-Sam和Multi-Scale-Sam后進行實驗，并將未加任何注意力機制的實驗二（No attention）作為對照進行分析。實驗結(jié)果如表5所示，結(jié)果表明，相較于未加任何注意力的實驗二，采用多尺度注意力機制Multi-Scale-Sam的mAP提高3.16個百分點，采用Sam的mAP提高1.31個百分點，采用Point-Sam的mAP下降0.02個百分點。上述結(jié)果證明了多尺度注意力機制Multi-Scale-Sam的有效性，且其在多尺度目標上特征提取能力更好。

表5 不同注意力機制對比Table 5 Comparison of different attention mechanisms

通過對測試集的檢測結(jié)果進行分析得到如表6所示的YOLOv4和本文方法的誤檢率，數(shù)據(jù)表明，本文方法的Mask誤檢率、Nomask誤檢率和Badmask誤檢率分別比YOLOv4低2.86、2.85和3.21個百分點。

表6 YOLOv4和本文方法的誤檢率對比Table 6 False detection rate comparison between YOLOv4 and proposed algorithm

為進一步驗證本文算法在自然環(huán)境下的檢測效果，從測試集中隨機選擇4張圖片進行測試。結(jié)果如圖9所示，本文算法在自然環(huán)境下對規(guī)范佩戴口罩的人臉、不規(guī)范佩戴口罩的人臉、沒有佩戴口罩人臉檢測到的正確個數(shù)和YOLOv4基本一致，且本文方法檢測的置信度高于YOLOv4，誤檢情況也有所改善。除此之外如表4所示，本文算法的檢測速度（FPS）、計算量（BFLOPS）都明顯優(yōu)于YOLOv4，故本文方法總體優(yōu)于YOLOv4，可更好地應用于自然環(huán)境下實時人臉口罩檢測與規(guī)范佩戴識別。

圖9 檢測效果對比Fig.9 Comparison of detection results

3 結(jié)束語

本文提出一種高效的自然環(huán)境下實時人臉口罩檢測與規(guī)范佩戴識別方法。一方面針對YOLOv4算法模型過大，運行內(nèi)存占用量過高，精心設(shè)計了輕量級的骨干網(wǎng)絡(luò)L-CSPDarkNet。另一方面，針對自然環(huán)境下目標多尺度、場景復雜等難題，引入輕量級特征增強模塊Light-FEB和多尺度注意力機制Multi-Scale-Sam。實驗結(jié)果表明，本文方法在自然環(huán)境下檢測人臉口罩的準確度優(yōu)于YOLOv4，檢測速度也有明顯的優(yōu)勢，可以更好地應用到檢測服務中。