基于BiFPN改進(jìn)的深度學(xué)習(xí)口罩人臉檢測(cè)方法

于 曉，張茂松，周子杰

(天津理工大學(xué)，天津 300384)

yx_ustb@163.com;1798588432@qq.com;Zhou_Zijie@outlook.com

1 引言(Introduction)

準(zhǔn)確檢測(cè)人員是否佩戴口罩對(duì)于保證食品生產(chǎn)環(huán)境的衛(wèi)生、預(yù)防疾病的傳播、減少安全事故的發(fā)生[1]等具有關(guān)鍵作用。因此，設(shè)計(jì)高精度的、可用于人群場(chǎng)景的口罩人臉目標(biāo)檢測(cè)算法具有重要意義。

研究者們?cè)诳谡秩四槞z測(cè)領(lǐng)域已進(jìn)行了大量研究。牛作東等人提出了一種改進(jìn)過的RetinaFace算法[2]；鄧黃瀟將遷移學(xué)習(xí)與RetinaNet模型結(jié)合，在口罩人臉檢測(cè)的任務(wù)中表現(xiàn)出良好的性能[3]。隨著目標(biāo)檢測(cè)技術(shù)的蓬勃發(fā)展，基于深度學(xué)習(xí)的檢測(cè)方法相繼出現(xiàn)[4]，其可以分為兩大類：兩階段目標(biāo)檢測(cè)算法(Two-Stage)[5]和單階段目標(biāo)檢測(cè)算法(One-Stage)[6]。研究人員基于深度學(xué)習(xí)算法提出了新的口罩人臉檢測(cè)模型，王藝皓等人通過改進(jìn)YOLOv3完成了復(fù)雜場(chǎng)景下的口罩人臉檢測(cè)任務(wù)[7]。管軍霖等人證明了YOLOv4算法可以應(yīng)用在口罩人臉檢測(cè)任務(wù)中[8]。王灃改進(jìn)了YOLOv5算法，并將提出的算法應(yīng)用于口罩及安全帽的檢測(cè)[9]。

在口罩人臉檢測(cè)任務(wù)中，檢測(cè)精度極其重要，在現(xiàn)實(shí)場(chǎng)景中，行人密集且存在被物體遮擋的現(xiàn)象，使得口罩人臉檢測(cè)難度增大。當(dāng)前，存在的口罩人臉檢測(cè)算法的檢測(cè)精度仍需進(jìn)一步提高。

隨著YOLO系列算法的不斷發(fā)展，YOLOv5已具備很高的精度和速度[10]，具有較好的工程實(shí)用性?？紤]到終端的計(jì)算能力，本文以YOLOv5為基礎(chǔ)，基于雙向特征金字塔網(wǎng)絡(luò)(BiFPN)結(jié)構(gòu)修改YOLOv5原有的FPN(特征金字塔網(wǎng)絡(luò))結(jié)構(gòu)。此外，本文以現(xiàn)有的口罩人臉數(shù)據(jù)集為基礎(chǔ)，加入互聯(lián)網(wǎng)搜集的口罩人臉圖片，得到自制口罩?jǐn)?shù)據(jù)集?；谝陨夏Ｐ秃蛿?shù)據(jù)集，本文提出YOLOv5_BM口罩人臉檢測(cè)算法。

2 改進(jìn)后的YOLOv5_BM網(wǎng)絡(luò)(Improved YOLOv5_BM network)

YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)可以分為輸入端、Backbone(主干網(wǎng)絡(luò))、Neck(頸部網(wǎng)絡(luò))、Prediction(預(yù)測(cè)層)四個(gè)部分。輸入端有Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)圖片縮放及自適應(yīng)錨框計(jì)算，Backbone包含F(xiàn)ocus(切片)結(jié)構(gòu)、CSP(跨階段局部單元)結(jié)構(gòu)，Neck包括FPN+PAN(路徑聚合網(wǎng)絡(luò))結(jié)構(gòu)，Prediction中有GIOU_Loss(廣義交并比損失函數(shù))結(jié)構(gòu)。

YOLOv5網(wǎng)絡(luò)的輸入端采用Mosaic數(shù)據(jù)增強(qiáng)方法，Mosaic數(shù)據(jù)增強(qiáng)過程使用到四張圖片，每次數(shù)據(jù)增強(qiáng)過程中先讀取四張圖片，然后按照順序?qū)λ膹垐D片進(jìn)行翻轉(zhuǎn)、縮放等變化，接著按照四個(gè)方向把處理后的圖片放置好，最后依照?qǐng)D片位置的區(qū)別將四張圖片進(jìn)行組合。此外，YOLOv5網(wǎng)絡(luò)為了將不同大小的輸入圖片變?yōu)橄嗤叽绲膱D片，采用自適應(yīng)圖片縮放的方法。圖片兩邊填充的黑邊較多時(shí)會(huì)影響YOLOv5網(wǎng)絡(luò)的檢測(cè)速度，為了解決這個(gè)問題，YOLOv5網(wǎng)絡(luò)對(duì)letterbox函數(shù)進(jìn)行改進(jìn)，使輸入圖片能夠自適應(yīng)減少信息冗余，從而使黑邊的數(shù)量減少。自適應(yīng)縮放的步驟可以分為三步：首先計(jì)算縮放比例，然后計(jì)算輸入圖片縮放后的尺寸大小，最后計(jì)算需要填充的數(shù)值。除了Mosaic數(shù)據(jù)增強(qiáng)和自適應(yīng)圖片縮放，YOLOv5網(wǎng)絡(luò)在輸入端還使用了自適應(yīng)錨框計(jì)算方法，該方法可以為不同的數(shù)據(jù)集設(shè)置初始長(zhǎng)寬的錨框。YOLOv5網(wǎng)絡(luò)在訓(xùn)練過程中，會(huì)在設(shè)定的初始錨框基礎(chǔ)上得到輸出預(yù)測(cè)錨框，并且計(jì)算預(yù)測(cè)錨框和Ground Truth(真實(shí)框)的誤差，進(jìn)而通過反向傳播更新數(shù)據(jù)，通過多次迭代網(wǎng)絡(luò)參數(shù)達(dá)到最優(yōu)的錨框計(jì)算水平。

Backbone用于提取圖像的識(shí)別特征，包括邊緣特征、紋理特征和位置信息等，YOLOv5網(wǎng)絡(luò)的Backcone層包含F(xiàn)ocus結(jié)構(gòu)、CSP結(jié)構(gòu)、SPP(空間金字塔池化)結(jié)構(gòu)。Focus結(jié)構(gòu)可以先對(duì)輸入信息進(jìn)行切片操作，然后進(jìn)行拼接，這樣能夠在進(jìn)行下采樣的同時(shí)保留更多的特征信息。CSP結(jié)構(gòu)可以減少神經(jīng)網(wǎng)絡(luò)的計(jì)算量，對(duì)網(wǎng)絡(luò)進(jìn)行局部特征的跨層融合，進(jìn)而增強(qiáng)網(wǎng)絡(luò)的特征提取能力。SPP模塊對(duì)輸入的圖片先進(jìn)行卷積操作，然后執(zhí)行三個(gè)不同尺寸的池化操作，最后將輸出特征進(jìn)行特征融合，增大了感受野，提取出最重要的上下文的特征。

Neck結(jié)構(gòu)可以對(duì)不同階段提取的特征圖進(jìn)行再處理，從而更好地使用在主干網(wǎng)絡(luò)中提取的特征。YOLOv5網(wǎng)絡(luò)的Neck結(jié)構(gòu)和YOLOv4網(wǎng)絡(luò)相同，仍然沿用了FPN+PAN的結(jié)構(gòu)，但是YOLOv5網(wǎng)絡(luò)在YOLOv4網(wǎng)絡(luò)的基礎(chǔ)上做了一些調(diào)整，YOLOv5網(wǎng)絡(luò)在FPN層的后面還添加了一個(gè)自底向上的特征金字塔，提高了YOLOv5網(wǎng)絡(luò)的特征提取能力。

輸出端部分用來檢測(cè)目標(biāo)對(duì)象的類別和位置，采用GIOU_Loss函數(shù)作為損失函數(shù)，并通過非極大值抑制篩選目標(biāo)框。

雖然YOLOv5網(wǎng)絡(luò)具備良好的檢測(cè)性能，但它是以COCO(上下文中的公共對(duì)象)數(shù)據(jù)集為基礎(chǔ)，如果應(yīng)用于口罩人臉檢測(cè)領(lǐng)域，存在對(duì)小目標(biāo)的檢測(cè)能力有限的問題，并且當(dāng)目標(biāo)存在密集、模糊等情況時(shí)，該問題更突出。此外，YOLOv5網(wǎng)絡(luò)的特征增強(qiáng)模塊PANet更側(cè)重于深度特征圖的融合，影響了對(duì)小目標(biāo)的檢測(cè)能力，增加了干擾噪聲，影響了檢測(cè)精度。

本文首先從Neck部分對(duì)YOLOv5網(wǎng)絡(luò)進(jìn)行改進(jìn)，基于BiFPN結(jié)構(gòu)修改YOLOv5網(wǎng)絡(luò)的Neck部分，將YOLOv5網(wǎng)絡(luò)Neck層中的節(jié)點(diǎn)連接方式做出部分改變，減少了對(duì)網(wǎng)絡(luò)特征融合貢獻(xiàn)度小的不必要連接，增加了輸入節(jié)點(diǎn)和輸出節(jié)點(diǎn)處于同一層時(shí)二者的連接，并且為輸入特征增加了可更新的權(quán)重，使網(wǎng)絡(luò)可以不斷調(diào)整權(quán)重，確定每個(gè)輸入特征對(duì)輸出特征的重要性，增強(qiáng)了網(wǎng)絡(luò)的特征提取能力；其次使用K-means聚類算法對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行聚類分析，提高模型的泛化能力和定位精度，進(jìn)而提升口罩人臉檢測(cè)算法的性能。改進(jìn)后的YOLOv5_BM網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1所示。

圖1 YOLOv5_BM結(jié)構(gòu)Fig.1 YOLOv5_BM structure

2.1 FPN

YOLOv5網(wǎng)絡(luò)的Neck結(jié)構(gòu)中，采用了FPN＋PAN的結(jié)構(gòu)，其結(jié)構(gòu)圖如圖2所示，前兩列自底向上路線和自頂向下路線為FPN結(jié)構(gòu)[11]，最右側(cè)一列自底向上的結(jié)構(gòu)為PAN結(jié)構(gòu)。FPN結(jié)構(gòu)自上而下建立了一條通路進(jìn)行特征融合，在特征融合之后，使用更高語義特征的特征層進(jìn)行預(yù)測(cè)，但是FPN結(jié)構(gòu)受制于單向信息流。在FPN的基礎(chǔ)上，PAN結(jié)構(gòu)被提出，該結(jié)構(gòu)基于FPN結(jié)構(gòu)再建立了一條自下而上的通路，將底層的位置信息傳到預(yù)測(cè)特征層中，使得預(yù)測(cè)特征層中同時(shí)包含來自頂層的語義信息和來自底層的位置信息，從而大大提升了算法的目標(biāo)檢測(cè)精度。

圖2 FPN+PAN結(jié)構(gòu)Fig.2 FPN+PAN structure

2.2 BiFPN

BiFPN是在PAN的基礎(chǔ)上進(jìn)行改進(jìn)的。雙向特征金字塔結(jié)構(gòu)(BiFPN)運(yùn)用雙向融合思想，重新構(gòu)造了自頂向下和自底向上的路線，對(duì)不同尺度的特征信息進(jìn)行融合，通過上采樣和下采樣統(tǒng)一特征分辨率尺度，并且在同一尺度的特征圖之間建立了雙向連接，在一定程度上解決了特征信息遺失的問題[12]，能夠更好地融合不同尺寸特征圖的特征信息。BiFPN的結(jié)構(gòu)圖如圖3所示，由于只有一個(gè)輸入的節(jié)點(diǎn)對(duì)特征融合的貢獻(xiàn)度較低，所以為了簡(jiǎn)化網(wǎng)絡(luò)BiFPN將其刪去；在原始輸入節(jié)點(diǎn)和輸出節(jié)點(diǎn)之間增加了一條邊，旨在不消耗成本的情況下進(jìn)行更多的特征融合；將自上向下和自底向上的路徑融合到了一個(gè)模塊，以便實(shí)現(xiàn)更高層次的特征融合。

圖3 BiFPN結(jié)構(gòu)Fig.3 BiFPN structure

不同于傳統(tǒng)的特征融合，BiFPN為了學(xué)習(xí)不同的輸入特征的重要性，還對(duì)不同輸入特征進(jìn)行了區(qū)分的融合，是一種加權(quán)融合的機(jī)制，對(duì)此BiFPN使用了快速歸一化方法，精度與softmax-based fusion(基于Softmax的融合)類似但速度更快，快速歸一化方法如式(1)所示。

式(1)中，wi代表權(quán)重，在激活函數(shù)ReLu的作用下可以保證wi≥0，ε用來避免數(shù)值不穩(wěn)定，是一個(gè)很小的值，Ini表示輸入的特征，Out表示加權(quán)特征融合的結(jié)果。

2.3 K-means聚類優(yōu)化錨框尺寸

K-means是一種聚類算法，適用于數(shù)據(jù)量較大的數(shù)據(jù)集。K-means算法的復(fù)雜程度低，聚類效果好，比較容易實(shí)現(xiàn)，因此其應(yīng)用領(lǐng)域非常廣泛。YOLOv5網(wǎng)絡(luò)模型的初始錨框是由COCO數(shù)據(jù)集設(shè)計(jì)生成的九個(gè)錨框，涵蓋了大小不同的目標(biāo)且目標(biāo)的大小差距較大。本實(shí)驗(yàn)訓(xùn)練的數(shù)據(jù)集大多數(shù)都是小目標(biāo)，部分錨框的設(shè)計(jì)合理性有待提高，因此需要聚類優(yōu)化錨框尺寸，使其與訓(xùn)練的數(shù)據(jù)集更加匹配，進(jìn)而提升模型的檢測(cè)精度。

K-means算法的具體步驟有五步：(1)隨機(jī)設(shè)置類簇的個(gè)數(shù)K；(2)在數(shù)據(jù)集中隨機(jī)選取K個(gè)默認(rèn)寬高比，將它們作為類簇的初始質(zhì)心；(3)計(jì)算所有樣本與類簇中心的距離，再將所有樣本劃分到離它最近的類簇中；(4)更新類簇的中心，計(jì)算每個(gè)類簇中所有樣本的均值，并將其作為新的聚類中心；(5)重復(fù)步驟(4)(5)直到類簇中心不再變化。

3 實(shí)驗(yàn)結(jié)果及分析(Experimental results and analysis)

3.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集

本實(shí)驗(yàn)平臺(tái)為Intel Core i5-6300HQ處理器，實(shí)驗(yàn)的配置環(huán)境為Windows 10操作系統(tǒng)。在Anaconda中，基于Python 3.8搭建了虛擬環(huán)境，深度學(xué)習(xí)框架為PyTorch 1.7.0。

本實(shí)驗(yàn)基于RMFD(真實(shí)口罩人臉數(shù)據(jù)集)、MAFA(遮擋人臉檢測(cè)數(shù)據(jù)集)、WIDER Face(人臉識(shí)別網(wǎng)絡(luò)圖像數(shù)據(jù)集)三個(gè)人臉數(shù)據(jù)集，同時(shí)加入了互聯(lián)網(wǎng)搜集的圖片，對(duì)數(shù)據(jù)集圖片進(jìn)行數(shù)據(jù)清洗，并通過LabelImg(圖片標(biāo)注工具)對(duì)數(shù)據(jù)集進(jìn)行了標(biāo)注，將圖片中佩戴口罩的人臉標(biāo)注為mask，未佩戴口罩的人臉標(biāo)注為nomask，得到了自制口罩?jǐn)?shù)據(jù)集。自制口罩人臉數(shù)據(jù)集共包括11,000余張口罩人臉圖片，每張圖片有對(duì)應(yīng)的標(biāo)簽文件。

3.2 評(píng)價(jià)指標(biāo)

為了驗(yàn)證本文提出的改進(jìn)算法的性能，本文選擇在目標(biāo)檢測(cè)領(lǐng)域中常用的mAP50和mAP0.5:0.95指標(biāo)，以及準(zhǔn)確率P和召回率R。準(zhǔn)確率和召回率的公式如式(2)、式(3)所示。

其中，TP表示樣本中被正確劃分為正例的個(gè)數(shù)，F(xiàn)P是樣本中被錯(cuò)誤分類為正例的負(fù)例的個(gè)數(shù)。mAP為平均的精度均值，其計(jì)算公式如式(4)：

式(4)中，n表示數(shù)據(jù)集中類別的數(shù)量；APi代表第i類的平均精度(AP)，即P-R曲線的曲線下的面積。基于所有預(yù)測(cè)框的精確率和召回率，可以繪制出P-R曲線。mAP50是指在IOU閾值取0.5時(shí)的mAP值。然后將IOU閾值從0.5開始以0.05為步長(zhǎng)逐漸增加到0.95，獲得不同閾值下的mAP值，最后求取它們的平均值即可獲得mAP0.5:0.95。

3.3 實(shí)驗(yàn)結(jié)果比較

本文將數(shù)據(jù)集分為訓(xùn)練集和數(shù)據(jù)集，其中9,000 張用于訓(xùn)練，2,000 張用于測(cè)試，在YOLOv5_BM網(wǎng)絡(luò)的訓(xùn)練過程中，參數(shù)值的設(shè)定和損失函數(shù)系數(shù)設(shè)置采用YOLOv5網(wǎng)絡(luò)所提供的基本設(shè)定，輸入圖片的分辨率為640×640 像素。模型初始學(xué)習(xí)率為0.01，權(quán)重衰減系數(shù)為0.0005，epoch設(shè)為300。

為了驗(yàn)證本文提出的YOLOv5_BM網(wǎng)絡(luò)的口罩人臉檢測(cè)效果，將原始YOLOv5算法與本文提出的YOLOv5_BM算法在本文自制數(shù)據(jù)集上進(jìn)行口罩人臉檢測(cè)的性能對(duì)比，實(shí)驗(yàn)的結(jié)果如表1所示。

表1 改進(jìn)前后的YOLOv5網(wǎng)絡(luò)的性能對(duì)比Tab.1 Performance comparison of YOLOv5 network before and after improvement

由表1可知，改進(jìn)的YOLOv5_BM算法和原始YOLOv5算法在口罩人臉檢測(cè)中均取得了較好的效果。相比原始YOLOv5網(wǎng)絡(luò)，YOLOv5_BM網(wǎng)絡(luò)的準(zhǔn)確率、召回率分別上升了2.6%、5.9%，mAP50指標(biāo)提升了3.8%，mAP0.5:0.95指標(biāo)則提升了4.9%。這說明相比原始YOLOv5網(wǎng)絡(luò)，加入YOLOv5_BM網(wǎng)絡(luò)確實(shí)能夠提高檢測(cè)精度，并且算法性能得到了提升。

在實(shí)際人群場(chǎng)景中，口罩人臉目標(biāo)存在密集、側(cè)臉等情況，導(dǎo)致算法檢測(cè)難度增大。因此，本文設(shè)計(jì)了在此種情況下的算法檢測(cè)結(jié)果對(duì)比。

如圖4和圖5所示，測(cè)試圖片中的人臉目標(biāo)交錯(cuò)且存在口罩人臉目標(biāo)為側(cè)臉的情況，口罩人臉目標(biāo)的檢測(cè)難度相對(duì)較大。如圖4中(a)、(b)所示，原始YOLOv5算法存在漏檢、誤檢的情況，未檢測(cè)出測(cè)試圖片1中的側(cè)臉口罩人臉目標(biāo)，并且將測(cè)試圖片2中佩戴口罩的口罩人臉目標(biāo)標(biāo)記成nomask。相比之下，檢測(cè)效果如圖5中(a)、(b)所示的YOLOv5_BM算法的檢測(cè)性能更好，檢測(cè)結(jié)果均正確。相比YOLOv5算法，本文改進(jìn)的YOLOv5_BM算法具備更高的檢測(cè)精度，即使在密集、側(cè)臉目標(biāo)的情況下，YOLOv5_BM算法仍然具備良好的檢測(cè)效果，不易出現(xiàn)誤檢、漏檢的情況。

圖4 YOLOv5網(wǎng)絡(luò)口罩人臉檢測(cè)效果圖Fig.4 Effect picture of YOLOv5 network mask face detection

圖5 YOLOv5_BM網(wǎng)絡(luò)口罩人臉檢測(cè)效果圖Fig.5 Effect picture of YOLOv5_BM network mask face detection

此外，為了驗(yàn)證本文提出的YOLOv5_BM算法在檢測(cè)精度方面的優(yōu)越性，在自建人臉口罩?jǐn)?shù)據(jù)集上將提出的YOLOv5_BM算法與其他經(jīng)典目標(biāo)檢測(cè)算法的檢測(cè)效果進(jìn)行比較，檢測(cè)結(jié)果如表2所示，相比于SSD算法，本文算法的mAP50指標(biāo)提升了4.4%；相比于YOLOv3算法，本文提出的算法的mAP50指標(biāo)提升了2.9%。在AIZOO數(shù)據(jù)集上將本文所提出的算法與其他經(jīng)典目標(biāo)檢測(cè)算法進(jìn)行對(duì)比試驗(yàn)，各類算法的mAP50和mAP0.5:0.95指標(biāo)如表3所示。由表2和表3知，YOLOv5_BM算法在檢測(cè)性能方面均保持著較大的領(lǐng)先優(yōu)勢(shì)。

表2 基于RMFD數(shù)據(jù)集的算法性能比較Tab.2 Comparison of algorithm performance based on RMFD dataset

表3 基于AIZOO數(shù)據(jù)集的算法性能比較 Tab.3 Comparison of algorithm performance based on AIZOO dataset

4 結(jié)論(Conclusion)

本文提出了一種基于YOLOv5網(wǎng)絡(luò)改進(jìn)的口罩人臉檢測(cè)算法，首先基于BiFPN結(jié)構(gòu)在Neck部分對(duì)原始網(wǎng)絡(luò)進(jìn)行優(yōu)化改進(jìn)，然后使用聚類算法對(duì)錨框尺寸進(jìn)行優(yōu)化，得到更為準(zhǔn)確的錨框大小，從而得到了YOLOv5_BM口罩人臉檢測(cè)器。實(shí)驗(yàn)結(jié)果表明，本文提出的方法相比其他的經(jīng)典目標(biāo)檢測(cè)算法在準(zhǔn)確性方面具有優(yōu)勢(shì)，可為機(jī)場(chǎng)、地鐵等存在大量混淆小目標(biāo)的密集人群場(chǎng)所的口罩人臉檢測(cè)提供模型支持，具有良好的應(yīng)用前景。