基于YOLOv5的人臉口罩檢測研究與實現(xiàn)

吳昱昊 王會成 朱云強(qiáng)

摘? 要：文章基于YOLOv5算法，開發(fā)實現(xiàn)了人臉口罩佩戴智能監(jiān)測系統(tǒng)。系統(tǒng)可以實現(xiàn)對目標(biāo)圖片、目標(biāo)視頻、實時監(jiān)控畫面的人臉進(jìn)行是否佩戴口罩的檢測。通過開源數(shù)據(jù)收集、網(wǎng)絡(luò)照片采集、人工拍照采集等方式自制得到了不同環(huán)境下人像的數(shù)據(jù)集。使用了PyTorch深度學(xué)習(xí)框架，使用了PyQt作為界面的開發(fā)框架，系統(tǒng)提供了高精度的實時口罩檢測功能，具有較好的應(yīng)用前景。

關(guān)鍵詞：YOLOv5；CNN；口罩檢測；深度學(xué)習(xí)

中圖分類號：TP391.4? 文獻(xiàn)標(biāo)識碼：A? 文章編號：2096-4706（2023）04-0098-03

Research and Implementation of Face Mask-Wearing Detection Based on YOLOv5

WU Yuhao1， WANG Huicheng2， ZHU Yunqiang2

（1.Jiaxing Vocational & Technical College， Jiaxing? 314036， China; 2.Xinfengming Group Co.， Ltd.， Jiaxing? 314513， China））

Abstract： Based on YOLOv5 algorithm， this paper develops and achieves an intelligent detection system of face mask-wearing. The system can detect faces of mask-wearing in target pictures， videos and real-time monitoring screen. Through the collection of open-source data， python crawler， manual photo and other methods， the data sets of portraits in different environments are obtained. The deep learning framework of PyTorch is used， and PyQt is used as the development framework of the interface. The system provides high precision real-time mask-wearing detection function， and has a better application prospect.

Keywords： YOLOv5; CNN;mask-wearing detection; deep learning

0? 引? 言

疫情防控期間，口罩佩戴成為進(jìn)出公共場所的必要條件。借助目標(biāo)檢測技術(shù)檢測人員口罩佩戴情況，能夠提高場所出入口的管理工作效率，有效地控制病毒傳播。

目標(biāo)檢測技術(shù)是指對圖像中的特定目標(biāo)進(jìn)行識別和定位的技術(shù)。目前，目標(biāo)檢測技術(shù)的特征選取技術(shù)從傳統(tǒng)的手工設(shè)計逐漸發(fā)展到了使用深度學(xué)習(xí)提取的方法。以深度學(xué)習(xí)技術(shù)為核心的目標(biāo)檢測技術(shù)，其檢測效率隨著方法的更新也不斷得到了提升。卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network， CNN）在深度學(xué)習(xí)中被廣泛應(yīng)用，一般在目標(biāo)檢測算法中扮演特征提取器的角色，多用于圖像特征提取、圖像分類。YOLO（You Only Look Once）算法由R. Joseph等于2015年首次提出，采用深層卷積神經(jīng)網(wǎng)絡(luò)，在位置檢測和對象的識別方面性能表現(xiàn)突出。結(jié)合實際應(yīng)用，考慮數(shù)據(jù)規(guī)模以及口罩檢測的實時性要求，本文以YOLOv5為基礎(chǔ)開展了口罩佩戴檢測的研究。

1? 技術(shù)分析

1.1? 深度學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)

隨著計算機(jī)視覺技術(shù)的持續(xù)發(fā)展，深度學(xué)習(xí)變得越來越重要。以深度學(xué)習(xí)技術(shù)為核心的目標(biāo)檢測技術(shù)相比于利用手工特征提取方法獲取目標(biāo)特征的傳統(tǒng)識別器有著特征表達(dá)能力優(yōu)、檢測準(zhǔn)確率高、實時性強(qiáng)的優(yōu)點。神經(jīng)網(wǎng)絡(luò)作為一種常用的深度學(xué)習(xí)架構(gòu)，常用于圖像識別，提升工作效率。傳統(tǒng)的全連接神經(jīng)網(wǎng)絡(luò)最初被應(yīng)用在手寫數(shù)字集上，用選定的神經(jīng)網(wǎng)絡(luò)和損失函數(shù)通過監(jiān)督學(xué)習(xí)的方法進(jìn)行訓(xùn)練，以確定網(wǎng)絡(luò)中不同神經(jīng)元的權(quán)重。一般來說，圖像因為像素量的原因數(shù)據(jù)十分龐大，對應(yīng)會產(chǎn)生大量的神經(jīng)網(wǎng)絡(luò)參數(shù)，因此傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在實際應(yīng)用中往往需要巨大的參數(shù)空間，這對模型的速度及準(zhǔn)確率產(chǎn)生了很大程度的影響。

由于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)存在的各種缺點，卷積神經(jīng)網(wǎng)絡(luò)（CNN）由楊立昆于1989年首次提出。該網(wǎng)絡(luò)的基本結(jié)構(gòu)包括：卷積層、池化層、全連接層。卷積層，降采樣層，全連接層。結(jié)構(gòu)的每一層有多個特征圖，每個特征圖有多個神經(jīng)元。在CNN中，卷積層和池層通常交替設(shè)置，即池層后接卷積層，池層后緊接卷積層。CNN與全連接神經(jīng)網(wǎng)絡(luò)最大的不同點在于，所有上下層神經(jīng)元在CNN中并不是都能直接相連的。CNN把“卷積核”作為中介，同一個卷積核在所有圖像內(nèi)都是共享的，從而實現(xiàn)參數(shù)共享，構(gòu)建權(quán)值共享結(jié)構(gòu)網(wǎng)絡(luò)。圖像經(jīng)過一次卷積操作后仍然能夠保留初始的位置關(guān)系。正是由于CNN限制了參數(shù)的個數(shù)并挖掘了局部結(jié)構(gòu)的這個特點，CNN能使用較少的參數(shù)，訓(xùn)練出更好的模型，同時有效地避免過擬合。CNN的泛化能力明顯優(yōu)于其他方法，在良好的容錯能力之外還有優(yōu)秀的并行處理能力和自學(xué)能力。CNN是目前最流行的神經(jīng)網(wǎng)絡(luò)之一，為目標(biāo)檢測中的分類與回歸任務(wù)奠定了基礎(chǔ)。

1.2? 目標(biāo)檢測與YOLO算法

R-CNN（Region-CNN）是最早采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測的算法。作為一種Two-stage目標(biāo)檢測算法。R-CNN首先需要對被輸入的圖片采用搜索算法，生成一系列候選邊界框作為樣本。針對每個候選邊框，會有一個獨立的CNN通道，再通過卷積神經(jīng)網(wǎng)絡(luò)結(jié)合SVM預(yù)測分類候選邊界框中的樣本。因此，R-CNN也被稱為基于區(qū)域的方法。R-CNN雖然對于位置檢測與對象分類準(zhǔn)確率相對較高，但是由于它的運算量大，檢測速度非常慢，這使得這種算法在實際生產(chǎn)中難以得到比較好的應(yīng)用。

YOLO算法是在R-CNN基礎(chǔ)上發(fā)展起來的，one-stage目標(biāo)檢測算法的典型代表。R-CNN作為Two-stage目標(biāo)檢測算法包含了物體類別（分類問題）、物體位置（回歸問題），即需要先產(chǎn)生大量的先驗框，然后再去判斷先驗框里是否有檢測目標(biāo)。而YOLO創(chuàng)造性地把目標(biāo)檢測問題為了回歸問題，把產(chǎn)生先驗框和判斷先驗框中的目標(biāo)這兩個階段合成一個。在YOLO中，圖像被縮放到為統(tǒng)一的尺寸。YOLO把整張圖作為網(wǎng)絡(luò)的輸入，只需經(jīng)過一個神經(jīng)網(wǎng)絡(luò)就能直接在輸出層回歸得到bounding box即目標(biāo)的位置和box所屬的類別。在YOLO的網(wǎng)絡(luò)框架中，圖片沒有被真正的網(wǎng)格化處理，而是被作為整體看待。YOLO將單個卷積神經(jīng)網(wǎng)絡(luò)（CNN）用在整張圖片上，再將圖片分成網(wǎng)格，以此預(yù)測每個網(wǎng)格的類概和邊界框。因為YOLO把檢測作為一個回歸問題，因此不用復(fù)雜的框架，是一個非?？焖俚哪繕?biāo)檢測算法。YOLOv5是YOLO較新的版本，使用Pytorch框架編寫。相比YOLOv4，YOLOv5盡管在性能上稍有遜色，但是速度快、體積小，在保證一定精度的前提下，在快速部署方面極具優(yōu)勢。

2? 口罩檢測模型

2.1? 口罩檢測數(shù)據(jù)集

數(shù)據(jù)的獲取方法主要有：手機(jī)拍攝（校園進(jìn)出口）、網(wǎng)絡(luò)照片采集、網(wǎng)絡(luò)開源數(shù)據(jù)集，自制得到人臉口罩?jǐn)?shù)據(jù)集。采用GitHub-huzixuan1所提供的開源代碼進(jìn)行爬蟲采集（符合協(xié)議要求）。使用GitHub -AIZOOTech所提供的開源數(shù)據(jù)集作為數(shù)據(jù)補(bǔ)充。

在數(shù)據(jù)量的準(zhǔn)備方面，由于YOLOv5的輸入端采用了Mosaic數(shù)據(jù)增強(qiáng)的方式，數(shù)據(jù)集中4張圖片可以被隨機(jī)縮放和拼接，在很大程度上豐富了現(xiàn)有數(shù)據(jù)集。另一方面，計劃使用預(yù)訓(xùn)練的模型開展目標(biāo)模型的訓(xùn)練，因此可以認(rèn)為目標(biāo)模型對自制數(shù)據(jù)集的數(shù)量量要求不高。最終得到的數(shù)據(jù)集含有原始圖片共計2 000張。

在數(shù)據(jù)格式方面，為了方便統(tǒng)一不同來源的圖像數(shù)據(jù)，盡管算法設(shè)計中要使用的是YOLOv5模型，為了方便統(tǒng)一數(shù)據(jù)格式，對自制原始圖片使用labeling進(jìn)行了VOC格式的標(biāo)注，標(biāo)注范圍為人像整個頭部含少量肩膀上部。在程序代碼中設(shè)置了數(shù)據(jù)格轉(zhuǎn)化。而VOC格式這也方便了這個數(shù)據(jù)集未來可以使用在其他模型中。

在數(shù)據(jù)預(yù)處理方面，考慮了圖片大小的調(diào)整。在大部分的目標(biāo)檢測算法中，需要將原始圖片經(jīng)過縮放、填充部分黑邊統(tǒng)一到一個尺寸標(biāo)準(zhǔn)下再輸入網(wǎng)絡(luò)。這一過程會帶來一定量的信息冗余并直接增加了模型的訓(xùn)練時間。YOLOv5的代碼中在輸入端的letterbox函數(shù)中做了一定的優(yōu)化修改，能夠?qū)υ紙D像自適應(yīng)的添加最少的黑邊，理論上來說，輸入圖像的大小對YOLOv5的限制較小。但是，輸入圖像大小的不同會導(dǎo)致網(wǎng)絡(luò)寬度發(fā)生變化，對應(yīng)的模型文件大小也一并發(fā)生變化。由于計劃使用預(yù)訓(xùn)練的模型參數(shù)文件，因此在程序中將輸入圖像的大小設(shè)置為640×640，這個大小和YOLOv5的作者的預(yù)訓(xùn)練模型在coco數(shù)據(jù)集上使用的輸入圖像大小是一樣的。

2.2? 模型構(gòu)建與訓(xùn)練

由于硬件條件限制，為了縮短訓(xùn)練時間，提高模型的泛化能力，此模型是在預(yù)訓(xùn)練模型的基礎(chǔ)上進(jìn)行二次訓(xùn)練得到的。YOLOv5的官方代碼給出了四種網(wǎng)絡(luò)模型，從小到大分別是YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x四個網(wǎng)絡(luò)?？紤]到實際任務(wù)需求和硬件環(huán)境條件，使用下載得到的官方代碼YOLOv5s（權(quán)重文件）作為預(yù)訓(xùn)練模型，并在此基礎(chǔ)上使用自制數(shù)據(jù)集對模型進(jìn)行訓(xùn)練。

模型訓(xùn)練使用自制數(shù)據(jù)集，總樣本2 000個，分為訓(xùn)練集、測試和驗證集。其中，將1 200個樣本劃分為訓(xùn)練集，400個樣本劃分為測試集，400個樣本劃分為驗證集。在圖像處理工作站上進(jìn)行100次迭代訓(xùn)練，每一次訓(xùn)練的ACC和Cost都直觀地展現(xiàn)出來，最后保存訓(xùn)練模型。模型訓(xùn)練結(jié)果如圖1所示。

2.3? 模型評估

圖1給出了模型經(jīng)過100輪訓(xùn)練的性能變化。隨著訓(xùn)練的迭代次數(shù)的增加，loss則隨著訓(xùn)練輪數(shù)的增加在不斷的降低，趨于穩(wěn)定，也同時達(dá)到了期望的數(shù)值。Precision及recall隨著迭代次數(shù)增加不斷上升分別穩(wěn)定在0.8及0.79左右。觀察不同閾值下兩者的數(shù)值的波動情況，較為穩(wěn)定?？梢哉J(rèn)為模型具有比較好的精準(zhǔn)度及穩(wěn)定性。

為了進(jìn)一步分析模型的性能，將模型在400個樣本的驗證集上進(jìn)行測試。模型在驗證集上表現(xiàn)較好，分析圖源及由圖2混淆矩陣分析可得，模型對人臉的檢測能力較好，但容易將戴口罩的人臉誤測為背景因素。這一定程度上是可能是存在圖片像素過低、一張圖片中戴口罩人臉過小、口罩佩戴不規(guī)范等因素造成的。

3? 系統(tǒng)實現(xiàn)

3.1? 系統(tǒng)設(shè)計

該系統(tǒng)使用訓(xùn)練好的YOLOv5模型對目標(biāo)進(jìn)行檢測，判斷后對原圖像人臉加方框顯示是否戴口罩。具備以下功能：圖像采集、圖像處理、口罩檢測、圖像顯示。系統(tǒng)業(yè)務(wù)功能圖如圖3所示。

圖像采集：圖像可以由兩種方式采集，分別是本地上傳（圖像或視頻）、攝像頭實時采集。

圖像處理：對于視頻畫面，使用cv2自帶的VideoCapture讀取攝像頭信息或本地視頻文件，按照默認(rèn)25毫秒獲取視頻流圖像。

口罩檢測：對YOLOv5模型進(jìn)行接口封裝，使其提供模型推理能力。構(gòu)建函數(shù)提供目標(biāo)檢測能力。

圖像顯示：將口罩識別結(jié)果顯示在系統(tǒng)的可視化界面上?？紤]系統(tǒng)使用效率，在界面初始化時加載好檢測模型，并創(chuàng)建臨時目錄用以保存中間處理結(jié)果。

界面設(shè)計：通過添加tab頁將圖片檢測和視頻檢測分為兩個頁面。圖像檢測頁面同時顯示原始圖像及檢測結(jié)果，視頻檢測頁面僅顯示檢測結(jié)果。使用盒子布局，嵌套水平布局和垂直布局。

3.2? 實施結(jié)果

使用PyQt5構(gòu)建人臉口罩智能分析監(jiān)測系統(tǒng)的GUI界面，可以實現(xiàn)模型檢測結(jié)果的可視化，用戶可以通過相關(guān)按鈕調(diào)用模型檢測目標(biāo)圖片、目標(biāo)視頻、攝像頭視頻，實時看到檢測結(jié)果，極大程度提高了用戶體驗。系統(tǒng)運行效果如圖4、圖5所示。

4? 結(jié)? 論

本文基于YOLOv5卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的物體識別算法對圖片、視頻信息進(jìn)行分析，能夠?qū)θ四樑宕骺谡诌M(jìn)行實時檢測，并同時具備較高的檢測效率。在后續(xù)的研究過程中，可以側(cè)重于與相關(guān)硬件結(jié)合，推廣到門禁系統(tǒng)、生產(chǎn)安防等工作中的智能檢測中。

參考文獻(xiàn)：

[1] REDMON J，DIVVALA S，GIRSHICK R，et al. You Only Look Once：Unified，Real-Time Object Detection [C]//IEEE Conference on Computer Vision and Pattern Recognition. USA：IEEE，2016：779-778.

[2] 周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述 [J].計算機(jī)學(xué)報，2017，40（6）：1229-1251.

[3] 張珂，馮曉晗，郭玉榮，等.圖像分類的深度卷積神經(jīng)網(wǎng)絡(luò)模型綜述 [J].中國圖象圖形學(xué)報，2021，26（10）：2305-2325.

[4] 曹城碩，袁杰.基于YOLO-Mask算法的口罩佩戴檢測方法 [J].激光與光電子學(xué)進(jìn)展，2021，58（8）：211-218.

[5] 曾成，蔣瑜，張尹人.基于改進(jìn)YOLOv3的口罩佩戴檢測方法 [J].計算機(jī)工程與設(shè)計，2021，42（5）：1455-1462.

[6] 王福建，張俊，盧國權(quán)，等.基于YOLO的車輛信息檢測和跟蹤系統(tǒng) [J].工業(yè)控制計算機(jī)，2018，31（7）：89-91.

[7] 張瑞國.基于卷積神經(jīng)網(wǎng)絡(luò)的區(qū)域人臉檢測研究 [J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2021（9）：55-56.

作者簡介：吳昱昊（1996—），女，漢族，浙江上虞人，助教，碩士研究生，研究方向：深度學(xué)習(xí)、社會網(wǎng)絡(luò)分析。

收稿日期：2022-10-10

基金項目：嘉興職業(yè)技術(shù)學(xué)院2022校立科研項目（jzyy202249）