基于YOLOv3的教室人數(shù)檢測(cè)

陳濤 謝寧寧 張曦 張玉嬋 史新增 李攀

摘? 要：為了提高教室人數(shù)檢測(cè)精度識(shí)別出教室的正確狀態(tài)，克服學(xué)生上課姿態(tài)，座位遠(yuǎn)近、面部遮擋、尺度較小等因素而造成傳統(tǒng)人臉檢測(cè)技術(shù)識(shí)別精度較低，無(wú)法滿足實(shí)際需求的問(wèn)題。實(shí)驗(yàn)采用了如今熱門(mén)的實(shí)時(shí)目標(biāo)檢測(cè)算法——YOLOv3（YOU ONLY LOOK ONCE v3），并根據(jù)教室這一特定場(chǎng)景采集大量圖像信息樣本，對(duì)其進(jìn)行標(biāo)注制成訓(xùn)練集。通過(guò)多次訓(xùn)練并不斷調(diào)整參數(shù)，得出最佳的教室人數(shù)檢測(cè)模型.實(shí)驗(yàn)結(jié)果表明，在1000張測(cè)試集圖片樣本中能得到90%以上的準(zhǔn)確率，可以識(shí)別出教室人數(shù)并準(zhǔn)確判斷出教室狀態(tài)，驗(yàn)證了基于YOLOv3的教室人數(shù)檢測(cè)方法的有效性。

關(guān)鍵詞：人數(shù)統(tǒng)計(jì);目標(biāo)檢測(cè);YOLO;圖像識(shí)別

中圖分類號(hào)：TP18 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：2095-2945（2020）27-0030-04

Abstract： In order to improve the detection accuracy of the number of students in the classroom and recognize the correct state of the classroom， overcome the problems of students' classroom postures， seat distances， face occlusions， small scales and other factors which easily result in the low-accuracy recognition of traditional face detection technology， thereby can not meet the actual needs. In the experiment， we used the popular real-time target detection algorithm - YOLOv3 （YOU ONLY LOOK ONCE v3）. A large number of image information samples are collected according to the specific scene of the classroom and labeled to make a training set. By training many times and adjusting the parameters continuously， we got the best number detection model of classroom. The experimental results show that the accuracy rate of more than 90% can be obtained in 1000 test set picture samples， and the number of students in the classroom can be identified and the state of classroom can be accurately determined， which verifies the effectiveness of the number detection method based on YOLOv3.

Keywords： number of students; target detection; YOLO; image recognition

引言

目前CNN（Convolutional Neural Networks）已經(jīng)廣泛應(yīng)用于機(jī)器學(xué)習(xí)、語(yǔ)音識(shí)別、圖像識(shí)別等多個(gè)領(lǐng)域[1-3]。以CNN為基礎(chǔ)的目標(biāo)檢測(cè)算法、人群計(jì)數(shù)算法的發(fā)展也趨于穩(wěn)定，在大部分場(chǎng)景中已有實(shí)際運(yùn)用[4-5]。在課余時(shí)間，在校大學(xué)生往往有上自習(xí)的需求，而圖書(shū)館和自習(xí)室存在無(wú)座、擁擠等問(wèn)題，因此教學(xué)樓中空閑的教室就為想上自習(xí)的學(xué)生提供了一個(gè)不錯(cuò)的選擇。根據(jù)實(shí)際體驗(yàn)，因教室的課程安排或臨時(shí)課程安排等諸多因素，同學(xué)將會(huì)花費(fèi)大量時(shí)間尋找一個(gè)沒(méi)有安排課程的教室。此外，找到的空閑教室中也存在不久就會(huì)上課的問(wèn)題，存在頻繁更換教室的問(wèn)題。因此以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，通過(guò)識(shí)別教室人數(shù)判斷教室狀態(tài)并匹配課程表過(guò)濾有課教室，為同學(xué)推薦人數(shù)最少、可自習(xí)時(shí)間最長(zhǎng)的教室具有重要意義，可極大的為在校生的學(xué)習(xí)生活提供便捷。

在傳統(tǒng)的人群計(jì)數(shù)方法中常用的有基于檢測(cè)的方法和基于回歸的方法。基于檢測(cè)的方法通常會(huì)利用SVM和隨機(jī)森林等傳統(tǒng)機(jī)器學(xué)習(xí)方法訓(xùn)練一個(gè)分類器[6]，利用人體的整體或部分結(jié)構(gòu)，如頭部、肩膀等提取HOG（Histograms of Oriented Gradients）、邊緣等特征來(lái)檢測(cè)并統(tǒng)計(jì)人數(shù)[7]。但該方法并不適用于人群遮擋的場(chǎng)景，針對(duì)不同尺度大小目標(biāo)的檢測(cè)效果并不理想?；诨貧w的方法，其思想是學(xué)習(xí)一種特征到人群數(shù)量的映射，通常是學(xué)習(xí)一個(gè)回歸模型來(lái)估計(jì)人群的數(shù)量。

相較于傳統(tǒng)機(jī)器學(xué)習(xí)的方法，深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)的識(shí)別、檢測(cè)方面取得了很大的進(jìn)步，識(shí)別精度有了很大的提高[9]。無(wú)論是使用目標(biāo)檢測(cè)的方法還是基于回歸的方法在CNN上都能得到優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)方法的結(jié)果，隨著深度學(xué)習(xí)的不斷發(fā)展，在目標(biāo)檢測(cè)等多領(lǐng)域體現(xiàn)出明顯優(yōu)勢(shì)已經(jīng)逐漸開(kāi)始取代傳統(tǒng)的機(jī)器學(xué)習(xí)方法。

針對(duì)高密度人群場(chǎng)景，Zhang等人在2016年提出了MCNN（Multi-column Convolutional Neural Network）[8]利用卷積神經(jīng)網(wǎng)絡(luò)提取密度圖，通過(guò)回歸密度圖的方式估計(jì)人群密度，該算法在SHT A得到了110.2的MAE和173.2的MSE[9]。而對(duì)于低密度人群、人群無(wú)遮擋的場(chǎng)景，采用目標(biāo)檢測(cè)的方法進(jìn)行人群計(jì)數(shù)其準(zhǔn)確度明顯優(yōu)于采用密度圖回歸的方法。

因此根據(jù)教室這一特定場(chǎng)景具有人群低密度、遮擋少等特點(diǎn)采用目標(biāo)檢測(cè)的方法進(jìn)行人數(shù)統(tǒng)計(jì)。YOLO（You Only Look Once）[9]是Joseph Redmon等人于2015年提出的目標(biāo)檢測(cè)算法，最初的版本最多只能檢測(cè)49個(gè)目標(biāo)。當(dāng)前，已有YOLOv1、YOLOv2[10]和YOLOv3[11]等多個(gè)版本。在最新的版本中YOLOv3調(diào)整了網(wǎng)絡(luò)結(jié)構(gòu)，利用多尺度特征進(jìn)行對(duì)象檢測(cè)并且借鑒了殘差網(wǎng)絡(luò)[12]結(jié)構(gòu)，形成更深的網(wǎng)絡(luò)層次。相較于前兩個(gè)版本YOLOv3可分類的目標(biāo)更多、檢測(cè)的目標(biāo)更多、檢測(cè)速度更快并且檢測(cè)精度也更高[11]。在精確度相當(dāng)?shù)那闆r下，YOLOv3的速度是其它目標(biāo)檢測(cè)模型的3、4倍[11]。

本文將YOLOv3目標(biāo)檢測(cè)算法應(yīng)用于教室人數(shù)識(shí)別中，在采集的教室監(jiān)控樣本中訓(xùn)練目標(biāo)檢測(cè)模型，利用訓(xùn)練得到的模型對(duì)測(cè)試集進(jìn)行測(cè)試，具有較高的準(zhǔn)確性。

1 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv3以darknet-53作為基礎(chǔ)網(wǎng)絡(luò)，整個(gè)網(wǎng)絡(luò)使用了全卷積層，由一系列1x1、3x3的卷積層組成。并且采用了三種先驗(yàn)框13x13、26x26、52x52，可在特征圖上進(jìn)行不同尺度的檢測(cè)，提高了小尺度目標(biāo)檢測(cè)識(shí)別的能力。圖2說(shuō)明了YOLOv3的網(wǎng)絡(luò)結(jié)構(gòu)[11]。

2 實(shí)驗(yàn)過(guò)程

2.1 數(shù)據(jù)集制作

實(shí)驗(yàn)數(shù)據(jù)集取自教學(xué)樓各個(gè)教室視頻監(jiān)控，為了提高識(shí)別系統(tǒng)在不同時(shí)間段針對(duì)不同人數(shù)的檢測(cè)能力，因此實(shí)驗(yàn)數(shù)據(jù)集包含多張不同時(shí)間段、不同光照和不同人數(shù)的教室視頻監(jiān)控截圖。在這樣的數(shù)據(jù)集上進(jìn)行模型訓(xùn)練更具有代表性，可更加準(zhǔn)確的反映出教室的準(zhǔn)確狀態(tài)。將獲取到的教室監(jiān)控截圖使用LabelImg進(jìn)行標(biāo)注，產(chǎn)生訓(xùn)練需要的xml文件，xml文件中包含目標(biāo)分類名稱以及目標(biāo)所在位置的坐標(biāo)信息。為了應(yīng)對(duì)更多復(fù)雜的光線環(huán)境、進(jìn)一步擴(kuò)充數(shù)據(jù)集的數(shù)量，因此采用了隨機(jī)參數(shù)設(shè)置的方法調(diào)整原始圖像的亮度、對(duì)比度和飽和度，訓(xùn)練樣本及標(biāo)注后的訓(xùn)練樣本如圖3所示。最終得到的實(shí)驗(yàn)數(shù)據(jù)集包含3000張教室監(jiān)控截圖樣本訓(xùn)練集，1000張測(cè)試集以及1000張驗(yàn)證集。各個(gè)數(shù)據(jù)集中的數(shù)據(jù)均不重復(fù)，如表1所示。

2.2 訓(xùn)練模型過(guò)程

本文使用的是基于Pytorch[13]深度學(xué)習(xí)框架實(shí)現(xiàn)的YOLOv3進(jìn)行訓(xùn)練和測(cè)試。采用darknet53.conv.74預(yù)訓(xùn)練權(quán)重以及使用數(shù)據(jù)增強(qiáng)方法擴(kuò)充后得到的3000張圖像的訓(xùn)練集進(jìn)行訓(xùn)練。

模型在訓(xùn)練過(guò)程中可分為3個(gè)步驟：

（1）根據(jù)損失函數(shù)計(jì)算預(yù)測(cè)框的誤差

YOLO的損失由4部分組成：對(duì)預(yù)測(cè)的中心坐標(biāo)做損失、對(duì)預(yù)測(cè)邊界框的寬高做損失、對(duì)預(yù)測(cè)的類別做損失、對(duì)預(yù)測(cè)的置信度做損失。

對(duì)預(yù)測(cè)的中心坐標(biāo)做損失公式為：

（1）

式中λcoord表示網(wǎng)格內(nèi)沒(méi)有目標(biāo)的系數(shù);l■■表示網(wǎng)格單元i的j網(wǎng)格是否負(fù)責(zé)obj目標(biāo);（x，y）為預(yù)測(cè)邊界框的位置，（■，■）為訓(xùn)練數(shù)據(jù)中的實(shí)際位置。

對(duì)預(yù)測(cè)邊界框的寬高做損失公式為：

（2）

式中（w，h）為預(yù)測(cè)框的尺寸，（■，■）為訓(xùn)練數(shù)據(jù)中的實(shí)際尺寸。

對(duì)預(yù)測(cè)類別做損失的公式為：

（3）

式中p■■（c）為預(yù)測(cè)結(jié)果為c類的概率，■■■（c）表示單元格i為c類的真實(shí)概率。

對(duì)預(yù)測(cè)的置信度做損失的公式為：

（4）

式中C是置信度得分，■是預(yù)測(cè)邊界框基本事實(shí)的交叉部分。當(dāng)在一個(gè)單元格中有對(duì)象時(shí)，? ? 等于1，否則取值為0。

（2）根據(jù)誤差計(jì)算卷積核中每個(gè)權(quán)重的梯度。

（3）通過(guò)基于梯度的優(yōu)化算法更新權(quán)重。

在訓(xùn)練過(guò)程中保存模型，在訓(xùn)練結(jié)束后選出最優(yōu)的教室人數(shù)檢測(cè)模型。

3 實(shí)驗(yàn)結(jié)果

本次實(shí)驗(yàn)僅需對(duì)一類目標(biāo)進(jìn)行識(shí)別，故采用精確率（Precision）和召回率（Recall）作為模型的評(píng)價(jià)標(biāo)準(zhǔn)，精確率反應(yīng)出在識(shí)別的測(cè)試集中，預(yù)測(cè)出的樣本與實(shí)際正樣本的比值;召回率反應(yīng)出所有正樣本比例中被正確識(shí)別為正樣本的比例。

式中：tp為正樣本被正確識(shí)別為正樣本;fp為負(fù)樣本被錯(cuò)誤識(shí)別為正樣本;fn為正樣本被錯(cuò)誤識(shí)別為負(fù)樣本;n為樣本總數(shù)。

網(wǎng)絡(luò)模型完成訓(xùn)練后，得到最終的教室人數(shù)檢測(cè)模型，將教室監(jiān)控?cái)?shù)據(jù)幀數(shù)據(jù)輸入模型中，即可完成對(duì)教室人數(shù)進(jìn)行檢測(cè)，測(cè)試結(jié)果如圖4所示。

在訓(xùn)練好的模型上，使用1000張圖像的測(cè)試集進(jìn)行驗(yàn)證。基于YOLOv3的教室人數(shù)檢測(cè)模型的精確率和召回率如表2所示

表2 重要指標(biāo)

通過(guò)表2和圖4可以看到基于YOLOv3網(wǎng)絡(luò)訓(xùn)練的教室人數(shù)檢測(cè)方法，其精確率和召回率都達(dá)到90%以上。對(duì)一些存在遮擋問(wèn)題的目標(biāo)也能進(jìn)行有效識(shí)別。在實(shí)際應(yīng)用中，可以準(zhǔn)確判斷教室狀態(tài)，滿足實(shí)驗(yàn)需求。

4 結(jié)束語(yǔ)

為了解決傳統(tǒng)目標(biāo)檢測(cè)算法帶來(lái)的識(shí)別精度低、魯棒性差等問(wèn)題，本文基于YOLOv3目標(biāo)檢測(cè)算法實(shí)現(xiàn)了教室人數(shù)實(shí)時(shí)檢測(cè)與統(tǒng)計(jì)功能，結(jié)果表明基于YOLOv3的人數(shù)檢測(cè)方法無(wú)論是在測(cè)試精度和還是檢測(cè)統(tǒng)計(jì)速度上都取得了良好的效果。在1000張測(cè)試集上進(jìn)行評(píng)估，達(dá)到了92%的準(zhǔn)確率。本研究的結(jié)果意味著，使用YOLOv3進(jìn)行教室人數(shù)檢測(cè)切實(shí)可行，能夠準(zhǔn)確的檢測(cè)出教室狀態(tài)，為同學(xué)們推薦符合要求的教室。下一步，將通過(guò)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)、優(yōu)化參數(shù)，進(jìn)一步提高教室人數(shù)檢測(cè)算法的識(shí)別速度和識(shí)別精度。

參考文獻(xiàn)：

[1]武陽(yáng)，余綜.基于CNN的擴(kuò)展混合端到端中文語(yǔ)音識(shí)別模型[J].青島科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2020，41（01）：104-109+118.

[2]朱超平，楊藝.基于YOLO2和ResNet算法的監(jiān)控視頻中的人臉檢測(cè)與識(shí)別[J].重慶理工大學(xué)學(xué)報(bào)（自然科學(xué)），2018，32（08）：170-175.

[3]Engineering. Studies from Civil Aviation University of China Further Understanding of Engineering （A Light Cnn for End-to-end Car License Plates Detection and Recognition）[J]. Journal of Technology & Science，2020.

[4]Gao， J.， Lin， W.， Zhao， B.， Wang， D.， Gao， C.， & Wen， J. （2019）. C^3 Framework： An Open-source PyTorch Code for Crowd Counting[J]. ArXiv， abs/1907.02724.

[5]Xingjiao Wu， Baohan Xu， Yingbin Zheng， et al. Fast video crowd counting with a Temporal Aware Network[J]. arXiv，2020， 403：13-20.

[6]江中華.人群密度估計(jì)綜述[J].輕工科技，2018，34（10）：80-81+87.

[7]Li M， Zhang Z， Huang K， et al. Estimating the number of people in crowded scenes by mid based foreground segmentation and head-shoulder detection[C]. International Conference on Pattern Recognition. New York， NY， USA： IEEE， 2008： 1-4.

[8]Zhang Y， Zhou D， Chen S， et al. Single-Image Crowd Counting via Multi-Column Convolutional Neural Network[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2016.

[9]Redmon， J.， Divvala， S.K.， Girshick， R.B.， & Farhadi， A. （2015）. You Only Look Once： Unified， Real-Time Object Detection[J]. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 779-788.

[10]Redmon， J.， & Farhadi， A.（2016）. YOLO9000： Better， Faster， Stronger[J]. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 6517-6525.

[11]Redmon， J.， & Farhadi， A.（2018）. YOLOv3： An Incremental Improvement[J]. ArXiv， abs/1804.02767.

[12]He， K.， Zhang， X.， Ren， S.， & Sun， J.（2016）. Deep Residual Learning for Image Recognition[J]. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR），770-778.

[13]本刊訊.Facebook發(fā)布深度學(xué)習(xí)框架PyTorch 1.3[J].數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn)，2019，3（10）：65.