YOLOv3 在教室內(nèi)人數(shù)識別中的應用*

劉 寅

（廣西電力職業(yè)技術學院，廣西 南寧 530007）

近年來，人工智能技術已在多個行業(yè)和領域得到廣泛應用，并取得實質性應用價值。具備表征學習能力的卷積神經(jīng)網(wǎng)絡已成為深度學習中被廣泛應用的架構之一，其在圖像識別、物體識別、人數(shù)識別等方面已有較成熟的應用案例。在學校中，教室人數(shù)識別結合班級學生總數(shù)，經(jīng)過統(tǒng)計可以得到班級出勤率、課程出勤率、院系出勤率等教學管理數(shù)據(jù)。通過教室內(nèi)視頻監(jiān)控獲取的圖像，結合深度學習技術，運用卷積神經(jīng)網(wǎng)絡架構進行識別并統(tǒng)計，實現(xiàn)對教室中人數(shù)較準確的測算，可為教學管理等工作提供有效數(shù)據(jù)支持。

運用人工智能技術進行人數(shù)識別的傳統(tǒng)方法大致有兩類，一類是基于檢測分析的方法；另一類是基于回歸分析的方法?；跈z測分析的方法常用Vapnik 等人提出的線性和非線性的支持向量機SVM 分類器以及Leo Breiman 和Adele Cutler 提出的隨機森林決策分類器并結合Valiant 提出的Boosting 以提高弱分類算法的識別率。分類器通過識別人體局部或整體的結構特征，例如四肢、肩部、頭部等部位，通過計算方向梯度直方圖HOG、小波分析等算法來提取邊緣特征進行分類識別進而識別人數(shù)?；跈z測的分析在人與人之間的距離較大時采用整體檢測效果較好，而對于人與人之間存在部分重疊時，人整體檢測效果有所下降，則采用局部特征分析，這樣能在一定程度上提高圖像中的人物識別率[1]。而對于圖像中人數(shù)比較多、人與人重疊也較多的情況，基于回歸分析的識別方法則更加適合?；貧w分析的前提是進行特征提取，常用的特征有前景、背景、邊緣、紋理和梯度分析等一維或多維特征[2]?；貧w分析方法就是通過學習建立所提取特征與人數(shù)的對應關系模型從而識別人數(shù)。常用的回歸分析算法有線性回歸、多段線性回歸、嶺回歸、lasso 回歸等[3]。

跟傳統(tǒng)的機器學習人工智能識別方法相比，采用深度學習架構的人數(shù)識別模型更具優(yōu)勢，特別是在識別準確率方面有了更大提升。采用卷積神經(jīng)網(wǎng)絡為主流框架的深度學習技術，無論是在目標檢測分析方式中還是在回歸分析方式中，其人數(shù)識別所取得的測試結果都更優(yōu)[4]。近年來，深度學習技術發(fā)展迅速，已在目標檢測等領域取得很多成熟的應用并逐漸取代了基于機器學習的傳統(tǒng)識別方法[5]。例如，有學者采用三列卷積神經(jīng)網(wǎng)絡訓練密度回歸人數(shù)識別模型，經(jīng)測試，其在L1 損失和L2 損失數(shù)據(jù)上相比CNN 模型都有10%以上的下降。

Joseph Redmon 在2015 年提出了采用卷積神經(jīng)網(wǎng)絡架構的深度學習目標檢測模型You Only Look Once，簡稱YOLO。起初YOLO 檢測架構最多可以識別49 個目標，經(jīng)過數(shù)年發(fā)展研究，先后發(fā)展出YOLOv1、YOLOv2、YOLOv3 等幾個模板，其檢測速度和準確率不斷提升[6]。YOLOv3 架構在網(wǎng)絡結構方面進一步調整，并采用不同尺度的多個特征圖來增強不同尺寸目標的識別能力。與之前兩個版本相比較，YOLOv3 架構識別類別更多，檢測速度更快，準確度更高。在同樣的硬件平臺下采用COCO數(shù)據(jù)集測試，與RetinaNet 等深度學習架構相比，在mAP精度基本相近的情況下，YOLOv3 架構具備明顯的識別速度優(yōu)勢[7]。YOLOv3 架構目標識別速度與其他架構對比如圖1 所示。

圖1 YOLOv3 識別速度

本文將深度學習架構YOLOv3 應用到教室內(nèi)人數(shù)的識別中，通過教室內(nèi)視頻監(jiān)控截圖作為數(shù)據(jù)訓練集，經(jīng)數(shù)據(jù)訓練得到教室內(nèi)人數(shù)識別模型，經(jīng)測試該模型具備較高的人數(shù)識別準確率。

1 YOLOv3 的網(wǎng)絡模型

YOLOv3 的網(wǎng)絡模型是darknet-53 分類架構。整個網(wǎng)絡架構由53 個卷積網(wǎng)絡層構成，并根據(jù)殘差網(wǎng)絡結構在某些層之間進行了快捷鏈路。該網(wǎng)絡架構采用3 個不同尺度的特征圖以及9 種不同尺度的先驗框來實現(xiàn)多尺度對象預測[8]。YOLOv3 的網(wǎng)絡模型如圖2 所示。

圖2 YOLOv3 網(wǎng)絡模型

2 實驗過程

2.1 數(shù)據(jù)準備

本次實驗數(shù)據(jù)來源于學校50 間教室的視頻監(jiān)控截圖。為了保障目標檢測模型的識別適應能力，本次數(shù)據(jù)采集特別針對不同角度、不同光照、不同人數(shù)的教室截圖進行差異化的采集，目的是避免訓練數(shù)據(jù)過于單一導致的目標檢測系統(tǒng)的識別適應能力下降。

采用YOLO_mark 對采集來的教室截圖進行標注。新建my_classroom.names 文件，建立單獨分類person。依次對訓練數(shù)據(jù)集的截圖進行標注，標定目標類別為人物，標定其所在的x、y 坐標以及標注框的w、y 范圍并生成txt文件。已標注的教室截圖訓練數(shù)據(jù)如圖3 所示。

圖3 已標注的教室截圖

通過標注并整理得到訓練數(shù)據(jù)集100 張截圖以及驗證數(shù)據(jù)集100 張截圖。為了更好地驗證效果，用于驗證的數(shù)據(jù)集與訓練數(shù)據(jù)集中的截圖都不一樣。實驗數(shù)據(jù)集情況見表1 所示。

表1 實驗數(shù)據(jù)集

2.2 神經(jīng)網(wǎng)絡模型訓練

YOLOv3 深度學習模型是基于darknet-53 架構，其訓練模型的過程是通過不斷的迭代而不斷刷新架構參數(shù)，通過大量訓練樣本數(shù)據(jù)給神經(jīng)網(wǎng)絡進行學習，使得神經(jīng)網(wǎng)絡提取到的特征不斷地接近預期輸出。

本次模型訓練采用隨機初始化神經(jīng)網(wǎng)絡參數(shù)作為訓練起點。卷積神經(jīng)網(wǎng)絡每一次正向傳播迭代，都會將帶有標簽的截圖輸入進神經(jīng)網(wǎng)絡，而神經(jīng)網(wǎng)絡架構根據(jù)現(xiàn)有網(wǎng)絡層參數(shù)來提取截圖相關特征，最終得到此次迭代的特征輸出。輸出的特征包括目標坐標數(shù)據(jù)（x，y，w，h）、目標置信度和目標類別概率。而輸入截圖標簽中有目標實際坐標和目標所屬類別，卷積神經(jīng)網(wǎng)絡每次迭代輸出與實際預期輸出的誤差則是關注的重點。通過計算損失函數(shù)可以有效反映迭代輸出誤差的真實情況，而神經(jīng)網(wǎng)絡模型訓練的目的就是通過不斷優(yōu)化參數(shù)來減少損失（loss）。神經(jīng)網(wǎng)絡向前傳播時可以計算每層的網(wǎng)絡輸出，在反向傳播時可以計算每層的網(wǎng)絡預期輸出，計算輸出與預期輸出的差值得到單個神經(jīng)元的殘差，利用鏈式求導計算殘差梯度，再利用梯度下降來調整參數(shù)，最終使得loss 逐步下降并趨于收斂。

訓練時，神經(jīng)網(wǎng)絡模型的參數(shù)更新一次就是一次迭代。當每次迭代的loss 變化不大并趨于收斂時即可以得到最終的訓練模型。模型訓練loss 曲線如圖4 所示。

圖4 loss 曲線

3 實驗結果

卷積神經(jīng)網(wǎng)絡識別模型訓練完之后即可進行模型的驗證。將驗證數(shù)據(jù)集100 張截圖輸入模型，識別輸出效果，如圖5 所示。

圖5 識別輸出效果

本次實驗通過精確率（Precision）、召回率（Recall）和準確率（Accuracy）三個評價指標來衡量YOLOv3 模型識別教室人數(shù)的效果。計算公式為：

式中P 為精確率；R 為召回率；A 為準確率。TP 是正類預測為正類的數(shù)量；FP 是負類預測為正類的數(shù)量；FN 是正類預測為負類的數(shù)量；N 為被測樣本真實人數(shù)。

精確率反映出模型識別為正類的樣本中有多少是真正的正類。召回率反映出所有的正類樣本中有多少被正確的識別出來。準確率反映出模型輸出數(shù)據(jù)的可信度和有效性。

經(jīng)過驗證數(shù)據(jù)集100 個樣本，統(tǒng)計驗證數(shù)據(jù)，得到深度學習架構YOLOv3 在本次教室人數(shù)識別中的評價指標數(shù)據(jù)如表2 所示。

表2 實驗的評價指標數(shù)據(jù)

通過實驗驗證，深度學習架構YOLOv3 模型在學校教室內(nèi)人數(shù)識別時可以做到92.64%的正類召回率，而精確率能夠達到97.74%，平均準確率可以達到93%以上，其識別結果可以有效地對教室內(nèi)人數(shù)進行判斷，能夠為教學管理提供有效數(shù)據(jù)。

4 結束語

為了解決傳統(tǒng)目標檢測算法識別速度和精度相對較低等問題，本文采用深度學習技術中較為成熟的YOLOv3 神經(jīng)網(wǎng)絡架構來識別學校教室中的人物目標，通過統(tǒng)計數(shù)據(jù)進而取得了教室內(nèi)的人數(shù)。經(jīng)過數(shù)據(jù)訓練的深度學習網(wǎng)絡模型在100 張教室截圖的數(shù)據(jù)驗證時，其教室內(nèi)人數(shù)識別的平均準確率可以達到93%以上，并且在模型精確率和召回率指標上都取得了較理想的效果。本次實驗結果可以為教學管理提供有效參考數(shù)據(jù)支持。下一步計劃針對單目標檢測網(wǎng)絡進行結構優(yōu)化，嘗試進一步提高教室內(nèi)人數(shù)識別的準確率。