基于深度學習的線上教學學情監(jiān)測系統(tǒng)研究

韓毅 王旭彬 郭圓輝

摘 要：線上教學在疫情期間得到廣泛應(yīng)用，但是在授課過程中，教師沒有精力關(guān)注每一位學生對講授內(nèi)容的實時反應(yīng)，無法針對性地調(diào)整授課方案，導致教學效果不佳。因此，本文開發(fā)了基于深度學習的線上教學學情監(jiān)測系統(tǒng)。該系統(tǒng)采用Yolov3算法，結(jié)合攝像頭實時采集的視頻畫面，對學生進行檢測定位，計算學生在線時間。同時，其使用Dlib開源庫檢測學生面部特征點，對學生進行困倦狀態(tài)識別，并生成課堂學情報告，分析學生出勤、學習狀態(tài)數(shù)據(jù)。測試表明，該系統(tǒng)響應(yīng)迅速，可靠性較高，能準確判斷學生的學習狀態(tài)，具有較好的實際應(yīng)用價值。

關(guān)鍵詞：學生監(jiān)測;深度學習;人臉特征點檢測

中圖分類號：G434;TP391文獻標識碼：A文章編號：1003-5168（2021）03-0019-03

Study on Monitoring System of Learning Situation in Online

Teaching Based on Deep Learning

HAN Yi WANG Xubin GUO Yuanhui

（Department of Computer Science and Information Engineering， Anyang Institute of Technology，Anyang Henan 455000）

Abstract： Online teaching has been widely used during the epidemic， but in the course of teaching， teachers did not have the energy to pay attention to the real-time response of each student to the content of the lecture， and could not adjust the teaching plan in a targeted manner， resulting in poor student learning. Therefore， this paper developed an online education monitoring system based on deep learning. The system uses the Yolov3 algorithm， combined with the real-time video images collected by the camera， detects and locates students， and calculates the online time of students. At the same time， it uses the Dlib open source library to detect student facial feature points， recognize students' sleepiness status， and generate classroom learning reports， and analyze all students' absenteeism and learning status data. Tests show that the system responds quickly， has high reliability， can accurately judge the learning status of students， and has high practical application value.

Keywords： student monitoring;deep learning;face feature point detection

2019年底，新冠肺炎疫情暴發(fā)，為了避免學生聚集，多所學校于2020年初采用線上教學代替線下教學。線上教學模式在帶來便捷的同時，也存在一些問題，例如，學生在學習過程中存在困倦、睡覺甚至中途離開的情況。教師在進行線上教學時主要關(guān)注教學內(nèi)容及學生提問，不能兼顧學生的實時聽課狀態(tài)。因此，如何在線上教學過程中讓教師實時查看學生學習狀態(tài)成為亟待解決的問題。

基于人工智能技術(shù)與計算機視覺技術(shù)的快速發(fā)展，相關(guān)學者將這兩種技術(shù)應(yīng)用于學情監(jiān)測，如基于CNN深度學習模型的大學生課堂行為檢測研究[1]、改進的多目標回歸學生課堂行為檢測方法等[2]。本文開發(fā)出基于深度學習的線上教學學情監(jiān)測系統(tǒng)，旨在對線上學習的過程中學生行為進行監(jiān)督統(tǒng)計，并通過可視化方式反饋給教師，從而使教師實時了解學生的學習狀態(tài)，提高教學效果。

1 系統(tǒng)概述

本系統(tǒng)主要面向?qū)W生、教師群體。其采用模塊化設(shè)計，并分為五個模塊。一是面部定位，在攝像頭獲取實時視頻數(shù)據(jù)后快速對學生面部進行定位，并將學生面部圖像傳至后端模塊，同時對學生是否中途離開進行監(jiān)測;二是特征提取，通過對面部定位模塊獲取的面部圖像進行學生面部特征點提取，并將面部特征點數(shù)據(jù)保存;三是狀態(tài)分析，基于獲取的特征點數(shù)據(jù)對學生當前狀態(tài)進行分析;四是行為響應(yīng)，根據(jù)系統(tǒng)分析出的學生狀態(tài)做出指定的響應(yīng);五是生成課堂學情報告，將課堂內(nèi)學生狀態(tài)生成可視化圖表報告。

2 系統(tǒng)結(jié)構(gòu)

如圖1所示，系統(tǒng)主要分為五個模塊，即學生定位、特征提取、狀態(tài)分析、行為響應(yīng)以及統(tǒng)計生成。

2.1 學生定位

系統(tǒng)通過學生上網(wǎng)課時攝像頭采集的視頻數(shù)據(jù)，使用Yolov3算法訓練出人臉識別模型來對學生面部進行識別，采用多尺度融合方法，在3個尺度上進行融合，并提出了全新的特征提取器Darknet-53，添加了殘差網(wǎng)絡(luò)，進一步提高了目標檢測的性能。

2.2 特征提取

監(jiān)測系統(tǒng)中的特征提取模塊采用開源庫Dlib進行68個面部特征點的提取，采用基于回歸樹的人臉對齊算法[3]。在已知的人臉矩形選框中，該算法以準確定位其形狀為目標，主要分為基于優(yōu)化的方法和基于回歸的方法兩大類。本文采用后者，通過級聯(lián)的殘差回歸樹使人臉逐步對齊，從而準確檢測出人臉的68個特征點。Dlib方法對姿態(tài)變動較小的人臉有非常好的定位效果，而且學生使用的攝像頭像素參差不齊，故采用該方法進行面部特征點檢測。

在接收到學生面部圖像后，系統(tǒng)將通過以上算法標記出學生面部的68個特征點，如圖2所示。若根據(jù)學生面部圖像信息無法獲取學生面部特征點，系統(tǒng)會提示學生調(diào)整攝像頭位置，以將面部納入取景框內(nèi)。

2.3 狀態(tài)分析

2.3.1 學生出勤情況分析。系統(tǒng)將根據(jù)學生定位模塊來分析學生的出勤情況，模塊內(nèi)含有計時器，對學生定位模塊傳出的信號進行統(tǒng)計，若學生定位模塊持續(xù)1 min無法檢測到人臉，計為“缺勤”。

2.3.2 學生頭部姿態(tài)估計。系統(tǒng)基于特征提取模塊采集面部特征點，假設(shè)[d1]為瞳孔水平位置到采集圖片的上邊緣距離，[d2]為嘴角的水平位置到采集圖片的下邊緣距離。在學生低頭時，[d1]增大，[d2]減小。系統(tǒng)將以此估計學生頭部姿態(tài)，并判斷學生是否長期低頭狀態(tài)。

2.3.3 學生困倦、睡覺狀態(tài)識別。困倦時，學生具有打哈欠、眨眼頻率降低、不斷點頭等特征;睡著時，眼睛處于閉合狀態(tài)，學生保持低頭。基于特征提取模塊采集到的面部特征點，取眼部特征點、嘴部特征點求得[EAR]（Eye Aspect Ratio，眼部縱橫比）與[MAR]（Mouth Aspect Ratio，嘴部縱橫比）。當學生兩眼[EAR]的均值低于設(shè)定的閾值時，判定閉眼;當[MAR]高于設(shè)定的閾值時，判定打哈欠。然后，系統(tǒng)將通過單位時間內(nèi)學生的[EAR]計算[PERLOCS]（眼睛閉合時間占單位時間的百分率），通過[MAR]計算單位時間內(nèi)的[YAWNFRE]（打哈欠頻率），同時結(jié)合頭部姿態(tài)計算[DOWNFRE]（單位時間內(nèi)低頭時間的百分率）來判斷學生是否困倦、是否睡著，如式（1）所示。其中，[α]、[β]和[γ]為[PERLOCS]、[YAWNFRE]和[DOWNFRE]對狀態(tài)評判的權(quán)重;[Points]為單位時間內(nèi)學生的狀態(tài)分，系統(tǒng)將據(jù)此判斷學生狀態(tài)。

[Points=α×PERLOCS+β×YAWNFRE+γ×DOWNFRE]（1）

2.4 行為響應(yīng)

對于學生的實時狀態(tài)，系統(tǒng)將做出對應(yīng)響應(yīng)。在開始判定學生缺勤時，系統(tǒng)會及時向教師反饋;在學生困倦、睡著或是長期低頭時，將會在屏幕上進行提示。教師也可實時查看學生的狀態(tài)記錄、缺勤記錄。

2.5 統(tǒng)計生成

系統(tǒng)將在課堂結(jié)束后生成一份統(tǒng)計報告，以展示學生課上狀態(tài)。其中包括缺勤時長、困倦時長、低頭時長以及睡覺時長，并把數(shù)據(jù)可視化處理，將學生的課上行為按比例劃分，以便分析學生的學習狀態(tài)并幫助調(diào)整。同時，系統(tǒng)也會生成以班級為單位的課堂報告，呈現(xiàn)整個班級的課堂狀態(tài)。

3 系統(tǒng)試驗

為測試系統(tǒng)的有效性、可靠性以及準確性，試驗以7位測試員在不同學習環(huán)境下模擬上課的錄制視頻數(shù)據(jù)為樣本，課堂使用釘釘視頻會議的形式共進行50 min，7位測試員根據(jù)指令在不同時間段內(nèi)做出相應(yīng)的行為。系統(tǒng)應(yīng)用示例如圖3所示。

將系統(tǒng)采集模擬上課視頻數(shù)據(jù)的測試結(jié)果與學生實際行為進行對比，如圖4所示。系統(tǒng)對學生缺勤的識別準確率為96.1%，對學生睡覺的識別準確率為90.7%，對學生困倦的識別準確率為93.7%，對學生低頭的識別準確率為90.1%。測試數(shù)據(jù)表明，該系統(tǒng)可有效對學生課上行為進行監(jiān)測，基本滿足線上教學中對學生不良習慣監(jiān)測的要求，而且具有實時監(jiān)測、響應(yīng)速度快、準確性高等優(yōu)勢。

4 結(jié)語

本文開發(fā)基于深度學習的線上教學學情監(jiān)測系統(tǒng)，可以很好地解決線上教學中出現(xiàn)的問題，有利于線上教學效果的提高。該系統(tǒng)具有較高的可靠性和實用性，不足的是，睡覺和低頭兩種狀態(tài)的識別具有復雜性，其檢測準確率還有待提高。未來，人們?nèi)孕枰M一步深入研究，不斷改進檢測算法。

參考文獻：

[1]左國才，蘇秀芝，王海東，等.基于CNN深度學習模型的大學生課堂行為檢測研究[J].智能計算機與應(yīng)用，2020（2）：158-160.

[2]劉新運，葉時平，張登輝.改進的多目標回歸學生課堂行為檢測方法[J].計算機工程與設(shè)計，2020（9）：2684-2689.

[3]KAZEMI V，SULLIVAN J.One millisecond face alignment with an ensemble of regression trees[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2014.