基于人臉識(shí)別的課堂專(zhuān)注度設(shè)計(jì)

舒珩 周麗

摘 ?要：高校的學(xué)習(xí)生活因科技的高速發(fā)展而發(fā)生了翻天覆地的變化，順應(yīng)時(shí)代的發(fā)展，高校教育信息集成化成為當(dāng)今關(guān)注焦點(diǎn)。決定大學(xué)生學(xué)習(xí)成果和學(xué)習(xí)效率的基本保障是課堂出勤率及課堂上的專(zhuān)注度，因此大學(xué)生的課堂專(zhuān)注度問(wèn)題一直是高校熱門(mén)話題。得益于人臉識(shí)別技術(shù)的高速發(fā)展，文章采用HAAR特征值算法將課堂專(zhuān)注度集成為一個(gè)基于人臉識(shí)別的系統(tǒng)。該系統(tǒng)將人臉識(shí)別考勤加入其中，在大大提高教師上課效率的同時(shí)，還可精準(zhǔn)監(jiān)管學(xué)生在課堂上的專(zhuān)注度。

關(guān)鍵詞：人臉識(shí)別;課堂抬頭率;專(zhuān)注度統(tǒng)計(jì)

中圖分類(lèi)號(hào)：TP391.4 ? ?文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2021）12-0029-04

Abstract： The study and life of colleges have undergone earth shaking changes due to the rapid development of science and technology. In line with the development of the times， the integration of educational information in colleges has become today's focus of attention. The basic guarantee of college students' learning achievement and learning efficiency is classroom attendance and classroom concentration. Therefore， college students' classroom concentration has always been a hot topic in colleges. Thanks to the rapid development of face recognition technology， this paper uses HAAR eigenvalue algorithm to integrate classroom concentration into a face recognition based system. The system adds face recognition attendance to it， which can not only greatly improve the efficiency of teachers in class， but also accurately monitor the concentration of students in class.

Keywords： face recognition; classroom rise rate; concentration statistics

0 ?引 ?言

如今，互聯(lián)網(wǎng)科技的高速發(fā)展加速了這個(gè)時(shí)代成為一個(gè)信息大爆炸的時(shí)代，手機(jī)作為這個(gè)時(shí)代最成功的百姓用品，同時(shí)也成為學(xué)生的一個(gè)巨大誘惑。據(jù)權(quán)威統(tǒng)計(jì)，當(dāng)今大學(xué)生的智能手機(jī)擁有量幾乎達(dá)到100%，任何事情在發(fā)展到極致的時(shí)候都會(huì)顯示出來(lái)弊端，分析大學(xué)生上課手機(jī)使用情況的統(tǒng)計(jì)發(fā)現(xiàn)，當(dāng)今大學(xué)生面臨著巨大的就業(yè)和深造壓力，但仍有相當(dāng)一部分的同學(xué)高校的課堂學(xué)習(xí)都在極度不專(zhuān)注下度過(guò)[1]，這樣會(huì)導(dǎo)致學(xué)習(xí)成績(jī)下滑。雖然說(shuō)學(xué)習(xí)很重要的是依靠自律，但這并不妨礙在如今的新型科技的出現(xiàn)下順應(yīng)時(shí)代的改變做出相應(yīng)的監(jiān)管措施。

我國(guó)人臉識(shí)別技術(shù)的發(fā)展時(shí)間始于20世紀(jì)九十年代末期和21世紀(jì)伊始，其中經(jīng)歷了技術(shù)引進(jìn)、專(zhuān)業(yè)市場(chǎng)引進(jìn)、技術(shù)完善、技術(shù)應(yīng)用。2014年是深度學(xué)習(xí)技術(shù)應(yīng)用于人臉識(shí)別的關(guān)鍵一年，加速了我國(guó)的人臉識(shí)別技術(shù)的發(fā)展。2016年，微信用戶數(shù)量激增到8億人，而且現(xiàn)在微信的注冊(cè)和使用人數(shù)依然是中國(guó)社交軟件的佼佼者?，F(xiàn)在我國(guó)的人臉識(shí)別已經(jīng)廣泛應(yīng)用于人臉解鎖系統(tǒng)、門(mén)禁、課堂考勤、刷臉支付、刑事偵查等，且技術(shù)日益成熟和完善。但是早在21世紀(jì)初實(shí)施的新課改中提出教師要合理應(yīng)用每一節(jié)課的時(shí)間，正確引導(dǎo)學(xué)生自學(xué)能力和自律?；谛抡n改的大時(shí)代下，很多文章描寫(xiě)了如何提高或改善學(xué)生的課堂專(zhuān)注度，但都沒(méi)有精準(zhǔn)到每一個(gè)學(xué)生到底專(zhuān)注了多久、以及哪些同學(xué)十分專(zhuān)注、哪些同學(xué)長(zhǎng)期開(kāi)小差卻未被發(fā)現(xiàn)的情況，而且對(duì)于專(zhuān)注的情況沒(méi)有一個(gè)完整的監(jiān)管過(guò)程，全是依靠教師的肉眼判斷?；谌四樧R(shí)別的課堂專(zhuān)注度統(tǒng)計(jì)的出現(xiàn)，使教師可以輕松掌握同學(xué)們是否在專(zhuān)注，且可以在同一時(shí)間了解班上學(xué)生的整體專(zhuān)注度，這樣教師對(duì)全班同學(xué)上課情況的監(jiān)管能夠精確到個(gè)人，也便于課后的分析和指正。

1 ?基于人臉識(shí)別的課堂專(zhuān)注度統(tǒng)計(jì)

1.1 ?總體設(shè)計(jì)流程

其設(shè)計(jì)的中心思想在于建立大學(xué)生的課堂監(jiān)管系統(tǒng)，這個(gè)監(jiān)管系統(tǒng)必須具有自動(dòng)分析、自動(dòng)統(tǒng)計(jì)等智能模塊，這也是為了響應(yīng)教育部對(duì)新時(shí)代大學(xué)日常學(xué)習(xí)的改進(jìn)要求，為以后的大學(xué)生課堂管理進(jìn)行優(yōu)化起到監(jiān)管支撐。在進(jìn)行課堂專(zhuān)注度統(tǒng)計(jì)時(shí)，我們把基于人臉識(shí)別考勤系統(tǒng)的模塊也加入進(jìn)去，應(yīng)用人臉識(shí)別的抬低頭算法，并以這個(gè)算法為核心進(jìn)行框架設(shè)計(jì)。所以大致分為以下兩個(gè)綜合模塊進(jìn)行：學(xué)生人臉采集與預(yù)處理模塊，以及學(xué)生課堂專(zhuān)注度分析模塊[2]，如圖1所示。

1.2 ?專(zhuān)注度統(tǒng)計(jì)系統(tǒng)的基本模塊設(shè)計(jì)

1.2.1 ?人臉采集

這里的圖像采集采用人臉識(shí)別中的模板檢測(cè)，我們將采集學(xué)生的免冠證件照（也可以直接從教務(wù)處導(dǎo)入學(xué)生信息），本系統(tǒng)實(shí)驗(yàn)時(shí)在光線較好的教室里以白色墻壁為背景對(duì)學(xué)生進(jìn)行照片采集，每位學(xué)生需要20～30張照片集，將所有照片按照姓名、學(xué)號(hào)、班級(jí)格式命名，并以jpg形式的文件進(jìn)行分類(lèi)存儲(chǔ)，如圖2所示。

1.2.2 ?人臉的預(yù)處理考勤系統(tǒng)的初步實(shí)現(xiàn)

在進(jìn)行人臉圖片采集后，我們將所有彩色證件照轉(zhuǎn)為灰度圖進(jìn)行訓(xùn)練，為了實(shí)現(xiàn)系統(tǒng)中的考勤模塊功能，系統(tǒng)使用計(jì)算機(jī)視覺(jué)庫(kù)OpenCV中的Eigenface人臉識(shí)別算法以實(shí)現(xiàn)對(duì)人臉特征向量的計(jì)算，在此基礎(chǔ)上再利用機(jī)器學(xué)習(xí)，從訓(xùn)練圖像中獲取統(tǒng)計(jì)的特征構(gòu)建模型并進(jìn)行考勤系統(tǒng)的實(shí)現(xiàn)，如圖3所示。

這一步是為了去除圖像的噪聲以及將圖片轉(zhuǎn)為數(shù)形信息好進(jìn)行下一步分析判斷。在特征數(shù)據(jù)標(biāo)記好后，使用所采集的數(shù)據(jù)集進(jìn)行相關(guān)的訓(xùn)練和保存。

1.2.3 ?考勤系統(tǒng)的實(shí)現(xiàn)

在預(yù)處理圖片信息后，將訓(xùn)練完成的系統(tǒng)進(jìn)行人臉信息的及時(shí)采集，以其作為基于人臉識(shí)別中的考勤系統(tǒng)的運(yùn)行實(shí)踐，系統(tǒng)在進(jìn)行圖片采集后，會(huì)及時(shí)加載所訓(xùn)練的人臉模型，并將照片與模型進(jìn)行對(duì)比分析，當(dāng)正確認(rèn)識(shí)到人臉信息之后，及時(shí)在連接的數(shù)據(jù)庫(kù)里面將學(xué)生的身份信息顯示出來(lái)，若未識(shí)別成功也將會(huì)及時(shí)提示人臉簽到失敗，如圖4所示。通過(guò)對(duì)總?cè)藬?shù)為52人的班級(jí)進(jìn)行實(shí)驗(yàn)發(fā)現(xiàn)，其整個(gè)過(guò)程用時(shí)平均5 min，且在光線較好的情況下，其準(zhǔn)確率能夠達(dá)到90%以上[3]。

2 ?抬低頭算法的預(yù)處理

由于近年來(lái)的特殊情況，我們進(jìn)行人臉識(shí)別的時(shí)候?qū)δ槻康奶卣髦颠M(jìn)行定點(diǎn)識(shí)別，這樣對(duì)于人臉的曝光率要求大大降低，本系統(tǒng)采用Haar-Adaboost算法來(lái)完成人臉的實(shí)時(shí)檢測(cè)功能以實(shí)現(xiàn)抬頭率監(jiān)控。根據(jù)人臉識(shí)別的基本思想，我們將人臉視為一個(gè)簡(jiǎn)單且穩(wěn)定的幾何單位，所謂Haar特征值算法就是鼻梁兩側(cè)的顏色比鼻梁的顏色要深一些，眼睛、嘴巴等地方的顏色都比周?chē)娌科つw的顏色要深。因此，可以用矩素變化來(lái)表現(xiàn)顏色深淺。Haar算法模型與深度學(xué)習(xí)中的貝葉斯算法其實(shí)很類(lèi)似，由于實(shí)驗(yàn)條件限制，本系統(tǒng)采用Adaboost優(yōu)化算法，簡(jiǎn)要步驟為[4]：

（1）建立一個(gè)弱分類(lèi)器集合。

（2）利用Adaboost對(duì)集合進(jìn)行訓(xùn)練。

（3）構(gòu)成強(qiáng)分類(lèi)器。

我們一般選擇將面部分為眼部、鼻腔部、嘴部等標(biāo)準(zhǔn)區(qū)域來(lái)提供訓(xùn)練其特征值，通過(guò)對(duì)比發(fā)現(xiàn)，傳統(tǒng)的人臉識(shí)別特征值提取方法比優(yōu)化算法的準(zhǔn)確率平均低5%～10%，如圖5所示。

在實(shí)現(xiàn)抬低頭預(yù)處理之前，使用人臉識(shí)別的Haar-Adaboost算法的目的是，應(yīng)對(duì)面對(duì)單一窗口的多人臉識(shí)別的復(fù)雜工況。根據(jù)人臉識(shí)別的基本思想，我們可以將人臉視為一個(gè)簡(jiǎn)單且穩(wěn)定的幾何單位，將采集后的人臉信息使用Haar特征進(jìn)行特征固定化[5]。經(jīng)過(guò)對(duì)圖片特征值進(jìn)行優(yōu)化處理后得到預(yù)處理后的照片，在光線較差與人臉曝光率較少的情況下，能夠大大提高抬低頭統(tǒng)計(jì)的正確率。如圖6所示。

3 ?后臺(tái)管理數(shù)據(jù)庫(kù)模塊功能介紹

對(duì)學(xué)生的人臉采集和預(yù)處理后，將訓(xùn)練和預(yù)處理完成的學(xué)生人臉照片存入系統(tǒng)之中。本設(shè)計(jì)的后臺(tái)存儲(chǔ)端與管理端采用Mysql數(shù)據(jù)作為支撐。數(shù)據(jù)庫(kù)的建立目的是讓整個(gè)系統(tǒng)成為一個(gè)完整的單元表格，并且有助于人臉考勤系統(tǒng)的實(shí)現(xiàn)，數(shù)據(jù)表設(shè)計(jì)如表1所示。

將所有學(xué)生的基本信息按照一定順序進(jìn)行存儲(chǔ)，數(shù)據(jù)庫(kù)的使用是為了讓整個(gè)系統(tǒng)在運(yùn)行過(guò)程中能夠準(zhǔn)確快速地調(diào)出和存儲(chǔ)數(shù)據(jù)，并讓整個(gè)程序在多線程的支撐下更加高效、穩(wěn)定、準(zhǔn)確地顯示數(shù)據(jù)。作為專(zhuān)注度統(tǒng)計(jì)的來(lái)源，數(shù)據(jù)庫(kù)中的數(shù)據(jù)會(huì)高頻率的與外界傳入的實(shí)時(shí)錄像進(jìn)行人臉識(shí)別對(duì)并然后做出統(tǒng)計(jì)和顯示，這樣教師端能夠更好地收集學(xué)生上課專(zhuān)注度情況。在該模塊中還有如下幾個(gè)模塊：信息導(dǎo)入模塊、信息刪除模塊、信息修改模塊，這幾個(gè)模塊的設(shè)定會(huì)大大提高教師管理端的操作便捷性，以實(shí)現(xiàn)高效管理學(xué)生。

4 ?整體系統(tǒng)的實(shí)現(xiàn)

我們對(duì)一個(gè)教學(xué)班整體進(jìn)行人臉圖像的采集和預(yù)處理，并與數(shù)據(jù)庫(kù)中的學(xué)生身份信息進(jìn)行匹配，之后，為測(cè)試系統(tǒng)分析檢測(cè)準(zhǔn)確性，在實(shí)現(xiàn)過(guò)程之前我們錄取一段視頻按照某一定的幀數(shù)進(jìn)行多次截取圖片，框出人臉位置，然后進(jìn)行專(zhuān)注度的專(zhuān)項(xiàng)測(cè)試。如圖7所示。

經(jīng)過(guò)這個(gè)小測(cè)試，對(duì)上課學(xué)生專(zhuān)注度的統(tǒng)計(jì)的整體實(shí)現(xiàn)。本設(shè)計(jì)中系統(tǒng)使用到的硬件設(shè)施為一個(gè)攝像頭，其為基于人臉識(shí)別的課堂專(zhuān)注度統(tǒng)計(jì)的系統(tǒng)進(jìn)行錄像和采集照片。在上課開(kāi)始的時(shí)候，由教師在操作界面按下考勤按鈕，然后系統(tǒng)就會(huì)記錄到課人數(shù)并且以到課人數(shù)作為基礎(chǔ)來(lái)計(jì)算抬頭率，如式（1）所示：

FocusDgree=stuCount/Focusstu ? ? ? ? ? ? ? ? ?（1）

FocusDgree表示當(dāng)前學(xué)生的課堂專(zhuān)注度，stuCount表示當(dāng)前實(shí)到學(xué)生的人數(shù)，F(xiàn)ocusstu表示在本次課程中的專(zhuān)注學(xué)生的統(tǒng)計(jì)。

學(xué)生抬低頭作為判定方法的基本實(shí)現(xiàn)是將視頻里的學(xué)生作為一個(gè)二維圖片，將人臉中左眼、右眼、嘴巴定位為A點(diǎn)、B點(diǎn)、C點(diǎn)，這也是前文使用HAAR特征值提取方法的原因之一。通過(guò)測(cè)試設(shè)定合適的專(zhuān)注的AC/BC的最佳取值范圍K，將這個(gè)范圍內(nèi)的學(xué)生定義為專(zhuān)注的人，其余范圍的學(xué)生定義為非專(zhuān)注的人，這需要根據(jù)所投放教室的面積、座位面積、人數(shù)等因素進(jìn)行最佳范圍的確定。

設(shè)定好一定范圍的值后，本系統(tǒng)才算真正意義上的完備與健全，在教師端進(jìn)行操控讓電腦調(diào)用所聯(lián)通的攝像頭進(jìn)行課堂專(zhuān)注度統(tǒng)計(jì)，攝像頭會(huì)以提前安排好的上課時(shí)間進(jìn)行錄像并按照事先設(shè)定好的時(shí)間節(jié)點(diǎn)進(jìn)行實(shí)時(shí)回放和截取圖片，并同時(shí)進(jìn)行課堂專(zhuān)注度的統(tǒng)計(jì)。如圖8所示。

5 ?結(jié)果與分析

本系統(tǒng)是基于人臉識(shí)別中的機(jī)器視覺(jué)對(duì)學(xué)生專(zhuān)注度的分析和統(tǒng)計(jì)，會(huì)涉及單一人臉識(shí)別和單一窗口多人臉識(shí)別等深度學(xué)習(xí)的范疇，進(jìn)行一系列預(yù)處理過(guò)程后，在應(yīng)對(duì)人臉曝光率較高的情況下，本系統(tǒng)在進(jìn)行了5組時(shí)長(zhǎng)為60 S的測(cè)試集后，發(fā)現(xiàn)其準(zhǔn)確率在80%～95%之間，并且成功實(shí)現(xiàn)課堂人臉識(shí)別的簽到功能和計(jì)算出專(zhuān)注與非專(zhuān)注學(xué)生的百分比。如圖9所示。

6 ?結(jié) ?論

互聯(lián)網(wǎng)的高速發(fā)展給我們大學(xué)生帶來(lái)了高效的學(xué)習(xí)方式和開(kāi)闊的技能學(xué)習(xí)平臺(tái)，當(dāng)一個(gè)事務(wù)發(fā)展到極致的時(shí)候往往會(huì)變成一個(gè)雙刃劍，高校上課學(xué)生使用手機(jī)瀏覽無(wú)關(guān)上課學(xué)習(xí)的情況必須得到改變，本系統(tǒng)旨在實(shí)現(xiàn)監(jiān)管系統(tǒng)的自動(dòng)化與準(zhǔn)確智能化。本系統(tǒng)所需硬件設(shè)備較小且實(shí)現(xiàn)過(guò)程較為便捷，在人臉識(shí)別的課堂專(zhuān)注度統(tǒng)計(jì)的輔助下，能夠幫助高校教師對(duì)學(xué)生上課的情況有所掌握和了解，有助于高校學(xué)習(xí)的信息化監(jiān)管工作的開(kāi)展。

參考文獻(xiàn)：

[1] 趙紀(jì)河，簡(jiǎn)志群.大學(xué)生課堂問(wèn)題行為的表現(xiàn)及其原因分析 [J].新課程學(xué)習(xí)（中），2011（7）：20.

[2] 牟國(guó)棟，譚俏俏，李田來(lái)，等.人臉識(shí)別技術(shù)在智慧校園中的應(yīng)用 [J].電腦知識(shí)與技術(shù)，2021，17（16）：190-192.

[3] 陳文兵，李育霖，陳允杰.一種基于CNN-SE-ELM的年齡和性別識(shí)別模型 [J].計(jì)算機(jī)工程與科學(xué)，2021，43（5）：872-882.

[4] 段巨力.基于機(jī)器視覺(jué)的學(xué)生上課專(zhuān)注度的分析評(píng)測(cè)系統(tǒng) [D].杭州：浙江工商大學(xué)，2018.

[5] 孫結(jié)冰.基于Adaboost人臉檢測(cè)算法的多人標(biāo)識(shí)系統(tǒng)研發(fā)[D].哈爾濱：黑龍江大學(xué)，2019.

作者簡(jiǎn)介：舒珩（1998—），男，漢族，四川廣安人，本科在讀，研究方向：計(jì)算機(jī)視覺(jué);周麗（1984—），女，漢族，四川廣安人，講師，碩士，研究方向：計(jì)算機(jī)視覺(jué)、圖像處理、目標(biāo)檢測(cè)。