人臉檢測技術(shù)在教學(xué)評估中的應(yīng)用

北京工業(yè)大學(xué)集成電路與系統(tǒng)研究室 侯立剛 王遠(yuǎn)陽 張仕爾 范芳文 羅啟明

人臉檢測技術(shù)在教學(xué)評估中的應(yīng)用

北京工業(yè)大學(xué)集成電路與系統(tǒng)研究室 侯立剛 王遠(yuǎn)陽 張仕爾 范芳文 羅啟明

人臉檢測作為人臉識別技術(shù)中的一項關(guān)鍵技術(shù)，近年來成為模式識別與計算機視覺領(lǐng)域內(nèi)一項研究活躍的課題，其應(yīng)用涉及到安防監(jiān)控、人機交互、智能城市等各種領(lǐng)域。本文針對人臉檢測技術(shù)在某高校教學(xué)評估中的應(yīng)用展開相關(guān)研究，詳細(xì)闡述了基于Haar-like特征和Adaboost算法的人臉檢測技術(shù)的原理，提出了一種將人臉檢測技術(shù)運用到學(xué)生聽課質(zhì)量評估中的實現(xiàn)方法，并且利用教室的監(jiān)控視頻流檢測學(xué)生的課堂抬頭率，進(jìn)一步分析了該方法的可靠性和實用性。

人臉檢測；Adaboost算法；教學(xué)評估；學(xué)生聽課質(zhì)量

1. 引言

當(dāng)今國際競爭越來越激烈，一個國家經(jīng)濟(jì)實力和科技實力的提升必須依靠高水平的人才，這樣才能在競爭中贏得主動權(quán)。人才的培養(yǎng)是高等院校的根本任務(wù)，高校發(fā)展的核心是高等教育的質(zhì)量。在高校教學(xué)質(zhì)量的評估中，一個重要的環(huán)節(jié)就是對學(xué)生學(xué)習(xí)質(zhì)量的評估。學(xué)生學(xué)習(xí)質(zhì)量的評估包括對學(xué)生學(xué)習(xí)成績的評估和學(xué)生學(xué)習(xí)效果的綜合評估[1]。目前大多數(shù)高校都采用課堂考勤和考察學(xué)生作業(yè)的完成情況等方法來評估學(xué)生的綜合學(xué)習(xí)效果，但由于現(xiàn)在普遍存在課堂上學(xué)生低頭刷屏，且作業(yè)完成過程中，存在抄襲現(xiàn)象，故這種辦法不能準(zhǔn)確反映學(xué)生的學(xué)習(xí)質(zhì)量。為了更好地了解學(xué)生的學(xué)習(xí)狀況，有針對性地調(diào)整教學(xué)方案，研究一套高效、可靠和實用的學(xué)生學(xué)習(xí)質(zhì)量評估辦法勢在必行。

隨著計算機的應(yīng)用和物聯(lián)網(wǎng)的日益普及，信息的收集與處理變得非常方便，人臉檢測技術(shù)就是計算機信息處理的一個典型應(yīng)用，如果能把人臉檢測技術(shù)運用到教學(xué)評估中，利用教室的監(jiān)控視頻流信息，實時檢測學(xué)生的課堂抬率，分析所得的數(shù)據(jù)并探究學(xué)生的聽課質(zhì)量，從而反映學(xué)生的學(xué)習(xí)質(zhì)量，更好地指導(dǎo)高校教學(xué)質(zhì)量的評估研究，促進(jìn)高校進(jìn)行教學(xué)改革和完善教學(xué)體系。

人臉檢測技術(shù)的研究起源于20世紀(jì)70年代，研究者提出了多種檢測辦法，統(tǒng)計和神經(jīng)網(wǎng)絡(luò)方法的使用也使得在復(fù)雜背景和多分辨率中的人臉檢測成為可能[2]。目前國內(nèi)外對于人臉檢測技術(shù)的研究機構(gòu)很多，MPEG7標(biāo)準(zhǔn)組織已經(jīng)建立了人臉識別草案小組，人臉檢測算法也是一項征集的內(nèi)容。隨著人臉檢測研究的深入，國際上發(fā)表的有關(guān)論文數(shù)量也大幅度增長[3]。雖然目前針對人臉檢測問題的人臉庫很多，但由于人臉本身的特征具有復(fù)雜性，建立一個權(quán)威的人臉檢測測試圖庫是還很困難，并且由于光照強度，人臉遮掩等原因，檢測效果也不太令人滿意。

2. 基于Adaboost算法的人臉檢測基本原理

本文的研究方法主要是實證研究法，首先提出實現(xiàn)人臉檢測技術(shù)在某高校教學(xué)評估中的應(yīng)用辦法，然后對人臉檢測技術(shù)的實現(xiàn)過程做了系統(tǒng)論述，最后運用統(tǒng)計分析法綜合實驗結(jié)果給出合理的結(jié)論。利用教室的監(jiān)控視頻流，對采集到的圖像數(shù)據(jù)做了Gamma校正、高斯平滑濾波，再經(jīng)過銳化和直方均衡化增強等方法對其進(jìn)行預(yù)處理，然后檢測圖像中的人臉，統(tǒng)計課堂抬頭率，分析學(xué)生上課的聽課質(zhì)量，以此來反映學(xué)生的學(xué)習(xí)質(zhì)量，為教學(xué)評估提供比較合理、可靠的支撐材料。

人臉檢測就是給定任意的一幅圖像，可以是數(shù)字的視頻信號或者掃描進(jìn)來的照片，要確定其中是否包括有人臉[4]，檢測的方法很多，各有優(yōu)缺點。Pual Viola和Mihael Jones[5]于2001年提出了基于Adaboost的方法，該方法很簡單、實時性好，檢測速度很快。Adaboost用于人臉檢測時，需要從人臉中抽取大量的簡單特征，如Rainer Lienhart[6]等人提出的擴(kuò)展的Haar-like特征。

Adaboost是一種分類器算法，其基本思想是利用大量的分類能力一般的簡單分類器（basic classi fi er）通過一定的方法疊加（boost）起來，構(gòu)成一個分類能力很強的強分類器（stage classifier），再將若干強分類器串聯(lián)成分級分類器（classifier cascade）完成圖像搜索檢測，串聯(lián)的級數(shù)依賴于系統(tǒng)對錯誤率和識別速度的要求。

3. 人臉檢測技術(shù)在某高校教學(xué)評估中的應(yīng)用

3.1 實現(xiàn)流程與方法

本文采用OpenCv開源視覺庫的源碼已經(jīng)實現(xiàn)的基于Haar-like特征和Adaboost算法構(gòu)成的級聯(lián)分類器，對輸入圖像中的人臉做出比較準(zhǔn)確地檢測。OpenCv是用來實現(xiàn)計算機視覺及行為識別等相關(guān)技術(shù)的開放源碼的視覺庫,是計算機視覺、圖像處理、信號處理等相關(guān)領(lǐng)域中用較多的工具[7]。首先在上課時利用教室的監(jiān)控攝像頭對圖像進(jìn)行采集，獲得視頻流信息，定時截取一幀圖片數(shù)據(jù)，經(jīng)過Gamma校正、高斯平滑濾波，再經(jīng)過銳化和直方均衡化增強等對圖像進(jìn)行預(yù)處理，然后掃描預(yù)處理后的圖像，檢測并標(biāo)記出圖像中的人臉，統(tǒng)計人臉個數(shù)并實時顯示課堂上聽課人數(shù)的動態(tài)變化，最后給出整堂課上學(xué)生聽課質(zhì)量好壞的綜合評估。人臉檢測技術(shù)運用到學(xué)生聽課質(zhì)量的評估中的具體實現(xiàn)方法如圖1所示。

圖1 具體實現(xiàn)流程圖

人臉檢測實現(xiàn)的前提是對圖像進(jìn)行采集，可以通過視頻監(jiān)控或者拍照的方法得到原始數(shù)據(jù)，本實驗采用海康威視普通監(jiān)控攝像頭和CCD攝像機分別采樣，再利用圖像采集卡獲取數(shù)字化視頻圖像信息。為了后期數(shù)據(jù)處理，我們在采集原始數(shù)據(jù)的時候充分考慮了采集器的質(zhì)量、拍攝角度、環(huán)境亮度的問題。

3.2 Gamma變換法校正圖像

Gamma校正是對輸入圖像灰度值進(jìn)行的非線性操作，使輸出圖像灰度值與輸入圖像灰度值程指數(shù)關(guān)系。

為了方便人眼識別圖像，首先需要將攝像機采集到的圖像進(jìn)行Gamma校正。本實驗分別用γ=0.3和γ=3.0對原圖2（a）進(jìn)行校正后得到的結(jié)果分別如圖2（b）和2（c）所示：

圖2 （a）原圖 （b）Gamma為0.3時 （c）Gamma為3.0時

與原圖相比，Gamma為0.3時校正后的圖像亮度明顯增強，Gamma為3.0時校正后的圖像亮度明顯降低。

3.3 高斯濾波平滑處理

Gamma校正后的圖像亮度雖然有所改善，但是圖像數(shù)據(jù)采集過程中的的噪聲依然存在，因此，需要對校正后的圖像進(jìn)行高斯濾波平滑處理。高斯濾波器是一種旋轉(zhuǎn)對稱的濾波器，在笛卡爾坐標(biāo)下是可分的，特別是當(dāng)通過空間卷積實現(xiàn)圖像平滑時，這種可分性對于提高計算速度是非常有效的[9]。

香港的肉和菜基本上都是依靠內(nèi)地來供應(yīng)，在這方面，國家質(zhì)檢總局、廣東省都做了很多工作，現(xiàn)在供港食品的安全率達(dá)到了99.999%，這在全世界都是很難得的。如果這方面能應(yīng)用到國家的內(nèi)銷方面，也可以對內(nèi)地的食品安全問題有所幫助。

本實驗用到的離散高斯卷積核H為(2k+1)×(2k+1)維，其元素計算方法為：

把圖像2-（b）轉(zhuǎn)化為灰度圖，利用經(jīng)典3*3高斯矩陣模板對其進(jìn)行濾波，平滑處理后如圖3所示。

圖3 高斯濾波平滑處理

圖4 圖像銳化處理

3.4 圖像銳化處理

為了使圖像的邊緣、輪廓線以及圖像的細(xì)節(jié)變的清晰，需要對高斯濾波后的圖像進(jìn)行銳化處理，由于圖像平滑往往使圖像中的邊界、輪廓變得模糊，為了減少這類不利效果的影響，這就需要利用圖像銳化技術(shù)，使圖像的邊緣變的清晰[10]。本實驗采用基于拉普拉斯算子的簡單算法遍歷圖像中的像素點，根據(jù)領(lǐng)域像素確定其銳化后的值。

把圖像3轉(zhuǎn)化為RGB圖后，用銳化濾波器對其進(jìn)行銳化處理，得到的結(jié)果如圖4所示。

對比可知，銳化后的圖像輪廓較為清晰。

3.5 直方圖均衡化處理

把圖4轉(zhuǎn)化為灰度圖后經(jīng)過圖像直方均衡化處理。

圖5 直方均衡化處理

圖6 檢測并標(biāo)記出人臉

對比圖3、圖4和圖5可知，直方均衡化處理后的照片無論是輪廓、亮度還是清晰度都比較高。

3.6 人臉檢測

經(jīng)過以上3.3.1～3.3.4四個步驟對采集到的圖像進(jìn)行預(yù)處理后，加載OpenCv已經(jīng)訓(xùn)練好的人臉檢測分類器，對圖5進(jìn)行掃描，檢測其中的人臉并標(biāo)記出人臉?biāo)诘奈恢?，同時統(tǒng)計人臉個數(shù)，得到的標(biāo)記好人臉的圖像如圖6所示。由圖6可知，圖像中有8個同學(xué)，檢測到的人臉個數(shù)為9，而正臉看前方的同學(xué)有7個，誤檢出2個不是人臉的物體。這7名被檢測到的同學(xué)都是正對前方并抬頭看著黑板的；與此形成鮮明對比的是，圖像左下角的那位同學(xué)低頭不看黑板就沒有被檢測到。還有兩種情景分別是大部分人都低頭和趴下睡覺時，其檢測結(jié)果如下圖7-（a）和（b）所示，顯然，在大部分人都低頭的時候，最后一排的一同學(xué)仍然再看黑板，因此被檢測到了，同時誤檢了2個不是人臉的物體；而當(dāng)大部分人都趴下睡覺的時候，所有人都未被檢測到，此時沒有誤檢。

圖7 （a）大部分人都低頭

（b）大部分人都趴下睡覺

3.7 動態(tài)結(jié)果的顯示與學(xué)生聽課質(zhì)量的評估

一堂課程持續(xù)45分鐘，本實驗按1分鐘讀取一次監(jiān)控視頻流信息，獲得一幀圖像數(shù)據(jù)，再對其進(jìn)行處理和檢測，由于監(jiān)控攝像頭像素低、教室光照前度弱，拍攝角度不能居中等因素會影響檢測效果，因此，只要檢測到人臉，可認(rèn)為它是一張正對前方且正在專心聽講的人臉。整個過程中會顯示出一個直觀的動態(tài)結(jié)果，便于學(xué)生聽課裝態(tài)的變化分析，如圖8所示：

圖8 45分鐘內(nèi)人臉個數(shù)的動態(tài)變化

由圖8可知，從這堂課開始，25分鐘以前大部分人都在認(rèn)真聽課，到了課堂后半場，大家?guī)缀醵疾辉趺磳Ｐ穆犞v了。由此可推知，這堂課程上半節(jié)大家的聽課質(zhì)量比較好，隨著時間推移，聽課質(zhì)量慢慢下降，臨近下課的時候是最差的。同時由統(tǒng)計分析得到這堂課的平均課堂抬頭率為23%。這一現(xiàn)象這符合大多數(shù)大學(xué)生上課注意力集中時間保持在60-80%的規(guī)律[12]。

3.8 結(jié)論

本文闡述了基于Haar-like特征和Adaboost算法的人臉檢測技術(shù)在某高校教學(xué)評估中的應(yīng)用，本實驗采用在上課期間利用教室的監(jiān)控攝像頭采集圖像數(shù)據(jù)，獲得視頻流信息，定時截取一幀圖像，經(jīng)過Gamma校正、高斯平滑濾波，再經(jīng)過銳化和直方均衡化等增強方法對圖像進(jìn)行預(yù)處理，然后掃描處理后的圖像，檢測并標(biāo)記出圖像中的人臉，統(tǒng)計人臉個數(shù)并實時顯示課堂上人臉個數(shù)的動態(tài)變化，最后給出學(xué)生聽課質(zhì)量好壞的綜合評估。經(jīng)實驗論證，相比于通過記錄考勤的方式評估學(xué)生綜合學(xué)習(xí)效果這一傳統(tǒng)的辦法，人臉檢測技術(shù)在評估學(xué)生聽課質(zhì)量的應(yīng)用及實現(xiàn)方法更為可靠、靈活和實用。

4. 總結(jié)與展望

4.1 論文總結(jié)

本文詳細(xì)分析了當(dāng)今高校需要調(diào)整教學(xué)評估辦法的重要性，對比學(xué)生綜合學(xué)習(xí)質(zhì)量評估的傳統(tǒng)辦法的優(yōu)缺點，提出了一種實現(xiàn)基于Haar-like特征和Adaboost算法的人臉檢測技術(shù)在某高校教學(xué)評估中的應(yīng)用辦法，經(jīng)實驗論證，這種應(yīng)用辦法具有可靠性、實用性。

4.2 下一步的工作

在實驗過程中發(fā)現(xiàn)，基于Adaboost算法實現(xiàn)的人臉檢測級聯(lián)分類器相對準(zhǔn)確，但還是有一定的誤差，適應(yīng)性不好。而且由于教室監(jiān)控攝像頭質(zhì)量較差、光線相對較弱和拍攝角度不正原因，檢測出來的結(jié)果不是非常好，因此，今后可以考慮使用基于膚色分割和AdaBoost算法的人臉檢測方法，首先把彩色圖像轉(zhuǎn)換到Y(jié)CbCr空間，接著應(yīng)用自適應(yīng)光線補償算法對圖像進(jìn)行光線補償，再結(jié)合形態(tài)學(xué)、幾何約束等方法排除背景干擾、進(jìn)行膚色區(qū)域分割，從而使人臉檢測更加精確。

致謝：感謝北京市自然科學(xué)基金4152004的資助，感謝北京工業(yè)大學(xué)教改項目（002000514116019 ）的支持。

[1]陳正,褚建德.高校學(xué)生學(xué)習(xí)質(zhì)量評價方法[C].西安財經(jīng)學(xué)院.2004.09.070,1(1):53-82.

[2]宗欣露,基于Adaboost算法的人臉檢測方法研究[C].武漢理工大學(xué).2006年11月,3(3):262-317.

[3]宗欣露,基于Adaboost算法的人臉檢測方法研究[C].武漢理工大學(xué).2006年11月,3(3):122-212.

[4]孔凡芝,張興周,謝耀菊.基于Adaboost算法的人臉檢測技術(shù)[C].哈爾濱工程大學(xué).2005年6月,1(1):1-94.

[5]VIOLA P,JONES M.Robust real time object detection [A].8th IEEE International Conference on Computer Vision[C].Vancouver 2001.

[6] LIENHART R,MAYDT J.An extended set of haar-like features for rapid object detection[J].IEEE ICIP 2002,2002,1:900-903.

[7]汪翠,基于OpenCv的人臉檢測與跟蹤算法[C].哈爾濱工業(yè)大學(xué).2014年12月.32(6):1-77.

[8]彭國福,林正浩.圖像處理中Gamma校正的研究與實現(xiàn)[C].同濟(jì)大學(xué)電子信息與控制工程學(xué)院.2006年2月,30(5):1-40.

[9]劉建磊.主動輪廓模型和高斯模型在圖像處理中的應(yīng)用研究[C].西安電子科技大學(xué).2012年4月,47(4):120-188.

[10]吳海波.基于拉普拉斯算子的彩色圖像銳化處理[C].中南大學(xué)信息可與與工程學(xué)院.2008年7月,27(3):1-39.

[11]陳永亮.灰度圖像的直方圖均衡化處理研究.安徽大學(xué)[C].2014年4月.

[12]楊偉文,蔣月婷.影響大學(xué)生上課注意力集中原因的調(diào)查和對策[C].廣州醫(yī)學(xué)院第一附屬醫(yī)院.2011年5月.

侯立剛，男，北京工業(yè)大學(xué)創(chuàng)新創(chuàng)業(yè)學(xué)院副院長。

The Application of Face Detection Technology in Teaching Evaluation

Ligang Hou，Yuanyang Wang，Shier Zhang，F(xiàn)angwen Fan，Qiming Luo
(VLSI & System Lab, Beijing University of Technology, Beijing 100124 , China)

Face detection has become a very active subject in the fi eld of pattern recognition and computer vision. Its application involves security monitoring, human-computer interaction, smart city and other fi elds. In this paper, the application of face detection technology in the teaching evaluation of a university is studied, and the principle of face detection technology based on Haar-like feature and Adaboost algorithm is described in detail. We put forward a method to realize the face detection technology in the quality evaluation of students' listening class. Monitoring the rise of students by monitoring video fl ow in the classroom. In the fi nal ,we evaluate the reliability and practicability of the method.

Face detection；Adaboost algorithm；Teaching evaluation；listening class