基于人臉檢測技術(shù)的智能化視頻學(xué)習(xí)監(jiān)督系統(tǒng)的設(shè)計與實現(xiàn)

劉剛，吳浩，陳威，卜秋陽

[摘 要] 隨著“互聯(lián)網(wǎng)+”的興起，在線視頻教學(xué)成為一種新興的教學(xué)模式。然而目前對學(xué)習(xí)者的學(xué)習(xí)質(zhì)量很難及時地掌控?；谌四槞z測技術(shù)開發(fā)了一個的智能化視頻學(xué)習(xí)監(jiān)督系統(tǒng)。系統(tǒng)通過對捕獲到的學(xué)習(xí)者的學(xué)習(xí)情景圖像進行分析，并結(jié)合學(xué)習(xí)者視頻學(xué)習(xí)過程中的行為，智能化地對學(xué)習(xí)者的學(xué)習(xí)質(zhì)量給出評價。

[關(guān) 鍵 詞] 監(jiān)督系統(tǒng)； 視頻學(xué)習(xí)；人臉檢測；“互聯(lián)網(wǎng)+”

[中圖分類號] TP212.6 [文獻標志碼] A [文章編號] 2096-0603（2018）06-0148-02

2015年3月5日十二屆全國人大三次會議上首次提出“互聯(lián)網(wǎng)+”行動計劃，要推動移動互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)等技術(shù)與現(xiàn)代產(chǎn)業(yè)結(jié)合[1]。2016年2月，教育部下發(fā)的《2016年教育信息化工作要點》中指出，“將落實中央網(wǎng)絡(luò)安全和信息化領(lǐng)導(dǎo)小組和國務(wù)院有關(guān)‘互聯(lián)網(wǎng)+、大數(shù)據(jù)、云計算、智慧城市、信息惠民、寬帶中國、農(nóng)村扶貧開發(fā)等重大戰(zhàn)略對人才培養(yǎng)等工作的部署，作為做好教育信息化統(tǒng)籌規(guī)劃與指導(dǎo)、加強教育信息化統(tǒng)籌部署的重要任務(wù)”[2]。進一步使“互聯(lián)網(wǎng)+教育”成為教育領(lǐng)域最熱門的話題之一。其中，名校公開課[3]、可汗學(xué)院[4]、微課[5]、慕課[6]是“互聯(lián)網(wǎng)+教育”的典型應(yīng)用，其核心技術(shù)都離不開視頻教學(xué)?！盎ヂ?lián)網(wǎng)+”不僅推動了學(xué)習(xí)理念向個性化學(xué)習(xí)、持續(xù)性學(xué)習(xí)轉(zhuǎn)變，也促進了慕課、翻轉(zhuǎn)課堂等各種基于互聯(lián)網(wǎng)的教學(xué)創(chuàng)新紛紛涌現(xiàn)。

目前“互聯(lián)網(wǎng)+教育”在線教學(xué)平臺大都注重優(yōu)質(zhì)資源的建設(shè)與共享，而缺乏對學(xué)習(xí)者學(xué)習(xí)情況的監(jiān)督和學(xué)習(xí)質(zhì)量的測評，對學(xué)習(xí)者在學(xué)習(xí)過程中的認真程度、學(xué)習(xí)效果等情況很難及時地把控。本文利用人臉檢測技術(shù)，通過對捕獲到的學(xué)習(xí)者的學(xué)習(xí)情景圖像進行分析，并結(jié)合學(xué)習(xí)者視頻學(xué)習(xí)過程中的行為，智能化給出學(xué)習(xí)者每次視頻學(xué)習(xí)的質(zhì)量評價。

一、系統(tǒng)設(shè)計

（一）系統(tǒng)架構(gòu)

基于人臉檢測技術(shù)的智能化視頻學(xué)習(xí)監(jiān)督系統(tǒng)由攝像頭、PC機、流媒體服務(wù)器、人臉檢測服務(wù)器、數(shù)據(jù)庫服務(wù)器組成，如圖1所示。系統(tǒng)利用人臉檢測技術(shù)，在學(xué)習(xí)的過程中，將攝像頭捕獲到的學(xué)習(xí)者的圖像輸入到人臉檢測服務(wù)，同時對學(xué)習(xí)者的視頻觀看行為進行數(shù)據(jù)分析，最終在視頻播放完畢之后，智能化地給出學(xué)習(xí)者學(xué)習(xí)質(zhì)量的評價，系統(tǒng)的框架如圖2所示。

（二）系統(tǒng)功能

1.視頻捕獲：該模塊負責(zé)從監(jiān)控攝像頭的視頻畫面中抓取學(xué)習(xí)者的圖像，并交由人臉檢測服務(wù)進行人臉檢測。

2.人臉檢測：該模對輸入的攝像頭捕獲圖像進行分析，檢測圖像中是否存在人臉，并將檢測結(jié)果返回給服務(wù)請求方。

3.行為統(tǒng)計：該模塊主要對學(xué)習(xí)者的在觀看視頻時的行為進行監(jiān)控統(tǒng)計分析。根據(jù)用戶的快進或快退行為，分析出每次視頻觀看的快進時長。

4.綜合評價：該模塊在視頻播放結(jié)束時，對人臉檢測和行為統(tǒng)計模塊進行綜合分析，給出學(xué)習(xí)質(zhì)量評價。評價指標包括“有效人臉檢比率Rf”和“有效播放時長比率Rt”，評價計算公式如下：S=（ωf·Rf+ωt·Rt）×100，其中Rf=n/[L/s]、Rt=1-l/L各參數(shù)含義如下表所示。

（三）數(shù)據(jù)庫設(shè)計

系統(tǒng)涉及的數(shù)據(jù)庫表包括用戶（t_user）、視頻（t_video）、學(xué)習(xí)記錄（t_study_history）、播放記錄（t_play_history）、視頻操作（t_video_operation）、人臉檢測（t_face_recognition）六張表。圖3為數(shù)據(jù)庫關(guān)系圖模型。

二、系統(tǒng)實現(xiàn)

系統(tǒng)采用Java+vlcj+MySQL+Face++開發(fā)實現(xiàn)。vlcj用于實現(xiàn)視頻播放，MySQL用于數(shù)據(jù)存儲，F(xiàn)ace++用于實現(xiàn)人臉檢測。各部分功能的核心代碼如下：

（一）視頻顯示

contentPane.add（mediaPlayerComponent， BorderLayout.CENTER）；

mediaPlayerComponent.getMediaPlaye（）.playMedia（ url ）；

mediaPlayerComponent.getMediaPlayer（）.addMediaPlayerEventListener

mediaPlayerComponent.getMediaPlayer（）.skip（ wantTime ）；

（二）人臉檢測

String url =“https：//api-cn.faceplusplus.com/facepp/v3/detect”；

map.put（“api_key”，“YQceEo6toJn3x7JM4vMuy06FP-a0uzQU”）；

map.put（“api_secret”，“3C5vxrr32pV59nHyIUZ3C8pLmSoyhPpe”）；

map.put（“return_attributes”，“gender，age，smiling，headpose，facequality，blur，eyestatus，emotion，ethnicity，beauty，mouthstatus，eyegaze，skinstatus”）；

byte[ ]buff=getBytesFromFile（file）；

byteMap.put（“image_file”，buff）；

byte[ ]bacd=post（url，map，byteMap）；

（三）運行結(jié)果

系統(tǒng)運行中可以在觀看視頻的同時實時監(jiān)測人臉，最后給出學(xué)習(xí)評價分值。

總之，本論文主要針對視頻學(xué)習(xí)過程中，學(xué)習(xí)質(zhì)量較難評價的問題，設(shè)計并實現(xiàn)了一個基于人臉檢測技術(shù)的智能化視頻學(xué)習(xí)監(jiān)督系統(tǒng)，該系統(tǒng)綜合了視頻捕獲、圖形圖像處理、人臉檢測、Web Service、數(shù)據(jù)庫等多項技術(shù)，智能化地給出學(xué)習(xí)質(zhì)量的評價結(jié)果，具有一定的實用價值。

參考文獻：

[1]呂超，吳永鵬.走進歐美名校公開課[J].世界文化，2011（1）：4-7.

[2]官芹芳.可汗學(xué)院翻轉(zhuǎn)課堂[J].上海教育，2012（17）：27-31.

[3]胡鐵生.“微課”：區(qū)域教育信息資源發(fā)展的新趨勢[J].電化教育研究，2011（10）：61-65.

[4]斯蒂芬·哈格德，王保華，何欣蕾.慕課正在成熟[J].教育研究，2014（5）：92-99.

[5]張韻.“互聯(lián)網(wǎng)+”時代的新型學(xué)習(xí)方式[J].中國電化教育，2017（1）：50-57.

[6]劉剛，李佳，梁晗.“互聯(lián)網(wǎng)+”時代高校教學(xué)創(chuàng)新的思考與對策[J].中國高教研究，2017（2）：93-98.