基于智慧學(xué)習(xí)環(huán)境下的學(xué)習(xí)畫面情感識(shí)別模型

韓杰　肖瑩慧

摘要：在智慧學(xué)習(xí)環(huán)境下，學(xué)習(xí)者在學(xué)習(xí)過程中的情感交互是教育領(lǐng)域的一個(gè)重要研究內(nèi)容，主要通過智能學(xué)習(xí)終端進(jìn)行情感識(shí)別。學(xué)習(xí)情感主要包括專注、高興、常態(tài)的積極情緒，走神、悲傷、憤怒的消極情緒，對(duì)學(xué)習(xí)者的學(xué)習(xí)過程具有影響和調(diào)節(jié)的作用。因此，本文提出了一種基于智慧學(xué)習(xí)環(huán)境下，構(gòu)建學(xué)習(xí)畫面情感識(shí)別模型。本模型根據(jù)學(xué)習(xí)者在學(xué)習(xí)中的情緒反饋，自適應(yīng)改進(jìn)和推送學(xué)習(xí)內(nèi)容，促進(jìn)學(xué)習(xí)過程中的積極情緒，促進(jìn)情感交互率，也可作為輔助評(píng)估課程的教學(xué)質(zhì)量和學(xué)習(xí)資源質(zhì)量的支撐依據(jù)。

關(guān)鍵詞：學(xué)習(xí)畫面;學(xué)習(xí)情感;情感識(shí)別;智慧學(xué)習(xí)環(huán)境

中圖分類號(hào)：G642? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）03-0195-02

Abstract： In the smart learning environment， the emotional interaction of learners in the learning process is an important research content in the field of education， and emotion recognition is mainly performed through smart learning terminals. Learning emotions mainly include positive emotions such as concentration， happiness， and normalcy， and negative emotions such as distraction， sadness， and anger， which have an influence and regulation effect on the learning process of learners. Therefore， this paper proposes a smart learning environment to build a model of emotion recognition in learning images. This model adaptively adjusts and pushes learning content according to the emotional state of learners， promotes positive emotions in the learning process and increases the emotional interaction rate. It can also be used as a supporting basis for assisting in evaluating the quality of teaching and learning resources of courses.

Key words： Learning Screen; Learning Emotion; Emotion Recognition; Smart Learning Environment

1 引言

隨著教育信息化和人工智能技術(shù)的變革，智慧學(xué)習(xí)環(huán)境作為數(shù)字化的高端學(xué)習(xí)形態(tài)而呈現(xiàn)。智慧學(xué)習(xí)環(huán)境即智慧教室，可通過攝像頭等終端設(shè)備，利用信息技術(shù)手段記錄教學(xué)數(shù)據(jù)，捕捉學(xué)習(xí)者的學(xué)習(xí)情況，包括動(dòng)作，神態(tài)，眼動(dòng)追蹤等，通過獲取學(xué)習(xí)行為數(shù)據(jù)，為學(xué)習(xí)者提供適合個(gè)人偏好的學(xué)習(xí)內(nèi)容和學(xué)習(xí)資源，調(diào)節(jié)學(xué)習(xí)者的積極情感。

學(xué)習(xí)過程中的情感交互近年來受到研究者的廣泛關(guān)注，吳興華等[1]提出數(shù)字化學(xué)習(xí)應(yīng)融合情感交互，增強(qiáng)教學(xué)臨場感，促使其更合理高效。沈映珊等[2]通過表情識(shí)別、語音識(shí)別、手勢、眼動(dòng)等身體姿態(tài)來識(shí)別學(xué)習(xí)者的情感，結(jié)合學(xué)習(xí)者的認(rèn)知能力和學(xué)習(xí)行為，構(gòu)建網(wǎng)絡(luò)情感交互模型。

2 相關(guān)概念

2.1 學(xué)習(xí)畫面

學(xué)習(xí)畫面主要指學(xué)生在智慧學(xué)習(xí)環(huán)境中獲取的信息載體，即接收的學(xué)習(xí)內(nèi)容，包括由文字、圖像、視頻、語音等組成的多媒體信息，能通過智能學(xué)習(xí)終端設(shè)備進(jìn)行獲取或顯示。學(xué)生可以通過學(xué)習(xí)畫面接收學(xué)習(xí)內(nèi)容的相關(guān)信息，同時(shí)，可以采集學(xué)生在畫面學(xué)習(xí)中所反饋的情感認(rèn)知，這種情感認(rèn)知主要由視覺情感所反饋的學(xué)生外在表現(xiàn)出來的直觀感受。

2.2 學(xué)習(xí)情感

學(xué)習(xí)情感也指學(xué)習(xí)情緒，包含在學(xué)習(xí)中表現(xiàn)出來的各種情緒和心境，主要通過生理信息、外部表現(xiàn)等體現(xiàn)。積極情緒稱為高學(xué)習(xí)情感，包括興奮、愉快等。消極情緒稱為低學(xué)習(xí)情感，包含厭煩、失望等。好的學(xué)習(xí)情緒可以有效提升學(xué)生認(rèn)知學(xué)習(xí)的開展。

2.3 情感識(shí)別

利用人工智能和深度學(xué)習(xí)技術(shù)進(jìn)行情感識(shí)別，是實(shí)現(xiàn)學(xué)習(xí)過程情感量化的基礎(chǔ)。面部表情是情感狀態(tài)中的重要體現(xiàn)，可利用智慧學(xué)習(xí)環(huán)境中的攝像頭采集面部表情，Mehrabian提出，在人們的對(duì)話中有93%的信息是通過非語言行為傳遞的，面部表情占比55%，本文主要利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）進(jìn)行面部表情識(shí)別，判斷學(xué)習(xí)者的學(xué)習(xí)情感。

3 基于學(xué)習(xí)畫面的情感識(shí)別模型

學(xué)習(xí)畫面是指學(xué)習(xí)者在學(xué)習(xí)中接收的學(xué)習(xí)內(nèi)容的信息畫面，主要由多媒體數(shù)據(jù)組成，如文本、圖像、Flash、動(dòng)畫等，并在學(xué)習(xí)者的智能終端屏幕進(jìn)行顯示的畫面。根據(jù)學(xué)習(xí)內(nèi)容畫面識(shí)別、識(shí)別學(xué)習(xí)者情感、判斷視覺偏好進(jìn)行調(diào)整。情感識(shí)別模型如圖1所示。

3.1 學(xué)習(xí)者情感識(shí)別

學(xué)習(xí)者情感識(shí)別模塊，采集智慧學(xué)習(xí)環(huán)境中的攝像頭拍攝的學(xué)習(xí)者面部表情，利用人工智能技術(shù)進(jìn)行情感識(shí)別。首先，將采集的圖像進(jìn)行歸一化處理，利用Adaboost方法提取學(xué)習(xí)者面部區(qū)域，進(jìn)行特征提取，然后利用7層卷積神經(jīng)網(wǎng)絡(luò)CNN將圖像提取的特征與模糊分類相結(jié)合，分別進(jìn)行3次卷積、3次池化、1次全連接，最后輸出學(xué)習(xí)者情感，主要分為高興、專注、常態(tài)、憤怒、厭倦5種類型。

3.2 學(xué)習(xí)畫面情感識(shí)別

學(xué)習(xí)畫面主要通過學(xué)習(xí)管理系統(tǒng)，根據(jù)學(xué)習(xí)者的學(xué)習(xí)偏好和認(rèn)知能力進(jìn)行個(gè)性化推薦，或者在課堂教學(xué)中由教師通過智能終端進(jìn)行屏幕分享。學(xué)習(xí)內(nèi)容中的版面布局、色彩搭配等對(duì)學(xué)習(xí)者的學(xué)習(xí)興趣、認(rèn)知及情感有重要影響。所以在發(fā)布和呈現(xiàn)教學(xué)內(nèi)容的時(shí)候，更加注重文本、圖像等多媒體的選擇。首先，將學(xué)習(xí)畫面實(shí)時(shí)的傳送給學(xué)生，利用9層CNN模型進(jìn)行訓(xùn)練學(xué)習(xí)畫面情感，包含4次卷積，4次池化，1次全連接，最后輸出學(xué)習(xí)畫面情感，主要分為溫馨、活潑、幽默、歡快、沉悶、枯燥、空洞、繁雜等8種類型。

3.3 學(xué)習(xí)者視覺情感偏好

通過對(duì)學(xué)習(xí)內(nèi)容的畫面和學(xué)習(xí)者面部表情情感進(jìn)行同步采集，挖掘兩者之間的相關(guān)性，分析學(xué)習(xí)者情感偏好。學(xué)習(xí)者可以根據(jù)個(gè)人偏好進(jìn)行重新設(shè)置學(xué)習(xí)畫面。在系統(tǒng)的數(shù)據(jù)采集過程中，按某一固定時(shí)間段計(jì)算學(xué)習(xí)者情感識(shí)別系數(shù)和學(xué)習(xí)畫面情感識(shí)別系數(shù)，最后，結(jié)合相關(guān)度高的學(xué)習(xí)畫面和情感特征存入數(shù)據(jù)庫中，進(jìn)行視覺情感偏好設(shè)置。

3.4 學(xué)習(xí)情感調(diào)整模型

根據(jù)上述三類情感識(shí)別數(shù)據(jù)，綜合學(xué)生的積極偏好，實(shí)時(shí)調(diào)整學(xué)習(xí)畫面的推送風(fēng)格選擇，使其設(shè)置符合學(xué)習(xí)者偏好的學(xué)習(xí)畫面，提高學(xué)習(xí)過程中的學(xué)習(xí)興趣。主要調(diào)整視覺特征的方法有：圖像混合法、色彩搭配法、圖像疊加法等。學(xué)習(xí)情感調(diào)整模型需要實(shí)時(shí)的自動(dòng)變化，使學(xué)生盡量體現(xiàn)出良好的學(xué)習(xí)情緒。學(xué)習(xí)情感調(diào)整系統(tǒng)采用Python、Matlab等開發(fā)工具，分別開發(fā)教師端和學(xué)生端。教師端傳送教師機(jī)屏幕的學(xué)習(xí)畫面給學(xué)生，學(xué)生端接收學(xué)習(xí)畫面圖像，根據(jù)學(xué)習(xí)者情感、學(xué)習(xí)畫面情感、偏好特征來調(diào)整，反饋給學(xué)習(xí)者。

4 結(jié)束語

在現(xiàn)代智慧教育教學(xué)中，除了提供個(gè)性化學(xué)習(xí)內(nèi)容外，還需根據(jù)學(xué)習(xí)者的情感偏好提供學(xué)習(xí)畫面。將課堂講授與學(xué)習(xí)情感相結(jié)合。應(yīng)用深度學(xué)習(xí)進(jìn)行智能情感計(jì)算、大數(shù)據(jù)技術(shù)進(jìn)行行為統(tǒng)計(jì)，來構(gòu)建學(xué)習(xí)情感調(diào)整模型，為學(xué)習(xí)者在學(xué)習(xí)過程中提供情感分析與偏好設(shè)置的支持。

參考文獻(xiàn)：

[1] 吳興華，張仕華.情感交互：解數(shù)字化學(xué)習(xí)中異步交互缺憾之策[J].成人教育，2016，（7）：36-39.

[2] 沈映珊，湯庸.社交學(xué)習(xí)網(wǎng)絡(luò)中基于學(xué)習(xí)認(rèn)知的情感交互研究[J].現(xiàn)代教育技術(shù)，2015（9）：90-96.

[3] 龔朝花，李倩，龔勇.智慧學(xué)習(xí)環(huán)境中的學(xué)習(xí)投入問題研究[J].電化教育研究，2018，39（6）：83-89.

[4] 王健，郭敏，肖冰.基于線性判別深度信念網(wǎng)絡(luò)的人臉表情識(shí)別[J].陜西師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，46（4）：28-34.

[5] 徐振國，張冠文，孟祥增，等.基于深度學(xué)習(xí)的學(xué)習(xí)者情感識(shí)別與應(yīng)用[J].電化教育研究，2019，40（2）：87-94.

[6] 梁迎麗，梁英豪.人工智能時(shí)代的智慧學(xué)習(xí)：原理、進(jìn)展與趨勢[J].中國電化教育，2019（2）：16-21.

[7] 吳偉國，李虹漫.PAD 情感空間內(nèi)人工情感建模及人機(jī)交互實(shí)驗(yàn)[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2019，51（1）：29-37.

[8] 張金剛，方圓，袁豪，等.一種識(shí)別表情序列的卷積神經(jīng)網(wǎng)絡(luò)[J].西安電子科技大學(xué)學(xué)報(bào) ，2018，45（1）：150-155.

[9] 王琳琳，劉敬浩，付曉梅.融合局部特征與深度置信網(wǎng)絡(luò)的人臉表情識(shí)別 [J].激光與光電子學(xué)進(jìn)展，2018，55（1）：204-212.

[10] 馬建軍，乜勇.國內(nèi)智慧教育的研究熱點(diǎn)與發(fā)展趨勢——基于多維尺度和社會(huì)網(wǎng)絡(luò)分析的方法[J].現(xiàn)代教育技術(shù)，2018，28（10）：42-48.

[11] Ray A， Chakrabarti A. Design and implementation of technology enabled affective learning using fusion of bio-physical and facial expression[J]. Educational Technology & Society， 2016（4）：112-125.

[12] Plass J L， Heidig S， Hayward E O， et al. Emotional design in multimedia learning： effects of shape and color on affect and learning[J]. Learning and Instruction， 2014， 29：128-140.

[13] Mao X， Ding Y K， Moutian Y. Analysis of affective characteristics and evaluation on harmonious feeling of image[J]. Acta Electronica Sinica， 2001， 29（12A）： 1923-1927.

【通聯(lián)編輯：王力】