基于深度學(xué)習(xí)技術(shù)的在線教學(xué)效果評(píng)價(jià)研究

沈同平,王元茂，黃方亮,許歡慶

(安徽中醫(yī)藥大學(xué) 醫(yī)藥信息工程學(xué)院，安徽 合肥 230012)

0 引 言

2020年初，一場(chǎng)突如其來(lái)的新型冠狀病毒，打亂了國(guó)人正常的生活節(jié)奏，也嚴(yán)重影響全國(guó)各個(gè)層次的教育工作。為了響應(yīng)教育部的“停課不停學(xué)”的號(hào)召，各級(jí)教育部門積極搭建教育資源應(yīng)用平臺(tái)，提供豐富多樣的優(yōu)質(zhì)在線教學(xué)資源，全力保障教師在線教學(xué)、學(xué)生居家學(xué)習(xí)[1]。同時(shí)，教育部出臺(tái)《關(guān)于加快建設(shè)高水平本科教育全面提高人才培養(yǎng)能力的意見(jiàn)》，提出建設(shè)國(guó)家級(jí)、省級(jí)一流線上和線下精品課程各一萬(wàn)門(“雙萬(wàn)計(jì)劃”)，鼓勵(lì)教師和學(xué)生利用在線教學(xué)平臺(tái)，積極進(jìn)行教學(xué)改革，實(shí)現(xiàn)人人皆學(xué)、處處能學(xué)、時(shí)時(shí)可學(xué)的泛在化混合學(xué)習(xí)新環(huán)境、新模式。

1 在線教學(xué)概念和相關(guān)評(píng)價(jià)研究

在線教學(xué)，是互聯(lián)網(wǎng)+教育的一種形式，指的是利用互聯(lián)網(wǎng)技術(shù)，借助相關(guān)智能設(shè)備(電腦、平板、手機(jī)、電視等)開(kāi)展教育教學(xué)活動(dòng)，可以突破時(shí)間和空間的限制，以最經(jīng)濟(jì)、最可行的方式實(shí)現(xiàn)異地教學(xué)，促進(jìn)教育資源的均衡配置。

在線教學(xué)環(huán)境下，一般可以通過(guò)學(xué)習(xí)者的面部表情來(lái)判斷學(xué)習(xí)狀態(tài)和學(xué)習(xí)效果。情緒，主要是指情感性的反應(yīng)，客觀事物的態(tài)度體驗(yàn)以及相應(yīng)的行為反應(yīng)，是非常短暫但強(qiáng)烈的體驗(yàn)。美國(guó)心理學(xué)家Paul Ekman通過(guò)研究發(fā)現(xiàn)人的6種基本情緒：高興、生氣、驚訝、恐懼、厭惡和悲傷的面部表情、生理和行為反應(yīng)具有跨文化一致性。心理學(xué)家Mehrabian通過(guò)研究發(fā)現(xiàn)：情緒表達(dá)=7%的語(yǔ)言+38%的語(yǔ)音表情+55%的面部表情。因此，面部表情成為情緒識(shí)別研究領(lǐng)域主要的數(shù)據(jù)類型[2]。

傳統(tǒng)教學(xué)環(huán)境中，教師隨時(shí)通過(guò)觀察學(xué)生聽(tīng)課的狀態(tài)(面部表情、坐姿等)來(lái)改變教學(xué)方式，調(diào)節(jié)課堂氛圍，提高教學(xué)效果。在線教學(xué)環(huán)境中，因?yàn)闀r(shí)空的限制，無(wú)法實(shí)時(shí)獲取學(xué)生的情緒表現(xiàn)。隨著人工智能、情感計(jì)算等研究領(lǐng)域的發(fā)展，計(jì)算機(jī)具備識(shí)別學(xué)習(xí)者面部表情、判斷學(xué)習(xí)者內(nèi)在情緒狀態(tài)的能力，幫助教師掌握學(xué)生對(duì)知識(shí)點(diǎn)的理解程度和興趣度等信息，采取相應(yīng)的教學(xué)手段，提高在線教學(xué)課堂教學(xué)質(zhì)量。江波等設(shè)計(jì)了一組基于在線測(cè)評(píng)的困惑誘導(dǎo)實(shí)驗(yàn)，提出了一種基于面部表情的學(xué)習(xí)困惑自動(dòng)識(shí)別算法，通過(guò)設(shè)定不同難度的測(cè)試題誘導(dǎo)被試者產(chǎn)生困惑情緒，同時(shí)利用攝像設(shè)備實(shí)時(shí)捕捉學(xué)習(xí)者的面部表情，提取面部重要特征點(diǎn)，進(jìn)而利用機(jī)器學(xué)習(xí)算法進(jìn)行困惑識(shí)別，可為下一代智能教輔系統(tǒng)的學(xué)習(xí)者情緒建模提供技術(shù)支撐[3]。韓麗等結(jié)合現(xiàn)有智能監(jiān)控設(shè)備設(shè)計(jì)的課堂教學(xué)評(píng)價(jià)系統(tǒng)，利用多姿態(tài)人臉檢測(cè)和面部表情識(shí)別技術(shù)，及時(shí)獲取學(xué)生在學(xué)習(xí)過(guò)程中的情緒變化，反饋給教師，幫助教師準(zhǔn)確全面地掌握所有學(xué)生在課堂教學(xué)中的參與情況。該系統(tǒng)不僅能夠自動(dòng)跟蹤及分析教學(xué)過(guò)程中學(xué)生的整體狀態(tài)，有效掌控課堂教學(xué)過(guò)程，還可指定跟蹤對(duì)象，對(duì)指定對(duì)象在課堂中的狀態(tài)進(jìn)行統(tǒng)計(jì)分析，以便進(jìn)行個(gè)體的針對(duì)性指導(dǎo)以及學(xué)習(xí)問(wèn)題的及時(shí)矯正[4]。陳盛等提出采用基于陣列攝像頭獲取全體學(xué)生課堂面部表情、判斷知識(shí)點(diǎn)教學(xué)效果的實(shí)時(shí)反饋系統(tǒng),可以輔助教師動(dòng)態(tài)了解學(xué)生的學(xué)習(xí)狀態(tài),以便及時(shí)調(diào)整教學(xué)方式或進(jìn)度。通過(guò)課堂實(shí)驗(yàn)及課后問(wèn)卷調(diào)查結(jié)果,表明此反饋系統(tǒng)可有效提高教學(xué)質(zhì)量,從而達(dá)到更理想的教學(xué)效果[5]。何秀玲等提出一種提取并融合表情圖像的局部幾何特征、KPCA降維的CLBP全局淺層紋理特征和CNN全局深度網(wǎng)絡(luò)特征，構(gòu)建一個(gè)全新的自發(fā)學(xué)習(xí)表情數(shù)據(jù)庫(kù),將課堂學(xué)習(xí)中的情緒分為困惑、快樂(lè)、疲倦、驚訝和中性等5種類型,用于CNN模型的訓(xùn)練。該方法能夠有效獲取課堂中學(xué)生情緒變化,幫助教師準(zhǔn)確全面地掌握班級(jí)學(xué)生的整體情況,促進(jìn)課堂教學(xué)質(zhì)量的提高[6]。

本文在現(xiàn)有研究的基礎(chǔ)上，針對(duì)在線教學(xué)環(huán)境的特點(diǎn)及教學(xué)評(píng)價(jià)模式，重點(diǎn)研究學(xué)習(xí)者面部表情與教學(xué)效果之間的關(guān)系，并采用深度學(xué)習(xí)技術(shù)對(duì)在線教學(xué)效果進(jìn)行評(píng)價(jià)。本方法可以通過(guò)對(duì)在線學(xué)習(xí)者的面部表情進(jìn)行實(shí)時(shí)識(shí)別，并及時(shí)跟蹤和分析學(xué)習(xí)者的學(xué)習(xí)狀態(tài)，輔助教師把握在線課程教學(xué)效果，有效掌控在線教學(xué)過(guò)程。

2 深度學(xué)習(xí)技術(shù)在教學(xué)評(píng)價(jià)中的應(yīng)用研究

通過(guò)對(duì)學(xué)習(xí)者面部表情變化的識(shí)別和分析，研究學(xué)習(xí)者內(nèi)心的情緒狀態(tài)，評(píng)價(jià)在線學(xué)習(xí)效果，因此面部表情識(shí)別的準(zhǔn)確率至關(guān)重要。目前，面部表情識(shí)別主要通過(guò)以下幾個(gè)步驟實(shí)現(xiàn):(1)人臉檢測(cè)；(2)面部表情特征提??；(3)面部表情分類算法。面部表情特征提取難度較大，容易受個(gè)人差異、光線、動(dòng)作等因素干擾，同時(shí)很多面部表情特征依賴于人工提取，不同特征的選擇對(duì)算法性能存在巨大的影響。

深度學(xué)習(xí)(deep learning，DL)是機(jī)器學(xué)習(xí)算法最新的研究方向，使計(jì)算機(jī)具備人類的自主學(xué)習(xí)能力，在搜索推薦、語(yǔ)音識(shí)別、圖像處理、自然語(yǔ)言處理等領(lǐng)域，取得了突破性進(jìn)展[7]。深度學(xué)習(xí)，可以讓計(jì)算機(jī)自我構(gòu)建對(duì)事物的描述、理解，實(shí)現(xiàn)事物特征的自動(dòng)提取。在面部表情識(shí)別過(guò)程中，深度學(xué)習(xí)算法首先提取表情低層特征，然后逐層將低層特征組合成高層特性處理。其中，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)是深度學(xué)習(xí)代表算法之一。1962年Hubel等人通過(guò)對(duì)貓視覺(jué)皮層細(xì)胞的研究，提出了感受野這個(gè)概念；1980年，日本學(xué)者福島邦彥仿造生物的視覺(jué)皮層(visual cortex)設(shè)計(jì)了以“neocognition”命名的神經(jīng)網(wǎng)絡(luò)。隨著計(jì)算機(jī)計(jì)算能力的進(jìn)一步發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)的表征學(xué)習(xí)能力得到了關(guān)注，AlexNet、ZFNet、VGGNet、GoogLeNet和ResNet等CNN模型進(jìn)一步提升深度學(xué)習(xí)的效果[8]。

CNN深度神經(jīng)網(wǎng)絡(luò)模型主要由卷積層、池化層和全連接層等部分組成。卷積層對(duì)輸入圖像進(jìn)行卷積操作，提取圖像特征；池化層盡可能去除圖像冗余數(shù)據(jù)，保留圖像核心特征；全連接層將圖像特征傳遞給分類層進(jìn)行圖像分類輸出，如圖1所示。

圖1 CNN模型基本結(jié)構(gòu)

(1)卷積層

卷積層由若干個(gè)卷積單元組成，對(duì)輸入的圖像進(jìn)行卷積運(yùn)算，提取圖像不同特征，如圖像邊緣、紋理和線條等。

(1)

(2)池化層

池化層在卷積層之后，通過(guò)降采樣來(lái)壓縮數(shù)據(jù)和減少參數(shù)量，提高數(shù)據(jù)執(zhí)行效率，減小過(guò)擬合。常用的方法有Max pooling(最大池化)和average pooling(平均池化)，而實(shí)際用的較多的是Max pooling。

(2)

(3)全連接層

全連接層中的每個(gè)神經(jīng)元與其上一層的所有神經(jīng)元進(jìn)行全連接。全連接層可以整合卷積層或者池化層中具有類別區(qū)分性的局部信息。假設(shè)x1、x2、x3為全連接層的輸入，a1、a2、a3為輸出。

a1=W11*x1+W12*x2+W13*x3+b1

(3)

a2=W21*x1+W22*x2+W23*x3+b2

(4)

a3=W31*x1+W32*x2+W33*x3+b3

(5)

全連接層中的每一個(gè)神經(jīng)元都與上一層的所有神經(jīng)元進(jìn)行全連接，用來(lái)把前邊提取到的特征綜合起來(lái)。每個(gè)神經(jīng)元激勵(lì)函數(shù)一般采用Relu函數(shù)，輸出層一般采用Softmax函數(shù)作為分類器，輸出不同預(yù)測(cè)結(jié)果的概率分布，選擇其中最大的數(shù)據(jù)作為輸入數(shù)據(jù)的測(cè)試標(biāo)簽。

實(shí)驗(yàn)采用的環(huán)境為

軟件環(huán)境：Windows 7下的Tensor Flow 1.11.0版本；

硬件環(huán)境：Intel(R)Core(TM)i5-4590 CPU@3.30 GHz;

內(nèi)存:8.0 GB。

3 表情數(shù)據(jù)庫(kù)介紹

Jaffe(the Japanses female facial expression database)數(shù)據(jù)庫(kù)，即日本女性面部表情數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)共有213張表情圖片，如圖2所示。213張表情圖片由10名女性的7種表情組成，分別為angry(憤怒)，disgust(厭惡)，fear(恐懼)，happy(高興)，sad(悲傷)，surprise(驚訝)，neutral(中性)，如圖3所示。

圖2 Jaffe數(shù)據(jù)庫(kù)表情數(shù)據(jù)

圖3 Jaffe表情庫(kù)7種基本表情示例

4 實(shí)驗(yàn)結(jié)果分析

考慮到Jaffe數(shù)據(jù)庫(kù)中數(shù)據(jù)量較少，因此模型訓(xùn)練參數(shù)選擇為：batch_size=10，epochs=100，lr=0.0001。在進(jìn)行100次迭代運(yùn)算后，模型網(wǎng)絡(luò)達(dá)到收斂的程度。模型訓(xùn)練的準(zhǔn)確率和損失值的變化曲線如圖4(a)和圖4(b)所示。

圖4(a) 模型訓(xùn)練acc(%) 圖4(b) 模型訓(xùn)練loss(%)

由圖4(a)可以看出，訓(xùn)練準(zhǔn)確率隨著迭代次數(shù)的增加而逐漸增加，隨后開(kāi)始趨于穩(wěn)定。由圖4(b)可知，損失值隨著迭代次數(shù)的增加而逐漸減小，隨后開(kāi)始穩(wěn)定在較小的值附近，說(shuō)明訓(xùn)練好的網(wǎng)絡(luò)模型具有較好的穩(wěn)定性。

為了進(jìn)一步驗(yàn)證本文模型的有效性，采用通過(guò)精確率(P)、召回率(R)和F1值對(duì)模型進(jìn)行評(píng)價(jià)。

(6)

(7)

(8)

其中，Tp表示真正例，F(xiàn)p表示假正例，F(xiàn)n表示假負(fù)例。模型效果分別如圖5和表1所示。

圖5 模型在Jeffe數(shù)據(jù)庫(kù)上的混淆矩陣

表1 不同表情的識(shí)別效果 %

5 結(jié) 論

本文在對(duì)在線教學(xué)效果評(píng)價(jià)分析的基礎(chǔ)上，重點(diǎn)研究面部表情變化與教學(xué)效果之間的關(guān)聯(lián)關(guān)系。研究表明學(xué)生面部表情變化直接反映學(xué)生內(nèi)心的學(xué)習(xí)狀態(tài)，進(jìn)而判斷學(xué)生的學(xué)習(xí)效果。因此，本文提出一種利用深度神經(jīng)網(wǎng)絡(luò)技術(shù)構(gòu)建面部表情識(shí)別模型，采用TensorFlow平臺(tái)，對(duì)Jaffe數(shù)據(jù)庫(kù)進(jìn)行測(cè)試、驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，該模型在測(cè)試集的準(zhǔn)確率達(dá)到1。為了驗(yàn)證模型的適應(yīng)性，后期將面部表情識(shí)別模型在CK+數(shù)據(jù)集和Fer-2013數(shù)據(jù)集上進(jìn)行測(cè)試、驗(yàn)證，也可以考慮構(gòu)建自發(fā)表情數(shù)據(jù)集，來(lái)驗(yàn)證本文方法的有效性和適應(yīng)性。