在線學(xué)習(xí)環(huán)境中基于眼動特征情感識別研究

陶小梅，陳心怡

(1.桂林理工大學(xué) 信息科學(xué)與工程學(xué)院，廣西 桂林 541004；2.桂林理工大學(xué) 廣西嵌入式技術(shù)與智能系統(tǒng)重點(diǎn)實驗室，廣西 桂林 541004)

0 引 言

隨著計算機(jī)技術(shù)、人工智能技術(shù)的快速發(fā)展，情感識別作為模式識別的一部分逐漸受到廣泛關(guān)注。情感識別利用計算機(jī)分析輸入的情感信息，選取與情感相關(guān)的特征值，建立輸入特征與情感的模型，實現(xiàn)對情感的分類，從而使計算機(jī)能感知、識別和理解人的情感并做出相應(yīng)的回應(yīng)。慕課(massive open online course，MOOC)，即大規(guī)模開放在線課程，是一種新興的借助現(xiàn)代信息技術(shù)與學(xué)科教育融合而成的在線課程模式。MOOC學(xué)習(xí)中，在線觀看教學(xué)視頻是基本的學(xué)習(xí)方式，但該方式存在明顯的“情感缺失”問題。觀看教學(xué)視頻過程中學(xué)習(xí)者產(chǎn)生負(fù)向情感狀態(tài)時，感受不到及時的情感關(guān)懷和認(rèn)知支持，學(xué)習(xí)者的興趣就會受到挫折，教學(xué)效果會大大減弱。在學(xué)習(xí)者在線觀看教學(xué)視頻的過程中及時識別其情感狀態(tài)是解決“情感缺失”的首要問題，而情感計算技術(shù)為解決該問題提供了有效的技術(shù)支持。

該文探討了e-Learning中情感識別主要方法以及目前研究中存在的問題，及e-Learning環(huán)境中使用眼動指標(biāo)進(jìn)行情感識別的可行性。對常用的眼動指標(biāo)進(jìn)行分類，列出了每項眼動指標(biāo)表達(dá)的含義以及反映的情感狀態(tài)；回顧了當(dāng)前在e-Learning環(huán)境中使用眼動特征對學(xué)習(xí)過程的相關(guān)研究；對應(yīng)用在疲勞檢測、醫(yī)療健康、人機(jī)交互等更廣泛的相關(guān)領(lǐng)域中的眼動特征進(jìn)行分析，對可借鑒至MOOC學(xué)習(xí)環(huán)境下情感識別的眼動特征進(jìn)行匯總。最后為下一步如何采用眼動特征進(jìn)行情感識別研究提出相關(guān)思考和建議。

1 在線學(xué)習(xí)中的情感識別

針對e-Learning環(huán)境中存在的“情感缺失”問題，本節(jié)對以心理學(xué)為依據(jù)的，情感識別技術(shù)為核心的，利用計算機(jī)技術(shù)、網(wǎng)絡(luò)通信技術(shù)和眼動追蹤技術(shù)來實施在線學(xué)習(xí)情感識別的相關(guān)研究進(jìn)行介紹并分析。關(guān)于情感識別的研究目前主要是通過語音[1-2]、生理信號[3-4]、文本[5]、人臉表情[6-7]、姿態(tài)[8]等特征進(jìn)行情感分類。但是在視頻學(xué)習(xí)的場景中，采集生理信號會影響學(xué)習(xí)者的學(xué)習(xí)。由于在觀看視頻的過程中沒有交互，因此也不會產(chǎn)生語音和文本數(shù)據(jù)。而且學(xué)生觀看視頻時產(chǎn)生的顯著表情較少，僅根據(jù)臉部表情識別將拒識很多無顯著表情的情感狀態(tài)。目前基于眼動信息的情感分類相關(guān)研究較少，實現(xiàn)的情感分類有限。

目前在線學(xué)習(xí)環(huán)境中的情感識別研究主要面臨以下問題和挑戰(zhàn)：(1)由于在線視頻學(xué)習(xí)環(huán)境中能獲取到的數(shù)據(jù)模態(tài)有限，顯著表情出現(xiàn)的頻率低，很多在宏觀表情識別中取得良好效果的經(jīng)典方法不能完全適應(yīng)，需有針對性地研究新的方法以滿足識別準(zhǔn)確率和執(zhí)行效率的要求。(2)由于實驗室采集的數(shù)據(jù)單一，缺乏數(shù)據(jù)多樣性,與真實場景存在較大差異，樣本提供者年齡、文化背景分布不均勻，而且數(shù)據(jù)庫中的情感分類標(biāo)準(zhǔn)不統(tǒng)一。(3)已有在線視頻學(xué)習(xí)情感狀態(tài)識別的研究結(jié)果多是在固定實驗條件下，對有限數(shù)量的特定人群分析獲得，當(dāng)環(huán)境改變或?qū)ο箅S機(jī)時，難以泛化，識別效果明顯變差。

在視頻學(xué)習(xí)中學(xué)習(xí)者的眼動信息較豐富，且可以通過非入侵方式的眼動追蹤技術(shù)獲取眼動數(shù)據(jù)，不會干擾學(xué)習(xí)過程。隨著眼動追蹤技術(shù)的普及，眼動數(shù)據(jù)可視化在理論和應(yīng)用方面得到快速發(fā)展。眼動數(shù)據(jù)可視化4種主要可視化方法:掃描路徑法、熱區(qū)圖法、感興趣區(qū)法和三維空間法[9]。Steven[10]提出通過眼部圖像特征分類快樂，憤怒，驚訝，中性，眼睛閉合五種情感，平均準(zhǔn)確率70%，可見眼動信號蘊(yùn)藏豐富的情感信息，實驗表明眼動的時空特征是視覺信息提取過程中的生理和行為表現(xiàn)，能真實反映學(xué)習(xí)者的心理狀態(tài)。因此該文將對在e-Learning環(huán)境中使用眼動指標(biāo)進(jìn)行情感識別作進(jìn)一步的探討。

2 眼動特征與學(xué)習(xí)情感

2.1 眼動特征描述

眼動有三種基本方式：注視，眼跳和追隨運(yùn)動。注視是人獲取信息的主要方式。眼跳是注視點(diǎn)或注視方位的突然改變，該過程中無法獲取清晰的成像。眼跳幾乎不獲取任何信息[11]。追隨運(yùn)動是眼睛跟隨物體移動，眼睛始終注視著物體。Jakob等[12]認(rèn)為單一的眼動指標(biāo)不足以判斷人的情緒，但是多種眼動指標(biāo)結(jié)合可以達(dá)到準(zhǔn)確率80%的情緒識別。同時眼動指標(biāo)可能會受到實驗中的光照、情緒等因素影響而產(chǎn)生變化。眼動追蹤技術(shù)可以記錄人眼球運(yùn)動在時間和空間上的數(shù)據(jù)，這些數(shù)據(jù)包括：注視時間、注視次數(shù)、注視位置、注視點(diǎn)軌跡圖，眼跳潛伏期、回視次數(shù)、瞳孔大小、眼跳方向及距離等指標(biāo)[13]。鄭玉瑋等[14]將眼動指標(biāo)分為三種維度：時間、空間和數(shù)。時間維度是指在時間維度測量眼球運(yùn)動，空間維度是指在空間維度(如：位置、距離、方向、序列等)測量眼球運(yùn)動，數(shù)維度是把眼動測量建立在數(shù)或頻率的基礎(chǔ)上。上述眼動指標(biāo)中注視時間、眼跳潛伏期屬于時間維度，注視點(diǎn)軌跡圖、注視位置、眼跳方向和眼跳距離屬于空間維度，注視次數(shù)和回視次數(shù)屬于數(shù)維度。

常用的眼動特征主要有瞳孔類、眨眼類、注視類和掃視類四類指標(biāo)，具體定義、常用指標(biāo)以及反映的情感狀態(tài)具體整理如表1所示。

2.2 眼動與學(xué)習(xí)

由于學(xué)習(xí)中產(chǎn)生的情感狀態(tài)與學(xué)生參與度、認(rèn)知負(fù)荷程度等相關(guān)聯(lián)，因此對在e-Learning環(huán)境中使用眼動特征對學(xué)習(xí)過程的研究進(jìn)行綜述，主要有以下五類：(1)參與度；(2)認(rèn)知負(fù)荷程度；(3)情感狀態(tài)分類；(4)認(rèn)知風(fēng)格；(5)學(xué)習(xí)行為和意圖。

參與度是判斷學(xué)習(xí)成果的顯著標(biāo)志。Elatlassi等[20]提出使用腦電信號和眼動指標(biāo)對在線學(xué)習(xí)環(huán)境中學(xué)生的參與度進(jìn)行建模，選取了瞳孔擴(kuò)張、注視持續(xù)時間、掃視路徑、瞳孔直徑等眼動指標(biāo)，結(jié)果表明高參與度和低參與度狀態(tài)下學(xué)生的眼動指標(biāo)和腦電都存在顯著差異。Yue Zhao等[21]采集注視時間、掃視時間、掃視次數(shù)等指標(biāo)用有監(jiān)督的機(jī)器學(xué)習(xí)算法基于注視特征分析走神行為，走神識別精確率最高可達(dá)到80%。該研究驗證了注視數(shù)據(jù)和學(xué)習(xí)者的思想走神之間存在強(qiáng)關(guān)聯(lián)，使用眼動追蹤設(shè)備檢測走神是可行的。

表1 常用的眼動指標(biāo)

認(rèn)知負(fù)荷是指一個人在工作記憶中所使用的腦力勞動量。研究者認(rèn)為眼動數(shù)據(jù)能反映學(xué)生在學(xué)習(xí)過程中對信息的加工程度和認(rèn)知負(fù)荷程度。Jie Xu[22]研究了在執(zhí)行算術(shù)任務(wù)時，瞳孔反應(yīng)在不同認(rèn)知過程階段的特征，并提出用瞳孔大小和皮膚電進(jìn)行認(rèn)知工作量測量的細(xì)粒度方法。使用決策樹算法把認(rèn)知負(fù)荷程度分成4種程度，得到的最高分類準(zhǔn)確率達(dá)72.4%。

情感狀態(tài)分類是指將學(xué)習(xí)過程中產(chǎn)生的情感狀態(tài)進(jìn)行分類，如感興趣、無聊、困惑等。分析學(xué)習(xí)者的情感有助于提升學(xué)習(xí)體驗。李小偉等[23]通過對眼跳幅度和次數(shù)、瞳孔大小等眼動特征進(jìn)行提取，使用最近鄰算法識別學(xué)習(xí)負(fù)面情緒，最高準(zhǔn)確率達(dá)到81%。Charoenpit等[24]認(rèn)為眼動和學(xué)習(xí)情感有著密切的聯(lián)系，選取注視次數(shù)，注視持續(xù)時間，注視點(diǎn)，注視長度，瞳孔大小作為眼動特征。使用PPT作為刺激材料并劃分出學(xué)習(xí)區(qū)域和非學(xué)習(xí)區(qū)域，通過計算兩個區(qū)域的注視次數(shù)比率，注視時間比率和瞳孔直徑比率判別學(xué)生在學(xué)習(xí)過程中的情感狀態(tài)(感興趣和無聊)。C.Calvi[25]開發(fā)了一個應(yīng)用在e-Learning環(huán)境的原型系統(tǒng)e5Learning，利用瞳孔信息，注視持續(xù)時間和眨眼速率識別學(xué)生處在何種情感狀態(tài)下，是否理解還是高工作負(fù)荷或疲勞。

認(rèn)知風(fēng)格是指用戶瀏覽時更關(guān)注圖片和視頻還是更關(guān)注文字。Nikos Tsianos等[26]通過分析學(xué)習(xí)者瀏覽網(wǎng)頁時的眼動軌跡圖等探究學(xué)生在e-Learning系統(tǒng)中的認(rèn)知風(fēng)格，研究發(fā)現(xiàn)部分用戶更關(guān)注圖片和視頻，部分更偏向關(guān)注文字。Haolin Wei等[27]使用IView X Red眼動追蹤系統(tǒng)記錄學(xué)生在瀏覽網(wǎng)頁時的注視次數(shù)等指標(biāo)。通過眼動軌跡圖發(fā)現(xiàn)某些區(qū)域?qū)W生的注視頻率高。研究基于這些眼動數(shù)據(jù)找到學(xué)生的興趣區(qū)域?qū)崿F(xiàn)個性化推送教學(xué)材料。Ismail EL Haddioui等[28]使用眼動追蹤儀記錄掃視次數(shù)、掃視路徑長度等特征，統(tǒng)計學(xué)生在一個算法課程網(wǎng)頁中每個區(qū)域的注視持續(xù)時間，分析得學(xué)生的認(rèn)知風(fēng)格，興趣區(qū)域和注意力焦點(diǎn)。Ismail認(rèn)為還可以對眼動數(shù)據(jù)進(jìn)一步分析疲勞和困惑程度。雖然該實驗沒有實際的評估精確率，但一定程度上表明了用眼動特征判斷認(rèn)知風(fēng)格的有效性。

眼動指標(biāo)還可用于探索學(xué)生的學(xué)習(xí)行為和意圖。Jiayue Yi等[29]把講座視頻作為刺激材料，要求被試完成閱讀文本圖表，尋找物體和聽一段音頻材料這三個任務(wù)。采用注視持續(xù)時間，前一次注視的位移，當(dāng)前注視的位移三個眼動特征分析學(xué)生的學(xué)習(xí)行為和意圖，使用隱馬爾可夫模型分類器把學(xué)生眼部移動分為掃視，搜索，閑置三類，并分別達(dá)到了81%，80%，95%的準(zhǔn)確率。Maja Pivec等[30]提出了一個適用于在線學(xué)習(xí)環(huán)境的利用眼動追蹤實現(xiàn)內(nèi)容追蹤的框架，使用Tobii眼動儀采集學(xué)生處理文本時的掃視速率、眨眼速度和比率三類眼動指標(biāo)結(jié)合眼瞼的開放程度，來識別學(xué)生的學(xué)習(xí)行為是瀏覽，搜索，學(xué)習(xí)還是跳過。

上述研究的分類、眼動特征和識別算法如表2所示。

對表2進(jìn)行分析可以看出注視和掃視類指標(biāo)常用于檢測學(xué)習(xí)者的參與度、學(xué)習(xí)行為和意圖。眼動追蹤圖常用于探究學(xué)習(xí)認(rèn)知風(fēng)格，結(jié)合注視掃視類指標(biāo)可以得到興趣區(qū)域等。瞳孔大小和注視率都可判斷認(rèn)知負(fù)荷程度。由于認(rèn)知負(fù)荷、參與度、疲勞程度與情感狀態(tài)均有關(guān)聯(lián)，可以考慮采取多種眼動指標(biāo)結(jié)合實現(xiàn)對具體學(xué)習(xí)情感狀態(tài)進(jìn)行準(zhǔn)確分類。上述研究中采用的機(jī)器學(xué)習(xí)方法包括神經(jīng)網(wǎng)絡(luò)、隱馬爾可夫模型、支持向量機(jī)和樸素貝葉斯分類器等。線性支持向量機(jī)和樸素貝葉斯分類器在小數(shù)據(jù)集上的方差較小，適用于訓(xùn)練規(guī)模小的分類。神經(jīng)網(wǎng)絡(luò)算法通常能獲得比較好的分類性能，但是需要大量的輸入數(shù)據(jù)并進(jìn)行一定量的學(xué)習(xí)才能達(dá)到效果。

表2 相關(guān)研究文獻(xiàn)眼動特征列表

2.3 眼動在其他領(lǐng)域的應(yīng)用

眼動特征除了應(yīng)用在e-Learning中，在疲勞檢測、醫(yī)療健康、人機(jī)交互等領(lǐng)域也被廣泛使用。疲勞駕駛檢測中如嚴(yán)榮慧等[32]利用瞳孔直徑均值、平均眨眼時間和注視比率三種特征值構(gòu)成的眼動特征向量，使用BP網(wǎng)絡(luò)檢測疲勞準(zhǔn)確率達(dá)80%以上。于興玲等[33]在檢測駕駛員疲勞狀態(tài)時，考察了眼睛閉合面積的減小程度、持續(xù)閉合的時間、閉合頻率來判斷眼睛疲勞狀態(tài)。眼動信號可以作為腦電信號進(jìn)行情感識別的有效的補(bǔ)充信息，用在監(jiān)測、診斷和預(yù)防精神疾病等電子醫(yī)療領(lǐng)域。常使用認(rèn)知測試來評估中樞神經(jīng)系統(tǒng)出現(xiàn)損傷時的缺陷。因此有研究利用眼動特征分類認(rèn)知負(fù)荷程度。Siyuan Chena等人使用FaceLAB 4眼動儀記錄受試者的瞳孔大小，眨眼次數(shù)，眨眼持續(xù)時間，注視和掃視次數(shù)及掃視時間，利用高斯混合模型進(jìn)行認(rèn)知負(fù)荷分類，達(dá)到70%的精確率[34]。人機(jī)交互中人類產(chǎn)生的意圖影響視覺過程，并表現(xiàn)在眼球運(yùn)動中。李森等[35]利用眼動指標(biāo)測量人機(jī)交互狀態(tài)下人的情感，最終選定注視點(diǎn)分散均值、掃視率、掃視平均幅度、掃視平均速度、瞳孔最值等八個眼動指標(biāo)進(jìn)行情感預(yù)測。實驗結(jié)果表明使用眼動指標(biāo)預(yù)測用戶進(jìn)行網(wǎng)頁交互時情感的有效性。

參考上述研究，疲勞駕駛檢測方法中眼睛閉合類的指標(biāo)可以用于學(xué)習(xí)疲勞檢測，除此之外，瞳孔直徑均值和標(biāo)準(zhǔn)偏差，平均眨眼時間，眼睛持續(xù)閉合的時間、閉合頻率、注視點(diǎn)分散均值、掃視時間最值、掃視平均幅度等眼動指標(biāo)可以借鑒到e-Learning環(huán)境中用于識別更多的學(xué)習(xí)情感以及提高識別準(zhǔn)確率，促進(jìn)e-Learning系統(tǒng)的發(fā)展。

3 結(jié)束語

眼動的時空特征是視覺信息提取過程中的生理和行為表現(xiàn)，與人的心理活動有著直接或間接的關(guān)系，因此眼動特征能真實地反映學(xué)習(xí)者當(dāng)時的情感等心理狀態(tài)，計算機(jī)能基于視覺技術(shù)通過眼動信息識別學(xué)習(xí)者的情感。但是以上研究工作中采用的特征選擇方法較簡單，其完備性和相關(guān)性都需要進(jìn)一步研究，分類器的選擇也未見系統(tǒng)的比較研究；并且研究的場景均不是針對視頻學(xué)習(xí)環(huán)境下學(xué)習(xí)者的情感狀態(tài)研究設(shè)計的實驗任務(wù)。視頻學(xué)習(xí)環(huán)境中的學(xué)習(xí)任務(wù)類型較復(fù)雜，包括視覺任務(wù)和聽覺任務(wù)，并且認(rèn)知狀態(tài)也會對眼動造成影響。目前研究所構(gòu)建的眼動特征與情感狀態(tài)之間的模型在視頻學(xué)習(xí)環(huán)境下是否適用，是否有更適合視頻學(xué)習(xí)環(huán)境情感分類的眼動特征集，是否有更好的分類器選擇策略，如何構(gòu)建更完備層次更合理的特征指標(biāo)體系，以及眼動與情感狀態(tài)的關(guān)聯(lián)關(guān)系等問題仍需要進(jìn)一步研究。