• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于卷積神經(jīng)網(wǎng)絡(luò)的三維動(dòng)畫(huà)表情生成及情感監(jiān)督方法

    2022-02-18 08:30:06莊美琪譚小慧1b樊亞春程厚森
    關(guān)鍵詞:動(dòng)畫(huà)強(qiáng)度情感

    莊美琪,譚小慧,1b,樊亞春,程厚森

    (1.首都師范大學(xué) a.信息工程學(xué)院; b.交叉學(xué)科研究院, 北京 100048;2北京師范大學(xué) 人工智能學(xué)院, 北京 100875)

    隨著互聯(lián)網(wǎng)教育的蓬勃發(fā)展,在線(xiàn)教學(xué)逐漸普及。特別是在新型冠狀病毒肆虐期間,它已成為主流的教學(xué)模式,視頻是在線(xiàn)教學(xué)常見(jiàn)的媒介之一。然而,在線(xiàn)教學(xué)在逐漸普及的過(guò)程中暴露出許多問(wèn)題,如教師難于及時(shí)觀測(cè)到學(xué)生的情緒狀態(tài)[1],學(xué)生面部隱私易泄露[2]。因此,為在線(xiàn)教學(xué)提供一種解決無(wú)監(jiān)督學(xué)習(xí)和課堂反饋不足的方法是有價(jià)值的研究方向。

    人臉動(dòng)畫(huà)表情生成有很多研究工作,部分方法基于深度學(xué)習(xí)的驅(qū)動(dòng)模型生成人臉表情,部分方法利用建模軟件驅(qū)動(dòng)模型變形。Ploumpis等[3]實(shí)現(xiàn)了基于3DMM對(duì)任意圖像進(jìn)行面部重建的高質(zhì)量即時(shí)渲染。但這種方法對(duì)連續(xù)精細(xì)表情生成和硬件渲染要求很高。另一種流行的方法是通過(guò)建模軟件實(shí)現(xiàn)動(dòng)畫(huà)生成。該類(lèi)方法需要精細(xì)建模,最常見(jiàn)的模型是肌肉模型[4-6]。但該方法的主要局限性在于人工調(diào)節(jié)和輸入驅(qū)動(dòng)面部模型生成表情。肌肉模型基于面部動(dòng)作編碼系統(tǒng)[4](FACS),該系統(tǒng)由46個(gè)動(dòng)作單元(AU)組成,它的提出是面部表情研究過(guò)程中的基石。在常用的AU識(shí)別方法中,Yong等[7]提出一種基于AU先驗(yàn)概率的知識(shí)驅(qū)動(dòng)方法,可以在不添加AU注釋的情況下聯(lián)合學(xué)習(xí)多個(gè)AU分類(lèi)器。Corneanu等[8]提出一種深度神經(jīng)結(jié)構(gòu),該結(jié)構(gòu)在初始階段將學(xué)習(xí)到的局部和全局特征進(jìn)行結(jié)合,并在類(lèi)之間采用復(fù)制消息傳遞算法。Wang等[9]通過(guò)混合貝葉斯網(wǎng)絡(luò)識(shí)別AU并估計(jì)強(qiáng)度。

    針對(duì)情感監(jiān)督問(wèn)題,主要分為3種監(jiān)督源:面部情感、文本情感[10-11]和語(yǔ)音情感[12]。然而學(xué)生是否回答問(wèn)題和發(fā)表言論均屬于不確定因素,可能會(huì)導(dǎo)致監(jiān)督產(chǎn)生偏差。因此,面部情感監(jiān)督更符合在線(xiàn)教學(xué)環(huán)境。Sharma等[13]提出了一個(gè)原型系統(tǒng),可根據(jù)課堂上所表現(xiàn)出來(lái)的面部表情實(shí)時(shí)計(jì)算出學(xué)生的注意力集中程度。Soltani 等[14]從學(xué)生角度出發(fā),提出一個(gè)基于面部動(dòng)作編碼系統(tǒng)的情感網(wǎng)絡(luò)公開(kāi)課反饋,旨在使學(xué)生意識(shí)到自己的情緒狀態(tài),計(jì)算機(jī)評(píng)估學(xué)生的情緒狀態(tài),從而提高學(xué)生的學(xué)習(xí)積極性、參與性、自律性和學(xué)習(xí)成績(jī)。本文采用的方法是通過(guò)對(duì)面部表情進(jìn)行監(jiān)督,將其反饋給教師。

    現(xiàn)有的研究缺乏同時(shí)解決情感監(jiān)督與隱私保護(hù)問(wèn)題的研究方案,大部分研究方法沒(méi)有考慮到學(xué)生的面部隱私保護(hù)。本文提出一種基于學(xué)生情感的三維面部表情生成方法,包括三維表情動(dòng)畫(huà)生成和帶有隱私保護(hù)的情感監(jiān)督。該方法提供2種可視化反饋:一是虛擬替身的面部動(dòng)畫(huà)生成,二是學(xué)生學(xué)習(xí)過(guò)程的連續(xù)情感指數(shù)分析圖。該反饋結(jié)果可應(yīng)用于在線(xiàn)教學(xué),解決在線(xiàn)教學(xué)缺乏情感監(jiān)督問(wèn)題。

    1 方法概述

    卷積神經(jīng)網(wǎng)絡(luò)是一種深度學(xué)習(xí)模型,常用來(lái)分析視覺(jué)圖像[15]。在本文方法中,提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的人臉動(dòng)作單元識(shí)別方法,相對(duì)于傳統(tǒng)方法無(wú)需進(jìn)行人臉對(duì)齊剪裁等預(yù)處理,實(shí)現(xiàn)端到端的識(shí)別過(guò)程。本文方法的流程如圖1所示,將視頻作為輸入,在深度學(xué)習(xí)的基礎(chǔ)上,首先識(shí)別視頻幀圖像中的AU及其強(qiáng)度,并計(jì)算每幀圖片的情感指數(shù),實(shí)驗(yàn)提供4個(gè)虛擬替身,在預(yù)處理階段通過(guò)建模軟件對(duì)虛擬替身進(jìn)行動(dòng)畫(huà)綁定。

    1.1 AU及情感指數(shù)計(jì)算

    AU是基于面部解剖學(xué)原理,將面部分為幾個(gè)獨(dú)立的動(dòng)作單元。每個(gè)AU控制面部肌肉群的一部分,多個(gè)AU可以疊加產(chǎn)生多種面部表情。例如,AU4、AU9、AU10、AU15、AU17的疊加生成厭惡。每個(gè)AU從A到E有5個(gè)強(qiáng)度,不同的強(qiáng)度代表不同的變形程度。因此,驅(qū)動(dòng)虛擬替身的表情生成或識(shí)別情感,需獲得視頻幀中的AU與強(qiáng)度。

    圖1 方法流程圖

    1.1.1AU及其強(qiáng)度識(shí)別

    本文方法涉及的動(dòng)作單元共計(jì)12個(gè),包含:AU1、AU2、AU4、AU5、AU6、AU9、AU12、AU15、AU17、AU20、AU25、AU26。動(dòng)作單元序列識(shí)別是基于Darknet-53實(shí)現(xiàn),由多個(gè)卷積單元和殘差單元組成。其中卷積單元由Con2d、批量歸一化和Leaky ReLU激活函數(shù)構(gòu)成,殘差單元由2個(gè)卷積核分別為1×1和3×3的卷積層組成,這種結(jié)構(gòu)會(huì)使網(wǎng)絡(luò)結(jié)構(gòu)更深入。卷積單元和殘差單元的不同組合共計(jì)需53個(gè)卷積層。其中卷積單元和殘差單元的連接及其網(wǎng)絡(luò)框架如圖2所示。在Darknet-53的基礎(chǔ)上還需利用3個(gè)特征層進(jìn)行預(yù)測(cè),對(duì)卷積網(wǎng)絡(luò)中不同層的特征圖進(jìn)行采樣與融合,得到3種不同尺度的感受野。3次預(yù)測(cè)得到的感受野不同,分別適合預(yù)測(cè)不同大小的目標(biāo)。對(duì)于輸入圖像進(jìn)行下采樣,這里的特征圖的感受野較大,適合較大的對(duì)象。細(xì)化粒度檢測(cè)后,將特征圖同前面的進(jìn)行特征融合得到較細(xì)粒度的特征圖,再經(jīng)過(guò)上采樣得到的特征圖具有中等尺度的感受野。第三類(lèi)特征圖經(jīng)過(guò)上采樣和特征融合,具有最小的感受野,適合檢測(cè)尺寸較小的圖像,本文共涉及到12個(gè)AU,分布在面部的額頭、臉頰、嘴角等位置,在檢測(cè)AU的過(guò)程中需要細(xì)粒度的特征圖,使用最小的感受野。

    圖2 算法結(jié)構(gòu)框圖

    識(shí)別中的損失函數(shù)主要采用二分交叉熵,其組成如下:

    L(O,o,C,c,l,g)=λ1Lconf(o,c)+

    λ2Lcla(O,C)+λ3Lloc(l,g)

    (1)

    包含3個(gè)部分,分別是:目標(biāo)置信度損失Lconf(o,c)、目標(biāo)分類(lèi)損失Lloc(l,g)和目標(biāo)定位偏移量損失Lcla(O,C),其中λ為平衡系數(shù)。

    (2)

    (3)

    (4)

    不同強(qiáng)度的AU可組合出不同情感的表情。根據(jù)FACS規(guī)定,強(qiáng)度分為5種程度。我們將AU的5種強(qiáng)度作為5種不同的類(lèi)別。算法在識(shí)別過(guò)程中,會(huì)檢測(cè)出同類(lèi)AU但不同強(qiáng)度的概率值pi(i=1,2,3,4,5),規(guī)定取概率最高的強(qiáng)度作為最終的強(qiáng)度值,定義強(qiáng)度向量:t=max(pi),代表12個(gè)動(dòng)作單元的強(qiáng)度向量。

    1.1.2情感指數(shù)計(jì)算

    將基礎(chǔ)情感劃分成19種,并進(jìn)行權(quán)值定義,19種表情按照影響情緒指數(shù)強(qiáng)度從大到小順序分別是:快樂(lè)、快樂(lè)驚訝、驚訝、快樂(lè)厭惡、驚訝厭惡、厭惡、中性、驚訝恐懼、厭惡恐懼、恐懼、驚訝?wèi)嵟拹簯嵟?、恐懼憤怒、憤怒、驚訝傷心、厭惡傷心、恐懼傷心、憤怒傷心、傷心。

    通過(guò)情感相關(guān)度矩陣F=[UTITR]的特征值和特征向量計(jì)算情感指數(shù)。不同AU對(duì)情感指數(shù)影響的具體程度用向量A19×1來(lái)表示,根據(jù)動(dòng)作單元的發(fā)生概率建立表情相關(guān)度矩陣W19×12,其行向量則代表的是19種情緒中對(duì)應(yīng)表情的動(dòng)作單元組成。R=WT·A是情緒向量,是情緒和動(dòng)作單元的映射關(guān)系,由表情相關(guān)度矩陣WT和表情權(quán)值向量A的數(shù)量積來(lái)表示。其中U1×12是12個(gè)動(dòng)作單元的概率向量;I1×12是 12個(gè)動(dòng)作單元的強(qiáng)度向量;情感指數(shù)的分布區(qū)間為[-1,1],指數(shù)的高低代表了不同的情感:1代表著快樂(lè)、0代表著中性、-1代表著傷心,情感指數(shù)的可視化分析圖表(折線(xiàn)圖、雷達(dá)圖)可應(yīng)用于在線(xiàn)課堂的課堂反饋,對(duì)其進(jìn)行數(shù)據(jù)分析和處理。

    由于情感相關(guān)度矩陣的每一行為同一動(dòng)作單元在不同方面對(duì)情緒值強(qiáng)度的影響,因此情緒指數(shù)計(jì)算為矩陣行向量貢獻(xiàn)的累積。在應(yīng)用中,我們并不希望情緒指數(shù)是無(wú)限擴(kuò)大的,這樣不利于數(shù)據(jù)進(jìn)一步推理及參與計(jì)算,因此需要一個(gè)光滑閾值函數(shù)對(duì)離散因變量進(jìn)行連續(xù)值預(yù)估,而由于Sigmoid函數(shù)是一個(gè)具有多個(gè)優(yōu)秀特征的閾值函數(shù),其非線(xiàn)性及光滑特性滿(mǎn)足了情緒相關(guān)度矩陣離散值到連續(xù)值的映射,因此以其為基礎(chǔ)進(jìn)行情緒指數(shù)計(jì)算,并保證積極情緒大于0,消極情緒小于0,分別分布在中性表情的兩端。

    (5)

    映射過(guò)程如式(5),計(jì)算得到的情緒指數(shù)取值區(qū)間在[-1,1],符合消極情緒為負(fù)值,積極情緒為正值的表達(dá),并且確保了中性表情介于正負(fù)值之間的客觀事實(shí)。

    1.2 模型建模與動(dòng)畫(huà)綁定

    由于本文方法基于FACS標(biāo)準(zhǔn),即通過(guò)AU及強(qiáng)度的組合驅(qū)動(dòng)模型生成動(dòng)畫(huà)表情,因此模型需包含3層:骨骼層、肌肉層、皮膚紋理層。動(dòng)作單元的實(shí)質(zhì)即基于解剖學(xué)原理將臉部肌肉劃分為獨(dú)立的肌肉單元,因此需對(duì)3層關(guān)系的配置進(jìn)行精細(xì)劃分和建模。DAZ Studio是一款可簡(jiǎn)單高速地進(jìn)行人物、動(dòng)畫(huà)設(shè)計(jì)的軟件,通過(guò)該軟件對(duì)人物模型進(jìn)行動(dòng)畫(huà)創(chuàng)建,生成動(dòng)畫(huà)曲線(xiàn)和形變目標(biāo),為模型的表情生成創(chuàng)造條件。通過(guò)DAZ Studio實(shí)現(xiàn)建模與動(dòng)畫(huà)綁定,提供4種虛擬替身,雖然形象不同,但是表情生成效果相同,增加了動(dòng)畫(huà)表情生成方法的可選擇性和可靠性。

    分別對(duì)眉毛、眼睛、鼻子、嘴唇和臉頰肌肉進(jìn)行了動(dòng)畫(huà)綁定。對(duì)選定的12個(gè)動(dòng)作單元綁定動(dòng)畫(huà)生成對(duì)應(yīng)的動(dòng)畫(huà)曲線(xiàn)。完成AU和面部的動(dòng)畫(huà)曲線(xiàn)綁定后,即可以通過(guò)AU的不同組合來(lái)生成三維表情。通過(guò)腳本進(jìn)行套接字監(jiān)聽(tīng),實(shí)時(shí)獲取AU參數(shù),驅(qū)動(dòng)對(duì)應(yīng)的動(dòng)畫(huà)曲線(xiàn)和形變目標(biāo),從而生成面部表情。每個(gè)AU對(duì)應(yīng)5個(gè)強(qiáng)度,每類(lèi)強(qiáng)度驅(qū)動(dòng)動(dòng)畫(huà)曲線(xiàn)的形變程度進(jìn)而生成精細(xì)表情。

    2 方法驗(yàn)證與分析

    為證明本文方法在在線(xiàn)學(xué)習(xí)過(guò)程中的有效性,邀請(qǐng)了在在線(xiàn)教育中擔(dān)任不同角色的被試者進(jìn)行評(píng)估。共計(jì)19位被試者進(jìn)行測(cè)試數(shù)據(jù)采集,被試者的男女比例約為1∶3,年齡分布在15~26歲。被試者提供一段視頻,包含學(xué)習(xí)過(guò)程中會(huì)出現(xiàn)的情感表情。將視頻作為方法的輸入,得到情感指數(shù)并在視頻中標(biāo)注將其反饋給評(píng)估人員。

    2.1 情感指數(shù)的評(píng)估

    用戶(hù)評(píng)估:每段測(cè)試視頻由3組人員進(jìn)行評(píng)估,對(duì)算法生成的情感指數(shù)同真實(shí)情感的符合程度進(jìn)行評(píng)分。3組評(píng)估方式分別為被試者自我評(píng)價(jià)、其他被試者評(píng)價(jià)、教師小組評(píng)價(jià)三大類(lèi),其中教師組由3名有網(wǎng)絡(luò)教學(xué)經(jīng)驗(yàn)的教師組成。

    評(píng)估的對(duì)象共3個(gè):① 評(píng)估者挑選出整段視頻中同真實(shí)情感符合度最高的情感指數(shù),對(duì)其進(jìn)行評(píng)分;② 評(píng)估者挑選出整個(gè)視頻中最偏離真實(shí)情感的指數(shù),對(duì)其進(jìn)行評(píng)分;③對(duì)算法生成的情感指數(shù)同真實(shí)情感的整體符合度進(jìn)行評(píng)分。評(píng)估分?jǐn)?shù)區(qū)間為0-100,0代表情感指數(shù)同真實(shí)情感極不符合,100代表情感指數(shù)同真實(shí)情感完全符合。表1展示了19組測(cè)試視頻經(jīng)3組評(píng)估后加權(quán)平均的分?jǐn)?shù)。

    表1 19名被試者對(duì)視頻中情感指數(shù)和真實(shí)情感符合程度的評(píng)估分?jǐn)?shù)

    2.2 情感指數(shù)的評(píng)估分析

    基于標(biāo)有情感指數(shù)的視頻,被試者對(duì)情感指數(shù)與真實(shí)情感的符合程度打分,評(píng)分結(jié)果如表1所示。觀察表中所示數(shù)據(jù)發(fā)現(xiàn):同真實(shí)情感最符合的情感為快樂(lè),最偏離的情感為嫌棄。經(jīng)分析識(shí)別過(guò)程可知,由于不同個(gè)體在表達(dá)情感的過(guò)程中面部肌肉發(fā)生形變僅為表達(dá)方式之一,部分人通過(guò)眼球的轉(zhuǎn)動(dòng)表達(dá)情感,因此情感識(shí)別部分仍有完善的空間。

    置信區(qū)間給定一個(gè)范圍,該范圍內(nèi)的種群參數(shù)的真實(shí)值以一定的概率落在該范圍內(nèi),種群參數(shù)落在該范圍內(nèi)的概率為置信水平。對(duì)于置信水平的選擇,統(tǒng)計(jì)上一般認(rèn)為95%置信水平的結(jié)果具有統(tǒng)計(jì)學(xué)意義?;诒?中的數(shù)據(jù),對(duì)19個(gè)測(cè)試視頻中情感指數(shù)與真實(shí)情感匹配度的得分進(jìn)行置信度分析,如圖3所示。視頻評(píng)估分?jǐn)?shù)的均值為83.97,均值的置信區(qū)間為[71.14,96.79](置信度95%)。區(qū)間[71.14,96.79]中包含情感指數(shù)總體評(píng)價(jià)得分的總體均值。結(jié)果表明,該算法生成的情感指數(shù)同真實(shí)情感基本一致。

    圖3 情感指數(shù)評(píng)估的正態(tài)分布

    2.3 表情復(fù)現(xiàn)的評(píng)估分析

    針對(duì)動(dòng)畫(huà)表情的生成效果,同樣采用用戶(hù)評(píng)估方式。被試者根據(jù)視頻生成的表情動(dòng)畫(huà)進(jìn)行整體符合度評(píng)判,評(píng)判共有4個(gè)標(biāo)準(zhǔn):精準(zhǔn)、基本符合、粗糙和偏離。統(tǒng)計(jì)結(jié)果表明:本文方法提供的表情生成方法有著較高的準(zhǔn)確度,共計(jì)80%的用戶(hù)認(rèn)為本文方法生成的動(dòng)畫(huà)表情同真實(shí)表情符合。但仍有20%的用戶(hù)認(rèn)為表情生成粗糙,產(chǎn)生該問(wèn)題的主要原因是動(dòng)作單元數(shù)量的分布不勻與數(shù)量較少,嘴部動(dòng)畫(huà)可被精準(zhǔn)生成,但是對(duì)于皺眉的刻畫(huà)不夠細(xì)微,導(dǎo)致個(gè)別用戶(hù)的表情生成粗糙。針對(duì)此問(wèn)題,可通過(guò)增加AU識(shí)別的數(shù)量,目前涉及到的是12個(gè)AU,主要分布在眉毛、面部與嘴角等位置,可驅(qū)動(dòng)各種類(lèi)型的表情生成,但FACS中還將眼周的肌肉進(jìn)行了定義,因此若將模型表情刻畫(huà)的更加精細(xì),可增加AU的數(shù)量。

    此外,將本文虛擬替身生成表情效果同F(xiàn)ACSHuman[5]的表情生成效果進(jìn)行對(duì)比。FACSHuman是一款用于非語(yǔ)言交流和面部表情研究的軟件。它提供了AU強(qiáng)度調(diào)節(jié)界面,用戶(hù)可以通過(guò)調(diào)整AU的強(qiáng)度靈活組合不同的表達(dá)式。在手動(dòng)設(shè)置AU及其強(qiáng)度的情況下生成的表情是理想的表情生成效果,具有精細(xì)的優(yōu)勢(shì),但該軟件無(wú)法識(shí)別視頻或照片中的AU組成。本文將視頻中的圖像識(shí)別AU及其強(qiáng)度作為驅(qū)動(dòng)數(shù)據(jù)驅(qū)動(dòng)AVATAR模型生成表情。將生成效果同F(xiàn)ACSHuman進(jìn)行對(duì)比,可以證明本文方法的表情生成效果精細(xì)程度是否能達(dá)到理想生成效果,圖4為生成效果對(duì)比。第1行為帶有標(biāo)注的視頻幀,使用算法識(shí)別出的AU及其強(qiáng)度驅(qū)動(dòng)本文方法提供的虛擬替身與手動(dòng)調(diào)節(jié)軟件,生成動(dòng)畫(huà)表情。第2行為本文方法提供的虛擬替身經(jīng)由AU驅(qū)動(dòng)后的生成效果。第3行為手動(dòng)調(diào)節(jié)生成動(dòng)畫(huà)表情軟件FACSHuman的生成效果。從圖4中可以看出,在確保AU及強(qiáng)度相同的前提下,本文模型動(dòng)畫(huà)表情生成效果同手動(dòng)調(diào)節(jié)AU生成表情的軟件生成效果極其相似,證明本文方法提供的動(dòng)畫(huà)表情生成方法具有準(zhǔn)確的生成效果。

    圖4 三維表情生成效果對(duì)比

    對(duì)學(xué)習(xí)者進(jìn)行情感監(jiān)督完成課堂反饋是本文方法的目標(biāo)。Harks等[16]在研究中表明:“學(xué)生的學(xué)習(xí)狀態(tài)會(huì)隨著時(shí)間的推移發(fā)生變動(dòng),積極的學(xué)習(xí)情緒有助于學(xué)生進(jìn)行密集的在線(xiàn)教學(xué)活動(dòng)?!币虼耍粝胫铝τ诮鉀Q在線(xiàn)教學(xué)存在的課堂反饋欠缺問(wèn)題,需對(duì)學(xué)生進(jìn)行連續(xù)的情感監(jiān)督。表2中將本文的方法同當(dāng)前3種擬解決在線(xiàn)教學(xué)存在的問(wèn)題的方法進(jìn)行了要素對(duì)比。

    表2 4種方法的要素對(duì)比

    表2中分別對(duì)4種方法的要素進(jìn)行對(duì)比,其中方法1和方法2通過(guò)對(duì)在線(xiàn)課程中學(xué)生的言論和聊天文本進(jìn)行情感分析,從而達(dá)到反饋的目的。方法1通過(guò)對(duì)多語(yǔ)言學(xué)生反饋的教師績(jī)效和課程滿(mǎn)意度進(jìn)行情感分析。方法2可幫助學(xué)生意識(shí)到他們的情緒,克服可能出現(xiàn)的悲傷情緒,提高學(xué)生預(yù)期和信任,并成功地完成學(xué)習(xí)任務(wù)。

    但通過(guò)對(duì)評(píng)論和文本互動(dòng)來(lái)判定學(xué)生的情感的方法具有局限性,學(xué)習(xí)過(guò)程中學(xué)生更多的情感流露在面部,并且由于在線(xiàn)教學(xué)的無(wú)監(jiān)督問(wèn)題對(duì)文字和評(píng)論的可靠性產(chǎn)生影響,因此,若想長(zhǎng)期反應(yīng)學(xué)生的學(xué)習(xí)狀態(tài),最優(yōu)的方式是通過(guò)面部情感分析。同方法1、2相比,本文方法對(duì)學(xué)習(xí)過(guò)程中學(xué)生的面部情感進(jìn)行分析,相比文字情感分析更加準(zhǔn)確可靠。

    方法3同樣運(yùn)用基于面部動(dòng)作單元進(jìn)行情感分析的模型,涉及8種基礎(chǔ)情緒,該方法通過(guò)檢測(cè)學(xué)生的情緒狀態(tài)并反饋給學(xué)生,以幫助他們將消極情緒轉(zhuǎn)變?yōu)榉e極情緒并提高參與度。與其相比,本文方法則通過(guò)虛擬替身對(duì)學(xué)習(xí)者的表情進(jìn)行連續(xù)的復(fù)現(xiàn),并對(duì)其進(jìn)行連續(xù)情感監(jiān)督,將其反饋給教師作為課堂實(shí)況反饋,解決課堂反饋不充足的問(wèn)題。

    3 實(shí)驗(yàn)結(jié)果

    本文中提出的方法旨在解決在線(xiàn)教育的情感缺失問(wèn)題,為教師提供兩類(lèi)課堂反饋方式。第一類(lèi)為驅(qū)動(dòng)虛擬替身生成的表情動(dòng)畫(huà),即學(xué)生學(xué)習(xí)狀態(tài)的表情復(fù)現(xiàn)。由于直播形式的在線(xiàn)課程會(huì)產(chǎn)生對(duì)學(xué)生肖像隱私的泄露問(wèn)題,因此,本文提供虛擬替身對(duì)學(xué)習(xí)過(guò)程中的表情變化進(jìn)行復(fù)現(xiàn)。對(duì)教師而言,可以通過(guò)虛擬替身的表情復(fù)現(xiàn)直觀地觀察學(xué)生的學(xué)習(xí)狀態(tài),了解到學(xué)生在學(xué)習(xí)過(guò)程中真實(shí)情感的流露。第二類(lèi)為情感監(jiān)督的可視化分析,即對(duì)學(xué)生學(xué)習(xí)過(guò)程的情感識(shí)別,可根據(jù)連續(xù)情感指數(shù)生成情感分布雷達(dá)圖和情感波動(dòng)圖。對(duì)于教師而言,該反饋方式可更直觀地反饋本堂課學(xué)生的情感變化和分布,對(duì)授課內(nèi)容進(jìn)行針對(duì)性地調(diào)整。

    3.1 面部學(xué)習(xí)狀態(tài)復(fù)現(xiàn)

    本文基于DISFA 數(shù)據(jù)集[18]進(jìn)行測(cè)試,將該數(shù)據(jù)集中的視頻作為系統(tǒng)的輸入。本文截取一組視頻的表情復(fù)現(xiàn)過(guò)程進(jìn)行對(duì)比展示,如圖5所示。圖5中展示了4種基礎(chǔ)表情的生成效果,第1列為視頻幀截取的圖像,第2到4列為本文提供的4個(gè)虛擬替身的表情生成效果。本文方法可以將視頻的幀圖像生成動(dòng)畫(huà)表情,將其作為課堂反饋的一種形式提供給教師,教師可以通過(guò)生成的動(dòng)畫(huà)表情來(lái)判斷該時(shí)刻的真實(shí)情感,可以解決在線(xiàn)教學(xué)中存在的無(wú)監(jiān)督問(wèn)題。

    圖5 課堂反饋I:動(dòng)畫(huà)表情生成

    3.2 情感指數(shù)可視化

    將情感指數(shù)映射到一維軸上,積極情緒與消極情緒分布在兩端,以當(dāng)前的人臉動(dòng)作單元發(fā)生概率和強(qiáng)度識(shí)別為基礎(chǔ)構(gòu)造情感相關(guān)度矩陣,計(jì)算得到情感指數(shù)。由于連續(xù)的情感指數(shù)能波動(dòng)且直觀地反映出情感變化情況,因此對(duì)情感指數(shù)可視化可為學(xué)生的情感監(jiān)督提供一種反饋形式。本文中展示了2種可視化形式:情感波動(dòng)圖與情感分布圖,從連續(xù)與總體2個(gè)角度對(duì)學(xué)生的情感進(jìn)行監(jiān)督。

    如圖6展示的分析方法是學(xué)生連續(xù)情感指數(shù)折線(xiàn)圖,直觀地反映出學(xué)習(xí)過(guò)程中整體的學(xué)習(xí)狀態(tài)變化,教師可針對(duì)本堂課學(xué)生最常出現(xiàn)的學(xué)習(xí)狀態(tài)調(diào)整授課內(nèi)容、難易程度和授課方式。

    圖6 課堂反饋Ⅱ:學(xué)生情緒波動(dòng)曲線(xiàn)

    除監(jiān)控每個(gè)學(xué)生的情緒波動(dòng)外,老師可以觀察到每位學(xué)生的情緒分布情況。分析方法如圖7所示,直觀地反映出該學(xué)生在整個(gè)學(xué)習(xí)過(guò)程中的狀態(tài)。教師可以根據(jù)學(xué)生在課堂上最常見(jiàn)的學(xué)習(xí)狀態(tài)來(lái)調(diào)整教學(xué)內(nèi)容和方法。

    圖7 課堂反饋Ⅲ:某學(xué)生的情感分布圖

    情感指數(shù)可為在線(xiàn)教育的課堂反饋提供基礎(chǔ)數(shù)據(jù),在此基礎(chǔ)上可進(jìn)行多種情感分析。除了上述2種可視化方式,還可以通過(guò)大數(shù)據(jù)分析的方式對(duì)學(xué)生進(jìn)行情感分析,如將情感指數(shù)同學(xué)習(xí)成績(jī)相結(jié)合,提出個(gè)性化的學(xué)習(xí)指導(dǎo)方案,提升在線(xiàn)教育的學(xué)習(xí)效率。

    4 結(jié)論

    為解決在線(xiàn)教學(xué)中無(wú)監(jiān)督學(xué)習(xí)和課堂反饋不足的問(wèn)題,提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)從2D視頻中生成3D動(dòng)畫(huà)表情并進(jìn)行情感監(jiān)控的方法。通過(guò)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別人臉動(dòng)作單元并預(yù)測(cè)視頻每幀的情感指數(shù),通過(guò)軟件建模綁定面部骨骼和表情動(dòng)畫(huà)從而生成動(dòng)畫(huà)曲線(xiàn)。通過(guò)用戶(hù)評(píng)估和實(shí)驗(yàn)對(duì)比,結(jié)果表明:該算法生成的情感指數(shù)同真實(shí)情緒基本一致,得到了被試者的認(rèn)可;動(dòng)畫(huà)表情生成效果同手動(dòng)調(diào)節(jié)軟件的表情生成效果一致。本文方法可向教師提供兩大類(lèi)可視化反饋:學(xué)習(xí)過(guò)程的表情復(fù)現(xiàn)及情感指數(shù)分析。通過(guò)對(duì)課堂反饋方式分析,可以看出本文提供的2種可視化結(jié)果能為在線(xiàn)教學(xué)中存在的無(wú)監(jiān)督問(wèn)題提供一種解決方案,除此之外,虛擬替身的表情動(dòng)畫(huà)生成保護(hù)了學(xué)生的面部隱私。未來(lái),將在更多的在線(xiàn)教育平臺(tái)上部署該方法,進(jìn)一步研究情感反饋。

    猜你喜歡
    動(dòng)畫(huà)強(qiáng)度情感
    低強(qiáng)度自密實(shí)混凝土在房建中的應(yīng)用
    做個(gè)動(dòng)畫(huà)給你看
    如何在情感中自我成長(zhǎng),保持獨(dú)立
    動(dòng)畫(huà)發(fā)展史
    失落的情感
    北極光(2019年12期)2020-01-18 06:22:10
    我的動(dòng)畫(huà)夢(mèng)
    文苑(2019年22期)2019-12-07 05:28:56
    情感
    如何在情感中自我成長(zhǎng),保持獨(dú)立
    Vortex Rossby Waves in Asymmetric Basic Flow of Typhoons
    地埋管絕熱措施下的換熱強(qiáng)度
    嵊州市| 九龙县| 固镇县| 白水县| 天柱县| 石狮市| 萨迦县| 石台县| 河池市| 彰武县| 融水| 青岛市| 连南| 太白县| 绥化市| 大城县| 福鼎市| 荥经县| 马边| 扎鲁特旗| 阿瓦提县| 濮阳市| 丰镇市| 霞浦县| 若羌县| 大姚县| 达孜县| 广宁县| 日照市| 陵水| 梅河口市| 淄博市| 阳朔县| 冕宁县| 体育| 兴安县| 伊吾县| 衡东县| 弥渡县| 嘉荫县| 安义县|