基于多模態(tài)數(shù)據(jù)融合的大學(xué)生心理健康自動(dòng)評(píng)估模型設(shè)計(jì)與應(yīng)用研究

周炫余 劉林 陳圓圓 洪嘉玲 盧笑

[摘? ?要] 快速準(zhǔn)確地評(píng)估大學(xué)生心理健康狀況是高校心理健康教育的重要任務(wù)，也是高校心理工作實(shí)現(xiàn)精準(zhǔn)干預(yù)和提供個(gè)性化教育服務(wù)的基礎(chǔ)。傳統(tǒng)評(píng)估方法存在評(píng)估實(shí)時(shí)性不高、單一模態(tài)數(shù)據(jù)評(píng)估效果差、社會(huì)稱許性反應(yīng)偏誤等問題。研究基于生態(tài)瞬時(shí)評(píng)估理論，以深度學(xué)習(xí)算法為手段，提出了一種基于多模態(tài)數(shù)據(jù)融合計(jì)算的大學(xué)生心理健康自動(dòng)評(píng)估方法。該方法在自構(gòu)建的多模態(tài)心理評(píng)估數(shù)據(jù)集（JA-IPAD）上測(cè)試表明：該模型能夠精準(zhǔn)評(píng)估大學(xué)生的心理健康狀態(tài)，在智慧學(xué)習(xí)環(huán)境中具有良好的應(yīng)用前景，能為完善學(xué)生心理檔案、精準(zhǔn)干預(yù)學(xué)生心理、優(yōu)化心理健康服務(wù)提供決策依據(jù)和技術(shù)支撐，也能為促進(jìn)高校智慧化心理健康教育作出貢獻(xiàn)。

[關(guān)鍵詞] 心理健康教育; 自動(dòng)評(píng)估; 多模態(tài)融合計(jì)算; 深度學(xué)習(xí); 生態(tài)瞬時(shí)評(píng)估

[中圖分類號(hào)] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

[作者簡(jiǎn)介] 周炫余（1987—），男，湖南邵陽人。講師，博士，主要從事基于人工智能視角下教育過程自動(dòng)評(píng)價(jià)、智慧學(xué)習(xí)環(huán)境構(gòu)建研究。E-mail：zhouxuanyu@whu.edu.cn。

一、引? ?言

心理狀態(tài)對(duì)人的行為起支配作用，在學(xué)習(xí)活動(dòng)中能影響學(xué)習(xí)者的學(xué)習(xí)意志和效率。健康的心理狀態(tài)是學(xué)習(xí)者形成嚴(yán)謹(jǐn)邏輯思維和開展創(chuàng)造性活動(dòng)的前提和保障。大學(xué)生是一個(gè)較為特殊的群體，處在認(rèn)知尚不成熟階段，易出現(xiàn)焦慮、抑郁等心理問題[1]。尤其是新冠肺炎疫情暴發(fā)后，許多大學(xué)生因社交活動(dòng)減少、家庭關(guān)系緊張、學(xué)習(xí)就業(yè)壓力大等多重因素影響，心理健康問題逐漸凸顯[2]。大學(xué)生由心理問題引發(fā)的極端惡性事件逐漸增多，如何準(zhǔn)確評(píng)估心理健康狀態(tài)，既是保障學(xué)生順利開展學(xué)習(xí)活動(dòng)的重要任務(wù)，亦是高校開展智慧化心理健康教育的重要依據(jù)。

隨著“互聯(lián)網(wǎng)+”時(shí)代的到來，以人工智能為代表的新技術(shù)力量正在撬動(dòng)傳統(tǒng)教育封閉的大門，并逐步重構(gòu)教育服務(wù)體系[3-4]。網(wǎng)絡(luò)與教育之間的交互趨向頻繁，為高校心理健康教育的智慧化發(fā)展帶來新機(jī)遇。據(jù)《2018中國(guó)大學(xué)生日常生活及網(wǎng)絡(luò)習(xí)慣調(diào)研報(bào)告》調(diào)查顯示，以00后為代表的大學(xué)生習(xí)慣在新浪微博、騰訊說說、微信朋友圈等社交網(wǎng)絡(luò)平臺(tái)上使用文本、圖像或者表情等多種模態(tài)數(shù)據(jù)發(fā)表自己的觀點(diǎn)或宣泄情緒[5]。若能從多種模態(tài)的網(wǎng)絡(luò)內(nèi)容數(shù)據(jù)中挖掘?qū)W生的意念觀點(diǎn)、情緒傾向，將有助于更加精準(zhǔn)地獲知學(xué)生的心理健康狀況。技術(shù)賦能教育，相關(guān)理論的成熟和智能技術(shù)手段的迅猛發(fā)展使自動(dòng)評(píng)估學(xué)生心理健康成為可能。目前，傳統(tǒng)的心理健康評(píng)估主要是基于自評(píng)問卷和結(jié)構(gòu)化訪談[6]，通過面對(duì)面的人際互動(dòng)模式從被評(píng)估者處獲取數(shù)據(jù)信息，并以此來評(píng)估被評(píng)估者的心理健康狀況。這類傳統(tǒng)的心理健康評(píng)估方法從量表[7]的角度主觀獲取被試的心理健康狀態(tài)，但在實(shí)施過程和評(píng)估工作中存在社會(huì)稱許性反應(yīng)偏誤[8-9]、評(píng)估實(shí)時(shí)性不高[10]、評(píng)估工作被動(dòng)等問題[11]。針對(duì)傳統(tǒng)心理健康評(píng)估方式存在的問題，以及大學(xué)生所發(fā)布在社交網(wǎng)絡(luò)平臺(tái)數(shù)據(jù)的特點(diǎn)，有研究者開始嘗試將生態(tài)瞬時(shí)評(píng)估理論[12]和社交網(wǎng)絡(luò)數(shù)據(jù)應(yīng)用于心理健康評(píng)估工作中。該方法通過專家分析或自評(píng)量表的方式標(biāo)注數(shù)據(jù)標(biāo)簽以構(gòu)成數(shù)據(jù)集，提取數(shù)據(jù)特征并訓(xùn)練模型，從而實(shí)現(xiàn)心理健康自動(dòng)評(píng)估[13-17]。雖然上述方法已取得不錯(cuò)的效果，但是仍存在網(wǎng)絡(luò)行為數(shù)據(jù)難以采集[18]、單一模態(tài)數(shù)據(jù)語義表述不全面[19]等問題，難以精準(zhǔn)捕獲被評(píng)估者的心理健康狀態(tài)。因此，針對(duì)上述問題，提出一種基于多模態(tài)數(shù)據(jù)融合計(jì)算的大學(xué)生心理健康評(píng)估模型。

二、核心概念界定與理論基礎(chǔ)

（一）心理健康評(píng)估

心理健康是個(gè)體各項(xiàng)心理功能處于平衡運(yùn)轉(zhuǎn)情況的一種和諧狀態(tài)，心理健康異常狀態(tài)最常見的是焦慮和抑郁[1]。大學(xué)生處在校園和社會(huì)的交接階段，面臨著來自各方的壓力，易產(chǎn)生各種心理問題，其中，抑郁問題尤為突出[20]。抑郁問題按程度的不同分為抑郁情緒、抑郁傾向、抑郁障礙（抑郁癥）三種，而大學(xué)生群體的抑郁問題一般為抑郁情緒和抑郁傾向。當(dāng)受到外界負(fù)面刺激源影響時(shí)，個(gè)體就可能產(chǎn)生抑郁情緒，其持續(xù)時(shí)間較短;而抑郁傾向是指受負(fù)面情緒或行為引起的個(gè)體抑郁，表現(xiàn)為個(gè)體處于相對(duì)持久的愉悅感缺失狀態(tài)。論文主要針對(duì)大學(xué)生的抑郁傾向進(jìn)行評(píng)估，即通過處理分析學(xué)生一段時(shí)間內(nèi)的多模態(tài)網(wǎng)絡(luò)內(nèi)容數(shù)據(jù)，判斷其情緒是否處于抑郁狀態(tài)。

（二）多模態(tài)數(shù)據(jù)

多模態(tài)數(shù)據(jù)是指包含兩種及以上不同形式或不同來源的數(shù)據(jù)[21-22]。文字和圖像是人類頭腦與心理作用結(jié)果的外在表現(xiàn)形式，可以反映出個(gè)體的心理狀態(tài)。在互聯(lián)網(wǎng)高度發(fā)達(dá)的現(xiàn)代社會(huì)，大學(xué)生傾向于在社交平臺(tái)上同時(shí)發(fā)布文本、圖像或表情等多種模態(tài)數(shù)據(jù)以表達(dá)個(gè)人意念、抒發(fā)情感。不同模態(tài)數(shù)據(jù)存在互補(bǔ)作用，能提供更多解釋信息，通過融合多模態(tài)數(shù)據(jù)并對(duì)其進(jìn)行理解，可實(shí)現(xiàn)對(duì)學(xué)生心理健康狀況更為全面、系統(tǒng)的剖析評(píng)估。

（三）自動(dòng)評(píng)估模型構(gòu)建理論基礎(chǔ)

本研究以生態(tài)瞬時(shí)評(píng)估（Ecological Momentary Assessment， EMA）和深度學(xué)習(xí)為基礎(chǔ)構(gòu)建自動(dòng)評(píng)估模型，實(shí)現(xiàn)自然環(huán)境下實(shí)時(shí)評(píng)估學(xué)生心理。生態(tài)瞬時(shí)評(píng)估是由心理學(xué)家Shiffman提出的一種對(duì)自然環(huán)境下被試者的相關(guān)行為和經(jīng)驗(yàn)進(jìn)行實(shí)時(shí)采樣并測(cè)量評(píng)估的生態(tài)方法[12]，它具有較高的真實(shí)性和動(dòng)態(tài)性，更能準(zhǔn)確反映被評(píng)估者的心理特征。深度學(xué)習(xí)是目前人工智能領(lǐng)域研究的熱點(diǎn)和重點(diǎn)，它通過建構(gòu)多層神經(jīng)網(wǎng)絡(luò)提取特征，然后組合低層特征形成更加抽象的高層特征，以學(xué)習(xí)各類數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，獲取其隱含的深層次語義知識(shí)。

三、基于多模態(tài)融合計(jì)算的心理健康評(píng)估模型構(gòu)建

模型設(shè)計(jì)依據(jù)系統(tǒng)方法理念[22]，分析確定評(píng)估等級(jí)，設(shè)計(jì)自動(dòng)評(píng)估框架，選擇評(píng)估策略，實(shí)施模型評(píng)估，評(píng)價(jià)模型評(píng)估效果，修正模型參數(shù)并加以應(yīng)用。為實(shí)現(xiàn)多種模態(tài)數(shù)據(jù)信息的融合，模型從以下四個(gè)部分進(jìn)行設(shè)計(jì)：數(shù)據(jù)清洗及預(yù)處理、基于文本的情感計(jì)算、基于圖像的情感計(jì)算、心理健康評(píng)估模型生成。

多模態(tài)融合計(jì)算的心理健康評(píng)估模型是通過挖掘?qū)W生的文本、圖像和表情等模態(tài)數(shù)據(jù)背后隱含的真實(shí)情緒，綜合考慮學(xué)生一段時(shí)間內(nèi)的心理變化，實(shí)現(xiàn)快速、準(zhǔn)確地識(shí)別學(xué)生的心理健康等級(jí)的過程。基于此，構(gòu)建了基于多模態(tài)數(shù)據(jù)融合的大學(xué)生心理健康自動(dòng)評(píng)估模型，模型框架如圖1所示。

（一）數(shù)據(jù)清洗及預(yù)處理

收集的學(xué)生網(wǎng)絡(luò)內(nèi)容數(shù)據(jù)無法直接用于心理特征的處理分析，需對(duì)這些原始數(shù)據(jù)進(jìn)行清洗以及預(yù)處理。首先對(duì)抑郁自評(píng)問卷獲得的數(shù)據(jù)進(jìn)行清洗，即去除問卷分?jǐn)?shù)為零或滿分、填寫時(shí)間少于3分鐘的被試;其次，對(duì)網(wǎng)絡(luò)爬蟲手段獲取的數(shù)據(jù)進(jìn)行清理，即去除網(wǎng)絡(luò)內(nèi)容數(shù)據(jù)數(shù)量低于閾值的被試;最后在計(jì)算機(jī)處理前將多模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理并轉(zhuǎn)換成模型可識(shí)別符號(hào)。例如：刪除文本數(shù)據(jù)中的無關(guān)符號(hào)、對(duì)字體進(jìn)行轉(zhuǎn)換等操作;對(duì)圖像數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換、尺寸調(diào)整、標(biāo)準(zhǔn)化及歸一化處理等。

（二）基于文本的情感計(jì)算

文字信息是人類傳達(dá)情感、表達(dá)思想的基礎(chǔ)信息，是個(gè)體心理狀態(tài)的重要外在表現(xiàn)形式。因此，挖掘個(gè)體發(fā)布內(nèi)容時(shí)的心理狀態(tài)和情感態(tài)度[23]，對(duì)準(zhǔn)確識(shí)別心理健康狀況起重要作用。文本是典型的序列數(shù)據(jù)，若能捕捉句子上下文信息，基于語義理解便能很好地挖掘文本的情感傾向，因此，本研究建立了詞嵌入層—雙向長(zhǎng)短時(shí)記憶（Bi-LSTM）層—密集連接層的三層神經(jīng)網(wǎng)絡(luò)框架，跨越上下文間隔學(xué)習(xí)到句子隱含的情感信息，基于文本的情感計(jì)算流程如圖2所示。

文本向量化處理有one-hot編碼表示和分布式表示兩種，分布式的代表“詞嵌入”能將詞映射成密集低維的向量并保證語義相近的詞在向量空間距離更近，比one-hot編碼表示更適于處理情感分析任務(wù)。由于微博文本與說說文本在表達(dá)上均有口語化、短小精悍等特點(diǎn)，使用基于微博語料庫訓(xùn)練出的Skip-gram預(yù)訓(xùn)練詞嵌入模型[24]作為模型的詞嵌入層，使說說文本向量表示更為精準(zhǔn)貼切。

LSTM因其獨(dú)特的門控結(jié)構(gòu)和記憶單元能避免長(zhǎng)期依賴和梯度消失問題而聞名，但在學(xué)習(xí)文本序列特征時(shí)信息只能單向傳播。為深入理解說說語義并習(xí)得有效的情感特征表示，論文設(shè)計(jì)雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)層以充分掌握說說文本的上下文信息。t時(shí)刻的說說特征表示ot需要獲取t時(shí)刻前向隱狀態(tài)ht和后向隱狀態(tài)h't，其中，⊕表示以拼接方式整合二者; t時(shí)刻的前向隱狀態(tài)ht是由t時(shí)刻的輸入xt、t-1時(shí)刻的隱狀態(tài)信息計(jì)算得出;t時(shí)刻的后向隱狀態(tài)h't是由t時(shí)刻的輸入xt、t+1時(shí)刻的隱狀態(tài)信息計(jì)算得出，其中，f函數(shù)為L(zhǎng)STM非線性函數(shù)，W，U，W'，U'表示函數(shù)的權(quán)重，b，b'表示函數(shù)的偏置。具體如公式1、公式2和公式3所示：

（三）基于圖像的情感計(jì)算

圖像信息是對(duì)文本信息的重要補(bǔ)充，大學(xué)生發(fā)表言論時(shí)往往附帶圖像以分享生活狀態(tài)、增強(qiáng)情感表達(dá)，甚至利用圖像表達(dá)語言無法描繪形容的心理狀態(tài)，因此，準(zhǔn)確識(shí)別圖像模態(tài)中的隱含情感有利于在文本的基礎(chǔ)上更加精準(zhǔn)地評(píng)估個(gè)體的心理健康狀況。VGG16網(wǎng)絡(luò)是牛津大學(xué)視覺組提出的具有16層結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)，在圖像特征表示和泛化能力上有不俗效果，本研究以VGG16為基準(zhǔn)模型，通過微調(diào)策略構(gòu)建CNN模型，以捕捉圖像背后隱藏的情感傾向，基于圖像的情感計(jì)算如圖3所示。

基于圖像的情感計(jì)算是個(gè)復(fù)雜視覺問題，CNN唯有學(xué)習(xí)到大量參數(shù)和有效特征，才能準(zhǔn)確地計(jì)算學(xué)生在發(fā)布圖像時(shí)的心理情感。利用遷移學(xué)習(xí)技術(shù)解決帶標(biāo)簽數(shù)據(jù)的規(guī)模困境，將基于ImageNet大規(guī)模數(shù)據(jù)集訓(xùn)練的VGG16卷積基作為圖像情感計(jì)算的預(yù)訓(xùn)練模型以學(xué)習(xí)圖像的通用特征表示，更改原有密集連接層設(shè)置以適應(yīng)圖像情感計(jì)算任務(wù)，修改后的模型結(jié)構(gòu)包括13層卷積層、5個(gè)池化層以及2層全連接層。

卷積基中較底部卷積層學(xué)習(xí)的是圖像的局部通用特征，而較頂層學(xué)習(xí)的是較為抽象、專業(yè)的特征表示。本研究訓(xùn)練CNN時(shí)釋放VGG第五個(gè)卷積塊的權(quán)重以學(xué)習(xí)圖像情感表示，既能使網(wǎng)絡(luò)結(jié)構(gòu)更適于計(jì)算圖像情感，也避免過擬合風(fēng)險(xiǎn)。卷積基學(xué)習(xí)到說說圖像的情感表示后，經(jīng)由密集連接層整合和softmax分類即可獲得圖像的情感傾向值，具體計(jì)算如公式4所示：

（四）心理健康評(píng)估模型生成

依據(jù)生態(tài)瞬時(shí)評(píng)估的生態(tài)性原則，獲取自然狀態(tài)下學(xué)生的網(wǎng)絡(luò)內(nèi)容數(shù)據(jù)，試圖對(duì)這些數(shù)據(jù)進(jìn)行處理分析以提取心理特征，從而評(píng)估其心理健康狀況。為達(dá)成這一目標(biāo)，需完成兩個(gè)任務(wù)：一是融合多模態(tài)數(shù)據(jù)在情感表達(dá)上的互補(bǔ)信息;二是考慮學(xué)生在一段時(shí)間內(nèi)的情緒、情感變化。采用最大值規(guī)則融合計(jì)算多模態(tài)數(shù)據(jù)，利用隱條件隨機(jī)場(chǎng)算法（HCRF）考慮學(xué)生特定時(shí)間段內(nèi)的心理變化，以準(zhǔn)確評(píng)估出個(gè)體的心理健康等級(jí)，心理健康評(píng)估模型流程如圖4所示。

有效融合多模態(tài)信息是多模態(tài)情感計(jì)算的一個(gè)核心問題，采用最大值規(guī)則計(jì)算文本、圖像情感傾向值，充分考慮兩種模態(tài)的情感成分以準(zhǔn)確決策學(xué)生發(fā)表說說時(shí)的心理狀態(tài)，具體計(jì)算過程如公式5和6所示：

其中，i和j為分類器數(shù)和類別數(shù)，Pj（n）為該說說第j類情感類別的概率值。

心理健康是一種隨著時(shí)間推移變化程度較大的狀態(tài)型心理特征[25]，實(shí)現(xiàn)準(zhǔn)確評(píng)估需考慮學(xué)生在當(dāng)前時(shí)間點(diǎn)前一段時(shí)間的網(wǎng)絡(luò)內(nèi)容數(shù)據(jù)。論文基于HCRF算法提出時(shí)序分析模型，意圖挖掘一段時(shí)間內(nèi)不同心理健康等級(jí)的內(nèi)在發(fā)展規(guī)律，發(fā)現(xiàn)情感變化與心理健康間的關(guān)系。x={x1，x2，……，xn}對(duì)應(yīng)學(xué)生時(shí)間段內(nèi)每條說說數(shù)據(jù)的情感分?jǐn)?shù)，為時(shí)序模型的一組觀測(cè)序列;h={h1，h2，……，hn}對(duì)應(yīng)觀測(cè)序列中習(xí)得的規(guī)律特征，為時(shí)序模型的一組隱隨機(jī)變量;y表示學(xué)生一組觀測(cè)序列對(duì)應(yīng)的心理健康等級(jí)隨機(jī)變量。當(dāng)給出學(xué)生時(shí)間段內(nèi)的一組網(wǎng)絡(luò)內(nèi)容數(shù)據(jù)觀測(cè)序列x，心理健康等級(jí)變量y的條件概率計(jì)算如公式7所示：

其中，由θ參數(shù)化的勢(shì)函數(shù)ψ（y，h，x;θ）用于度量一個(gè)等級(jí)類別、一組隱狀態(tài)序列和觀測(cè)序列之間的兼容性。

四、實(shí)驗(yàn)與結(jié)果分析

（一）實(shí)驗(yàn)數(shù)據(jù)集的構(gòu)建

本研究以湖南某大學(xué)學(xué)生為實(shí)驗(yàn)對(duì)象，發(fā)放根據(jù)CES-D量表設(shè)計(jì)的抑郁自評(píng)問卷，并與其簽署數(shù)據(jù)保密協(xié)議，收集對(duì)象的網(wǎng)絡(luò)內(nèi)容數(shù)據(jù)。在數(shù)據(jù)清洗的基礎(chǔ)上依據(jù)抑郁自評(píng)問卷的分?jǐn)?shù)等級(jí)標(biāo)注對(duì)象的抑郁程度類別，邀請(qǐng)領(lǐng)域?qū)＜腋鶕?jù)情感傾向性標(biāo)注多模態(tài)數(shù)據(jù)的正負(fù)情緒類別，從而構(gòu)成用于隱式心理評(píng)估的聯(lián)合標(biāo)注數(shù)據(jù)集（JA-IPAD）。其中，多模態(tài)數(shù)據(jù)的情感傾向標(biāo)注示例見表1。

為訓(xùn)練并驗(yàn)證模型性能，處理并劃分多模態(tài)數(shù)據(jù)，具體數(shù)據(jù)分布如下：文本情感計(jì)算模型的情感類別包括正面、負(fù)面兩類，其訓(xùn)練集、驗(yàn)證集和測(cè)試集分別為4000條、500條和500條的文本內(nèi)容數(shù)據(jù);圖像情感計(jì)算模型的情感類別包括正面、負(fù)面兩類，其訓(xùn)練集、驗(yàn)證集和測(cè)試集分別為4000條、500條和500條的圖像內(nèi)容數(shù)據(jù);經(jīng)多名領(lǐng)域?qū)＜医徊婧瞬楹?，評(píng)估模型的心理健康等級(jí)包括健康、可能抑郁、存在抑郁三種情況，三類人群分布狀況分別為128人（61.0%）、57人（27.1%）、25人（11.9%），從中隨機(jī)抽取180人所發(fā)表的多模態(tài)數(shù)據(jù)為訓(xùn)練集、30人所發(fā)表的多模態(tài)數(shù)據(jù)為測(cè)試集。

（二）評(píng)價(jià)指標(biāo)

文本情感計(jì)算模型和圖像情感計(jì)算模型的數(shù)據(jù)分布較為平均，選用通用評(píng)價(jià)指標(biāo)對(duì)模型效果進(jìn)行評(píng)價(jià)以分析精準(zhǔn)率P、召回率R和F值。心理健康評(píng)估模型的學(xué)生數(shù)量較少且不同心理等級(jí)的數(shù)據(jù)分布不均，為確保結(jié)果的可信度，采用分層交叉驗(yàn)證策略，保持各個(gè)等級(jí)類別的原始比例以進(jìn)行 5 折分層交叉驗(yàn)證，并選用準(zhǔn)確率指標(biāo)對(duì)模型效果進(jìn)行評(píng)估。

（三）實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證所提出的多模態(tài)數(shù)據(jù)融合計(jì)算模型的有效性，設(shè)計(jì)以下對(duì)比實(shí)驗(yàn)：（1）Bi-LSTM（T），即使用雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)針對(duì)文本模態(tài)進(jìn)行情感計(jì)算的模型;（2）微調(diào)CNN（V），即采用微調(diào)策略遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像模態(tài)進(jìn)行情感計(jì)算的模型;（3）Bi-LSTM+微調(diào)CNN+AVER（T+V），即采用均值規(guī)則對(duì)圖文模態(tài)數(shù)據(jù)進(jìn)行融合計(jì)算的模型;（4）Bi-LSTM+微調(diào)CNN+MAX（T+V），即采用最大值規(guī)則對(duì)圖文模態(tài)數(shù)據(jù)進(jìn)行融合計(jì)算的模型。上述幾類算法在JA-IPAD數(shù)據(jù)集上的結(jié)果見表2。

從表2可知，圖文多模態(tài)融合的情感計(jì)算結(jié)果均優(yōu)于單一模態(tài)，均值規(guī)則和最大值規(guī)則的融合計(jì)算方式在精準(zhǔn)率上超單一文本模態(tài)約2.2%。結(jié)果表明，在文本模態(tài)基礎(chǔ)上引入圖像模態(tài)，能有效補(bǔ)充單一模態(tài)情感信息不足的問題，且多模態(tài)數(shù)據(jù)很好地解決了表達(dá)上的多義性問題，能成功捕捉到學(xué)生發(fā)表這些自述內(nèi)容時(shí)的真實(shí)情感傾向。除此之外，最大值規(guī)則比均值規(guī)則的融合計(jì)算方式在精準(zhǔn)率上高出1.6%。這表明，在文本和圖像情感計(jì)算結(jié)果存在差距的情況下，依靠情感計(jì)算得出更為準(zhǔn)確一方的最大值規(guī)則比平等看待二者的均值規(guī)則在模態(tài)融合上更顯優(yōu)越。在基于最大值規(guī)則的融合計(jì)算模型中，文本模態(tài)因情感計(jì)算結(jié)果不俗，較圖像模態(tài)占有更大的比重，但說說帖子的配圖在情感表達(dá)上強(qiáng)烈、直接，有助于融合多模態(tài)的情感計(jì)算模型以精準(zhǔn)識(shí)別學(xué)生的情感、情緒。

為驗(yàn)證心理健康評(píng)估模型的有效性，將量表分?jǐn)?shù)與模型評(píng)估結(jié)果進(jìn)行對(duì)比獲得準(zhǔn)確率，實(shí)驗(yàn)結(jié)果見表3。

健康類別的識(shí)別準(zhǔn)確率較高，抑郁類別尚可，可能抑郁類別相對(duì)較低。健康類別和抑郁類別屬于兩向極端，在縱向時(shí)間發(fā)展上，健康類別的學(xué)生情緒大部分時(shí)候處于正面積極狀態(tài)，而存在抑郁傾向類別的學(xué)生情緒持續(xù)低落，對(duì)外界刺激持消極態(tài)度，因而模型能較好地捕獲兩種類別的心理特征，有效判斷學(xué)生是否存在抑郁傾向。但可能抑郁類別處在健康與抑郁間的模糊地帶，特征并不鮮明，模型在進(jìn)行評(píng)估時(shí)容易因?qū)W生近幾次的說說情感傾向而發(fā)生誤判，導(dǎo)致準(zhǔn)確率相對(duì)較低。心理健康評(píng)估模型在驗(yàn)證集上有84.85%的平均準(zhǔn)確率，說明模型在判斷學(xué)生是否存在抑郁傾向上具有較強(qiáng)的區(qū)分力，能準(zhǔn)確發(fā)現(xiàn)心理問題的個(gè)體，具有實(shí)際應(yīng)用價(jià)值。與已有研究相比，本研究采用深度學(xué)習(xí)算法處理網(wǎng)絡(luò)內(nèi)容數(shù)據(jù)，能獲取文本、圖像等多種模態(tài)數(shù)據(jù)的深層次語義知識(shí)和真實(shí)的情感極性，且在評(píng)估耗時(shí)上比傳統(tǒng)機(jī)器學(xué)習(xí)算法更具優(yōu)勢(shì)，通過實(shí)時(shí)分析學(xué)生發(fā)表的網(wǎng)絡(luò)內(nèi)容，可以實(shí)現(xiàn)對(duì)學(xué)生心理健康狀態(tài)的快速定位和持續(xù)跟蹤，做到及時(shí)給高校工作者反饋學(xué)生狀況，為智慧教育時(shí)代下完善學(xué)生心理檔案、精準(zhǔn)干預(yù)學(xué)生心理、優(yōu)化心理健康服務(wù)[26]提供了技術(shù)支撐。

五、結(jié)? ?語

本研究針對(duì)學(xué)生社交網(wǎng)絡(luò)平臺(tái)數(shù)據(jù)的特點(diǎn)，構(gòu)建了一種多模態(tài)融合計(jì)算的大學(xué)生心理健康自動(dòng)評(píng)估模型。該模型在JA-IPAD數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果顯示，融合了多模態(tài)數(shù)據(jù)的模型相比于單一模態(tài)數(shù)據(jù)在準(zhǔn)確率上有顯著提高。這說明除文本信息以外，圖像信息也是大學(xué)生心理健康評(píng)估的重要依據(jù)。融合模型的平均精確度達(dá)到了84.85%，說明該模型能精準(zhǔn)地把握學(xué)生的心理健康水平，有效揭示學(xué)生心理特征的連續(xù)變化趨勢(shì)。同時(shí)，這也符合“人工智能+教育”的發(fā)展方向，為高校心理健康教育的智慧化發(fā)展帶來新機(jī)遇。

[參考文獻(xiàn)]

[1] 祁雙翼，西英俊，馬辛.中國(guó)人心理健康研究綜述[J].中國(guó)健康心理學(xué)雜志，2019，27（6）：947-953.

[2] 昌敬惠，袁愈新，王冬.新型冠狀病毒肺炎疫情下大學(xué)生心理健康狀況及影響因素分析[J].南方醫(yī)科大學(xué)學(xué)報(bào)，2020，40（2）：171-176.

[3] 陳麗.“互聯(lián)網(wǎng)+教育”的創(chuàng)新本質(zhì)與變革趨勢(shì)[J].遠(yuǎn)程教育雜志，2016，34（4）：3-8.

[4] 黃榮懷，陳麗，田陽，等.互聯(lián)網(wǎng)教育智能技術(shù)的發(fā)展方向與研發(fā)路徑[J].電化教育研究，2020，41（1）：10-18.

[5] 微博校園.《2018中國(guó)大學(xué)生日常生活及網(wǎng)絡(luò)習(xí)慣調(diào)研報(bào)告》全面摸底大學(xué)生新媒體使用習(xí)慣[EB/OL].（2019-02-25）[2021-05-01].http：//ln.qq.com/a/20190225/004681.htm.

[6] 孟健男，司維，邵杰.大學(xué)新生SCL-90心理測(cè)評(píng)研究——以某中醫(yī)藥大學(xué)藥學(xué)院2017級(jí)新生為例[J].中國(guó)社會(huì)醫(yī)學(xué)雜志，2019， 36（4）：388-391.

[7] 方曉義，袁曉嬌，胡偉，等.中國(guó)大學(xué)生心理健康篩查量表的編制[J].心理與行為研究，2018，16（1）：111-118.

[8] 奚曉嵐，程灶火.基于神經(jīng)網(wǎng)絡(luò)的大學(xué)生心理健康評(píng)估模型[J].中國(guó)臨床心理學(xué)雜志，2011，19（6）：746-747，733.

[9] 郭菲，趙琳，連志鑫.大學(xué)生自我報(bào)告的學(xué)習(xí)投入可靠嗎——大學(xué)生群體的社會(huì)稱許性反應(yīng)及對(duì)自陳式問卷調(diào)查的影響[J].華東師范大學(xué)學(xué)報(bào)（教育科學(xué)版），2018，36（4）：53-61，163.

[10] 夏徐書.湖南省某師范大學(xué)新生抑郁和自殺意念的流行病學(xué)調(diào)查[D].長(zhǎng)沙：湖南師范大學(xué)，2019.

[11] 朱廷劭.大數(shù)據(jù)時(shí)代的心理學(xué)研究及應(yīng)用[M].北京：科學(xué)出版社，2016.

[12] SAUL S， ARTHUR A S， MICHAEL R H. Ecological momentary assessment[J]. Annual review of clinical psychology，2008（4）：1-32.

[13] 李昂，郝碧波，白朔天，等.基于網(wǎng)絡(luò)數(shù)據(jù)分析的心理計(jì)算：針對(duì)心理健康狀態(tài)與主觀幸福感[J].科學(xué)通報(bào)，2015，60（11）：994-1001.

[14] RINALDI A， FOX T J， CHATURVED S. Predicting depression in screening interviews from latent categorization of interview prompts[C]// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： ACL Press，2020：7-18.

[15] 劉德喜，邱家洪，萬常選，等.利用準(zhǔn)私密社交網(wǎng)絡(luò)文本數(shù)據(jù)檢測(cè)抑郁用戶的可行性分析[J].中文信息學(xué)報(bào)，2018，32（9）：93-102.

[16] 劉德喜，夏先益，萬常選，等.基于多特征融合的在線論壇用戶心理健康自動(dòng)評(píng)估[J].計(jì)算機(jī)學(xué)報(bào)，2019，42（7）：1553-1569.

[17] CHENG Q J， LI T M.H， KWORK C-L， et al. Assessing suicide risk and emotional distress in Chinese social media： a text mining and machine learning study[J]. Journal of medical internet research，2017，19（7）：243-250.

[18] 于亞新，劉夢(mèng)，張宏宇.Twitter社交網(wǎng)絡(luò)用戶行為理解及個(gè)性化服務(wù)推薦算法研究[J].計(jì)算機(jī)研究與發(fā)展，2020，57（7）：1369-1380.

[19] 張國(guó)標(biāo)，李潔.融合多模態(tài)內(nèi)容語義一致性的社交媒體虛假新聞檢測(cè)[J].數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn)，2021，5（5）：21-29.

[20] 張芮，楊晨韻，張耀東.中國(guó)大學(xué)生抑郁影響因素的Meta分析[J].中國(guó)全科醫(yī)學(xué)，2020，23（35）：4497-4502.

[21] 汪維富，毛美娟.多模態(tài)學(xué)習(xí)分析：理解與評(píng)價(jià)真實(shí)學(xué)習(xí)的新路向[J].電化教育研究，2021，42（2）：25-32.

[22] 麻益通.基于多模態(tài)的在線學(xué)習(xí)情感分析模型設(shè)計(jì)與實(shí)現(xiàn)[D].南京：南京師范大學(xué)，2019.

[23] 劉三女牙，彭晛，劉智，等.基于文本挖掘的學(xué)習(xí)分析應(yīng)用研究[J].電化教育研究，2016，37（2）：23-30.

[24] LI S， ZHAO Z， HU R， et al. Analogical reasoning on Chinese morphological and semantic relations[C]// Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics. Melbourne： ACL Press， 2018： 138-143.

[25] HAMBURGER Y. A， BEN-ARTZI E. The relationship between extraversion and neuroticism and the different uses of the Internet [J]. Computers in human behavior. 2000，16（4）： 441-449.

[26] 俞國(guó)良，侯瑞鶴.論學(xué)校心理健康服務(wù)及其體系建設(shè)[J].教育研究，2015，36（8）：125-132.