基于多模態(tài)身體行為信息融合的學(xué)生學(xué)習(xí)興趣分析方法研究

任 婕

（北方工業(yè)大學(xué) 信息學(xué)院，北京 100144）

0 引言

在當(dāng)前的教學(xué)領(lǐng)域中，評(píng)價(jià)者不能簡(jiǎn)單地憑借學(xué)生的成績(jī)或者調(diào)查問卷去分析學(xué)生對(duì)課堂的學(xué)習(xí)興趣，需要綜合考慮學(xué)生在學(xué)習(xí)過程中的多種行為表現(xiàn)，從而為課堂中學(xué)生的參與意識(shí)和投入程度提供有效的改進(jìn)意見。

學(xué)生的學(xué)習(xí)興趣可以通過身體行為體現(xiàn)。課堂中的身體動(dòng)作，往往能直觀反應(yīng)學(xué)生上課的專注程度。而身體動(dòng)作又可以分為很多種，譬如對(duì)舉手特征動(dòng)作的識(shí)別，趴桌子特征動(dòng)作的識(shí)別，托腮特征動(dòng)作的識(shí)別，低頭特征動(dòng)作的識(shí)別，寫字和正坐特征動(dòng)作的識(shí)別。

根據(jù)獲得的身體行為數(shù)據(jù)，可以把一個(gè)課堂環(huán)境下的學(xué)生在某段時(shí)間的身體行為數(shù)據(jù)轉(zhuǎn)化為一個(gè)一維向量。由于隨機(jī)森林在解決小樣本非線性分類問題中所表現(xiàn)出的分類效果極佳，同時(shí)隨機(jī)森林可以解決分類、函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題的特性，所以本文決定采用隨機(jī)森林算法對(duì)所得到的向量進(jìn)行訓(xùn)練并對(duì)參數(shù)進(jìn)行調(diào)優(yōu)，訓(xùn)練得到一個(gè)可以分類學(xué)習(xí)狀態(tài)的分類器，最終通過多模態(tài)信息融合得到結(jié)果。

表1 身體軀干關(guān)節(jié)點(diǎn)的編號(hào)及命名Table 1 Number and name of trunk nodes

圖1 課堂環(huán)境數(shù)據(jù)采集示意圖Fig.1 Schematic diagram of classroom environment data acquisition

1 身體行為數(shù)據(jù)集構(gòu)建

數(shù)據(jù)集收集是身體行為分析的基礎(chǔ)，以往數(shù)據(jù)集的收集過程都是參與者自己表演、重現(xiàn)和互動(dòng)的，只有比較少一部分的數(shù)據(jù)集是自發(fā)的，而且并沒有一個(gè)數(shù)據(jù)集是用來專門針對(duì)課堂環(huán)境中的[1]。因?yàn)楸狙芯渴菂^(qū)分課堂上身體行為的動(dòng)作狀態(tài)，所使用的數(shù)據(jù)集也必須是來自正在上課時(shí)的學(xué)生的身體行為數(shù)據(jù)。在實(shí)驗(yàn)視頻錄制方面，該項(xiàng)目采用的是?？低暤腄S-2CC597P 超寬動(dòng)態(tài)針孔攝像機(jī)，輸出設(shè)置為1080p、28fps 的實(shí)時(shí)圖像。

整體有25 名學(xué)生參與了這次課堂行為數(shù)據(jù)的錄像——6 名女生和19 名男生。首先保證他們都沒有參與到本次論文的研究過程與方法中。這25 名參與者都是橫跨中學(xué)到大學(xué)的學(xué)生，年齡在9 歲～23 歲之間。在大量的錄制與分析后，研究成員收集了這25 名參與者中50 段舉手、趴、托腮、低頭玩、寫字和正坐的身體行為視頻（收集的每個(gè)參與者的片段數(shù)都是不固定的）。在數(shù)據(jù)集中，這6 種狀態(tài)的身體行為剪輯的平均時(shí)間長(zhǎng)度略多于6s 左右。

圖2 歸一化后的數(shù)據(jù)集Fig.2 Normalized data set

對(duì)于收集到的每個(gè)片段，研究者將每一個(gè)視頻數(shù)據(jù)的片段進(jìn)行分割，然后對(duì)這些視頻數(shù)據(jù)進(jìn)行標(biāo)注，這樣就完成了對(duì)數(shù)據(jù)集的構(gòu)建。

2 身體行為識(shí)別數(shù)據(jù)的預(yù)處理及特征提取

本研究采用Openpose 去實(shí)現(xiàn)特征點(diǎn)的提取，Openpose可以同時(shí)追蹤捕獲多個(gè)用戶的身體軀干關(guān)鍵點(diǎn)坐標(biāo)信息。本文將獲取的關(guān)節(jié)點(diǎn)二維坐標(biāo)信息作為原始數(shù)據(jù)，每個(gè)關(guān)節(jié)點(diǎn)的空間坐標(biāo)彼此獨(dú)立。利用這些關(guān)節(jié)點(diǎn)坐標(biāo)數(shù)據(jù)來構(gòu)造單幀圖片的人體全局特征，再根據(jù)所采集的身體動(dòng)作進(jìn)行描述[2]。按照本文任務(wù)要求，課堂環(huán)境和實(shí)驗(yàn)設(shè)備的設(shè)定，胸部以下部位是采集不到肢體坐標(biāo)信息的，如圖1 所示。去除8 號(hào)～13 號(hào)坐標(biāo)信息，另外根據(jù)1 號(hào)坐標(biāo)x 坐標(biāo)值不變，y 軸正方向增加200 像素距離作為一個(gè)新增點(diǎn)18坐標(biāo)信息，用于后續(xù)行為特征的提取。對(duì)應(yīng)關(guān)節(jié)點(diǎn)名稱詳情見表1。

提取關(guān)鍵點(diǎn)坐標(biāo)之后，以鼻尖作為原點(diǎn)進(jìn)行歸一化，并將歸一化后的數(shù)據(jù)打入標(biāo)簽放入csv 文件中。其中，標(biāo)簽0 為舉手、1 為趴、2 為托腮、3 為玩手機(jī)、4 為寫字、5為正坐，如圖2 所示。

3 分類

本文分別對(duì)Sigmoid 核函數(shù)支持向量機(jī)、多項(xiàng)式核函數(shù)支持向量機(jī)、線性和函數(shù)支持向量機(jī)、徑向基核函數(shù)支持向量機(jī)、決策樹、隨機(jī)森林等6 種常用的機(jī)器學(xué)習(xí)分類算法對(duì)學(xué)生課堂行為進(jìn)行分類。最終結(jié)果表明，使用隨機(jī)森林算法具有最高的分類準(zhǔn)確率89.36%，也說明了本文提出的學(xué)習(xí)狀態(tài)識(shí)別分類方法的有效性。在后續(xù)實(shí)驗(yàn)中發(fā)現(xiàn)，雖然svm 方法中有兩類核函數(shù)支持向量機(jī)對(duì)樣本測(cè)試準(zhǔn)確率很高，但對(duì)新數(shù)據(jù)分類結(jié)果并不理想，兩類方法對(duì)樣本數(shù)據(jù)產(chǎn)生過擬合，泛化能力較差，故采用隨機(jī)森林分類方法。

4 多模態(tài)信息融合

4.1 融合方法

就現(xiàn)在的科技水平和研究方法來說，多模態(tài)信息融合方式從數(shù)據(jù)上來講，可以分為3 個(gè)方向：數(shù)據(jù)級(jí)融合、特征級(jí)融合、決策級(jí)融合。決策級(jí)融合是最高級(jí)別的融合，該級(jí)別的融合是指在已經(jīng)拿到由相應(yīng)分類器得到的初步識(shí)別結(jié)果后，綜合各方結(jié)論數(shù)據(jù)，通過規(guī)則的方法再進(jìn)行決策的過程，該級(jí)別對(duì)應(yīng)的就好比是公司的決策者。在這3種融合方法中，只有決策層融合能對(duì)不同的特征選其相對(duì)應(yīng)的分類器，有更好的準(zhǔn)確性和靈活性。身體行為的數(shù)據(jù)來自于對(duì)教室視頻監(jiān)控?cái)?shù)據(jù)的分析，根據(jù)視頻數(shù)據(jù)在分類器中得出的分類結(jié)果，將最終的融合因素分為6 層，對(duì)于身體行為的6 個(gè)融合因素進(jìn)行層次分析法的決策融合后，去估計(jì)學(xué)生的興趣程度。

同時(shí)，基于以上身體行為的多模態(tài)信息融合思想做以下定義：

一般地，令D={x1,x1,…,xm}表示包含m 個(gè)示例的數(shù)據(jù)集，每個(gè)示例由6 個(gè)動(dòng)作描述（例如舉手、趴、寫字、低頭、正坐、托腮），則每個(gè)示例xi={Ai,Bi,Ci,Di,Ei,Fi}中，Ai是xi在A 屬性上的取值。即，基于身體行為的多模態(tài)信息融合形式化表示為：

表2 重要性權(quán)重含義表Table 2 Significance weight meaning table

圖4 層次分析法流程圖Fig.4 Flow chart of analytic hierarchy process

這里，N 表示身體行為信息融合的結(jié)果；m 表示融合對(duì)象的個(gè)數(shù)；A,B,C,D,E,F 分別表示融合對(duì)象i 的6 種融合因素。最終，基于身體行為特征的多模態(tài)信息融合得到的興趣度，可定義為：

其中，WA,WB,WC,WD,WE,WF也就是將會(huì)在下文提到的權(quán)重。

4.2 權(quán)重分析

在基于身體行為的綜合評(píng)價(jià)模型中，各指標(biāo)權(quán)重的確定是其核心問題。因此，要實(shí)現(xiàn)綜合評(píng)價(jià)信息的融合，首先要了解每個(gè)屬性的影響度可由權(quán)重值來表示，權(quán)重大的即影響程度大，權(quán)重小也就代表影響小。而權(quán)重的確定方法可分為主觀賦權(quán)法和客觀賦權(quán)法。

主觀賦權(quán)法中的層次分析法（Analytic Hierarchy Process）[3]是使專家決策者對(duì)照相對(duì)重要性的參照表2 給出指標(biāo)兩兩比較的重要性等級(jí)，因而可靠性高，誤差小，并且經(jīng)該方法取得的最終結(jié)果具有一定的可遺傳性，所以決定在權(quán)重分析中采用層次分析法。首先由專家對(duì)評(píng)價(jià)指標(biāo)根據(jù)表2 進(jìn)行兩兩比較，得到判斷。構(gòu)造了判斷矩陣后，再由和積法求該判斷矩陣的最大特征值和對(duì)應(yīng)的特征向量。具體步驟如圖4 所示。

按照上述步驟可分別求出學(xué)生身體行為屬性的權(quán)重向量為：

表3 身體行為時(shí)長(zhǎng)檢測(cè)結(jié)果Table 3 Test results of physical behavior duration

圖5 基于本文方法得到的學(xué)生學(xué)習(xí)興趣度分布Fig.5 Distribution of students' learning interest based on the method in this paper

5 結(jié)果分析

為了驗(yàn)證本文權(quán)重計(jì)算方法的合理性，以及學(xué)生學(xué)習(xí)興趣度結(jié)果是否能真實(shí)反映學(xué)生的學(xué)習(xí)興趣表現(xiàn)，本文以一段600s 的視頻為例，跟蹤整個(gè)視頻中隨機(jī)抽取的8 名學(xué)生的6 種身體行為動(dòng)作時(shí)長(zhǎng)（單位：s）見表3。

根據(jù)層次分析法得到的6 個(gè)身體行為動(dòng)作的權(quán)重關(guān)系見表4。

基于文本分析法的身體行為特征融合結(jié)果如圖5 所示。

最后根據(jù)興趣度具體值的整體分布，取0.4 為閾值，將大于0.4 的歸為有興趣，小于0.4 的歸為不感興趣。再將基于以上算法得出的檢測(cè)結(jié)果分別與自我評(píng)價(jià)是否感興趣的客觀真值和教師評(píng)價(jià)學(xué)生是否感興趣的客觀真值進(jìn)行比較[4]，從而計(jì)算出本文方法與這兩個(gè)值比較的比較結(jié)果見表5。

表4 權(quán)重關(guān)系Table 4 Weight relationship

表5 興趣分類識(shí)別率（%）Table 5 Interest classification recognition rate (%)

這個(gè)表可以很直觀地說明通過本文的數(shù)據(jù)提取以及分類器分類再經(jīng)過一系列的計(jì)算所得到的反映學(xué)生在課堂環(huán)境中興趣程度的結(jié)果是非常有效并且實(shí)用的。

6 結(jié)論

首先，本文對(duì)教學(xué)中學(xué)習(xí)狀態(tài)識(shí)別的基本思想進(jìn)行了介紹，詳細(xì)論述了教學(xué)中學(xué)習(xí)狀態(tài)識(shí)別的特點(diǎn)并論證了可行性。其次，本文介紹了教學(xué)中反映學(xué)習(xí)狀態(tài)的特征動(dòng)作，定義了6 種特征動(dòng)作并敘述了6 種特征動(dòng)作的識(shí)別方法，從而得出了分類器的識(shí)別準(zhǔn)確率。并經(jīng)由綜合評(píng)價(jià)信息融合以及層次分析法確定權(quán)重。最后，結(jié)合實(shí)驗(yàn)結(jié)果分別與自評(píng)和教師評(píng)價(jià)的客觀真值進(jìn)行比較，同時(shí)驗(yàn)證了本文權(quán)重計(jì)算方法的合理性。