基于Kinect的學(xué)習(xí)者頭部姿態(tài)動態(tài)識別方法

范子健 許 煒 劉非凡 程文青

(華中科技大學(xué)電子信息與通信學(xué)院 武漢 430074)

基于Kinect的學(xué)習(xí)者頭部姿態(tài)動態(tài)識別方法

范子健 許 煒 劉非凡 程文青

(華中科技大學(xué)電子信息與通信學(xué)院 武漢 430074)

在線學(xué)習(xí)漸漸成為一種新型的學(xué)習(xí)方式,如何有效評價學(xué)習(xí)效果是在線學(xué)習(xí)所面臨的新挑戰(zhàn)。目前一種較為流行的方案是利用Kinect體感數(shù)據(jù)對學(xué)習(xí)者學(xué)習(xí)過程中的姿態(tài)識別進(jìn)而判斷學(xué)習(xí)者的狀態(tài),以實現(xiàn)學(xué)習(xí)過程的監(jiān)測。其中,頭部姿態(tài)是人體姿態(tài)識別的重要內(nèi)容。然而由于學(xué)習(xí)者身高或者坐姿的不同,傳統(tǒng)基于預(yù)定閾值進(jìn)行低頭、側(cè)頭等行為判別的方法在實際應(yīng)用中存在較大的誤差。有鑒于此,論文提出了一種學(xué)習(xí)者姿態(tài)的動態(tài)識別方案,方案利用Kinect設(shè)備獲得學(xué)習(xí)者的頭部位置動態(tài)估算出頭部偏轉(zhuǎn)判別閾值。實驗結(jié)果表明,該方案可在學(xué)習(xí)者身體移動情況下對其頭部姿態(tài)進(jìn)行有效識別。

Kinect; 頭部姿態(tài)識別; 動態(tài)閾值

Class Number TP391.41

1 引言

隨著互聯(lián)網(wǎng)的興起,在線學(xué)習(xí)作為一種便捷新穎的學(xué)習(xí)方式,在人們的日常學(xué)習(xí)工作中日益扮演著愈發(fā)重要的角色[1～2]。與傳統(tǒng)學(xué)習(xí)方式相比,在線學(xué)習(xí)擺脫了時空的約束,充分尊重學(xué)生個性、便于激發(fā)學(xué)習(xí)動機(jī),其針對性強(qiáng)、成本低,具有廣闊的發(fā)展前景[3]。然而,如何有效評價在線學(xué)習(xí)過程中學(xué)習(xí)者的行為狀態(tài),對于構(gòu)建合理、完善的在線學(xué)習(xí)評價體系起著關(guān)鍵的作用。

近來,針對在線學(xué)習(xí)的方式,已有研究關(guān)注在線學(xué)習(xí)過程學(xué)習(xí)者的注意力狀態(tài),同時針對在線學(xué)習(xí)過的評價問題[4～5],提出了利用人體姿態(tài)異常判別學(xué)習(xí)者狀態(tài)的思路[6]。早期姿態(tài)識別主要依賴視頻采集學(xué)習(xí)者的圖像,進(jìn)而對圖像進(jìn)行智能化分析。雖然二維圖像數(shù)據(jù)的分析處理[7]是目前的研究熱點之一,但是在實際應(yīng)用中容易受到環(huán)境光亮度、遮擋、面部表情變化等影響,魯棒性較差[8]。深度傳感器的問世(例如微軟研發(fā)的Kinect傳感器)給人的體感數(shù)據(jù)測量提供了更加精確的技術(shù)手段,已被廣泛應(yīng)用于人體姿態(tài)識別[9]。

傳統(tǒng)基于深度信息的姿態(tài)識別研究通常采用經(jīng)驗選定單一閾值,通過閾值比對的方法判別行為動作[10]。頭部姿態(tài)在學(xué)習(xí)者的行為狀態(tài)識別中占據(jù)重要地位,頭部姿態(tài)反映了學(xué)習(xí)者注意力停留位置。然而,由于現(xiàn)實中學(xué)習(xí)者的差異性,設(shè)備擺放位置的不確定性,傳統(tǒng)簡單的閾值設(shè)定方案通常會產(chǎn)生明顯的誤差,導(dǎo)致系統(tǒng)的適用性較低,成為了影響其廣泛應(yīng)用的主要障礙。比如中小學(xué)生利用電子書包學(xué)習(xí)的場景下,電子書包一般都是平放或者較低傾斜角放置在桌面上,這與傳統(tǒng)成年人豎立顯示器有很大不同。成年人與中小學(xué)生在身高以及學(xué)習(xí)行為習(xí)慣上也有很大不同。

有鑒于此,針對傳統(tǒng)方法中利用經(jīng)驗設(shè)定單一閾值方案的不足之處,本文提出了一種判別閾值的動態(tài)調(diào)節(jié)方案。該方案利用Kinect實時獲得學(xué)習(xí)者頭部位置坐標(biāo),進(jìn)而通過空間幾何實時計算出頭部偏轉(zhuǎn)狀態(tài)的判別閾值。較之傳統(tǒng)方案能夠有效避免根據(jù)經(jīng)驗預(yù)定閾值帶來的識別誤差,更具有科學(xué)性。

2 系統(tǒng)設(shè)計

2.1 在線學(xué)習(xí)中的頭部姿態(tài)

頭部姿態(tài)在學(xué)習(xí)者的注意力識別方面具有重要意義[11]。因此,本文提出了一個基于在線學(xué)習(xí)場景頭部姿態(tài)識別系統(tǒng)。如圖1所示,一個典型的在線學(xué)習(xí)頭部測量場景中,學(xué)習(xí)者坐在電腦前學(xué)習(xí)網(wǎng)絡(luò)課程,Kinect設(shè)備放置在顯示器的上方對學(xué)習(xí)者的頭部姿態(tài)進(jìn)行測量。

圖1 基于Kinect的在線學(xué)習(xí)頭部姿態(tài)測量系統(tǒng)

本文的主要目的在于鑒別學(xué)習(xí)者是否關(guān)注著屏幕。如圖1所示,當(dāng)學(xué)習(xí)者頭部中心朝向屏幕上任何一點,比如P1,那么即可認(rèn)為學(xué)習(xí)者關(guān)注著屏幕；與之相對應(yīng),當(dāng)學(xué)習(xí)者頭部朝向屏幕范圍之外的點,比如P2,即可認(rèn)為學(xué)習(xí)者注意力落在屏幕之外。根據(jù)這種方式,就可以通過頭部姿態(tài)估測出學(xué)習(xí)者的注意力是否集中在屏幕之上。

值得注意的是,學(xué)習(xí)者的眼睛關(guān)注的位置和頭部偏轉(zhuǎn)朝向并非總是一致的。例如當(dāng)學(xué)習(xí)者面朝計算機(jī)屏幕,卻斜著眼睛看向其他位置。但是這類姿勢缺乏舒適性,學(xué)習(xí)者很難長時間維持。因此,本方案不考慮此類異常行為。事實上,作為學(xué)習(xí)者行為測量的支撐手段,只需要大致分析學(xué)習(xí)者的面部朝向,不需要精確的識別學(xué)習(xí)者在屏幕上的關(guān)注點位置。

2.2 基于Kinect的測量系統(tǒng)

Kinect是一款微軟開發(fā)的體感設(shè)備。Kinect主要包括三個組件：紅外發(fā)射器,RGB彩色攝像機(jī)以及紅外攝像機(jī)[12]。其中紅外發(fā)射器與紅外攝像機(jī)共同構(gòu)成了3D結(jié)構(gòu)光深度傳感器。通過對深度數(shù)據(jù)以及彩色數(shù)據(jù)的分析,可以得到使用者的骨骼以及頭部等體感信息。

如圖1所示,Kinect的測量結(jié)果均建立在Kinect設(shè)備自定義的坐標(biāo)系(簡稱設(shè)備坐標(biāo)系)基礎(chǔ)之上。所謂設(shè)備坐標(biāo)系以設(shè)備中心點為原點,以設(shè)備水平向右為X軸的正方向,垂直設(shè)備向上為Y軸正方向,垂直XY平面指向?qū)W習(xí)者的為Z軸正方向。Kinect能夠得到學(xué)習(xí)者在該坐標(biāo)系下的頭部中心坐標(biāo)。同時也能得到學(xué)習(xí)者的頭部偏轉(zhuǎn)角度。如圖2所示,其中繞X軸的偏轉(zhuǎn)角度為pitch,即俯仰角；繞Y軸偏轉(zhuǎn)的角度為yaw,即側(cè)頭角度；繞Z軸的偏轉(zhuǎn)角度為roll,即斜轉(zhuǎn)頭的角度。

圖2 基于Kinect的頭部轉(zhuǎn)向示意圖

由于隨著學(xué)習(xí)者頭部位置的變化,關(guān)于學(xué)習(xí)者關(guān)注點是否落在屏幕上的角度判別閾值也是不斷變化的。因此,在實際的監(jiān)測過程中,上述Kinect得到的測量數(shù)據(jù)無法直接用來估測學(xué)習(xí)者的頭部偏轉(zhuǎn)情況。為了解決該問題,本文提出了一種動態(tài)閾值調(diào)節(jié)方案。

3 動態(tài)閾值調(diào)節(jié)方案

3.1 系統(tǒng)框架

傳統(tǒng)的頭部姿態(tài)識別系統(tǒng)首先利用Kinect設(shè)備測量學(xué)習(xí)者的頭部偏轉(zhuǎn)角度,然后與預(yù)設(shè)定的單一經(jīng)驗閾值比較,從而判別學(xué)習(xí)者的頭部姿態(tài)。然而,如同前文所述,這種利用經(jīng)驗值來決定閾值的方式存在著適用性較低的問題。因此,為了實現(xiàn)動態(tài)閾值調(diào)節(jié)方案,本文提出了一個動態(tài)頭部姿態(tài)判別系統(tǒng)。系統(tǒng)的工作流程如圖3所述。本系統(tǒng)在傳統(tǒng)方案基礎(chǔ)上增加了一個動態(tài)閾值計算模塊。該模塊基于Kinect實時測量頭部坐標(biāo),通過空間坐標(biāo)計算出當(dāng)前姿態(tài)下的學(xué)習(xí)者看不同方位的實際偏轉(zhuǎn)閾值。

圖3 動態(tài)閾值調(diào)節(jié)判別流程

3.2 理想場景下頭部測量

首先,本文從最簡單的場景開始討論。如圖4所示,學(xué)習(xí)者頭部中心點H位于設(shè)備坐標(biāo)系Z軸上時,坐標(biāo)為(0,0,z)。這種情況下,Kinect中心點與設(shè)備坐標(biāo)系原點重合。

圖4 理想場景下的頭部閾值計算

通常情況下,學(xué)習(xí)者注意力集中在屏幕上,因此本文選擇屏幕邊緣作為系統(tǒng)的異常行為判別邊界。如圖4所示,選取圖中αl,αr,βd作為頭部偏轉(zhuǎn)的閾值。當(dāng)測量的頭部偏轉(zhuǎn)角度大于偏轉(zhuǎn)閾值的時候,即認(rèn)為學(xué)習(xí)者關(guān)注于屏幕之外的地方。假設(shè)屏幕的高度為h,寬度為w,那么可以通過下式計算閾值。

(1)

3.3 頭部偏轉(zhuǎn)角度校準(zhǔn)

在實際場所下,學(xué)習(xí)者很難保持頭部中心一直在Z軸上。因此,隨著頭部偏離Z軸,Kinect的測量值無法直接用做頭部偏轉(zhuǎn)角度數(shù)據(jù)。本節(jié)則主要討論頭部中心移動帶來的頭部偏轉(zhuǎn)角度校準(zhǔn)的問題。

如圖5所示,學(xué)習(xí)者眼睛關(guān)注于屏幕上的P點,這時Kinect測量得到的頭部偏轉(zhuǎn)角度αk,βk。然而,實際的頭部偏轉(zhuǎn)角度應(yīng)該是圖中所示α,β。因此,由相應(yīng)的幾何推導(dǎo)可以得出兩者的轉(zhuǎn)換公式如下。

圖5 實際場景下的頭部偏轉(zhuǎn)角度測量

(2)

同時,如圖6所示,由于頭部位置(x,y,z)的移動,當(dāng)頭部中心不在Z軸上時,相應(yīng)的偏轉(zhuǎn)閾值也需要進(jìn)行校準(zhǔn)。通過幾何推導(dǎo)可以得出閾值校準(zhǔn)公式如下。

圖6 實際場景下的頭部偏轉(zhuǎn)閾值計算

(3)

3.4 坐標(biāo)系旋轉(zhuǎn)

圖7 坐標(biāo)系旋轉(zhuǎn)示意圖

進(jìn)一步,考慮到實際使用場景下Kinect的放置會有一定的傾角,在此假設(shè)傾角為γ。如圖7所示,為了便于分析,本文定義一個學(xué)習(xí)者空間坐標(biāo)系：以計算機(jī)顯示器的中位線與地面的交點為原點,顯示器水平向右為X軸正方向,豎直向上為Y軸正方向,垂直顯示器指向?qū)W習(xí)者的方向為Z軸正方向。后續(xù)討論默認(rèn)為學(xué)習(xí)者空間坐標(biāo)系。

(4)

其中R(γ)為旋轉(zhuǎn)矩陣。

(5)

將式(5)帶入式(4),即可得到相應(yīng)的頭部坐標(biāo)。

x=xk

y=ykcosγ-zksinγ+hk

z=yksinγ+zkcosγ

(6)

結(jié)合式(6)與式(3),同時考慮到顯示器下沿在用戶空間的坐標(biāo)與設(shè)備空間不一致,即可獲得頭部偏轉(zhuǎn)閾值與設(shè)備坐標(biāo)系下的頭部坐標(biāo)的關(guān)系式。

(7)

結(jié)合式(2)與式(6),同時考慮設(shè)備初始偏轉(zhuǎn)角γ,即可獲得頭部偏轉(zhuǎn)角度在學(xué)習(xí)者空間下的校準(zhǔn)值。

(8)

3.5 閾值取值范圍討論

由前文的討論可以發(fā)現(xiàn),偏轉(zhuǎn)閾值的設(shè)定主要取決于學(xué)習(xí)者的頭部位置坐標(biāo)。如圖8所示,在實際場景下,頭部坐標(biāo)的有效取值空間受限于Kinect設(shè)備的檢測范圍以及學(xué)習(xí)者的活動范圍,兩者的交集決定了頭部坐標(biāo)的有效取值空間。由此,偏轉(zhuǎn)閾值也存在一定的動態(tài)范圍。下面本文將結(jié)合實際的場景,討論閾值的取值范圍。

圖8 Kinect檢測區(qū)域示意圖

首先,在線學(xué)習(xí)的學(xué)習(xí)者的活動范圍局限在電腦桌前。假設(shè)左右移動的最大距離為l,前后移動范圍為[di,da],則

-l≤x≤l

di≤z≤da

(9)

此外,受到紅外攝像頭測距距離和內(nèi)置攝像頭的視野限制,Kinect設(shè)備的檢測范圍也是有限的。假設(shè)Kinect距離地面的高度為hk,檢測空間的水平張角為θ1,豎直方向張角為θ2,深度范圍為d1～d2。因此,頭部坐標(biāo)(x,y,z)需要滿足如下條件：

-d1tan(θ1/2)≤x≤d1tan(θ1/2)

hk-ztan(θ2/2+γ)≤y≤hk+ztan(θ2/2-γ)

d1≤z≤d2

(10)

綜上,頭部坐標(biāo)的有效取值空間為

max(-l,-d1tan(θ1/2))≤x≤min(l,d1tan(θ1/2))

以一個典型的在線學(xué)習(xí)場景為例,場景設(shè)置和Kinect設(shè)備參數(shù)如表1所示,則對應(yīng)的學(xué)習(xí)者頭部坐標(biāo)的取值范圍為

-0.36≤x≤0.36

0.78≤y≤1.38

0.5≤z≤1.0

相應(yīng)地,偏轉(zhuǎn)角度的閾值取值范圍：

-12°≤al≤51°

-51°≤ar≤12°

-51°≤b≤-1°

4 實驗

為了驗證所述方案的有效性,本文搭建了一個在線學(xué)習(xí)場景進(jìn)行測試。

4.1 場景設(shè)置

單人在線學(xué)習(xí)的測試實驗場景如圖9所示。其中,顯示器寬w=0.5m,高h(yuǎn)=0.44m,學(xué)習(xí)者頭部距離地面的高度為h0。Kinect距離地面的高度hk=1.2m,距離學(xué)習(xí)者的水平距離d,Kinect的初始俯角γ=10°。

圖9 實驗場景示意圖

實驗分為可行性驗證、閾值計算方法驗證以及系統(tǒng)識別效果測試三個部分?？尚行则炞C主要分析Kinect測量值的可信度；閾值計算方法驗證主要討論本文提出的閾值計算方法的合理性；最后的系統(tǒng)識別效果測試進(jìn)一步驗證了基于動態(tài)閾值的頭部姿態(tài)識別方法的有效性。

4.2 可行性驗證

為了驗證Kinect得到的頭部偏轉(zhuǎn)數(shù)據(jù)的可信度,本文針對低頭與側(cè)頭兩種情況各自進(jìn)行了100組測試,比較Kinect測量值與實際數(shù)據(jù)之間的關(guān)系。經(jīng)統(tǒng)計分析,測試結(jié)果如圖10所示。

圖10橫坐標(biāo)表示偏轉(zhuǎn)角度理論值,縱坐標(biāo)為Kinect測量值。從圖示結(jié)果可知,最小二乘法線性擬合優(yōu)度分別為0.9932與0.9975,回歸直線對數(shù)據(jù)的擬合很好。同時回歸直線的斜率約為1,所以通過Kinect得到的頭部偏轉(zhuǎn)角度是可信的。

圖10 Kinect測量數(shù)據(jù)可行性實驗結(jié)果

4.3 閾值函數(shù)效果驗證

本部分進(jìn)行了兩組實驗,分別測量了離Kinect的水平距離d、頭部距離地面的高度h0與低頭閾值的關(guān)系。兩組共同驗證動態(tài)閾值計算方法的合理性。

第一組實驗學(xué)習(xí)者保持h0=1.06m,正視屏幕下邊緣,緩慢增大d。第二組實驗學(xué)習(xí)者則保持距離d=0.84m,正視屏幕下邊緣,緩慢坐直以增大h0。實驗結(jié)果如圖11所示。

由圖11可以發(fā)現(xiàn),測量值與理論值基本相符。當(dāng)d越大的時候,低頭的判別閾值越來越大；當(dāng)h0越來越大的時候,低頭的判別閾值越來越大,結(jié)果與預(yù)期相符。因此,本文提出的計算方法具有一定的合理性。

圖11 閾值函數(shù)示意圖

4.4 系統(tǒng)檢測效果驗證

為了進(jìn)一步驗證本系統(tǒng)的檢測效果,由學(xué)習(xí)者在前文所述的環(huán)境下進(jìn)行測試。測試期間學(xué)習(xí)者不斷調(diào)節(jié)坐高以及座位的遠(yuǎn)近,同時伴隨著低頭以及側(cè)頭行為。

圖12 學(xué)習(xí)者行為截圖

視頻記錄學(xué)習(xí)者的(一分鐘)學(xué)習(xí)過程,事后以人為識別為依據(jù)對比系統(tǒng)的識別效果。部分典型行為截圖如圖12所示,期間人為判定的學(xué)習(xí)者頭部行為結(jié)果如表2所示。

表2 人為判定的學(xué)習(xí)者頭部行為結(jié)果

圖13 實際檢測效果圖

系統(tǒng)的實際結(jié)果如圖13所示。其中圖(a)表示在一段時間內(nèi)低頭角度的實際測量數(shù)據(jù)與系統(tǒng)計算出來的閾值關(guān)于時間的變化圖。當(dāng)?shù)皖^角度大于低頭閾值的時候,則低頭狀態(tài)置為1,否則為0。同理,圖(b) 表示在一段時間內(nèi)側(cè)頭角度的實際測量數(shù)據(jù)與系統(tǒng)計算出來的閾值關(guān)于時間的變化圖。當(dāng)側(cè)頭角度大于左側(cè)頭閾值的時候,則側(cè)頭狀態(tài)置為1,當(dāng)側(cè)頭角度小于右側(cè)頭閾值的時候,則側(cè)頭狀態(tài)置為-1,否則為0。

對比系統(tǒng)識別結(jié)果與人為判定結(jié)果發(fā)現(xiàn),本系統(tǒng)能夠根據(jù)實際的頭部坐標(biāo)動態(tài)的調(diào)節(jié)相應(yīng)的頭部偏轉(zhuǎn)角度的判別閾值,從而實現(xiàn)頭部姿態(tài)行為的準(zhǔn)確判別。

5 結(jié)語

在線學(xué)習(xí)的場景下,學(xué)習(xí)者頭部姿態(tài)信息的準(zhǔn)確性對于學(xué)習(xí)者的狀態(tài)分析和行為記錄有著重要的影響。傳統(tǒng)根據(jù)經(jīng)驗選取單一判別閾值的方式實用性差,實際的使用過程中誤差大。因此,本文提出了一種根據(jù)學(xué)習(xí)者頭部位置動態(tài)調(diào)節(jié)頭部姿態(tài)判別閾值的方案。該方案通過Kinect實時獲得學(xué)習(xí)者頭部坐標(biāo),進(jìn)而通過空間幾何運算實時得到偏轉(zhuǎn)閾值。實驗表明,本方案較之傳統(tǒng)的單一經(jīng)驗閾值的判別方式更加準(zhǔn)確與科學(xué)。

本文僅僅討論了在線學(xué)習(xí)場景下的頭部姿態(tài)判別,在后續(xù)的工作中將對更多的識別場景進(jìn)行測試,同時將進(jìn)一步考慮其他體感信息,綜合頭部姿態(tài)以及肢體姿態(tài)更深入準(zhǔn)確地分析記錄學(xué)習(xí)者的行為狀態(tài)。

[1] 王紅艷,胡衛(wèi)平.中國在線學(xué)習(xí)研究現(xiàn)狀與啟示[J].中國遠(yuǎn)程教育,2013(8):30-34. WANG Hongyan, HU Weiping. A Review of Online Learning Literature in China and Its Implications[J]. Distance Education in China,2013(8):30-34.

[2] 祝智庭,劉名卓.“后MOOC”時期的在線學(xué)習(xí)新樣式[J].開放教育研究,2014,20(3):36-43. ZHU Zhiting, LIU Mingzhuo. New Trends of Online Learning in the “Post-MOOC Era”[J]. Open Education Research, 2014, 20(3):36-43.

[3] 鐘志賢,楊蕾.論在線學(xué)習(xí)[J].現(xiàn)代遠(yuǎn)距離教育,2002,(1):30-34. ZHONG Zhixian, YANG Lei. On Learning on Line[J]. Modern Distance Education,2002,(1):30-34.

[4] Dark M J, York C S, Popescu V, et al. Evaluating interactivity and presence in an online distance learning system[C]//Frontiers in Education (FIE 2007), Milwaukee, WI: IEEE, 2007. T2D-24 - T2D29.

[5] 趙敏杰,王娜,房曉瑞,等.網(wǎng)絡(luò)課程中學(xué)習(xí)行為監(jiān)控系統(tǒng)的設(shè)計與實踐[J].中國教育信息化:基礎(chǔ)教育,2009(9):66-68. ZHAO Mingjie, WANG Na, FANG Xiaorui, et al. The Design and Implement of Learning Behavior Monitoring System of Online Course[J]. The Chinese Journal of Ict in Education,2009(9):66-68.

[6] Sandanayake T C, Madurapperuma A. P. Affective e-learning model for recognising learner emotions in online learning environment[C]//Proc. of 2013 International Conference on Advances in ICT for Emerging Regions (ICTer). Colombo, Sri Lanka: IEEE,2013:266-271.

[7] 周鴻,張軍,劉志鏡.基于模糊理論的行人異常動作檢測[J].模式識別與人工智能,2013(6):421-427. ZHANG Jun, LIU Zhijun. Abnormal Behavior of Pedestrian Detection Based on Fuzzy Theory[J]. Pattern Recognition and Artificial Intelligence,2013(6):421-427.

[8] 喬體洲,戴樹嶺.基于特征點識別的頭部姿態(tài)計算[J].北京航空航天大學(xué)學(xué)報,2014(8):1038-1043. QIAO Tizhou, DAI Shuling. Head pose estimation framework based on feature point detection[J]. Journal of Beijing University of Aeronautics and Astronautics,2014(8):1038-1043.

[9] Vermun K, Senapaty M, Sankhla A, et al. Gesture-based Affective and Cognitive States Recognition using Kinect for Effective Feedback during E-learning[C]//Proc. of 2013 IEEE Fifth International Conference on Technology for Education (T4E). Singapore, Singapore: IEEE,2013:107-110.

[10] 符秀輝,杜一鳴.基于Kinect傳感器的姿態(tài)識別及應(yīng)用研究[J].電子技術(shù)與軟件工程,2014(18):157-158. FU Xiuhui, DU Yiming. Head Pose Recognition and Application Based on Kinect [J]. Electronic Technology & Software Engineering,2014(18):157-158.

[11] 董力賡,陶霖密,徐光裙.頭部姿態(tài)和動作的識別與理解[C]//第三屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會議論文集,濟(jì)南,2007. DONG Ligeng, TAO Linmi, XU Guangyou. Head Pose Estimation and Head Gesture Recognition[C]//The 3rd Joint Conference on Harmonious Human Machine Environment ( HHME2007 ), Jinan,2007.

[12] Han J, Shao L, Xu D, et al.Enhanced computer vision with microsoft kinect sensor: A review[J]. IEEE Transactions on Cybernetics,2013,43(5):1318-1334.

Adaptive Identification of Learner Head Pose Based on Kinect

FAN Zijian XU Wei LIU Feifan CHENG Wenqing

(School of Electronic Information and Communications, Huazhong University of Science and Technology, Wuhan 430074)

Online learning gradually becomes a new way of learning, which is facing the challenge of how to evaluate the learning effectiveness. Nowadays, it is a popular solution to use somatosensory information to recognize the gesture and state of learner. Besides, head pose identification is the most important part of human gesture recognition. Due to the different height and sitting position of the learner, the traditional method works with a high false alarm ratio in practice. To this end, a dynamic head pose identification solution is proposed. Experiments demonstrate that the proposed solution can effectively distinguish the learner’s head pose, which is more adaptive and scientific.

Kinect, head pose identification, dynamic threshold

2016年8月3日,

2016年9月24日

國家科技支撐計劃項目(編號:2015BAH33F04)資助。

范子健,男,碩士研究生,研究方向:教育信息化、互聯(lián)網(wǎng)應(yīng)用。許煒,男,博士,副教授,研究方向:互聯(lián)網(wǎng)應(yīng)用、數(shù)據(jù)分析等。劉非凡,男,碩士研究生,研究方向:教育信息化、互聯(lián)網(wǎng)應(yīng)用。程文青,女,博士,教授,研究方向:高速通信網(wǎng)絡(luò)、網(wǎng)絡(luò)教育等。

TP391.41

10.3969/j.issn.1672-9722.2017.02.031