基于Kinect體感交互式虛擬學習環(huán)境的構(gòu)建

董麗+陳仕品

摘 要：和傳統(tǒng)設(shè)備相比，交互式電子白板在學習交互性特征方面顯示出它的優(yōu)越性。然而，它高昂的價格讓人望而卻步，同時初始化設(shè)備繁雜。Kinect體感硬件可以運用手勢、體態(tài)、語音等自然方式實現(xiàn)人機交互，同時價格適中無需任何外設(shè)。文章運用Kinect、投影儀、計算機等硬件從環(huán)境外設(shè)層面、功能實現(xiàn)層面、程序設(shè)計層面來設(shè)計，構(gòu)建體感交互式虛擬學習環(huán)境，真正實現(xiàn)低成本交互式電子白板。

關(guān)鍵詞：kinect；交互式電子白板；體感交互；虛擬學習環(huán)境

中圖分類號：G434 文獻標志碼：B 文章編號：1673-8454（2016）14-0086-02

一、引言

交互式電子白板由于其在學習交互性特征方面顯示出的優(yōu)越性廣受歡迎，逐漸被應(yīng)用在教育教學過程中。這項技術(shù)得到了廣泛的支持，對教學質(zhì)量的提高也起了不可估量的作用。[1]但是，由于成本昂貴，并不是所有學校都可以承受。這項技術(shù)主要被分為兩大類：主動識別與被動識別，主動識別的結(jié)果更穩(wěn)定有效，價格也更昂貴一些。大部分電子白板都是通過電子筆、手指觸摸或者其他設(shè)備來控制。但是，隨著體感技術(shù)的出現(xiàn)，這些問題就不難解決了，它可以提供人與計算機之間的自然交互。自然交互就是指通過一些自然交互設(shè)備如Kinect等來捕捉人體動作和聲音來實現(xiàn)與計算機之間的交互。[2]

所以，我們就希望通過利用體感技術(shù)，運用Kinect傳感器、投影儀、計算機來構(gòu)建一個體感交互式虛擬學習環(huán)境，既實現(xiàn)交互式電子白板的功能，又可以降低成本消費，同時運用在教學中又可以取得很好的效果。

二、交互式虛擬學習環(huán)境的設(shè)計

近幾年，有關(guān)研究Kinect體感技術(shù)在教學中的應(yīng)用越來越多。Avancini[3]在其研究中運用Kinect技術(shù)模擬制作了一臺交互式白板，運用九點刻度技術(shù)來匹配手部與鼠標之間的協(xié)調(diào)功能，并且加強檢測手部手指動作。中國學者提出了一個基于Kinect技術(shù)的交互式白板，在機器視覺理論基礎(chǔ)的指導(dǎo)下，運用具有紅外線掃描技術(shù)的紅外線LED筆來研制。[4]我們所要研究的就是運用Kinect體感技術(shù)模擬制作一個低成本的交互式電子白板，創(chuàng)建一個交互式虛擬學習環(huán)境，實現(xiàn)人機之間的自然交互，提高學生的學習機會。

我們創(chuàng)設(shè)的體感交互式虛擬學習環(huán)境主要包括環(huán)境外設(shè)層面、功能實現(xiàn)層面、應(yīng)用程序?qū)用嫒蟛糠?。它的環(huán)境外設(shè)主要是運用Kinect體感外設(shè)來開發(fā)，是環(huán)境設(shè)計的硬件部分；功能實現(xiàn)層面主要是軟件部分實現(xiàn)的，主要是運用人體檢測和識別技術(shù)來識別真實世界人體與手部動作與虛擬鼠標坐標的匹配協(xié)調(diào)；應(yīng)用程序?qū)用嬷饕菍⒔逃虒W材料與系統(tǒng)相關(guān)聯(lián)，到達系統(tǒng)教育性特點。

1.環(huán)境外設(shè)層面

體感交互式虛擬學習環(huán)境中交互式電子白板的硬件開發(fā)主要是依賴于Kinect的使用，Kinect是微軟公司最近發(fā)布的XBox360外接體感設(shè)備，具有兩個深度傳感器，可實現(xiàn)對人體骨骼的捕獲功能，它具有機械轉(zhuǎn)動結(jié)構(gòu)的底座，在底座的支持下Kinect可以上下移動，以便擴大它的體感交互范圍以及人體捕捉界面。Kinect包含的體感交互技術(shù)主要包括語音、紅外線感應(yīng)及攝像頭，不需要借助任何外部設(shè)備就能進行體態(tài)動作捕捉和語音識別[5]。它主要是通過一個體感輸入設(shè)備來控制人與計算機的交互，人通過手勢聲音等命令通過自然用戶界面與計算機進行自然交互。[6]

基于Kinect的交互式虛擬學習環(huán)境下，不需要任何外部設(shè)備，如筆、鼠標等，人只需要通過手勢、聲音等即可與交互式電子白板進行自然交互，Kinect由四個主要組件組成：深度傳感器是由紅外線激光投影儀與單色CMOS傳感器相結(jié)合而成；Kinect應(yīng)用程序通常依賴于獲取對象目標的被動標記和可以同時發(fā)出和接受紅外線的深度傳感器；Kinect軟件可以自動校準傳感器并且可以調(diào)節(jié)它的傳感范圍；Kinect還包括一個普通8位VGA攝像頭，多陣列麥克風用于聲音識別和機動傾斜定位。為了提高使用Kincet的效率，我們將實用范圍限制設(shè)為1.2-3.5米的距離，面積控制在6平方米，Kinect傳感器觀看距離的水平磁場至少為0.8米，垂直場大約為0.63米。[6]

2.功能實現(xiàn)層面

對于系統(tǒng)來說，硬件與軟件是不可分割的一個整體。在我們所研究的基于Kinect交互式虛擬學習環(huán)境中，軟件的主要作用就是運用java語言來解析Kinect傳感數(shù)據(jù)并協(xié)調(diào)現(xiàn)實與虛擬環(huán)境中的無縫對接。軟件可以檢測人體數(shù)據(jù)并且識別手指動作，也可以用手來控制鼠標。

（1）人機數(shù)據(jù)匹配?；贙inect交互式虛擬學習環(huán)境的構(gòu)建主要實現(xiàn)的就是人機之間的自然交互，我們可以運用身體運動、手勢、聲音等來控制計算機，只有體感外設(shè)感應(yīng)到我們手部的動作或者聲音、手勢等，便會傳送數(shù)據(jù)到計算機，計算機快速計算數(shù)據(jù)然后將數(shù)據(jù)反映到投影屏幕上，實現(xiàn)真實場景中手部數(shù)據(jù)與虛擬三維鼠標數(shù)據(jù)進行匹配，然后達到人機自然交互。這些功能的實現(xiàn)必須是硬件配置加以軟件支持，才能達到真正的匹配。

（2）手部動作控制計算機。當真實數(shù)據(jù)與虛擬數(shù)據(jù)匹配之后，開始進行交互，我們研究的自然人機交互主要是讓計算機來適應(yīng)人的變化，所以功能實現(xiàn)層面需要通過軟件來實現(xiàn)人通過聲音、手勢等來控制計算機，計算機會隨著人手勢的變化做出不同的反應(yīng)，實現(xiàn)我們手部動作來控制虛擬鼠標。

（3）克服手部動作的不協(xié)調(diào)性。當手部動作變化過快時，虛擬手部數(shù)據(jù)就會與真實手部數(shù)據(jù)不協(xié)調(diào)，不能及時轉(zhuǎn)換，導(dǎo)致交互延后，但是使用相關(guān)軟件程序后，會通過不同算法提高運行速度，克服其他無關(guān)動作，及時響應(yīng)真實手部動作，不會出現(xiàn)延遲、卡死等情況。

（4）檢測用戶身體數(shù)據(jù)變化。Kinect無法直接識別到用戶的轉(zhuǎn)身，當用戶在設(shè)備前轉(zhuǎn)身，左右手的位置就進行了顛倒，Kinect就無法識別出當前左右手的位置，甚至錯亂，導(dǎo)致手部動作與虛擬鼠標動作不一致，所以為了克服這方面的缺陷，我們運用一個軟件來跟蹤面部變化，這個軟件就是計算機視覺庫OpenCV[6]。當軟件檢測不到面部數(shù)據(jù)時，說明用戶轉(zhuǎn)身或者離開了，接下來就會對左右手的數(shù)據(jù)進行轉(zhuǎn)換。

3.應(yīng)用程序?qū)用?/p>

應(yīng)用程序設(shè)計層面主要是實現(xiàn)將學習材料、學習資源植入系統(tǒng)中，實現(xiàn)環(huán)境的教育性特點。這是環(huán)境構(gòu)建的最后一部分。體感交互式學習環(huán)境的應(yīng)用程序的設(shè)置主要是這些程序的編程，動作腳本語言用來開發(fā)交互式應(yīng)用程序。Adobe多媒體設(shè)計軟件應(yīng)用程序主要用來幫助教師處理教學資源，教學材料如圖片、動畫、視頻、演示文稿、三維目標等，并且可以隨時訪問互聯(lián)網(wǎng)。

這項環(huán)境構(gòu)建過程中成本預(yù)算中，投影儀、計算機、Kinect傳感器三個主要硬件部分是必須的，三者的價格分別大約是1600元/臺、3600元/臺、500元/臺，合起來大約5700元，這只是半臺交互式白板價格。

三、 總結(jié)

運用體感技術(shù)進行人機交互是當前人機交互技術(shù)的發(fā)展方向，顯示出我們現(xiàn)在對技術(shù)的運用注重人本主義，主要向著計算機的發(fā)展適應(yīng)人的發(fā)展方向，這在人機交互發(fā)展史上是一個轉(zhuǎn)折點，同時也是一個里程碑。傳統(tǒng)的人機交互技術(shù)構(gòu)建的交互界面事實上成為隔離物質(zhì)世界和信息世界之間的屏障。[7]

我們主要是通過運用Kinect來構(gòu)建一個體感交互式學習環(huán)境，學生在這樣的環(huán)境中學習，提高了學習積極性、學生參與度，不僅提高學習成績，而且可以樹立自信心。最重要的是以低廉的價格實現(xiàn)交互式電子白板的功能，大大縮減了成本投資，提高了學校使用率。除此之外，還可以讓大家多多了解體感技術(shù)，感受體感技術(shù)乃至信息技術(shù)為學習帶來的好處。當然Kinect也有自己的局限性，當用戶轉(zhuǎn)身時，不能及時轉(zhuǎn)換左右手監(jiān)測數(shù)據(jù)，導(dǎo)致動作撲捉不準確。同時由于能力有限，我們現(xiàn)在只能實現(xiàn)體感交互等功能，還不能達到多點觸控，也不能對用戶的行為進行準確評估，為了使構(gòu)建的環(huán)境更加完善，今后要加強這方面的研究。

參考文獻：

[1]BECTA.What the researrch says about Interactive Whiteboards[DB/OL].http：//dera.ioe.ac.uk/5318/1/wtrs_white boards.pdf，2003.

[2]OpenNI[EB/OL]. http：//en.wikipedia.org/wiki/OpenNI.

[3]Avancini.Using Kinect to emulate an interactive whiteboard[M]. Unpublished Disserta-Tion，2012.

[4]Zhang，S.， He，W.， Yu，Q.， Zheng.Low-cost interactive whiteboard using the Kinect[J].International Conference on Image Analysis and Signal Processing （IASP），2012：1-5.

[5]Kalal Z，Mikolajczyk K，Matas J. Face-tld： Tracking -learning-detection applied to faces[C]. Proceedings of the International Conference on Image Processing. Hong kong，2010： 3789-3792.

[6]Kinect[DB/OL]. http：//en.wikipedia.org/wiki/Kinect.

[7]孫正興.人機交互技術(shù)概論[EB/OL].http：//blog.sciencenet.cn/blog-39479-332668.html，2010，06.

（編輯：魯利瑞）