體感交互技術(shù)在《虛擬現(xiàn)實技術(shù)》課程教學(xué)中的應(yīng)用

李知菲+何林知+洪震

摘要：根據(jù)虛擬現(xiàn)實技術(shù)課程知識綜合性強、教學(xué)過程創(chuàng)新性需求大和實驗工程應(yīng)用性高的特點，筆者引入流行的體感交互技術(shù)，基于微軟公司的Kinect鏡頭，圍繞體感數(shù)據(jù)的捕捉與處理、人體動作的識別和虛擬交互設(shè)計三大知識模塊，給出了課程中體感交互教學(xué)實驗項目的原理、技術(shù)和開發(fā)方法。通過教學(xué)實踐，本文設(shè)計的教學(xué)實驗項目提高了學(xué)生學(xué)習(xí)的主動性，培養(yǎng)了學(xué)生的體感交互技術(shù)項目研發(fā)能力，增強了學(xué)生的創(chuàng)新思維能力和職業(yè)素養(yǎng)。

關(guān)鍵詞：體感交互；Kinect鏡頭；實驗教學(xué)；教學(xué)改革

近年來，體感交互技術(shù)的研究和應(yīng)用在教育領(lǐng)域逐漸成為熱點，如在課堂教學(xué)[1]、教學(xué)游戲項目[2]和仿真實驗[3][4]等方面都有一定的成果。本文以浙江師范大學(xué)數(shù)理與信息工程學(xué)院開設(shè)的研究生課程《虛擬現(xiàn)實技術(shù)》為例，研究了基于微軟公司的體感捕捉設(shè)備——Kinect鏡頭的體感交互實驗系統(tǒng)開發(fā)方法，并給出了應(yīng)用于教學(xué)中的實驗項目實例。

● 虛擬現(xiàn)實技術(shù)課程的特點

依托浙江師范大學(xué)計算機軟件與理論重中之重學(xué)科的虛擬現(xiàn)實與動作捕捉實驗室，面向計算機和軟件工程專業(yè)研究生開設(shè)的《虛擬現(xiàn)實技術(shù)》課程側(cè)重學(xué)生實驗技能和職業(yè)素養(yǎng)的培養(yǎng)。課程以項目化教學(xué)的方式進行，在介紹虛擬現(xiàn)實技術(shù)理論知識的基礎(chǔ)上，重點講授虛擬現(xiàn)實系統(tǒng)硬件環(huán)境的搭建及使用、三維模型構(gòu)建及優(yōu)化、交互技術(shù)和開發(fā)平臺Quest 3D等方面的知識，最終通過實際橫向項目開發(fā)的方式鞏固學(xué)生的理論知識，并使學(xué)生掌握虛擬現(xiàn)實技術(shù)項目開發(fā)的流程和業(yè)界規(guī)范。

通過幾年的課程建設(shè)和教學(xué)實踐，總結(jié)出課程的特點如下：

（1）知識的綜合性：課程的教學(xué)內(nèi)容包括了計算機圖形學(xué)、數(shù)字圖像處理、模式識別和多媒體技術(shù)等計算機專業(yè)的相關(guān)知識，也涉及信號處理與傳輸、網(wǎng)絡(luò)通信等網(wǎng)絡(luò)工程專業(yè)的內(nèi)容，同時又要求學(xué)生有較好的程序開發(fā)基礎(chǔ)，課程具有非常強的綜合性。

（2）教學(xué)的創(chuàng)新性：虛擬現(xiàn)實技術(shù)的應(yīng)用日益增多，從最初的簡單展示三維模型，發(fā)展到對展示對象或環(huán)境進行交互控制，到現(xiàn)在的體感交互和沉浸式環(huán)境，技術(shù)的進步和應(yīng)用的需求互相促進，不斷創(chuàng)新。這就需要教師在教學(xué)過程中能引入較新的技術(shù)或成果，引起學(xué)生學(xué)習(xí)興趣，調(diào)動學(xué)生學(xué)習(xí)熱情，啟發(fā)學(xué)生創(chuàng)新思維。同時，學(xué)生在學(xué)的時候也需注意對發(fā)現(xiàn)新問題、找到新方法的創(chuàng)新性思想的培養(yǎng)。

（3）實驗的應(yīng)用性：虛擬現(xiàn)實技術(shù)具有很強的工程應(yīng)用性，對課程的理論知識和相關(guān)算法進行實驗驗證并不是實驗教學(xué)的主要目的，使學(xué)生通過真實項目的開發(fā)，掌握到虛擬現(xiàn)實技術(shù)項目開發(fā)需要的技術(shù)、開發(fā)的流程和開發(fā)的規(guī)范才是教學(xué)的重點。

隨著體感交互技術(shù)應(yīng)用的流行，根據(jù)課程的上述特點，將體感交互作為教學(xué)的重點內(nèi)容是適合的。在教學(xué)計劃中，安排了16學(xué)時的體感交互技術(shù)內(nèi)容，具體如下頁表所示。

教學(xué)內(nèi)容以Kinect鏡頭作為體感捕捉設(shè)備，以Kinect SDK開發(fā)技術(shù)為理論重點，設(shè)計了兩個實驗項目。實驗項目1為三維建筑漫游，要求學(xué)生實現(xiàn)手臂動作的捕捉，并完成手臂控制虛擬攝像機進行場景漫游的交互設(shè)計，通過實驗使學(xué)生掌握簡單體感交互項目的開發(fā)方法。實驗項目2為機械拆裝，要求學(xué)生實現(xiàn)抓取、吸附移動、碰撞檢測和作用域控制等較深入的交互控制方式，此項目在項目1的基礎(chǔ)上增加了難度，使學(xué)生通過實驗?zāi)苷莆蛰^高級的體感交互系統(tǒng)開發(fā)技術(shù)，為以后工作中的項目開發(fā)打下基礎(chǔ)。同時，由于實驗項目2的內(nèi)容較為綜合，覆蓋到課程的內(nèi)容比例較大，因此將其作為整個課程考核的組成部分，在最終的總評成績中占40%。

● 體感交互技術(shù)教學(xué)實驗環(huán)境的搭建

《虛擬現(xiàn)實技術(shù)》課程的體感交互技術(shù)實驗統(tǒng)一安排在浙江師范大學(xué)計算機軟件與理論學(xué)科的虛擬現(xiàn)實與動作捕捉實驗室，選用的體感采集設(shè)備為微軟公司的Kinect鏡頭（如圖1），鏡頭采用USB口與計算機相連，即插即用，硬件設(shè)置簡單易行?；贙inect鏡頭和計算機平臺的體感交互實驗開發(fā)環(huán)境可以用如圖2所示。

圖2中①為硬件基礎(chǔ)層，核心部件是Kinect的傳感器，包括有鏡頭角度驅(qū)動馬達、攝像頭和麥克風(fēng)陣列。實驗中主要用到的是鏡頭組，Kinect的鏡頭共有兩個，一個用于RGB彩色圖像采集，一個用于深度信息采集，還有一個紅外發(fā)射器，具體的原理可以參閱微軟公司的Kinect產(chǎn)品網(wǎng)頁。

層②為鏡頭設(shè)備的驅(qū)動層。實驗室選用DELL公司的INSPRIRON通用計算機，Windows 7操作系統(tǒng)作為開發(fā)平臺，設(shè)備通用性較高，開發(fā)的系統(tǒng)具有良好的平臺移植能力。Kinect鏡頭的驅(qū)動安裝非常簡單，需要調(diào)用的部分主要是設(shè)備訪問、視頻流控制和鏡頭組堆棧。

層③是自然人機接口NUI的API部分，也包括有音頻識別等功能的API。

軟件方面為基于微軟發(fā)布的Kinect SDK，主要提供了軟件類庫和開發(fā)工具，通過它可以捕獲體感交互中需要的自然數(shù)據(jù)，如人體的骨骼信息（動作信息）、深度信息（距離信息）和圖像信息等。Kinect鏡頭采集的體感數(shù)據(jù)交換流程如圖3所示。

● 體感交互技術(shù)教學(xué)實驗項目的設(shè)計

下面以課程的實驗項目1建筑漫游為例，說明體感交互技術(shù)教學(xué)實驗項目的設(shè)計。

1.項目概述

傳統(tǒng)的三維建筑漫游一般采用鼠標(biāo)或鍵盤來控制攝像機，實現(xiàn)前后左右移動、旋轉(zhuǎn)、上下視角改變和鏡頭縮放（變焦）等功能，使用戶最大程度地接近真實世界中人在建筑群或室內(nèi)等建筑環(huán)境中的游覽方式，也能實現(xiàn)真實世界中不能提供的方式，如透視、鳥瞰和變焦等。

鼠標(biāo)或鍵盤操作遠不如手勢操作簡單自然，實驗項目基于Kinect鏡頭，通過捕捉用戶的手臂姿態(tài)動作實現(xiàn)上述建筑漫游時需要的交互控制功能，其體感交互情境如圖4所示。

2.系統(tǒng)的邏輯結(jié)構(gòu)

系統(tǒng)分為三層，由下到上分別是Kinect設(shè)備層、手臂姿態(tài)識別層和應(yīng)用層，如圖5所示。endprint

Kinect設(shè)備層基于Kinect SDK進行人體骨骼、深度圖像和RGB彩色圖像的實時采集，幀速率為30FPS，圖像大小可達640×480像素。系統(tǒng)可以實現(xiàn)兩人的骨骼動作跟蹤，并設(shè)定主要操作人員（距離鏡頭較近者）。深度圖像和彩色圖像提取出輪廓信息，融合骨骼信息后基于DTW算法進行手臂姿態(tài)跟蹤和識別。識別并標(biāo)簽后的手臂動作作為驅(qū)動信息提供給應(yīng)用層。應(yīng)用層中采用交互設(shè)計軟件Quest 3D讀取用戶的手臂動作，并命令系統(tǒng)作出反饋，如左右轉(zhuǎn)向、前進和后退等。

3.實驗設(shè)計

本實驗需4學(xué)時，分兩次課進行，中間間隔1周，使得學(xué)生有較充分的課下準(zhǔn)備時間。第1次課要求學(xué)生實現(xiàn)Kinect數(shù)據(jù)采集及基本處理。使用到的硬件為計算機和Kinect鏡頭，軟件為Visual Studio 2010和Kinect SDK V1.7，語言為C#。為了使學(xué)生的精力主要集中在數(shù)據(jù)處理和手臂姿態(tài)識別算法上，數(shù)據(jù)采集部分在Kinect Toolkits提供的算法基礎(chǔ)上做了濾波優(yōu)化。

第2次課要求學(xué)生基于DTW算法完成手臂動作的訓(xùn)練和整個識別算法，并借助課程前面實驗中開發(fā)的Quest 3D建筑場景驗證算法的有效性。

通過本次實驗項目的開發(fā)，學(xué)生將完整地掌握基于Kinect鏡頭的體感數(shù)據(jù)捕捉和處理、常用的人體動作識別算法和體感交互開發(fā)方法，熟悉體感交互系統(tǒng)邏輯結(jié)構(gòu)和數(shù)據(jù)交換流程，為將來進行體感交互設(shè)計系統(tǒng)研發(fā)打下牢固的基礎(chǔ)。

實驗項目同時培養(yǎng)了學(xué)生的創(chuàng)新性思維，使學(xué)生學(xué)習(xí)的內(nèi)容緊跟科技進步的最新成果，把握應(yīng)用市場流行的脈搏。

● 結(jié)論

體感交互技術(shù)相關(guān)的系統(tǒng)開發(fā)涉及知識多，對學(xué)生的理論知識和實驗?zāi)芰Χ加休^高要求，但也能扎實地培養(yǎng)學(xué)生在此領(lǐng)域的專業(yè)技能，在2個專業(yè)、共計4輪的《虛擬現(xiàn)實技術(shù)》教學(xué)實驗中，師生反響熱烈。課程將自然人機交互的新成果Kinect體感交互技術(shù)融入到教學(xué)中，結(jié)合實際項目，構(gòu)造虛擬教學(xué)情境，提高學(xué)生學(xué)習(xí)的主動性和參與度，實現(xiàn)了科技化教學(xué)。

參考文獻：

[1]陳靜.基于Kinect的手勢識別技術(shù)及其在教學(xué)中的應(yīng)用[D].上海：上海交通大學(xué)，2013.

[2]馬建榮，章蘇靜，李鳳.基于體感技術(shù)的親子互動游戲設(shè)計與實現(xiàn)[J].中國電化教育，2012，（308）：85-88.

[3]廖宏建，曲哲.基于Kinect體感交互技術(shù)的虛擬裝配實驗系統(tǒng)開發(fā)[J].實驗技術(shù)與管理，2013，30（7）：98-102.

[4]廖宏建，楊玉寶.體感交互設(shè)計及其在三維虛擬實驗中的應(yīng)用[J].遠程教育雜志，2013，（1）：54-59.endprint