基于Vizard和Kinect的增強現(xiàn)實人機交互技術(shù)研究

張利利+劉江城+林曉斌

摘 要： 基于體態(tài)和語言的人機自然交互技術(shù)很大程度上解決了傳統(tǒng)游戲的體驗問題，增強了游戲用戶的體驗感。提出了一種將Vizard和Kinect相結(jié)合開發(fā)增強現(xiàn)實人機交互技術(shù)的方法，即利用Kinect設(shè)備獲取人體骨骼跟蹤識別點，通過Vizard和FAAST取得對應(yīng)骨骼節(jié)點的三維坐標(biāo)值，并進(jìn)行空間向量處理，進(jìn)而判斷肢體信息再轉(zhuǎn)換為狀態(tài)參數(shù)，最后完成相應(yīng)的控制指令輸出，實現(xiàn)用戶和系統(tǒng)的交互控制。實驗結(jié)果表明，這種開發(fā)方法成本低，周期短，將真實世界信息和虛擬世界信息“無縫”地融合，增強游戲用戶的體驗感。

關(guān)鍵詞： 增強現(xiàn)實； 人機交互； Vizard； Kinect； FAAST

中圖分類號：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號：1006-8228（2016）04-12-05

Study on augmented reality human-computer interactive

technology with Vizard and Kinect

Zhang Lili， Liu Jiangcheng， Lin Xiaobin

（Minjiang college Physics and electronic information engineering， Fuzhou， Fujian 350000， China）

Abstract： Natural human-computer interaction technology based on posture and language has largely solved the problem of the traditional game experience， and augmented the user experience. This paper presents a method to develop augmented reality interactive technology with Vizard and Kinect. It uses Kinect to obtain tracking identification points of human skeleton， and gets three-dimensional coordinate values of corresponding bones node by Vizard and FAAST. By space vector processing， the body posture can be converted to a state value and then the corresponding control command output is completed， and the interaction control between user and system is realized. The experimental results show that the method is cost low， development cycle short， integrates the real world information with virtual world information seamlessly， thus augments the game user experience.

Key words： augmented reality； human-computer interaction； Vizard； Kinect； FAAST

0 引言

隨著計算機技術(shù)的快速發(fā)展，人機交互技術(shù)已經(jīng)從以計算機為中心，逐步轉(zhuǎn)移到以用戶為中心基于計算機視覺的虛擬現(xiàn)實技術(shù)（Virtual Reality，VR），其建立人工構(gòu)造的三維虛擬環(huán)境，用戶以自然的方式與虛擬環(huán)境中的物體進(jìn)行交互作用，互相影響，極大擴展了人類認(rèn)識世界，模擬和適應(yīng)世界的能力[1]。為了使用戶產(chǎn)生沉浸感，VR系統(tǒng)通?？偸墙柚^盔顯示器、立體眼鏡等設(shè)備把用戶與現(xiàn)實環(huán)境隔離開來，這容易導(dǎo)致用戶對VR系統(tǒng)差生排斥感，從而影響VR技術(shù)的進(jìn)一步推廣和應(yīng)用。為了應(yīng)對這些問題，出現(xiàn)了增強現(xiàn)實技術(shù)[2]。增強現(xiàn)實技術(shù)（Augmented Reality，AR）是對虛擬現(xiàn)實技術(shù)的一種新拓展。增強現(xiàn)實強調(diào)了將真實世界信息和虛擬世界信息“無縫”地融合，并具有實時交互的功能。近年來，增強現(xiàn)實技術(shù)已經(jīng)漸漸地從實驗室理論研究階段轉(zhuǎn)入大眾與行業(yè)應(yīng)用階段，特別是在游戲領(lǐng)域，市場上已經(jīng)出現(xiàn)了許多休閑娛樂類的增強現(xiàn)實應(yīng)用產(chǎn)品，但因目前普遍存在建模工作量大，模擬成本高，設(shè)備價格昂貴等問題，導(dǎo)致市場上大部分增強現(xiàn)實應(yīng)用產(chǎn)品價格昂貴。為了讓更多人低成本就能夠體驗到增強現(xiàn)實技術(shù)帶來的樂趣，采用基于Vizard和Kinect開發(fā)了低成本增強現(xiàn)實人機交互應(yīng)用——虛擬人機保齡球。

虛擬人機保齡球是利用增強現(xiàn)實技術(shù)開發(fā)的仿真型休閑娛樂系統(tǒng)。其硬件要求是一臺電腦和一臺Kinect傳感器，軟件上主要使用Vizard，3DSMAX。該系統(tǒng)適用范圍廣，可用于家庭娛樂和商業(yè)活動。虛擬人機保齡球具有軟硬件廉價、輕巧便攜、硬件配置精度高、要求低、預(yù)覽效果直觀等特點，低成本的增強現(xiàn)實應(yīng)用可以提前讓游戲娛樂鍛煉三者合一更接近現(xiàn)實。該系統(tǒng)技術(shù)實現(xiàn)上采用Kinect傳感器設(shè)備對游戲者進(jìn)行立體識別、跟蹤，對人體真實運動進(jìn)行識別，并將并將識別信息輸入到系統(tǒng)，系統(tǒng)通過物理引擎實時處理作用于虛擬場景的交互信息，再通過顯示設(shè)備輸出交互結(jié)果。

1 開發(fā)軟硬件簡介

1.1 Vizard

Vizard是一款虛擬現(xiàn)實開發(fā)平臺軟件。它基于C/C++，運用OpenGL拓展模塊開發(fā)出的高性能引擎在用python語言開發(fā)時，Vizard同時自動將編寫的程式轉(zhuǎn)換為字節(jié)碼抽象層（LAXMI），進(jìn)而運行渲染核心。Vizard將集成開發(fā)環(huán)境（IDE）與高級圖形庫融合于Python程序語言中。集成開發(fā)環(huán)境極大簡化了維護數(shù)據(jù)素材的工作量，并提供了用于執(zhí)行實時預(yù)覽，場景調(diào)試及腳本測試工具包。Vizard的主要特征如下。①硬件兼容性：支持幾乎當(dāng)前所有的虛擬現(xiàn)實設(shè)備，包括動作捕捉器。3D立體顯示器，頭盔顯示器及其他眾多外部輸入設(shè)備。②增強現(xiàn)實技術(shù)應(yīng)用：Vizard與WordViz旗下Video Vison增強現(xiàn)實裝置完美結(jié)合，可輕松實現(xiàn)計算機圖像與現(xiàn)實場景的融合。③Python語言編程：Vizard采用了Python這款極具發(fā)展?jié)摿τ謽O易上手的語言作為其編程核心[3]。

1.2 Kinect

Kinect是微軟在2011年發(fā)布的一款3D體感游戲攝影機，具有動態(tài)捕捉、影像辨識、麥克風(fēng)輸入、語音識別、社群互動等功能。它改進(jìn)了鼠標(biāo)、鍵盤傳統(tǒng)控制方式，為手勢輸入終端的開發(fā)提供了的技術(shù)支撐，通過人體手勢及其他動作將操作指令下達(dá)給設(shè)備[4-6]。游戲者只要一個手勢或者動作就能玩轉(zhuǎn)一切，這種新鮮的游戲方式，讓游戲與娛樂更加方便有趣。它的突出特點有兩點：①Kinect設(shè)備體型輕巧便攜；②動態(tài)捕捉能力強，影像辨識精準(zhǔn)度高。Kinect能夠更精確地進(jìn)行骨架跟蹤，更精確地進(jìn)行關(guān)節(jié)和肢體活動的映射：當(dāng)你活動你的上半身時，從臀部到背部，最后從肩部到你的手指一系列的運動都會被識別出來，最后融為一個完整連續(xù)的動作反映到游戲中。Kinect的骨架追蹤系統(tǒng)最多可同時偵測到6個人，在同一時刻只能辨識兩個人的動作[7]。隨著Kinect技術(shù)的不斷完善和挖掘下，相信Kinect的功能更加強大，在實時捕捉人體細(xì)節(jié)，為人機交互帶來質(zhì)的飛躍，其未來前景毋容置疑。

1.3 3DS MAX

3DS MAX全程是3-dimension studio max，即三維影像工作室，是美國Autodesk公司旗下Discreet分部開發(fā)的一款基于計算機系統(tǒng)的三維模型制作和渲染的軟件，已成為使用最廣的三維建模、動畫和渲染工具[5]。3DS MAX還具有強大的材質(zhì)編輯器，能使模型表現(xiàn)出物體的顏色，質(zhì)地，文理，透明度和光澤等特性。貼圖功能則用于表現(xiàn)物體材質(zhì)表面的紋理，利用貼圖可以不用增加模型的復(fù)雜度就可以表現(xiàn)對象的細(xì)節(jié)，并且可以創(chuàng)建反射、折射、凹凸和鏤空等效果。通過貼圖可以增強模型的質(zhì)感，完善其造型，是三維場景更加接近真實的環(huán)境。

2 基于Vizard和Kinect的虛擬人機保齡球?qū)崿F(xiàn)

2.1 游戲的設(shè)計和實現(xiàn)

2.1.1 三維建模

利用3DS MAX進(jìn)行三維虛擬場景的建模，首先需要獲取場景的相關(guān)數(shù)據(jù)，然后構(gòu)建三維虛擬場景，構(gòu)建三維虛擬場景的方法主要有基于模型（model）和基于圖像繪制（IBR）兩種方法，本文采用的是基于模型的建模方法，該建模方法主要包括多邊形建模，非均勻有理B樣條曲線建模、細(xì)分曲面建模等在建模時，可根據(jù)需要選擇建模的方式，最后添加紋理，材質(zhì)，渲染搭建好的三維虛擬場景[8]。

本文搭建的三維虛擬場景主要是保齡球館場景，該場景的需要獲取的數(shù)據(jù)主要有保齡球、保齡瓶，保齡球道的空間尺寸等。在建模過程中，對場景模型在點、線、面、體四個層次上調(diào)整即可創(chuàng)建出標(biāo)準(zhǔn)規(guī)格大小的保齡球瓶。構(gòu)建好的三維模擬物體需要添加材質(zhì)和貼圖。材質(zhì)主要用于表現(xiàn)物體的衍射，質(zhì)地，紋理，透明和光澤等特性，依靠各種類型的材質(zhì)可以制作出現(xiàn)實世界中的任何物體[9]。本文中，主要通過貼圖以增強模型的質(zhì)感，完善模型的造型，使三維場景更接近真實的環(huán)境。在材質(zhì)編輯器界面，選擇貼圖中漫反射的貼圖類型，進(jìn)入材質(zhì)/貼圖瀏覽器中，選擇v-Ray中的VrayHDRI貼圖，最后載入要貼的位圖。直接貼上去的圖通常會顯得不夠真實自然，還需要使用UVM工具進(jìn)行調(diào)整，最終完成對三維模擬物體的創(chuàng)建，如圖1所示。

2.1.2 載入模型

將在3DS MAX中建模好的三維虛擬物體加載到Vizard虛擬環(huán)境前，需要將三維虛擬物體從3DS MAX中導(dǎo)出為OSGB文件格式才可以被Vizard讀取加載。OSGB文件格式是Vizard默認(rèn)的一種標(biāo)準(zhǔn)的存儲場景和物體等信息的文件格式，而3DS MAX無法直接保存為OSGB文件格式，還需要使用3DSMAX導(dǎo)出OSGB格式的OSGBexplorer.exe插件。

首先安裝插件程序OSGBexplorer.exe文件，這樣3DS MAX導(dǎo)出文件格式選項就會有OSGB文件導(dǎo)出格式。其次將3DS MAX中建模好的三維虛擬場景以O(shè)SGB文件格式輸出存儲，在輸出前需設(shè)置輸出單位為米，以保證Vizard能夠正確讀取導(dǎo)出文件的信息。最后利用Python語言編程載入相應(yīng)的OSGB文件。實現(xiàn)加載OSGB文件的Python語句是：

object=viz.add（'objectname.osgb'）

加載之后可以通過運行程序，實時預(yù)覽/查看載入好的三維虛擬模型[3]。

2.1.3 游戲設(shè)計實現(xiàn)

游戲策劃的內(nèi)容是：游戲由兩個場景組成，第一個場景是介紹引導(dǎo)界面，通過3D文字，介紹如何進(jìn)行游戲；第二個場景是游戲界面，等待用戶按住H鍵，根據(jù)按下的時間，觸發(fā)發(fā)射不同速度的保齡球。K鍵視角左移，L鍵視角右移，Z鍵發(fā)球點左移，X鍵發(fā)球點右移，每次發(fā)射球，加入副窗口跟隨保齡球以觀察保齡球的運動及擊打效果。完成一次打球提示打倒多少只保齡球瓶，并用3D文字提示游戲的進(jìn)度，完成一局顯示總分并給出評價，最后根據(jù)用戶需求，按下N鍵或者Y鍵選擇是否進(jìn)行下一局，實現(xiàn)一局游戲的流程圖如圖2所示。

[引導(dǎo)界面][游戲界面][發(fā)球][等待下一局][統(tǒng)計并顯示游戲分?jǐn)?shù)][顯示擊球運動及擊打效果]

最后根據(jù)游戲腳本，依次定義游戲引導(dǎo)任務(wù)，游戲場景模型初始化任務(wù)，游戲過程任務(wù)，計算總分任務(wù)，控制游戲是否結(jié)束任務(wù)，同時根據(jù)任務(wù)進(jìn)程的需要，為各個任務(wù)設(shè)置分任務(wù)，并根據(jù)上述任務(wù)事件的發(fā)生順序，設(shè)計主控函數(shù)。主控制函數(shù)腳本如下：

def mainSequence（）：

while Game==True：

yield startInstruction（）

yield initial3D（）

yield gameProcess（）

yield calculateScore（）

yield quitGameOrNot（）

viztask.schedule（main_Sequence）

2.2 增強現(xiàn)實技術(shù)應(yīng)用

2.2.1 增強現(xiàn)實框架搭建

⑴ 安裝Kinect

Kinect作為新一代的體感設(shè)備，對于安裝Kinect環(huán)境的配置要求使用Windows8.1系統(tǒng)、i7處理器、CPU主頻3.1GHz，標(biāo)準(zhǔn)USB3.0接口、4GB RAM的電腦；連接Kinect到適配器，接入電源，通過USB3.0直接把Kinect連接到Windows PC設(shè)備上。

⑵ 配置FAAST

FAAST是一個中間件，由美國南加州大學(xué)（University of Southern California）MxR小組開發(fā)，提供基于prime sense的深度攝像頭的，人體姿態(tài)動作的轉(zhuǎn)譯。其基于CS架構(gòu)，提供一個VRPN服務(wù)器來將通過Kinect捕捉到的全身動作流式傳輸給VRPN客戶端[10]。FAAST壓縮包可以通過MxR小組的網(wǎng)站獲得，最新版本支持kinect2.0，壓縮包下載解壓后內(nèi)有一個執(zhí)行文件FAAST.exe，點擊運行后將在本機生成一個VRPN服務(wù)器。服務(wù)器界面如圖3所示，點擊‘Connect按鈕，就能夠使PC連接上Kinect，并在FAAST Viewer欄實時顯示捕捉到的深度圖像。

2.2.2 增強現(xiàn)實虛擬人機保齡球?qū)崿F(xiàn)

增強現(xiàn)實技術(shù)可以通過兩種方式實現(xiàn)人機交互。一是通過創(chuàng)建VRPN（Virtual-Reality Peripheral Network）實時追蹤人體骨骼節(jié)點，搜集人體骨骼節(jié)點之間在三維空間的相對位置坐標(biāo)變化信息，編寫python腳本進(jìn)行實時肢體語義分析，使分析結(jié)果觸發(fā)對應(yīng)事件并通過屏幕反饋輸出。此方式的優(yōu)點在于能夠直接把捕捉到的骨骼節(jié)點位置信息準(zhǔn)確地傳給肢體語義分析模塊。通過模擬鍵值的方式，在打開的FAAST.exe中菜單Gestures選項，點擊“New Gestures”，創(chuàng)建一個手勢的捕捉與輸出事件；設(shè)置捕捉用戶特定動作的“Input”，點擊“Add”添加捕捉身體位置或動作速度的事件，并設(shè)置這些事件變化的方向、大小等詳細(xì)屬性；最后設(shè)置輸入到系統(tǒng)的“Output”。同樣點擊“Add”添加輸出為模擬鼠標(biāo)、鍵盤或打字等事件并點擊“Save”保存手勢為XML文件，最后在Python腳本中定義捕捉“Output”輸出事件的模塊，并觸發(fā)相應(yīng)的反饋輸出事件。此方式的優(yōu)點在于無需編寫語義分析腳本，直接處理“Output”輸出事件即可。

增強現(xiàn)實人機保齡球采用前一方式實現(xiàn)。首先Vizard中通過連接FAAST框架搭建的VRPN服務(wù)器取得trackers。能夠取得的trackers一共有24個：

接著分析用戶肢體動作。先要獲取對應(yīng)骨骼節(jié)點的三維坐標(biāo)值，也就是trackers相對空間的坐標(biāo)值，對坐標(biāo)值進(jìn)行空間向量處理，可以獲取表示骨骼的向量，再通過向量之間的角度關(guān)系，判斷肢體動作，并傳出狀態(tài)參數(shù)。

最后修改游戲腳本中的監(jiān)測對象，把監(jiān)測鍵盤事件的函數(shù)修改為監(jiān)測狀態(tài)參數(shù)的事件，就可以實現(xiàn)人機交互。以下為實現(xiàn)腳本：

#創(chuàng)建VRPN服務(wù)器并取得trackers

trackers=[]

vrpn=viz.addExtension（'vrpn7.dle'）

for i in range（0， 24）：

t=vrpn.addTracker（'Tracker0@localhost'，i）

trackers.append（t）

#分析肢體動作

def bodylanguage（）：

#獲取坐標(biāo)值

pos_head=trackers[0].getPosition（）

pos_rshoulder=trackers[11].getPosition（）

pos_rteble=trackers[12].getPosition（）

pos_rhand=trackers[13].getPosition（）

#用cal_vector和cal_angle函數(shù)處理處理坐標(biāo)值并返回參數(shù)

vec01=cal_vector（pos_rteble，pos_rshoulder）

vec02=cal_vector（pos_rhand，pos_rteble）

angle=cal_angle（vec01，vec02）

#分析角度值及頭部坐標(biāo)判斷身體狀態(tài)并返回狀態(tài)參數(shù)

bodystate=analysisbody（angle，pos_head）

return bodystate

#監(jiān)測狀態(tài)參數(shù)

def post（state）：

#解析狀態(tài)參數(shù)并發(fā)送參數(shù)給控制對象

post01（state[0]）

post02（stare[1]）

return None

3 總結(jié)和展望

本文提出了一種新的將Vizard平臺和Kinect平臺相結(jié)合開發(fā)增強現(xiàn)實人機交互技術(shù)的研究方法。以虛擬人機保齡球為例，很大程度上增強了體感游戲的沉浸感。Vizard平臺能夠加快開發(fā)速度，Kinect能夠降低用戶的使用成本，說明這兩種技術(shù)的結(jié)合能夠快速高效的開發(fā)出低成本的增強現(xiàn)實人機交互應(yīng)用。

后期還可將該技術(shù)運用到更多的領(lǐng)域，如趣味醫(yī)療復(fù)健系統(tǒng)，增強現(xiàn)實交互式虛擬實物展覽系統(tǒng)等。隨著Vizard平臺功能的豐富以及電子設(shè)備的發(fā)展更新，更多的高性能低成本的增強現(xiàn)實應(yīng)用開發(fā)將會變得更容易，該技術(shù)也將會得到更廣泛的應(yīng)用和發(fā)展。

參考文獻(xiàn)（References）：

[1] Zhao Q P. A survey on virtual reality. Sci China Ser-F：Inf

Sci，2009.52：348-400

[2] 郭天太，王引童.虛擬現(xiàn)實技術(shù)與增強現(xiàn)實技術(shù)[J].機械制造，

2003.6.

[3] 林晨，林曉斌.三維虛擬場景建模及其在Vizard環(huán)境中的應(yīng)

用研究[J].閩江學(xué)院學(xué)報，2015：5

[4] 羅元，謝彧，張毅.基于Kinect傳感器的智能輪椅手勢控制系

統(tǒng)的設(shè)計與實現(xiàn)[J].機器人，2012.34（1）：110-113

[5] 劉鑫，許華榮，胡占義等.基于GPU和Kinect的快速物體重建[J].

自動化學(xué)報，2012.38（8）：1288-1297

[6] 王萬良，馬慶，王鑫.基于KINECT的高維人體動畫實時合成

研究[J].計算機應(yīng)用與軟件，2011.28（11）：184-187

[7] 田屏.基于Kinect的虛擬試衣鏡[J].科技視界，2015.13.

[8] 陳波.3D巨匠：3DS MAX完全手冊[M].科學(xué)出版社，2013.

[9] 時代印象.3ds Max2014完全自學(xué)教程[M].人民郵電出版社，

2013.

[10] E.Suma， D.Krum， B.Lange， S.Koenig， A.Rizzo， and

MBolas. Adapting user interfaces for gestural interacti on with the flexible action and articulated skeleton toolkit. Computers & Graphics，2013.37（3）：193-201