Kinect在PC端的應(yīng)用與研究*

楊　帆，薛　軍，董龍龍，趙建偉

(德州學(xué)院 機(jī)電工程學(xué)院，山東 德州 253023)

?

Kinect在PC端的應(yīng)用與研究*

楊帆，薛軍，董龍龍，趙建偉

(德州學(xué)院 機(jī)電工程學(xué)院，山東 德州 253023)

Kinect是由微軟開發(fā)，應(yīng)用于Xbox 360游戲主機(jī)的周邊設(shè)備。在游戲中可以實(shí)現(xiàn)對(duì)人體動(dòng)作的跟蹤與識(shí)別。而在電腦端則一直難以實(shí)現(xiàn)準(zhǔn)確的人體動(dòng)作識(shí)別。本文通過微軟Kinect攝像頭和電腦的結(jié)合，加以軟件對(duì)景深圖像的分析以及骨骼跟蹤算法的計(jì)算，在PC端實(shí)現(xiàn)對(duì)人體動(dòng)作的識(shí)別，來達(dá)到更高層次的人機(jī)交互。

kinect；動(dòng)作識(shí)別；骨骼跟蹤；人機(jī)交互

近年來人機(jī)交互是計(jì)算機(jī)科學(xué)發(fā)展的一個(gè)重要的領(lǐng)域，怎樣實(shí)現(xiàn)人與計(jì)算機(jī)的更高層次的交流與溝通一直是發(fā)展的重點(diǎn)。本文以傳統(tǒng)PC機(jī)為例通過kinect作為新的人機(jī)交互的方式，通過新型景深成像原理以及通過深度圖像區(qū)域特征值獲得骨骼坐標(biāo)信息方法。然后由Kinect實(shí)現(xiàn)了景深圖像的采集和骨骼跟蹤算法的實(shí)現(xiàn)，并完成了一套控制系統(tǒng)。

1　設(shè)計(jì)方案

將Kinect與電腦相連接，借助微軟官方的SDK采集到人體的動(dòng)作的基本數(shù)據(jù)流信息，然后上位機(jī)通過骨骼識(shí)別技術(shù)和景深圖像處理技術(shù)，對(duì)人體動(dòng)作信息進(jìn)一步的處理，通過對(duì)人體手臂不同位置的分析與判斷來實(shí)現(xiàn)特定動(dòng)作的識(shí)別，當(dāng)?shù)竭_(dá)特定動(dòng)作后，觸發(fā)計(jì)算機(jī)特定鍵位信息，來實(shí)現(xiàn)對(duì)特定鍵位的替代。而鼠標(biāo)的移動(dòng)則是通過對(duì)人體手部的特定識(shí)別，實(shí)現(xiàn)鼠標(biāo)隨著人手部的移動(dòng)而移動(dòng)。

1.1軟件開發(fā)環(huán)境

可以使用C#與.NETFramework 4.0來進(jìn)行開發(fā)。SDK主要是針對(duì)Windows7設(shè)計(jì)，內(nèi)含Kinect電腦端驅(qū)動(dòng)程序以及參考例程。SDK可以使用的語言為C++、C#或VisualBasic語言并搭配Microsoft Visual Studio2010工具。

1.2景深數(shù)據(jù)處理與應(yīng)用

Kinect能夠產(chǎn)生三維數(shù)據(jù)，通過這些數(shù)據(jù)我們能夠得到物體距Kinect的距離。Kinect紅外傳感器能夠探測(cè)人體以及非人體對(duì)象。

本文提供的思路是利用Kinect的感知距離的功能應(yīng)用在體檢上，由于Kinect能夠感知距離并在距離的基礎(chǔ)上準(zhǔn)確的判斷出高度，那么在檢測(cè)人的身高時(shí)，只要人站在Kinect的基礎(chǔ)的視野范圍內(nèi)，便能夠在短時(shí)間內(nèi)準(zhǔn)確的得到人體的身高信息，這算是Kinect單單在景深質(zhì)疑功能上的基本應(yīng)用。

1.3骨骼跟蹤原理

由上一段可知Kinect產(chǎn)生的深度數(shù)據(jù)只能起到有限作用，要利用Kinect創(chuàng)建更深層次的人機(jī)交互，還需要其他數(shù)據(jù)。這就是骨骼追蹤技術(shù)，也是人機(jī)交互中潛力最大的地方。骨骼追蹤技術(shù)通過處理深度數(shù)據(jù)來建立人體各個(gè)關(guān)節(jié)的點(diǎn)，骨骼追蹤能夠確定人體的各個(gè)部分，如哪部分是手，哪部分是頭部，哪部分是身體，還能確定他們所在的位置。在Kinect里面，是通過20個(gè)關(guān)節(jié)點(diǎn)來表示一個(gè)人體的骨架，具體由圖1可以看到。當(dāng)進(jìn)入Kinect的視野范圍的時(shí)候，Kinect就可以準(zhǔn)確的把20個(gè)關(guān)節(jié)點(diǎn)找到，位置通過(x,y,z)坐標(biāo)來表示。那么展現(xiàn)在我們面前的便是如圖1一樣接近完美的人體骨骼數(shù)據(jù)，在這個(gè)骨骼基礎(chǔ)上進(jìn)行數(shù)據(jù)分析時(shí)無疑是直觀并且相當(dāng)方便的。當(dāng)我們成功地得到這些數(shù)據(jù)時(shí)我們能進(jìn)行的處理無疑是天馬行空般的，在這個(gè)基礎(chǔ)上進(jìn)行的人機(jī)交互也必然是最有潛力的。那么我們便可以實(shí)現(xiàn)上文中說的控制特別鍵位的目的，比如當(dāng)我們的左手保持水平，右手高舉時(shí)我們便可以通過在z軸上數(shù)據(jù)比較相當(dāng)簡(jiǎn)單地實(shí)現(xiàn)一個(gè)條件的觸發(fā)，也就自然的實(shí)現(xiàn)了控制特別鍵位這一功能。而通過手部控制鼠標(biāo)的移動(dòng)也是同樣的方法，只是在跟蹤手部數(shù)據(jù)的同時(shí)通過比例的放大或者縮小體現(xiàn)在鼠標(biāo)的移動(dòng)上。

圖1　識(shí)別骨骼點(diǎn)示意圖

2　應(yīng)用前景

通過Kinect在電腦端實(shí)現(xiàn)高效準(zhǔn)確的人體識(shí)別，使人機(jī)交互技術(shù)智能系統(tǒng)的開發(fā)更加便利。 隨著生活質(zhì)量的提高以及智能家居的發(fā)展，人們對(duì)人機(jī)交互的要求越來越高，而這種全新的人機(jī)交互方式，實(shí)現(xiàn)了人和計(jì)算機(jī)之間的無縫連接，最大限度地縮小了人類和計(jì)算機(jī)系統(tǒng)對(duì)任務(wù)的認(rèn)知模式和理解方式之間的差異，而Kinect的應(yīng)用使我們有了更好的人機(jī)交互體驗(yàn)。這種交互界面更具智能化和人性化，而使用的動(dòng)作識(shí)別和語音識(shí)別，使人和計(jì)算機(jī)系統(tǒng)以更加舒服、更加自然、更加有效率的方式交互，便于人們接受。

[1]Garcia J,Valencia E S,Zalevsky Z,et al.Range Mapping Using Speckle Decorrelation[P].US.2007216894.

[2]賈永紅.數(shù)字圖像處理[M].武漢：武漢大學(xué)出版社,2003.

[3]Marr D,Hildreth E.Theory of Edge Detection[J/OL].Proceedings of the Royal.www.cs.ubc.ca/2013-10-03.

[4]吳國(guó)斌.Kinect人機(jī)交互開發(fā)實(shí)踐[M].北京： 人民郵電出版社，2012.

The Application and Research on Kinect in Computer End

Yang Fan, Xue Jun, Dong Longlong, Zhao Jianwei

(MechanicalandElectricalEngineering,DezhouUniversity,DezhouShandong253023,China)

Kinect is developed by Microsoft, and applied to the Xbox 360 console peripheral devices which can be implemented in host game for human motion tracking and identification, but in computer terminal, it is difficult to achieve the accurate human motion recognition. In this paper, through the combination of Microsoft camera and computer, then adding the depth of field image analysis and calculation of the skeletal tracking algorithm with software, the PC realizes the recognition of human actions to achieve a higher level of human-computer interaction.

device; gesture recognition; skeletal tracking; the human-computer interaction

2016-03-26

國(guó)家級(jí)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目(201510448053)

楊帆(1995- )，男，山東泰安人，本科在校，研究方向：機(jī)械電子。

1674- 4578(2016)04- 0079- 02

TP 391.41

A