基于Kinect深度信息的虛擬手驅(qū)動(dòng)算法研究

(山東科技大學(xué) 電子信息工程學(xué)院，山東 青島 266590)

人機(jī)交互技術(shù)是研究人與計(jì)算機(jī)之間相互作用方式的技術(shù)，其重點(diǎn)在于通過(guò)改善使用者與計(jì)算機(jī)間的交互方式，提高交互的真實(shí)性與沉浸感[1-2]。由于傳統(tǒng)的鼠標(biāo)、鍵盤(pán)等輸入設(shè)備的限制，使用者向計(jì)算機(jī)發(fā)送請(qǐng)求依舊是單通道的形式[3]，輸入輸出的不平衡也導(dǎo)致使用者無(wú)法直接、主動(dòng)地與研究對(duì)象進(jìn)行自然交互。若能將人手用于交互操作，直接通過(guò)人手與仿真環(huán)境交互，發(fā)揮其多自由度的優(yōu)勢(shì)，將極大地提高用戶在人機(jī)交互中的真實(shí)性感受，人手控制交互的技術(shù)不僅具有理論意義，在實(shí)際應(yīng)用中也具有很大的研究?jī)r(jià)值。

早期的人手控制交互研究，主要致力于開(kāi)發(fā)專用的硬件設(shè)備對(duì)手勢(shì)進(jìn)行采集，Grimes[4]申請(qǐng)的“Data Glove”數(shù)據(jù)手套專利，利用彎曲傳感器實(shí)現(xiàn)了獲取手指運(yùn)動(dòng)的結(jié)果。Davis等[5]通過(guò)貼片標(biāo)記的方式獲取手勢(shì)數(shù)據(jù)，得到區(qū)分識(shí)別7種不同手勢(shì)的結(jié)果。該類研究受到所用設(shè)備昂貴、受標(biāo)記物等多種因素影響限制。Kinect作為帶有深度信息的體感輸入設(shè)備[6]，價(jià)格低廉且無(wú)需借助外部標(biāo)記即可對(duì)裸手識(shí)別。近年來(lái)，基于Kinect進(jìn)行手勢(shì)識(shí)別的研究有諸多進(jìn)展，針對(duì)手勢(shì)實(shí)現(xiàn)靜態(tài)與動(dòng)態(tài)識(shí)別主要可概括為支持向量機(jī)算法[7-9]、隱馬爾可夫模型[10-13]和動(dòng)態(tài)時(shí)間規(guī)整[14-16]等方法。但該類研究?jī)H對(duì)固定手勢(shì)進(jìn)行識(shí)別，忽略了手部的實(shí)時(shí)運(yùn)動(dòng)信息。

國(guó)內(nèi)外也出現(xiàn)了針對(duì)手部特征信息提取的研究，以期獲取更為豐富的手部追蹤數(shù)據(jù)。Kirac等[17]利用區(qū)塊識(shí)別法實(shí)現(xiàn)了基于Kinect的實(shí)時(shí)手位估計(jì)，將人手劃分為21個(gè)區(qū)域做動(dòng)態(tài)識(shí)別處理；Raheja等[18]利用手指與掌心檢測(cè)算法實(shí)現(xiàn)了利用Kinect追蹤指尖與手掌位置；Braun等[19]利用隨機(jī)決策森林與機(jī)器學(xué)習(xí)的方法實(shí)現(xiàn)了Kinect對(duì)人手的實(shí)時(shí)追蹤。Metrilus Gmbh公司[20-21]利用大量數(shù)據(jù)歸納的決策樹(shù)特征值并訓(xùn)練Aiolos追蹤庫(kù)，實(shí)現(xiàn)了手指關(guān)節(jié)點(diǎn)位置定位?，F(xiàn)有研究?jī)H對(duì)原始數(shù)據(jù)作特征值分析處理，利用手部數(shù)據(jù)驅(qū)動(dòng)虛擬手參與交互的研究存在不足。

本研究利用Aiolos庫(kù)與樸素貝葉斯算法追蹤獲取手部特征信息，通過(guò)數(shù)據(jù)的跨平臺(tái)傳輸與運(yùn)動(dòng)變換驅(qū)動(dòng)虛擬手。結(jié)果驗(yàn)證本研究中的手部特征點(diǎn)數(shù)據(jù)較Kinect官方SDK骨架追蹤特征點(diǎn)數(shù)有大幅提升，利用追蹤數(shù)據(jù)驅(qū)動(dòng)虛擬手?jǐn)[脫了傳統(tǒng)交互限制，可發(fā)揮人手多自由度優(yōu)勢(shì)，對(duì)于虛擬現(xiàn)實(shí)研究中交互性與沉浸感的提高具有重要意義。

1 基于Kinect深度信息的虛擬手驅(qū)動(dòng)算法流程

基于Kinect的虛擬手驅(qū)動(dòng)算法流程主要通過(guò)Kinect獲取人手深度圖像，結(jié)合Aiolos追蹤庫(kù)獲取關(guān)鍵點(diǎn)數(shù)據(jù)，在虛幻引擎環(huán)境下逐幀更新數(shù)據(jù)流驅(qū)動(dòng)虛擬手運(yùn)動(dòng)?？煞譃樵紨?shù)據(jù)采集、Aiolos數(shù)據(jù)追蹤處理、數(shù)據(jù)流跨平臺(tái)傳輸和虛幻引擎平臺(tái)下的虛擬手驅(qū)動(dòng)等4個(gè)模塊。設(shè)計(jì)流程如圖1所示。

圖1 基于Kinect深度信息的虛擬手驅(qū)動(dòng)算法流程Fig.1 The algorithm process of driving virtual hand based on Kinect depth data

2 基于Kinect的數(shù)據(jù)獲取與處理

深度圖像與追蹤骨架等原始數(shù)據(jù)通過(guò)Kinect SDK采集[22]，深度數(shù)據(jù)由校準(zhǔn)方程標(biāo)定，Aiolos庫(kù)在原始數(shù)據(jù)基礎(chǔ)上完成初始化，校正骨架后通過(guò)腕部JointType_Wrist節(jié)點(diǎn)完成手部區(qū)域的分割提取[23]，采用貝葉斯算法與Aiolos決策樹(shù)識(shí)別匹配獨(dú)立手指骨架，獲取手部關(guān)鍵點(diǎn)數(shù)據(jù)。并通過(guò)指數(shù)平滑和EMA算法完成對(duì)點(diǎn)位的運(yùn)動(dòng)預(yù)測(cè)，降低抖動(dòng)與偽影誤差對(duì)追蹤結(jié)果產(chǎn)生的影響。

2.1 原始數(shù)據(jù)的獲取

Kinect是微軟開(kāi)發(fā)設(shè)計(jì)的一款帶有深度信息的運(yùn)動(dòng)感應(yīng)設(shè)備，提供自然用戶界面，檢測(cè)人體運(yùn)動(dòng)、手勢(shì)、語(yǔ)音命令及人臉識(shí)別，可在不借助手動(dòng)控制設(shè)備的情況下與虛擬環(huán)境進(jìn)行交互。其獲取深度數(shù)據(jù)所采用的TOF技術(shù)主要通過(guò)測(cè)量光脈沖之間的傳輸延遲時(shí)間來(lái)計(jì)算深度信息。

Kinect的數(shù)據(jù)流主要由中間層即Kinect SDK處理，用于應(yīng)用層與硬件層的通訊和數(shù)據(jù)傳輸。Kinect SDK可分為Kinect驅(qū)動(dòng)程序、Kinect運(yùn)行時(shí)環(huán)境與多平臺(tái)API。以深度信息追蹤骨架為例，SDK通過(guò)程序驅(qū)動(dòng)傳感器工作，然后通過(guò)骨架追蹤中間件識(shí)別深度圖像中人體位置，跟蹤用戶站立(25節(jié)點(diǎn))或坐姿(10節(jié)點(diǎn))，每個(gè)關(guān)節(jié)相對(duì)于Kinect傳感器定位在三維空間中，作為Kinect傳感器的偏移量給出。以使用時(shí)的視角定義X軸指向右側(cè)，Y軸指向上方，Z軸從設(shè)備指向用戶。深度數(shù)據(jù)用像素表示，X軸數(shù)據(jù)范圍-2.2～2.2 m，總范圍4.2 m，Y軸范圍是-1.6～1.6 m，Z軸范圍是0～4 m。由于Kinect深度數(shù)據(jù)與骨骼追蹤數(shù)據(jù)測(cè)量方法的不同，需要采用坐標(biāo)映射的方法將骨骼追蹤點(diǎn)數(shù)據(jù)從骨架數(shù)據(jù)空間轉(zhuǎn)換到深度圖像的二維空間中。獲取的實(shí)時(shí)三維坐標(biāo)數(shù)據(jù)傳遞給應(yīng)用層，實(shí)現(xiàn)傳感器硬件到應(yīng)用層間數(shù)據(jù)流的雙向傳輸功能。

獲取原始數(shù)據(jù)需要對(duì)Kinect參數(shù)初始化[24]。深度與骨架幀數(shù)據(jù)源暴露元數(shù)據(jù)并賦予對(duì)應(yīng)讀取器訪問(wèn)深度幀元數(shù)據(jù)的權(quán)限。幀數(shù)據(jù)源開(kāi)啟運(yùn)行讀取器，通過(guò)事件注冊(cè)或輪詢方式訪問(wèn)從傳感器逐幀獲取圖像。當(dāng)幀數(shù)據(jù)被Kinect捕獲，幀事件逐幀發(fā)送幀引用，直至幀數(shù)據(jù)獲取完畢。

Kinect獲取原始數(shù)據(jù)信息中的深度值是相對(duì)距離，假設(shè)原始圖像某點(diǎn)p的深度值為dr，則實(shí)際深度距離d的標(biāo)定校準(zhǔn)方程[25]為：

d=Ktan(Hdr+L)-O。

(1)

其中，實(shí)際的深度距離以cm為單位，K=12.36 cm，H=3.50×10-4rad，L=1.18 rad，O=3.70 cm。校正數(shù)據(jù)正切近似值平方和的偏差為0.33cm2。利用上述校準(zhǔn)函數(shù)獲取真實(shí)深度數(shù)據(jù)后，可通過(guò)坐標(biāo)映射求得p點(diǎn)的實(shí)際位置，設(shè)(i,j)為p點(diǎn)投射到Kinect原始圖像上的像素位置，(x,y,z)為p點(diǎn)在空間中的實(shí)際位置。利用投射點(diǎn)結(jié)合深度數(shù)據(jù)的(i,j,d)求解實(shí)際位置(x,y,z)的轉(zhuǎn)換式如公式(2)～(4)所示。

(2)

(3)

z=d。

(4)

其中，u×v為Kinect獲取到的深度圖像平面尺寸，轉(zhuǎn)換控制常量c取值為0.002 1，此轉(zhuǎn)換過(guò)程中p點(diǎn)實(shí)際位置重構(gòu)的精度控制到1 cm以內(nèi)。控制臺(tái)負(fù)責(zé)Kinect數(shù)據(jù)流的獲取，校準(zhǔn)后的深度數(shù)據(jù)轉(zhuǎn)換成EmguCV的Image〈Bgr,byte〉結(jié)構(gòu)體在子線程窗口顯示。骨架數(shù)據(jù)標(biāo)記腕部JointType_Wrist關(guān)節(jié)點(diǎn)，由Aiolos庫(kù)作手部特征值數(shù)據(jù)的追蹤處理。

2.2 Kinect結(jié)合Aiolos庫(kù)的數(shù)據(jù)追蹤

Aiolos追蹤庫(kù)是由提供深度信息咨詢服務(wù)、定制多類型基于深度傳感器3D實(shí)時(shí)應(yīng)用解決方案的Metrilus公司開(kāi)發(fā)的手指追蹤庫(kù)。該類庫(kù)配合Kinect SDK使用，依賴于SDK提供的身體骨骼追蹤數(shù)據(jù)，Aiolos庫(kù)在Kinect獲取的骨架數(shù)據(jù)基礎(chǔ)上完成初始化，并通過(guò)深度圖像標(biāo)記的腕部JointType_Wrist節(jié)點(diǎn)將人手深度信息與背景分割。為了保證追蹤點(diǎn)數(shù)據(jù)定位準(zhǔn)確，本研究使用最小二乘法擬合，將獲取到的骨架追蹤數(shù)據(jù)在空間方向上校正，使其與Kinect投射平面保持平行。

校正平面的法向量定義為(a,b,c)，骨架數(shù)據(jù)的校正即為針對(duì)骨骼節(jié)點(diǎn)的旋轉(zhuǎn)變換。假設(shè)校正平面繞X軸旋轉(zhuǎn)角度為α，繞Y軸旋轉(zhuǎn)角度為β時(shí)與投射平面平行，則旋轉(zhuǎn)角度分別為：

(5)

(6)

(7)

(8)

追蹤庫(kù)以大量輸入數(shù)據(jù)作為樣本，通過(guò)貝葉斯算法訓(xùn)練特征值，樸素貝葉斯分類器是一種基于獨(dú)立假設(shè)貝葉斯定理的簡(jiǎn)單概率分類器。假設(shè)樣本每個(gè)特征與其他特征都不相關(guān)，根據(jù)先驗(yàn)概率和計(jì)算給定的待分類實(shí)例屬于各個(gè)類別的條件概率聯(lián)合求得后驗(yàn)概率，選取計(jì)算所得后驗(yàn)概率最高的類別，進(jìn)行非確定性的決策。提升Aiolos庫(kù)提供的決策樹(shù)搜索手部特征信息的速度與精度。假設(shè)區(qū)域內(nèi)任意點(diǎn)p可由訓(xùn)練樣本集合進(jìn)行描述，分類給定訓(xùn)練數(shù)據(jù)(a1,a2,…,am)的條件下，找出最可能的類特征值點(diǎn)c(p)。由極大后驗(yàn)假設(shè)可求出：

(9)

樸素貝葉斯算法假設(shè)給定目標(biāo)點(diǎn)是在樣本數(shù)據(jù)之間，相互條件獨(dú)立?；诖耍瑧?yīng)用貝葉斯公式可將公式(9)修正為：

(10)

其中，P(c)為c的先驗(yàn)概率，P(aj|c)為訓(xùn)練樣本中不同特征點(diǎn)組合出現(xiàn)概率估計(jì)。通過(guò)測(cè)量?jī)牲c(diǎn)間深度差異，分析像素位置特征。針對(duì)像素位置x：

(11)

Aiolos決策樹(shù)追蹤手部骨架，根據(jù)特征值獲取手部關(guān)鍵點(diǎn)數(shù)據(jù)，并通過(guò)坐標(biāo)映射函數(shù)進(jìn)行坐標(biāo)映射。對(duì)深度值進(jìn)行歸一化處理，可保證關(guān)鍵點(diǎn)不受深度數(shù)據(jù)的影響。關(guān)鍵點(diǎn)序列與空間位置信息以鍵值對(duì)形式存儲(chǔ)，某幀手部特征關(guān)鍵點(diǎn)空間位置提取數(shù)據(jù)如表1所示。

表1 手部特征關(guān)鍵點(diǎn)空間位置提取數(shù)據(jù)Tab.1 Spatial location data of the key points of a hand

受原始深度圖像產(chǎn)生的抖動(dòng)和偽影誤差的影響，關(guān)鍵點(diǎn)數(shù)據(jù)追蹤結(jié)果的不可靠性會(huì)升高，基于此，本研究引入指數(shù)平滑和EMA算法對(duì)追蹤數(shù)據(jù)過(guò)程進(jìn)行優(yōu)化。在追蹤關(guān)鍵點(diǎn)位置不變的理想情況下，僅考慮受到深度圖像抖動(dòng)影響，假設(shè)當(dāng)前關(guān)鍵點(diǎn)為點(diǎn)p，更新前關(guān)鍵點(diǎn)為點(diǎn)q，則指數(shù)平滑后下一幀關(guān)鍵點(diǎn)p′為：

p′=q+s(p-q)，

(12)

其中，s是平滑因子常量，根據(jù)需求在0≤s≤1范圍內(nèi)取值負(fù)責(zé)指數(shù)平滑。指數(shù)移動(dòng)平均(exponential moving average,EMA)算法用于追蹤數(shù)據(jù)丟失時(shí)預(yù)測(cè)關(guān)鍵點(diǎn)數(shù)據(jù)位置，借助關(guān)鍵點(diǎn)數(shù)據(jù)值丟失前的幀隊(duì)列進(jìn)行預(yù)測(cè)：

St=wyt+(1-w)st-1,

(13)

其中，t為讀取當(dāng)前隊(duì)列所在幀，y為觀察值，權(quán)重因子w取值范圍為0

圖2 手部關(guān)鍵點(diǎn)數(shù)據(jù)追蹤對(duì)比圖Fig.2 The contrast diagram with the key points of hand

通過(guò)對(duì)比可知，使用傳統(tǒng)KinectSDK方式如圖2(a)中圓形區(qū)域所示，共可獲取4個(gè)手部關(guān)鍵節(jié)點(diǎn)，僅可根據(jù)節(jié)點(diǎn)間距離的閾值判斷當(dāng)前張開(kāi)握拳手勢(shì)，識(shí)別節(jié)點(diǎn)較少，手勢(shì)單一。如圖2(b)所示，根據(jù)本研究所提出的方法可獲取15個(gè)手部關(guān)鍵節(jié)點(diǎn)，并進(jìn)一步細(xì)分為5組節(jié)點(diǎn)模擬手部關(guān)節(jié)，豐富的節(jié)點(diǎn)數(shù)據(jù)控制虛擬手骨骼節(jié)點(diǎn)的旋轉(zhuǎn)位移，有利于更精細(xì)化地驅(qū)動(dòng)虛擬手。

3 驅(qū)動(dòng)虛擬手設(shè)計(jì)

虛擬手驅(qū)動(dòng)處理以虛幻引擎為開(kāi)發(fā)環(huán)境，采用數(shù)據(jù)表形式進(jìn)行數(shù)據(jù)流傳輸。通過(guò)虛幻引擎提供的UDataTable讀寫(xiě)組件，可將引擎外部的大量復(fù)雜數(shù)據(jù)整理為通用字符序列存放于臨時(shí)CSV文件中，由引擎逐幀讀取數(shù)據(jù)流，該設(shè)計(jì)可有效地解決數(shù)據(jù)多樣性與平臺(tái)差異性的問(wèn)題，提高處理效率。

3.1 數(shù)據(jù)流跨平臺(tái)讀寫(xiě)和動(dòng)態(tài)加載

CSV文件將表格數(shù)據(jù)以文本形式存儲(chǔ)，避免類似二進(jìn)制數(shù)字被解譯為復(fù)雜數(shù)據(jù)，具有良好的跨平臺(tái)性能。手部關(guān)鍵點(diǎn)數(shù)據(jù)寫(xiě)入文件時(shí)，需要聲明包含有CSV文件路徑名稱的字符串變量；在每幀遍歷關(guān)鍵點(diǎn)數(shù)據(jù)時(shí)，通過(guò)文件流處理中的字符串追加函數(shù)，將數(shù)據(jù)與控制臺(tái)顯示同步寫(xiě)入。

虛幻引擎的UDataTable組件通過(guò)自定義行結(jié)構(gòu)，用于導(dǎo)入器識(shí)別DataTable數(shù)據(jù)表。傳統(tǒng)的UDataTable組件僅支持讀取靜態(tài)數(shù)據(jù)，由于CSV文件數(shù)據(jù)會(huì)隨著外部數(shù)據(jù)更新而發(fā)生改變，這里提出采用C++動(dòng)態(tài)加載*.csv文件的思路。通過(guò)動(dòng)態(tài)加載至虛幻引擎的數(shù)據(jù)流，由關(guān)卡藍(lán)圖完成數(shù)據(jù)遍歷，經(jīng)過(guò)運(yùn)動(dòng)變換得到旋轉(zhuǎn)矢量存儲(chǔ)在對(duì)應(yīng)的Orientation變量中，獲取到手部控制數(shù)據(jù)即可對(duì)仿真環(huán)境的虛擬手進(jìn)行驅(qū)動(dòng)設(shè)計(jì)。

3.2 基于藍(lán)圖的虛擬手驅(qū)動(dòng)

與傳統(tǒng)預(yù)設(shè)動(dòng)畫(huà)序列的方式不同，該設(shè)計(jì)通過(guò)Transform Bone控制器驅(qū)動(dòng)虛擬手，該控制器主要應(yīng)用在虛幻引擎的捏臉系統(tǒng)中，通過(guò)修改特定骨骼變形調(diào)整模型蒙皮的形態(tài)。在獲取手部關(guān)鍵點(diǎn)且經(jīng)過(guò)運(yùn)動(dòng)變換得到數(shù)據(jù)流后，借助Transform Bone控制器分別綁定虛擬手模型的各骨骼節(jié)點(diǎn)，靈活處理各骨骼節(jié)點(diǎn)的平移、旋轉(zhuǎn)運(yùn)動(dòng)，避免了預(yù)設(shè)動(dòng)畫(huà)序列單一性，滿足外部數(shù)據(jù)驅(qū)動(dòng)設(shè)計(jì)實(shí)時(shí)性與多樣性要求。基于虛擬手建模導(dǎo)入虛幻引擎的骨架網(wǎng)格物體包含腕部與手指多個(gè)骨骼節(jié)點(diǎn)，將Kinect識(shí)別的腕部JointType_Wrist節(jié)點(diǎn)平移與旋轉(zhuǎn)數(shù)據(jù)作用于虛擬手根骨骼，控制虛擬手在世界坐標(biāo)系的移動(dòng)與旋轉(zhuǎn)；以根節(jié)點(diǎn)為原點(diǎn)建立局部坐標(biāo)系，通過(guò)關(guān)鍵點(diǎn)運(yùn)動(dòng)變換后存儲(chǔ)在Orientation變量中的旋轉(zhuǎn)信息作為手指控制數(shù)據(jù)，綁定Transform Bone控制器函數(shù)驅(qū)動(dòng)手指骨骼，在局部坐標(biāo)系下相對(duì)于根節(jié)點(diǎn)運(yùn)動(dòng)。手部控制數(shù)據(jù)驅(qū)動(dòng)虛擬手運(yùn)動(dòng)的藍(lán)圖設(shè)計(jì)如圖3所示，獲取到手部關(guān)鍵點(diǎn)數(shù)據(jù)通過(guò)運(yùn)動(dòng)變換后的旋轉(zhuǎn)平移數(shù)據(jù)存儲(chǔ)，對(duì)應(yīng)作用在各自Transform Bone控制器上，動(dòng)態(tài)控制虛擬手各骨骼關(guān)節(jié)的坐標(biāo)點(diǎn)和旋轉(zhuǎn)矢量變化，從而實(shí)現(xiàn)虛擬手驅(qū)動(dòng)。

圖3 手部控制數(shù)據(jù)驅(qū)動(dòng)虛擬手的藍(lán)圖設(shè)計(jì)Fig.3 The blueprint design of virtual hand driven by hand control data

4 結(jié)果驗(yàn)證

為對(duì)Kinect獲取數(shù)據(jù)驅(qū)動(dòng)虛擬手可行性進(jìn)行驗(yàn)證，本研究采用VS 2015作為數(shù)據(jù)獲取開(kāi)發(fā)環(huán)境，并以虛幻引擎作為驅(qū)動(dòng)虛擬手平臺(tái)。使用Kinect采集300幀人手實(shí)時(shí)運(yùn)動(dòng)狀態(tài)圖像，通過(guò)對(duì)獲取到的原始數(shù)據(jù)深度校準(zhǔn)標(biāo)定和平滑優(yōu)化去除抖動(dòng)后，實(shí)現(xiàn)了對(duì)手部特征關(guān)鍵點(diǎn)數(shù)據(jù)追蹤，數(shù)據(jù)流經(jīng)跨平臺(tái)傳輸和運(yùn)動(dòng)變換處理后驅(qū)動(dòng)虛擬手的結(jié)果與帶有追蹤關(guān)鍵點(diǎn)的紅外圖像數(shù)據(jù)對(duì)比如圖4所示。

六組手勢(shì)包含了手部伸展、握拳及各種手指屈伸狀態(tài)，代表了虛擬手的屈伸與收展運(yùn)動(dòng)情況，可驗(yàn)證多種手部運(yùn)動(dòng)狀態(tài)下虛擬手骨骼關(guān)節(jié)的圖形表示，以及利用手部追蹤數(shù)據(jù)驅(qū)動(dòng)虛擬手的可實(shí)施性。實(shí)驗(yàn)結(jié)果表明，通過(guò)校準(zhǔn)方程和最小二乘法擬合后，可對(duì)原始圖像準(zhǔn)確迅速獲取手部追蹤數(shù)據(jù)，手部追蹤在彎屈狀態(tài)下丟失的數(shù)據(jù)由EMA算法預(yù)測(cè)彌補(bǔ)，跨平臺(tái)數(shù)據(jù)流傳輸和骨骼綁定驅(qū)動(dòng)效果可滿足人手直接參與交互的要求。

圖4 六組帶有關(guān)鍵點(diǎn)的紅外圖像與虛擬手驅(qū)動(dòng)效果對(duì)比圖Fig.4 Six groups of infrared image with key points and the effect of driving virtual hand

5 結(jié)語(yǔ)

基于Kinect傳感器可獲取深度信息的特點(diǎn)，研究了手部追蹤數(shù)據(jù)驅(qū)動(dòng)虛擬手算法，利用Kinect獲取手部關(guān)鍵點(diǎn)數(shù)據(jù)實(shí)現(xiàn)對(duì)虛擬手驅(qū)動(dòng)。相較于Kinect SDK骨架追蹤數(shù)據(jù)，本方法獲取到的手部關(guān)鍵點(diǎn)數(shù)據(jù)更為豐富，對(duì)于人手多自由度運(yùn)動(dòng)還原有較大提高。利用數(shù)據(jù)驅(qū)動(dòng)虛擬手可突破傳統(tǒng)交互的限制，在不借助手動(dòng)控制設(shè)備情況下與虛擬環(huán)境進(jìn)行自然交互。該研究應(yīng)用于礦井災(zāi)害動(dòng)態(tài)演化技術(shù)驗(yàn)證平臺(tái)，可以提高平臺(tái)的交互性和沉浸感。同時(shí)也可廣泛應(yīng)用在虛擬現(xiàn)實(shí)項(xiàng)目開(kāi)發(fā)中。