航天員虛擬交互操作訓(xùn)練多體感融合驅(qū)動(dòng)方法研究

鄒 俞，晁建剛，楊 進(jìn)

?

航天員虛擬交互操作訓(xùn)練多體感融合驅(qū)動(dòng)方法研究

鄒 俞，晁建剛，楊 進(jìn)

(中國航天員科研訓(xùn)練中心，北京 100094)

針對航天員虛擬訓(xùn)練中的人機(jī)自然交互問題，基于體態(tài)/手勢識(shí)別和人體運(yùn)動(dòng)特性，提出一種多通道數(shù)據(jù)融合的虛擬驅(qū)動(dòng)與交互方法。結(jié)合Kinect設(shè)備能夠完整識(shí)別人體姿態(tài)特點(diǎn)及LeapMotion設(shè)備能精確識(shí)別手勢姿態(tài)的優(yōu)勢，提出了基于判斷的數(shù)據(jù)傳遞方法，在人體關(guān)節(jié)識(shí)別的基礎(chǔ)上對手部關(guān)節(jié)進(jìn)行識(shí)別與數(shù)據(jù)處理計(jì)算，采用多通道體感識(shí)別融合方法將二者結(jié)合，并進(jìn)行了實(shí)驗(yàn)。結(jié)果表明，通過采用LeapMotion和Kinect對手部識(shí)別的判別，當(dāng)手勢在LeapMotion識(shí)別范圍內(nèi)，能夠在實(shí)現(xiàn)人體體感識(shí)別的基礎(chǔ)上增加較為精確的手勢識(shí)別。此方法成功實(shí)現(xiàn)了人體姿態(tài)識(shí)別和手勢精確識(shí)別的結(jié)合，可應(yīng)用于航天員虛擬訓(xùn)練中的人機(jī)自然交互中去。

航天員；虛擬訓(xùn)練；體感識(shí)別；數(shù)據(jù)融合；交互

近年來，隨著虛擬現(xiàn)實(shí)(virtual reality, VR)技術(shù)工程應(yīng)用的逐步成熟，利用數(shù)字仿真，構(gòu)建虛擬空間和交互環(huán)境的方法也逐漸發(fā)展，為航天員訓(xùn)練提供了一種新的方式。通常模式下，航天員虛擬交互選用數(shù)據(jù)手套，實(shí)際訓(xùn)練中無形增加了操作的非自然性和干涉性，工程實(shí)用性欠佳?；谝曈X體感交互的虛擬訓(xùn)練方式的引入，使航天員在虛擬環(huán)境中的自然交互操作訓(xùn)練成為可能[1]。

目前，市場上成熟的視覺體感交互設(shè)備主要分為兩種：一種是以Kinect為代表的采集全身姿態(tài)的體感設(shè)備，用以驅(qū)動(dòng)全身虛擬交互；另一種是以LeapMotion為代表的采集手部姿態(tài)的體感設(shè)備，用以驅(qū)動(dòng)手部虛擬交互。但在實(shí)際工程應(yīng)用中，前者很難精確采集到交互主體手部的精細(xì)化動(dòng)作，后者又無法采集人體整體姿態(tài)。單一設(shè)備使用無法構(gòu)建實(shí)際訓(xùn)練中以手部操作為主體、以全身姿態(tài)為基礎(chǔ)的整個(gè)人在回路中的虛擬自然交互環(huán)境。

針對上述工程應(yīng)用問題，本文基于體態(tài)/手勢識(shí)別和人體運(yùn)動(dòng)特性，在航天員訓(xùn)練中提出一種多通道數(shù)據(jù)融合的虛擬驅(qū)動(dòng)與交互方法。在交互識(shí)別上發(fā)揮Kinect識(shí)別范圍大，能夠?qū)φ麄€(gè)人體的三維深度圖像進(jìn)行追蹤和姿態(tài)識(shí)別的優(yōu)勢，結(jié)合LeapMotion對手部的三維深度圖像進(jìn)行精確地追蹤和手勢識(shí)別的特點(diǎn)，采用多通道體感識(shí)別融合的方法在人體關(guān)節(jié)識(shí)別基礎(chǔ)上，對手部關(guān)節(jié)進(jìn)行識(shí)別與數(shù)據(jù)處理計(jì)算，形成了逼真的人在回路中的虛擬自然交互訓(xùn)練系統(tǒng)[2]。

1 研究現(xiàn)狀與基本原理

1.1 國內(nèi)外研究現(xiàn)狀

美國宇航局(National Aeronautics and Space Administration，NASA)以及美國國防部自上世紀(jì)80年代開始進(jìn)行了航天員虛擬訓(xùn)練仿真研究。隨著VR技術(shù)的日益成熟，航天員虛擬訓(xùn)練仿真研究取得令人矚目的成果。美國國家航空航天局虛擬手套(NASA Virtual GloveboX，簡稱VGX)系統(tǒng)[3-5]利用數(shù)據(jù)手套和力反饋設(shè)備采集輸入手姿態(tài)信息，通過立體顯示和計(jì)算機(jī)實(shí)時(shí)仿真實(shí)現(xiàn)一種桌面半沉浸式仿真訓(xùn)練系統(tǒng)，如圖1所示，利用該設(shè)備可以進(jìn)行航天員虛擬操作仿真實(shí)驗(yàn)。如圖2所示，歐洲空間局的航天員訓(xùn)練虛擬環(huán)境技術(shù)(Virtual Environment Technology for Astronaut Training, VETAT)測試系統(tǒng)利用連接外骨骼的數(shù)據(jù)手套實(shí)現(xiàn)手勢識(shí)別，采用頭戴式顯示器進(jìn)行立體顯示，該系統(tǒng)已經(jīng)廣泛地運(yùn)用到航天員訓(xùn)練中。

圖1 VGX虛擬手套箱設(shè)備

圖2 VETAT測試系統(tǒng)

國內(nèi)也已將VR技術(shù)引入到航天員訓(xùn)練中，并取得初步成果。如圖3所示，中國航天員中心研制的數(shù)字組合體采用立體顯示技術(shù)將空間站等場景展示給航天員，能夠?qū)崿F(xiàn)控制航天員在虛擬太空場景進(jìn)行漫游。

圖3 數(shù)字組合體操作展示

中國航天員中心在航天員虛擬訓(xùn)練中已開展了基于視覺手勢識(shí)別的研究[6]，并建立了一套航天員虛擬操作訓(xùn)練系統(tǒng)，來解決虛擬訓(xùn)練中航天員手勢操作問題。主要包括抓持、點(diǎn)按等手勢操作，如圖4、5所示。

圖4 航天虛擬操作系統(tǒng)儀表操作

圖5 航天虛擬訓(xùn)練系統(tǒng)虛擬手抓持研究

在VR體感識(shí)別研究中，以Kinect為代表的人體姿態(tài)體感識(shí)別設(shè)備具有追蹤人體姿態(tài)的特點(diǎn)，是目前國內(nèi)外研究開發(fā)的熱點(diǎn)。同樣以LeapMotion為代表的手部識(shí)別設(shè)備對手勢的精確識(shí)別也得到了國內(nèi)外開發(fā)者的一致認(rèn)可。但目前在工程應(yīng)用上，還沒有一種設(shè)備能同時(shí)精確采集人體姿態(tài)和手部典型操作姿態(tài)。而在航天員虛擬訓(xùn)練中，如圖6所示，在航天員多人協(xié)同操作中，大場景的運(yùn)動(dòng)需要對航天員人體姿態(tài)的整體進(jìn)行識(shí)別，同時(shí)在交互操作中也需對航天員的手部動(dòng)作進(jìn)行精確識(shí)別，從而在協(xié)同操作中能看到交互完整的人體姿態(tài)以及精確的手勢操作姿態(tài)，實(shí)現(xiàn)更好地配合操作[7]。針對航天員虛擬訓(xùn)練，本文提出將Kinect對完整人體姿態(tài)的識(shí)別，與LeapMotion精確的手勢識(shí)別二者融合的方法。其優(yōu)勢在于：①保留了Kinect對人體姿態(tài)的識(shí)別，保證了其識(shí)別精度和識(shí)別范圍；②利用LeapMotion實(shí)現(xiàn)手勢的精確識(shí)別，為驅(qū)動(dòng)VR訓(xùn)練系統(tǒng)中的航天員模型在虛擬場景中完成多種手勢操作提供了可能；③采用計(jì)算機(jī)視覺的方式進(jìn)行識(shí)別，避免了數(shù)據(jù)手套對訓(xùn)練產(chǎn)生的影響，可以更加逼真地模擬訓(xùn)練。結(jié)合二者的優(yōu)勢，可以實(shí)現(xiàn)更好的體感交互體驗(yàn)[8]，為航天員在虛擬場景中完成人體姿態(tài)交互和更加精確的手勢操作提供可能[9]。

圖6 多人協(xié)同操作

1.2 體感識(shí)別原理

體感技術(shù)是一種VR技術(shù)，人們可以直接地使用肢體動(dòng)作，與周邊的裝置或環(huán)境互動(dòng)，而無需使用任何復(fù)雜的控制設(shè)備，便可讓人們身歷其境地與內(nèi)容做互動(dòng)。

依照體感方式與原理的不同，目前市場上體感交互設(shè)備主要分為3種：光學(xué)感測、慣性感測和慣性及光學(xué)聯(lián)合感測。本文選用光學(xué)感測的體感交互設(shè)備，一是其不需要手持設(shè)備，便能更好地實(shí)現(xiàn)仿真訓(xùn)練的效果；二是隨著傳感器等硬件的發(fā)展，其識(shí)別精度可滿足仿真訓(xùn)練的需求[10]。

光學(xué)感測類體感設(shè)備的基本原理是利用攝像頭，采用類似“動(dòng)作捕捉”方式來識(shí)別用戶的姿勢動(dòng)作。首先通過計(jì)算機(jī)圖形視覺技術(shù)，包括邊緣檢測、噪聲閾值處理、對目標(biāo)特征點(diǎn)的分類等，將識(shí)別目標(biāo)從背景環(huán)境中區(qū)分出來得到識(shí)別圖像；然后識(shí)別圖像的每一個(gè)像素并傳送到一個(gè)辨別人體部位的機(jī)器學(xué)習(xí)系統(tǒng)中，系統(tǒng)給出某個(gè)特定像素屬于哪個(gè)身體部位的可能性；再將捕捉到的影像與內(nèi)部存有的模型匹配，每一個(gè)符合內(nèi)部已存模型的物體就會(huì)被創(chuàng)建成相關(guān)的骨骼模型；最后系統(tǒng)將該模型轉(zhuǎn)換成虛擬角色，并通過識(shí)別該骨骼模型的關(guān)鍵部位進(jìn)行動(dòng)作觸發(fā)，從而實(shí)現(xiàn)體感操作。其中手部動(dòng)作數(shù)據(jù)采集和識(shí)別后，可以進(jìn)一步通過碰撞檢測達(dá)到虛擬交互的目的。

1.3 人體姿態(tài)識(shí)別建模

航天員虛擬交互訓(xùn)練中，需要對人體進(jìn)行幾何建模渲染，以表達(dá)虛擬人運(yùn)動(dòng)最基礎(chǔ)的方式，但實(shí)際中不可能對人體進(jìn)行全部建模。人體建模通常采用主要運(yùn)動(dòng)關(guān)節(jié)點(diǎn)建模的方法進(jìn)行簡化建模，其足以驅(qū)動(dòng)人體的運(yùn)動(dòng)。

Kienct的人體建模采用了如圖7所示的人體骨骼簡化模型。其包含了人體主要的20個(gè)關(guān)節(jié)節(jié)點(diǎn)及19個(gè)骨骼段。按照人體構(gòu)造結(jié)構(gòu)，任意2個(gè)關(guān)節(jié)之間建立Kinect關(guān)節(jié)點(diǎn)父子關(guān)系，形成一個(gè)簡化的人體骨骼模型。其中，臀部中心關(guān)節(jié)點(diǎn)是整個(gè)人體骨骼模型的根節(jié)點(diǎn)，其三維坐標(biāo)數(shù)據(jù)完全能決定人體模型的移動(dòng)軌跡。臀部中心關(guān)節(jié)點(diǎn)有6個(gè)自由度，分別為3個(gè)平移自由度與3個(gè)旋轉(zhuǎn)自由度，其他節(jié)點(diǎn)僅僅包括3個(gè)旋轉(zhuǎn)自由度[11]。

圖7 Kinect骨骼模型

1.4 手部姿態(tài)識(shí)別建模

虛擬交互訓(xùn)練中，手部是最重要的操作數(shù)據(jù)采集對象。采集目的一是為了顯示手部的虛擬渲染；二是通過主要手部關(guān)節(jié)的采集，滿足對手部的抓握等進(jìn)行包圍盒檢測[12]。最終在滿足精確顯示、定位的同時(shí)，也要滿足實(shí)時(shí)計(jì)算需要，在實(shí)時(shí)計(jì)算和顯示渲染、檢測之間達(dá)到折衷。

圖8為右手部骨骼模型，圖8(a)LeapMotion手部模型中，手指存在4個(gè)關(guān)節(jié)，以中指1，2，3和4為例，4個(gè)關(guān)節(jié)點(diǎn)的旋轉(zhuǎn)角分別決定了指尖關(guān)節(jié)、遠(yuǎn)指關(guān)節(jié)、近指關(guān)節(jié)和指掌關(guān)節(jié)骨骼的旋轉(zhuǎn)。在圖8(b) Kinect手部模型中，手指存在3個(gè)關(guān)節(jié)，以中指的1，2和3為例，其旋轉(zhuǎn)角分別決定了指尖關(guān)節(jié)，遠(yuǎn)指關(guān)節(jié)和近指關(guān)節(jié)骨骼的旋轉(zhuǎn)。在二者的結(jié)合中，驅(qū)動(dòng)姿態(tài)識(shí)別和手勢識(shí)別融合的數(shù)據(jù)主要是關(guān)節(jié)點(diǎn)的旋轉(zhuǎn)角。

(a) LeapMotion手部骨骼模型

(b) Kinect手部骨骼模型

圖8 LeapMotion與Kinect手部骨骼模型

2 總體設(shè)計(jì)與關(guān)鍵技術(shù)

2.1 體感融合的虛擬訓(xùn)練設(shè)計(jì)

航天員虛擬訓(xùn)練系統(tǒng)一般由數(shù)字仿真計(jì)算、虛擬場景渲染、虛擬顯示、虛擬操作采集與交互等部分組成。通常采用數(shù)字仿真進(jìn)行飛行器的動(dòng)力學(xué)和運(yùn)動(dòng)學(xué)仿真、太空場景物理學(xué)仿真、船載設(shè)備功能邏輯狀態(tài)等的數(shù)學(xué)仿真；虛擬場景渲染通過計(jì)算圖形學(xué)生成飛行器、太空以及航天員在回路中的場景；VR通過虛擬頭盔將生成的場景投射到訓(xùn)練者視覺系統(tǒng)中；虛擬操作采集與交互部分進(jìn)行訓(xùn)練系統(tǒng)回路中的航天員與虛擬場景人機(jī)交互的動(dòng)作采集和計(jì)算[13]。本文著重關(guān)注航天員在回路中的運(yùn)動(dòng)，采集航天員的運(yùn)動(dòng)數(shù)據(jù)處理后驅(qū)動(dòng)虛擬人，帶入生成的預(yù)設(shè)場景如太空，船艙等，實(shí)現(xiàn)虛擬人與場景的交互，再反饋到顯示器中，從而實(shí)現(xiàn)航天員虛擬訓(xùn)練。

如圖9所示，虛擬動(dòng)作采集通過體感設(shè)備來完成，Kinect置于訓(xùn)練航天員前面，用于人體動(dòng)作的采集。在頭盔顯示器前部配置LeapMotion，用于交互手部動(dòng)作的采集。采用本文融合方法實(shí)現(xiàn)兩種體感識(shí)別技術(shù)的結(jié)合，將Kinect獲取的人體姿態(tài)識(shí)別數(shù)據(jù)和LeapMotion采集的手部姿態(tài)識(shí)別數(shù)據(jù)進(jìn)行處理、融合，與模型匹配后生成動(dòng)作。結(jié)合訓(xùn)練場景設(shè)計(jì)，生成人被識(shí)別后在虛擬訓(xùn)練環(huán)境下的圖像。生成圖像傳輸?shù)斤@示器和頭盔顯示器。通過此設(shè)計(jì)方案，滿足航天員在虛擬訓(xùn)練中，大場景的運(yùn)動(dòng)對人體姿態(tài)整體識(shí)別的需求，以及交互操作中對手部動(dòng)作識(shí)別的需求，當(dāng)手部在LeapMotion識(shí)別范圍內(nèi)，同時(shí)也是在“眼前”，能夠在人體姿態(tài)識(shí)別的基礎(chǔ)上添加手勢識(shí)別。

圖9 虛擬訓(xùn)練設(shè)計(jì)

2.2 體感融合關(guān)鍵技術(shù)

本文設(shè)計(jì)的場景是通過Kinect進(jìn)行人體姿態(tài)的識(shí)別，并通過LeapMotion獲取精確的手勢識(shí)別數(shù)據(jù)。進(jìn)行人體姿態(tài)識(shí)別時(shí)，Kinect遠(yuǎn)距離可以對整個(gè)人體20個(gè)關(guān)節(jié)點(diǎn)進(jìn)識(shí)別，其中包括手掌節(jié)點(diǎn)；當(dāng)需要精準(zhǔn)識(shí)別手部動(dòng)作時(shí)，近距離可以對手部15個(gè)關(guān)節(jié)點(diǎn)進(jìn)行識(shí)別。但手部和身體姿態(tài)是不能同時(shí)獲得的。Kinect手臂和手部的姿態(tài)信息是獲取關(guān)節(jié)點(diǎn)旋轉(zhuǎn)角數(shù)據(jù)驅(qū)動(dòng)人體模型。而LeapMotion實(shí)現(xiàn)精確的手勢識(shí)別，也是獲取手部及腕部關(guān)節(jié)點(diǎn)的旋轉(zhuǎn)角數(shù)據(jù)驅(qū)動(dòng)手部模型。二者均為數(shù)據(jù)融合提供了可能。

為了精確識(shí)別航天員的運(yùn)動(dòng)動(dòng)作，既要保證手部運(yùn)動(dòng)和全身運(yùn)動(dòng)姿態(tài)采集的準(zhǔn)確性，又要保證采集后的節(jié)點(diǎn)融合后整體姿態(tài)不失真[14]。本文對兩者采集的數(shù)據(jù)進(jìn)行融合，提出了基于判斷的數(shù)據(jù)傳遞方法，即實(shí)時(shí)判斷手部是否在LeapMotion范圍內(nèi)，當(dāng)手部在其識(shí)別范圍內(nèi)，將LeapMotion采集的手部關(guān)節(jié)點(diǎn)數(shù)據(jù)處理后傳到Kinect的手部關(guān)節(jié)點(diǎn)中，Kinect同時(shí)識(shí)別人體大姿態(tài)；當(dāng)不在LeapMotion識(shí)別范圍內(nèi)，選擇Kinect驅(qū)動(dòng)包括手部在內(nèi)的完整人體姿態(tài)，此時(shí)不包含手指的操作[15]。

2.2.1 判斷選擇

如圖10所示，實(shí)際人在虛擬交互系統(tǒng)中，Kinect始終在采集人體姿態(tài)信息。當(dāng)手在“眼前”(LeapMotion粘貼在頭盔顯示器前面)時(shí)，此時(shí)手在LeapMotion識(shí)別范圍內(nèi)，手部姿態(tài)信息被采集。此時(shí)判斷機(jī)制獲取到LeapMotion已采集手部姿態(tài)信息的信號(hào)，終止Kinect對虛擬人手部姿態(tài)的驅(qū)動(dòng)，從而實(shí)現(xiàn)LeapMotion驅(qū)動(dòng)虛擬人手部姿態(tài)。當(dāng)手不在LeapMotion識(shí)別范圍內(nèi)，重新初始化Kinect驅(qū)動(dòng)中的手部姿態(tài)信息。二者通過上述原理實(shí)現(xiàn)融合的關(guān)鍵點(diǎn)如下：

圖10 原理示意圖

(1) 識(shí)別交接處選取。要考慮的是兩種傳感器識(shí)別交接處的處理。實(shí)際人在做手部動(dòng)作時(shí)，對腕部及肘部關(guān)節(jié)點(diǎn)旋轉(zhuǎn)之間的影響很小，所以將腕部關(guān)節(jié)點(diǎn)和肘部關(guān)節(jié)點(diǎn)作為LeapMotion與Kinect識(shí)別的劃分。由于LeapMotion識(shí)別包括手指、手掌及腕部關(guān)節(jié)，所以在其識(shí)別范圍內(nèi)時(shí)，上述關(guān)節(jié)點(diǎn)的識(shí)別驅(qū)動(dòng)交由LeapMotion實(shí)現(xiàn)，此時(shí)肘部的關(guān)節(jié)點(diǎn)依然由Kinect識(shí)別。通過這種關(guān)節(jié)點(diǎn)識(shí)別劃定，肘部和腕部分別由Kinect和LeapMotion識(shí)別，由中間的小臂作為識(shí)別過渡。從而在交接處小臂虛擬渲染顯示時(shí)，最大程度地減少了兩種傳感器識(shí)別帶來的仿真效果不佳的影響。

(2) 識(shí)別交接時(shí)更新。在Kinect和LeapMotion交替識(shí)別的過程中，假設(shè)識(shí)別到第幀，此時(shí)手部在LeapMotion識(shí)別范圍內(nèi)，進(jìn)行了精確的手勢識(shí)別，且在第+1幀時(shí)手部不在其識(shí)別范圍內(nèi)，此時(shí)手部姿態(tài)數(shù)據(jù)得不到更新，識(shí)別的手勢會(huì)保持在第幀的姿態(tài)直至手部再次出現(xiàn)在LeapMotion識(shí)別范圍內(nèi)。這是不符合預(yù)期的。所以需要實(shí)現(xiàn)Kinect手指關(guān)節(jié)點(diǎn)旋轉(zhuǎn)角初始化的重新寫入，以保證當(dāng)手部不在LeapMotion識(shí)別范圍內(nèi)時(shí)，手勢識(shí)別可正常進(jìn)行。以中指和腕部為例，通過局部坐標(biāo)系旋轉(zhuǎn)角賦值進(jìn)行初始化，如圖11所示，參考人體模型自然狀態(tài)下手指關(guān)節(jié)點(diǎn)旋轉(zhuǎn)角數(shù)據(jù)，如式(1)~(3)。

圖11 正常手姿

左手中指初始化，即

右手中指初始化

雙手腕部

2.2.2 數(shù)據(jù)處理

如圖12所示，由于只簡單地基于判斷選擇，并直接傳遞數(shù)據(jù)，會(huì)因?yàn)镵inect及LeapMotion驅(qū)動(dòng)中手部關(guān)節(jié)點(diǎn)的世界坐標(biāo)系定義不同，導(dǎo)致手勢數(shù)據(jù)傳遞后識(shí)別錯(cuò)誤，出現(xiàn)手指朝手背抓握甚至平行于手掌抓握等畸變現(xiàn)象，所以需要對數(shù)據(jù)進(jìn)行處理。

圖12 手勢畸變

數(shù)據(jù)處理需在局部坐標(biāo)系下進(jìn)行，將LeapMotion獲取的數(shù)據(jù)處理后傳遞給Kinect實(shí)現(xiàn)精確的手勢識(shí)別。其原理如下：在三維坐標(biāo)系中，有和兩條線段，已知∠，旋轉(zhuǎn)角∠。求取旋轉(zhuǎn)到''的旋轉(zhuǎn)效果，如圖13所示。

圖13 二維骨骼旋轉(zhuǎn)演示圖

世界坐標(biāo)系下，由相似三角形可以證明∠=∠'，求取旋轉(zhuǎn)后'的位置，再求取旋轉(zhuǎn)后''的位置。在局部坐標(biāo)系下，因?yàn)椤系拇笮]有改變，即相對于的位置和旋轉(zhuǎn)角均沒有改變。所以只需旋轉(zhuǎn)已知的∠，便能獲取旋轉(zhuǎn)后的效果。由此可知局部坐標(biāo)系進(jìn)行旋轉(zhuǎn)的轉(zhuǎn)換更利于簡化運(yùn)算[16-17]。

圖14是手部每個(gè)關(guān)節(jié)對應(yīng)的局部坐標(biāo)系，其中根據(jù)人體模型設(shè)計(jì)了對應(yīng)、、坐標(biāo)軸及其方向的、、3個(gè)軸[18]。手指關(guān)節(jié)的旋轉(zhuǎn)主要是圍繞軸進(jìn)行的，而繞、軸的相對而言非常少。所以提出只求取繞軸旋轉(zhuǎn)角實(shí)現(xiàn)手指運(yùn)動(dòng)。并以中指的近指關(guān)節(jié)和相對于指掌關(guān)節(jié)的旋轉(zhuǎn)為例，分兩步實(shí)現(xiàn)：

(2) 相對旋轉(zhuǎn)角賦值。將求取的21視作繞軸的旋轉(zhuǎn)角，繞、軸旋的轉(zhuǎn)角賦值為零。本文選用的手部模型中軸對應(yīng)軸，故得21=(0,0,21)。同理，可求取遠(yuǎn)指關(guān)節(jié)相對于近指關(guān)節(jié)的旋轉(zhuǎn)角32和指間關(guān)節(jié)相對于遠(yuǎn)指關(guān)節(jié)的旋轉(zhuǎn)角43。

在Kinect模型中手指的關(guān)節(jié)點(diǎn)有3個(gè)，如 圖8(a)所示，同樣以中指為例，將上文求取的相對旋轉(zhuǎn)角21，32，43分別進(jìn)行賦值，有1=21，2=32和3=43。由此獲得Kinect的中指關(guān)節(jié)點(diǎn)在局部坐標(biāo)系下的旋轉(zhuǎn)角。

通過上述過程對LeapMotion獲取的手勢識(shí)別數(shù)據(jù)進(jìn)行處理，傳遞給Kinect驅(qū)動(dòng)虛擬人手部動(dòng)作，便能在Kinect人體姿態(tài)識(shí)別基礎(chǔ)上實(shí)現(xiàn)手勢識(shí)別。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

針對傳統(tǒng)視覺體感識(shí)別這一問題，通過多通道融合的方法，實(shí)現(xiàn)了在識(shí)別人體大姿態(tài)的基礎(chǔ)上添加對手勢的識(shí)別，并搭建基于該融合方法的體感識(shí)別實(shí)驗(yàn)平臺(tái)。定義兩種測試姿態(tài)：人體姿態(tài)測試，人體姿態(tài)與手勢姿態(tài)結(jié)合測試對該方法進(jìn)行驗(yàn)證。人體姿態(tài)測試取舉手姿態(tài)，目的在于驗(yàn)證Kinect對人體姿態(tài)的識(shí)別；人體姿態(tài)與手勢姿態(tài)結(jié)合測試取人體舉手姿態(tài)與典型手勢姿態(tài)：手部自然伸直、手部握拳、手部OK姿勢，是為了驗(yàn)證二者結(jié)合后，在保證Kinect對人體姿態(tài)正常識(shí)別的同時(shí)，添加的手勢識(shí)別的效果。在此基礎(chǔ)上通過抓取簡單物體，點(diǎn)按靶標(biāo)的測試，進(jìn)一步驗(yàn)證融合后的手姿態(tài)識(shí)別精度能否滿足抓取和點(diǎn)按為代表的虛擬訓(xùn)練操作。

按照總體設(shè)計(jì)，在建立的虛擬交互系統(tǒng)中，真實(shí)的人穿戴好放置了LeapMotion虛擬頭盔，其前方放置Kinect。選取10名實(shí)驗(yàn)者，讓每人按照上述定義的4組測試姿態(tài)以及2種測試方式分別進(jìn)行測試。通過對比實(shí)際人和模型人的動(dòng)作對實(shí)驗(yàn)結(jié)果進(jìn)行分析。同時(shí)取其中自然伸直手勢和握拳手勢的數(shù)據(jù)進(jìn)行分析驗(yàn)證。

3.2 結(jié)果分析

通過實(shí)驗(yàn)，驗(yàn)證基于判斷的數(shù)據(jù)傳遞方法對人體姿態(tài)和手勢識(shí)別結(jié)合的有效性。通過以下4組測試姿態(tài)對實(shí)驗(yàn)結(jié)果進(jìn)行說明。如圖15所示，僅取人體舉手姿態(tài)，以確定Kinect對人體姿態(tài)的識(shí)別。圖16~18為人體姿態(tài)與手勢姿態(tài)結(jié)合測試分別取人體舉手姿態(tài)動(dòng)作加上手部伸直(自然狀態(tài))、握拳(抓取等操作的基礎(chǔ)手勢)和OK(復(fù)雜的手部姿勢)姿勢測試。其中，圖(a)是實(shí)際人操作圖，圖(b)是融合識(shí)別驅(qū)動(dòng)的虛擬圖。

圖15 人體姿態(tài)識(shí)別測試

圖16 人體姿態(tài)動(dòng)作加上手部伸直姿勢測試

圖17 人體姿態(tài)動(dòng)作加上手部握拳姿勢測試

圖18 人體姿態(tài)動(dòng)作加上手部OK姿勢測試

手指的狀態(tài)大致可分為兩種：自然伸直和彎曲狀態(tài)。而手部自然伸直和握拳這兩種手勢姿態(tài)最能直觀體現(xiàn)手指自然伸直和彎曲的狀態(tài)。表1、2是將LeapMotion識(shí)別手部自然伸直狀態(tài)和手部彎曲狀態(tài)采集并處理后，傳遞給Kinect進(jìn)行驅(qū)動(dòng)的數(shù)據(jù)。結(jié)合識(shí)別結(jié)果，如圖19、20所示，對局部傳遞法融合后的手勢姿態(tài)識(shí)別結(jié)果進(jìn)行說明。

結(jié)果分析：如圖15所示，對比實(shí)際人和虛擬人的手臂舉起的整體姿態(tài)，確定Kinect能準(zhǔn)確識(shí)別人體姿態(tài)；如圖16~18通過對比實(shí)際人和虛擬人的人體姿態(tài)和手勢姿態(tài)，可以看到人體姿態(tài)在準(zhǔn)確識(shí)別的同時(shí)，手部自然伸直、握拳和OK姿勢的識(shí)別效果很好，虛擬人準(zhǔn)確地反應(yīng)了實(shí)際人的手部自然伸直和手部握拳姿勢。結(jié)合表1、2中LeapMotion處理后的數(shù)據(jù)，對識(shí)別結(jié)果進(jìn)一步說明。

表1是手部抓取動(dòng)作識(shí)別，取5組LeapMotion處理后傳遞給Kinect 的食指數(shù)據(jù)，每組數(shù)據(jù)取200個(gè)數(shù)據(jù)(Leapmotio更新頻率200 Hz)的平均值，再對5組數(shù)據(jù)取平均值得到近指關(guān)節(jié)點(diǎn)旋轉(zhuǎn)角數(shù)據(jù)為–74.450 83°。圖19(a)為抓取姿態(tài)下實(shí)際手食指的近指關(guān)節(jié)點(diǎn)的旋轉(zhuǎn)角∠，并對該角進(jìn)行測量估計(jì)，與求取的近指關(guān)節(jié)點(diǎn)旋轉(zhuǎn)角對比，近指關(guān)節(jié)點(diǎn)–74.450 83°的大小是符合手部握拳姿態(tài)的。手勢識(shí)別效果如圖19(b)所示，較為精確地實(shí)現(xiàn)手部抓取的識(shí)別。

圖19 手部抓取識(shí)別

圖20 手部自然伸直識(shí)別

表1 手部抓取識(shí)別——食指近指關(guān)節(jié)點(diǎn)旋轉(zhuǎn)角數(shù)據(jù)

表2 手部自然伸直識(shí)別——食指近指關(guān)節(jié)點(diǎn)旋轉(zhuǎn)角數(shù)據(jù)

表2是手部自然伸直動(dòng)作識(shí)別處理后的數(shù)據(jù)：近指關(guān)節(jié)點(diǎn)旋轉(zhuǎn)角–12.286 94°。如圖20(a)所示，其描述的是自然伸直姿態(tài)下實(shí)際手食指的近指關(guān)節(jié)點(diǎn)的旋轉(zhuǎn)角∠，并將其與求取的近指關(guān)節(jié)點(diǎn)旋轉(zhuǎn)角–12.286 94°對比，結(jié)果是符合的。手勢識(shí)別效果如圖20(b)所示，較為精確地實(shí)現(xiàn)了手部伸直的識(shí)別。

實(shí)驗(yàn)通過多組典型手勢姿態(tài)反復(fù)測試及結(jié)果驗(yàn)證，證實(shí)二者結(jié)合后方法，既保留了Kinect對人體姿態(tài)的識(shí)別，也發(fā)揮了LeapMotion對手勢的識(shí)別能力，達(dá)到了預(yù)期目的。

圖21為融合后的手姿態(tài)抓持操作，通過方塊抓取驗(yàn)證了融合后能實(shí)現(xiàn)虛擬訓(xùn)練中抓持操作訓(xùn)練；圖22為融合后的手姿態(tài)點(diǎn)按操作，通過食指點(diǎn)按目標(biāo)物中心的紅點(diǎn)，能實(shí)現(xiàn)虛擬訓(xùn)練中儀表操作等點(diǎn)按操作訓(xùn)練。

圖21 抓持操作

圖22 點(diǎn)按操作

訓(xùn)練場景，圖23是在太空艙中的仿真訓(xùn)練的模擬，圖24是VR模式下參訓(xùn)人員在頭盔顯示器中看到的場景。在LeapMotion沒有識(shí)別手部時(shí)，人體姿態(tài)由Kinect識(shí)別，當(dāng)Leap識(shí)別到左/右/雙手時(shí)，手勢以及腕部識(shí)別由LeapMotion識(shí)別并將數(shù)據(jù)處理后傳遞給Kinect實(shí)現(xiàn)；頭盔顯示器視野也符合VR模式下人的實(shí)際視野；在VR模式下，實(shí)際人物的位移與模型人物的位移符合，保證了VR模式下視覺位移符合實(shí)際位移。

圖23 場景填充后的結(jié)合姿態(tài)識(shí)別

圖24 VR模式下的效果

實(shí)驗(yàn)結(jié)果符合預(yù)期。通過判斷，選擇手部姿態(tài)驅(qū)動(dòng)來源，實(shí)現(xiàn)將手勢識(shí)別和人體姿態(tài)識(shí)別的結(jié)合。實(shí)現(xiàn)人體姿態(tài)識(shí)別的同時(shí)，能夠?qū)崿F(xiàn)抓取、握拳及OK姿勢等手勢，以及抓持物體，點(diǎn)按靶標(biāo)等測試，足以滿足目前航天員虛擬訓(xùn)練對手勢識(shí)別的要求。

4 結(jié)束語

本文實(shí)現(xiàn)了LeapMotion與Kinect的結(jié)合?；谂袛?、判別選擇，成功將兩種體感設(shè)備的優(yōu)勢發(fā)揮了出來，即保留了Kinect對人體整體的識(shí)別，也發(fā)揮了LeapMotion對手勢精確識(shí)別的作用。

通過二者的結(jié)合，保證人體姿態(tài)識(shí)別的同時(shí)，實(shí)現(xiàn)了對手部姿態(tài)的識(shí)別。結(jié)合后的這種體感交互方法，可以應(yīng)用到更為廣闊的訓(xùn)練平臺(tái)。針對航天員訓(xùn)練的更多設(shè)備、更多操作設(shè)計(jì)訓(xùn)練實(shí)例，例如對儀器儀表的虛擬操作訓(xùn)練，對在軌設(shè)備的組裝、維護(hù)、維修訓(xùn)練，對遙控設(shè)備的遠(yuǎn)程遙操作訓(xùn)練等。進(jìn)一步考慮引入增強(qiáng)現(xiàn)實(shí)技術(shù)，通過虛實(shí)結(jié)合的訓(xùn)練來提高訓(xùn)練效果，服務(wù)于航天員訓(xùn)練。

[1] 晁建剛, 陳善廣, 薛亮, 等. 航天飛行訓(xùn)練模擬器技術(shù)研究與工程實(shí)施[J]. 航天醫(yī)學(xué)與醫(yī)學(xué)工程, 2008, 21(3): 233-239.

[2] 陳學(xué)文, 晁建剛, 安明, 等. 基于體態(tài)識(shí)別的航天員虛擬訓(xùn)練仿真技術(shù)研究[J]. 載人航天, 2015, 21(3): 217-223.

[3] TWOMBLY I A, SMITH J, BRUYNS C, et al. NASA virtual glovebox: an immersive virtual desktop environment for training astronauts in life science experiments [EB/OL]. [2018-08-02]. https://ntrs.nasa. gov/search. jsp?R=20040012669.

[4] SMITH J D, GORE B F, DALAL K M, et al. Optimizing biology research tasks in space using human performance modeling and virtual reality simulation systems here on earth [EB/OL]. [2018-08-02]. https:// doi.org/10.4271/2002-01-2500.8.

[5] SMITH J, TWOMBLY I A, MAESE C, et al. The virtual glovebox: emerging simulation technology for space station experiment design, development, training and troubleshooting [EB/OL]. [2018-08-02]. https://arc. aiaa.org/doi/abs/10.2514/6.2003-6341.

[6] HU H, CHAO J G, ZHAO Z Q. Study of vision-based hand gesture recognition system for astronaut virtual training [J]. Advanced Materials Research, 2014, 998-999: 1062-1065.

[7] 康金蘭, 晁建剛, 林萬洪, 等. 視覺手勢識(shí)別技術(shù)在航天虛擬訓(xùn)練中的應(yīng)用研究[J]. 載人航天, 2014(3): 219-222.

[8] ALBRECHT I, HABER J, SEIDEL H P. Construction and animation of anatomically based human hand models [C]//ACM Siggraph/eurographics Symposium on Computer Animation. Goslar: Eurographics Association Press, 2003: 98-109.

[9] XIA L, CHEN C C, AGGARWAL J K. Human detection using depth information by Kinect [C]//Computer Vision and Pattern Recognition Workshops. New York: IEEE Press, 2011: 15-22.

[10] 馮志全, 蔣彥. 手勢識(shí)別研究綜述[J]. 濟(jì)南大學(xué)學(xué)報(bào): 自然科學(xué)版, 2013(4): 336-341.

[11] 李紅波, 冉光勇, 吳渝, 等. 一種基于Kinect的角色骨骼動(dòng)畫方法[J]. 重慶郵電大學(xué)學(xué)報(bào): 自然科學(xué)版, 2014, 26(4): 530-535

[12] 胡弘, 晁建剛, 林萬洪, 等. Leap Motion虛擬手構(gòu)建方法及其在航天訓(xùn)練中的應(yīng)用[J]. 載人航天, 2015, 21(3): 257-262.

[13] 胡弘, 晁建剛, 楊進(jìn), 等. Leap Motion關(guān)鍵點(diǎn)模型手姿態(tài)估計(jì)方法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2015(7): 1211-1216.

[14] MARIN G, DOMINIO F, ZANUTTIGH P. Hand gesture recognition with leap motion and kinect devices [C]// IEEE International Conference on Image Processing. New York: IEEE Press, 2015: 1565-1569.

[15] MARIN G, DOMINIO F, ZANUTTIGH P. Hand gesture recognition with jointly calibrated Leap Motion and depth sensor [J]. Multimedia Tools & Applications, 2016, 75(22): 1-25.

[16] 談家譜, 徐文勝. 基于Kinect的指尖檢測與手勢識(shí)別方法[J]. 計(jì)算機(jī)應(yīng)用, 2015, 35(6): 1795-1800.

[17] 徐崇斌, 周明全, 沈俊辰, 等. 一種基于Leap Motion的直觀體交互技術(shù)[J]. 電子與信息學(xué)報(bào), 2015, 37(2): 353-359.

[18] GOUTSU Y, KOBAYASHI T, OBARA J, et al. Multi-modal gesture recognition using integrated model of motion, audio and video [EB/OL]. [2018-08-10]. https://doi. org/10.3901/CJME.2015.0202.053.

On Multi-Somatosensory Driven Method for Virtual Interactive Operation Training of Astronaut

ZOU Yu, CHAO Jiangang, YANG Jin

(Astronaut Centre of China, Beijing 100094, China)

To solve the problem of human-computer natural interaction in the virtual training of astronauts, a multi-somatosensory driven method is proposed based on posture / gesture recognition and human motion characteristics. With the the advantages of Kinect device which can completely recognize human posture characteristics and LeapMotion device which can accurately identify gestures, the method of data transfer based on judgement is put forward. Hand joints are recognized and the related data are processed and calculated on the basis of the recognition of joints of the whole body. These two are combined by using the multi-somatosensory driven method, and the experiment is carried out. The results show that by using LeapMotion and Kinect to recognize hand joints, when the gesture is within the range of LeapMotion recognition, we can add more precise gesture recognition to the realization of human somatosensory recognition. This method has successfully realized the combination of human posture recognition and precise gesture recognition, and can be applied to the human-computer natural interaction in the virtual training of astronauts.

astronaut; virtual training; somatosensory recognition; data fusion; interaction

TP 301.9

10.11996/JG.j.2095-302X.2018040742

A

2095-302X(2018)04-0742-10

2017-08-27；

2017-12-04

國家重點(diǎn)實(shí)驗(yàn)室基金項(xiàng)目(SYFD160051807)

鄒 俞(1995-)，男，安徽合肥人，碩士研究生。主要研究方向?yàn)槿藱C(jī)與環(huán)境工程、計(jì)算機(jī)視覺等。E-mail：1134188239@qq.com

晁建剛(1972-)，男，北京人，研究員，博士，碩士生導(dǎo)師。主要研究方向?yàn)槿藱C(jī)與環(huán)境工程、計(jì)算機(jī)仿真等。E-mail：1518037307@qq.com