軍事任務(wù)中基于手勢(shì)的交互技術(shù)研究

郭曌陽(yáng)，龔安民

（武警工程大學(xué)，西安 710086）

0 引言

近年來，隨著科技高速發(fā)展，遠(yuǎn)程操控、侵入式（VR）課堂、新模式（AR）會(huì)議、無人運(yùn)輸車等新型交互技術(shù)的出現(xiàn)，生活與工作方式隨即發(fā)生著巨大的變化。同時(shí)，在軍事領(lǐng)域中，武器裝備技術(shù)與戰(zhàn)術(shù)戰(zhàn)法都愈發(fā)向機(jī)器、無人、信息、智能化方向發(fā)展。根據(jù)未來戰(zhàn)場(chǎng)構(gòu)想，作戰(zhàn)員可在距離戰(zhàn)區(qū)相對(duì)遙遠(yuǎn)且安全的地方，完成對(duì)前線作戰(zhàn)無人機(jī)器的實(shí)時(shí)遠(yuǎn)程遙控，使其完成作戰(zhàn)指令。由此，作戰(zhàn)員對(duì)無人機(jī)器的有效控制將極大影響任務(wù)的完成度，從而影響戰(zhàn)事的勝敗與走向。另外，根據(jù)觀察-判斷-決策-行動(dòng)（OODA）循環(huán)理論，OODA 運(yùn)作的速度將對(duì)戰(zhàn)場(chǎng)結(jié)局產(chǎn)生較為重要的作用。因此，擁有一個(gè)高時(shí)效，低時(shí)延、穩(wěn)定安全的無人機(jī)器交互控制系統(tǒng)顯得至關(guān)重要，對(duì)作戰(zhàn)員與無人機(jī)器交互技術(shù)的研究與設(shè)計(jì)是具有現(xiàn)實(shí)意義與實(shí)際價(jià)值的。

目前，在人機(jī)交互領(lǐng)域，手勢(shì)識(shí)別一直是研究的熱點(diǎn)與難點(diǎn)，識(shí)別技術(shù)主要有兩種研究方向：基于傳感器數(shù)據(jù)設(shè)備的體感類手勢(shì)識(shí)別與基于計(jì)算機(jī)視覺的視覺類手勢(shì)識(shí)別技術(shù)［1］。隨著近幾年深度神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，目前基于計(jì)算機(jī)視覺的識(shí)別技術(shù)是當(dāng)下的新方向。基于視覺類的手勢(shì)識(shí)別技術(shù)與理論來源于目標(biāo)檢測(cè)與物體識(shí)別技術(shù)方法，其早期大多采用人工特征提取和分類器結(jié)合的技術(shù)方案，如使用HOG 提取圖中目標(biāo)特征，用SVM 完成對(duì)目標(biāo)的分類與識(shí)別。而近幾年普遍參用深度神經(jīng)網(wǎng)絡(luò)（如CNN、RNN 等網(wǎng)絡(luò)結(jié)構(gòu)），如CNN 網(wǎng)絡(luò)利用卷積核提取圖中目標(biāo)的淺層特征，而后通過激活函數(shù)完成非線性的變換［2］，進(jìn)而得到深層抽象的目標(biāo)特征，最后通過softmax 層完成分類。本研究中體感類和視覺類手勢(shì)技術(shù)都將涉及，最終提出一種手指信息檢測(cè)技術(shù)（視覺類）與交互系統(tǒng)的設(shè)計(jì)原型（包含體感類與視覺類）。在體感類方面采用閾值法對(duì)手勢(shì)信號(hào)進(jìn)行分析，得出特定手勢(shì)對(duì)應(yīng)的運(yùn)動(dòng)規(guī)律，完成手勢(shì)識(shí)別分類；視覺類方面根據(jù)手勢(shì)的表觀特征，如膚色［3］、手指?jìng)€(gè)數(shù)等，采用人工特征加分類器的組合實(shí)現(xiàn)手勢(shì)的識(shí)別與分類。

1 國(guó)內(nèi)外研究現(xiàn)狀

國(guó)外關(guān)于交互相關(guān)技術(shù)研究起步較早，出現(xiàn)一些較為成熟的技術(shù)和產(chǎn)品。如基于視覺類的交互技術(shù)包括微軟公司早年間推出的Kinect 外設(shè)，與NASA 合作推出的全息眼鏡HoloLens，以及基于雙目攝像頭進(jìn)行對(duì)用戶交互行為識(shí)別與分類的Leap Motion 等。傳感類交互技術(shù)如Myo，其通過實(shí)時(shí)將肌肉活動(dòng)產(chǎn)生的電信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)，開發(fā)者利用分析不同動(dòng)作的信號(hào)特征，從而識(shí)別與分類使用者的不同動(dòng)作；任天堂則推出的wii 利用慣性傳感器捕捉手勢(shì)信息；同時(shí)在傳感類交互技術(shù)中關(guān)于手勢(shì)識(shí)別的方法也有很多，如文獻(xiàn)［4］使用支持向量機(jī)（SVM）作為手勢(shì)分類器，將手勢(shì)的加速度信號(hào)作為特征；文獻(xiàn)［5］則利用慢特征分析法對(duì)手勢(shì)進(jìn)行分類；文獻(xiàn)［6］研究者利用手勢(shì)與Wi-Fi 信號(hào)產(chǎn)生的特普朗效應(yīng)，通過特定算法識(shí)別出用戶的不同動(dòng)作，從而完成手勢(shì)交互操作。

與國(guó)外相比，國(guó)內(nèi)目前還沒有與Leap motion，Kinect 市場(chǎng)規(guī)模相當(dāng)?shù)慕换ギa(chǎn)品，但交互相關(guān)技術(shù)方面也已具備較強(qiáng)的實(shí)力。在基于傳感類交互技術(shù)研究方面，文獻(xiàn)［7］將手勢(shì)的識(shí)別問題轉(zhuǎn)化為一個(gè)隱形馬爾可夫鏈問題，不同手勢(shì)對(duì)應(yīng)不同狀態(tài)；文獻(xiàn)［8］完成了約70 種不同手勢(shì)的識(shí)別研究，通過增加隨機(jī)噪點(diǎn)來增大輸入量，減少了收集原始數(shù)據(jù)的工作量。基于視覺信息的交互技術(shù)方面，文獻(xiàn)［9］通過將3D 空間映射為2D 空間手勢(shì)，降低了數(shù)量維度，其次，通過對(duì)比發(fā)現(xiàn)，手部的指尖可通過曲率完成定位與檢測(cè)，最后文中利用指尖這一特征進(jìn)行后續(xù)的手勢(shì)識(shí)別，該研究提出的關(guān)于手指指尖定位的方法對(duì)手勢(shì)識(shí)別技術(shù)的研究具有一定啟發(fā)性；文獻(xiàn)［10］利用凸包進(jìn)行手勢(shì)的識(shí)別與分類，該方法已較為成熟，在處理多數(shù)非剛性物體時(shí)具有較好的效果。此外，近年來也出現(xiàn)了基于設(shè)備Leap Motion 或Kinect 等硬件外設(shè)，進(jìn)行手勢(shì)識(shí)別相關(guān)的研究，文獻(xiàn)［11］通過定義關(guān)于4 個(gè)指間的幾何特征，進(jìn)行手指的骨架擬合，完成對(duì)指尖部分識(shí)別與檢測(cè)；文獻(xiàn)［12］利用人眼與指尖的兩點(diǎn)連線，完成不同的交互在動(dòng)作，以此完成用戶的交互作業(yè)；文獻(xiàn)［13］基于智能手機(jī)的內(nèi)置傳感器，分析交互手勢(shì)的信號(hào)特征，從而實(shí)現(xiàn)識(shí)別與交互；文獻(xiàn)［14］通過背景差法，建立自適應(yīng)膚色模型，降低畫面中膚色噪點(diǎn)，提高識(shí)別精度；文獻(xiàn)［15］將手勢(shì)跟蹤與手勢(shì)識(shí)別結(jié)合，并基于Camshift 算法，實(shí)現(xiàn)多目標(biāo)跟蹤與雙手識(shí)別；文獻(xiàn)［16］利用Xtion 深度設(shè)備，獲取手勢(shì)的深度信息從而完成識(shí)別。

2 目前存在的問題與不足

2.1 手勢(shì)定義的二義性與識(shí)別技術(shù)的低適用性

一般情況下，對(duì)于手勢(shì)種類的定義存在多義性，一種手勢(shì)在此類技術(shù)、方法為A 類手勢(shì)，在另一種方法中則可能為B 類手勢(shì)；對(duì)使用者產(chǎn)生的有效交互手勢(shì)有較為嚴(yán)格的規(guī)范、要求。如基于視覺信息類的手勢(shì)識(shí)別技術(shù)存在光線、背景等環(huán)境要求；有的手勢(shì)種類定義過于多，一個(gè)手勢(shì)過多的交互系統(tǒng)對(duì)使用者來說學(xué)習(xí)成本較高，對(duì)于人機(jī)交互系統(tǒng)本身來說降低了交互的適用性。

2.2 基于視覺的手勢(shì)識(shí)別依靠膚色特征較明顯

多數(shù)利用膚色模型進(jìn)行手部位置定位與檢測(cè)的方法，如文獻(xiàn)［3，13，19-21］，雖在最終識(shí)別達(dá)到的預(yù)先設(shè)想，并滿足交互技術(shù)要求，但在最初手勢(shì)檢測(cè)與提取時(shí)都以膚色模型為主，甚至作為發(fā)現(xiàn)畫面中手勢(shì)信息的唯一特征，同時(shí)強(qiáng)調(diào)了其方法的作用環(huán)境與使用者的交互規(guī)范。若當(dāng)使用環(huán)境無法準(zhǔn)確獲取膚色信息（環(huán)境較暗，背景復(fù)雜，使用者為黑色皮膚人種），或使用者交互行為有所偏差，畫面中手部信息提取的精度與最終手勢(shì)識(shí)別準(zhǔn)確度將會(huì)有所偏差。

2.3 未考慮其他學(xué)科已有的研究成果

人機(jī)交互作為一門交叉學(xué)科，包含計(jì)算機(jī)、心理、機(jī)械等理工與人文學(xué)科，若單純?cè)谔嵘O(shè)備硬件、軟件設(shè)計(jì)、識(shí)別算法、交互邏輯沒有考慮到人體工效學(xué)、認(rèn)知心理學(xué)等學(xué)科的知識(shí)，設(shè)計(jì)出的交互技術(shù)對(duì)于使用者不能友好，學(xué)習(xí)成本高，從而會(huì)影響無人機(jī)器戰(zhàn)爭(zhēng)中的作戰(zhàn)效率。

3 改進(jìn)的措施與方法

3.1 利用新技術(shù)新平臺(tái)，進(jìn)行手勢(shì)識(shí)別的技術(shù)研究

對(duì)于基于視覺類的交互技術(shù)，不單只利用單目攝像頭、雙目攝像頭，也可嘗試在可穿戴設(shè)備中裝備深度視覺傳感器，該設(shè)備與普通攝像頭相比，不僅可提供傳統(tǒng)的RGB 顏色信息，還可提供圖像中物體的深度信息，因此，可獲取較多的信息，增加手勢(shì)信息獲取的信道，從而識(shí)別手勢(shì)的種類與精度比以往更多，更高。同時(shí)，基于增加的手勢(shì)信息，可對(duì)目前的交互技術(shù)進(jìn)行業(yè)務(wù)功能拓展，即適用更多的作戰(zhàn)任務(wù)。

3.2 利用多個(gè)特征進(jìn)行手部檢測(cè)與提取，增強(qiáng)方法的適用性

考慮不單只依靠膚色特征，進(jìn)行手部的檢測(cè)與提取，考慮增加手部的其他特征如梯度、輪廓、曲率、表觀特征等。因?yàn)榇嬖谀承┳鲬?zhàn)環(huán)境中，作戰(zhàn)人員手部無法顯示膚色（佩戴戰(zhàn)術(shù)手套、光線昏暗等），因此，在最初設(shè)計(jì)時(shí)可采取模塊化、接口化的模式進(jìn)行交互系統(tǒng)的開發(fā)設(shè)計(jì)，為后期因任務(wù)需求而變換檢測(cè)技術(shù)留下拓展接口（如將攝像頭更換紅外攝像頭）。在環(huán)境允許的情況下，利用普通攝像頭或深度攝像頭；反之，可采用紅外攝像頭。為提高系統(tǒng)魯棒性，可分析利用Hu 矩、手部輪廓的傅里葉算子、整個(gè)手部的HOG 梯度直方圖等信息與膚色模型相結(jié)合的多維度方法，對(duì)手部完成檢測(cè)與提取。如文獻(xiàn)［18］基于圖像邊緣信息與橢圓膚色模型相結(jié)合的方法進(jìn)行手部檢測(cè)與提取。文獻(xiàn)［19］中利用臉部、手部、手臂部三者的位置關(guān)系，完成了手部的檢測(cè)與提取。文獻(xiàn)［20］中利用深度攝像頭，獲取手部的骨骼信息，進(jìn)而完成手部檢測(cè)。文獻(xiàn)［21］甚至利用指尖為半圓這一特征，通過改進(jìn)的徑向?qū)ΨQ算法完成手部定位，進(jìn)而實(shí)現(xiàn)識(shí)別。

3.3 簡(jiǎn)化手勢(shì)種類，設(shè)計(jì)便于系統(tǒng)設(shè)計(jì)的識(shí)別技術(shù)

設(shè)計(jì)便于快速響應(yīng)任務(wù)指令的交互手勢(shì)。在軍事任務(wù)下的交互，不僅強(qiáng)調(diào)交互系統(tǒng)的實(shí)時(shí)性，更需交互手勢(shì)的可識(shí)別性。軍事任務(wù)下的交互手勢(shì)，不能單純只考慮交互的人機(jī)工效與自然性以及認(rèn)知心理學(xué)，更多的需要系統(tǒng)快速對(duì)操作員的指令進(jìn)行精準(zhǔn)識(shí)別，完成相應(yīng)作業(yè)。因此，在最初設(shè)計(jì)時(shí)，設(shè)計(jì)的交互手勢(shì)特征應(yīng)明顯可識(shí)別，在定義層面可盡量避免二義性，并具有較強(qiáng)的可拓展性?？蓞⒖嘉墨I(xiàn)［22］中基于手指?jìng)€(gè)數(shù)與HOG 信息的分層識(shí)別策略，其思路是：第1 步按手指?jìng)€(gè)數(shù)分類，第2 步再將手勢(shì)（已按指數(shù)分類）的HOG 信息放入相應(yīng)的SVM 分類器（按指數(shù)訓(xùn)練若干分類器），最后完成手勢(shì)的識(shí)別與分類。

4 交互系統(tǒng)原型的設(shè)計(jì)與實(shí)現(xiàn)

從交互手勢(shì)設(shè)計(jì)上來看，一般情況下，手勢(shì)種類可分為靜態(tài)與動(dòng)態(tài)兩大類，為提高系統(tǒng)的適用性，定義靜態(tài)類交互行為（交互行為由若干大致相同單元手勢(shì)［7］連續(xù)組成），動(dòng)態(tài)類交互行為（交互行為由若干不同元手勢(shì)組成）。靜態(tài)類交互行為：使用者做出連續(xù)的單一元手勢(shì)，一般可進(jìn)行簡(jiǎn)單的指令、數(shù)據(jù)信息交互，完成相應(yīng)的作業(yè)。動(dòng)態(tài)類交互行為：使用者做出連續(xù)的多種類元手勢(shì)，一般可對(duì)較為復(fù)雜的指令、數(shù)據(jù)信息進(jìn)行交互作業(yè)。

因軍事任務(wù)中環(huán)境與需求作業(yè)的多樣性，系統(tǒng)在最初設(shè)計(jì)時(shí)應(yīng)提供多種交互模式以應(yīng)對(duì)不同場(chǎng)景作業(yè)。使用者根據(jù)當(dāng)前任務(wù)類型選擇合適的交互方式（后期可將該工作自動(dòng)化，由計(jì)算機(jī)完成），若當(dāng)前環(huán)境較為惡劣、光線昏暗，為保障任務(wù)順利完成，可選擇按鍵式的可穿戴設(shè)備。若當(dāng)前環(huán)境較好，使用者可選擇按鍵方式、體感、視覺類的可穿戴設(shè)備進(jìn)行作業(yè)。

如表1 所示，為了應(yīng)對(duì)復(fù)雜多變的戰(zhàn)場(chǎng)情況，提供4 種交互實(shí)施方案（可拓展）。當(dāng)戰(zhàn)場(chǎng)環(huán)境惡劣，如夜間，極寒或極熱，或使用者行動(dòng)空間受限，可選擇按鍵式穿戴式設(shè)備進(jìn)行任務(wù)性質(zhì)較為單一的作業(yè)；若環(huán)境依舊惡劣，任務(wù)性質(zhì)較為復(fù)雜式時(shí)，因任務(wù)作業(yè)所需的交互手勢(shì)在種類與數(shù)量上的增加，需重新進(jìn)行系統(tǒng)的交互手勢(shì)定義與增加獲取其手勢(shì)信息的信道，可選擇具有傳感器（如加速度傳感器，角速度傳感器等）的可穿戴設(shè)備，增加手勢(shì)信息提取的信道，從而增加交互手勢(shì)，完成作戰(zhàn)任務(wù)；若所處戰(zhàn)場(chǎng)環(huán)境較好（如遠(yuǎn)離戰(zhàn)場(chǎng)環(huán)境且光線環(huán)境良好等），可選擇具有觸摸屏穿戴設(shè)備進(jìn)行交互操作（如控制無人機(jī)進(jìn)行錄像等），當(dāng)任務(wù)復(fù)雜時(shí)，因視頻流可承載的信息最為豐富，因此，可選具有內(nèi)置攝像頭的可穿戴設(shè)備進(jìn)行手勢(shì)交互操作，完成相應(yīng)的作戰(zhàn)任務(wù)。

表1 任務(wù)場(chǎng)景Table 1 Task scenarios

如下頁(yè)圖1 所示，系統(tǒng)由5 個(gè)子模塊組成：手勢(shì)信息獲取模塊、信息預(yù)處理模塊、交互手勢(shì)識(shí)別模塊、信息傳輸模塊、指令作業(yè)模塊。交互系統(tǒng)可采取C-S 或B-S 架構(gòu)，在網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)上也可采取多對(duì)一對(duì)一或一對(duì)多模式，具體可根據(jù)任務(wù)需求與系統(tǒng)硬件以及通信帶寬來決定。

圖1 系統(tǒng)模塊圖Fig.1 System module picture

手勢(shì)信息獲取模塊：周期獲取使用者的手勢(shì)數(shù)據(jù)。手勢(shì)數(shù)據(jù)通過兩個(gè)數(shù)據(jù)源獲取數(shù)據(jù)，一個(gè)是體感類數(shù)據(jù)，加速度與角速度傳感器可用來獲取交互手勢(shì)數(shù)據(jù)；視頻類手勢(shì)數(shù)據(jù)通過提取視頻流中幀畫面獲取，考慮到系統(tǒng)的實(shí)時(shí)性，采集數(shù)據(jù)的頻率可為（次／0.1 s）、或更高，具體根據(jù)系統(tǒng)需求與識(shí)別算法速度而定。信息預(yù)處理模塊：主要完成對(duì)交互信息的去噪（視頻流的圖像噪點(diǎn)問題，EMES 傳感器的數(shù)值漂移等問題）。其中，基于視頻類的手勢(shì)信息可通過閾值法、中值濾波、圖像形態(tài)學(xué)（膨脹、腐蝕、開運(yùn)算、分水嶺法）等方法完成信息去噪。需要注意的是，用高斯法處理圖像，雖可平滑去掉多數(shù)噪點(diǎn)，但其加權(quán)平均的思想會(huì)模糊化邊緣信息，進(jìn)而使手部邊緣梯度下降，不利于后續(xù)手部的檢測(cè)與提取。可考慮小波、傅里葉變換等方法，此類方法都可將圖像高頻中噪點(diǎn)信息去除（一般噪點(diǎn)在高頻，通過逆變換便達(dá)到去噪的效果）但當(dāng)檢測(cè)目標(biāo)在高頻也存在信息時(shí)，如何有效區(qū)別噪點(diǎn)與目標(biāo)就成了一個(gè)值得研究的問題。另外，體感類手勢(shì)信息也會(huì)出現(xiàn)數(shù)據(jù)噪點(diǎn)，所以獲得原始數(shù)據(jù)后需進(jìn)行去噪處理，處理方法可采用位置測(cè)定標(biāo)定法，即預(yù)先將設(shè)備靜止放置，得出其被測(cè)物體靜止時(shí)傳感器誤差值并求其平均值，然后將原始數(shù)據(jù)中噪點(diǎn)去除［2］。交互手勢(shì)識(shí)別模塊：該模塊為整個(gè)交互系統(tǒng)的核心模塊。參考文獻(xiàn)［17］可解決基于傳感器類可穿戴設(shè)備的手勢(shì)識(shí)別的姿態(tài)設(shè)計(jì)問題，即通過手勢(shì)行為所產(chǎn)生不同的加速度、角速度特征信息，對(duì)不同手勢(shì)進(jìn)行分類識(shí)別，從而完成作戰(zhàn)任務(wù)。一般情況下，可選擇滑動(dòng)窗口先獲取可穿戴設(shè)備中EMES（加速度、角速度）傳感器的信息，然后通過閾值法判斷當(dāng)前數(shù)據(jù)是否含有潛在交互手勢(shì)信息；而后根據(jù)結(jié)果，對(duì)有效的潛在手勢(shì)信息進(jìn)行數(shù)據(jù)預(yù)處理，反之?dāng)?shù)據(jù)丟棄；最后利用預(yù)先訓(xùn)練好的手勢(shì)分類器進(jìn)行手勢(shì)分類，完成相應(yīng)交互作業(yè)。參考文獻(xiàn)［3，13］完成基于視頻流信息為主的手勢(shì)識(shí)別姿態(tài)設(shè)計(jì)，手勢(shì)分類器可選擇多變量決策樹［3］，支持向量機(jī)等。信息傳輸模塊：負(fù)責(zé)整個(gè)系統(tǒng)的信息傳輸功能，可采用有線、無線等通訊介質(zhì)。指令作業(yè)模塊：一般由兩部分構(gòu)成，無人機(jī)器與系統(tǒng)服務(wù)器構(gòu)成。系統(tǒng)服務(wù)器將交互指令通過信息傳輸模塊發(fā)送至無人機(jī)器，無人機(jī)器根據(jù)預(yù)先編寫的程序代碼完成相應(yīng)作業(yè)，在此處可將作業(yè)情況對(duì)系統(tǒng)服務(wù)器進(jìn)行返信，以便使用者及時(shí)了解實(shí)際作業(yè)情況，開展下步作業(yè)。

本文提供一種基于識(shí)別手勢(shì)的表觀特征- 手指信息的交互技術(shù)。如圖2 所示，完成識(shí)別姿態(tài)調(diào)整與部署，其圖2（d）中，O*表示智能終端Y 攝像頭O 捕獲的幀畫面（模擬），本文利用指間出現(xiàn)的非膚色區(qū)域信號(hào)（即手指間隙）特征，完成對(duì)畫面中手勢(shì)的手指數(shù)的識(shí)別。完成姿態(tài)調(diào)整后對(duì)幀畫面去噪。首先，將幀畫面分為若干子畫面，對(duì)子畫面利用如式（1）判斷是否為噪點(diǎn)。

圖2 識(shí)別姿態(tài)圖Fig.2 Posture recognition picture

式中，pm 為子畫面中膚色像素?cái)?shù)；x*x 為子畫面像素總數(shù)。之后，對(duì)幀畫面進(jìn)行手指?jìng)€(gè)數(shù)的識(shí)別。如下頁(yè)圖3 所示，利用滑動(dòng)窗口技術(shù)從幀畫面的上至下、左至右方向進(jìn)行檢測(cè)，同時(shí)考慮算法時(shí)效性，窗口在上下移動(dòng)的距離會(huì)根據(jù)當(dāng)前獲取手指信息（手指平均寬度）動(dòng)態(tài)變化。如圖4 所示，通過設(shè)置合適閾值YN、窗口大?。ù藭r(shí)YN=5、窗口：寬=img_width，高=1），完成對(duì)手指的檢測(cè)，標(biāo)號(hào)0 線為初次檢測(cè)到手部位置窗口（不含手指寬度信息）、標(biāo)號(hào)1 線為初次檢測(cè)到手指信息（含指寬信息）、標(biāo)號(hào)2 線為二次檢測(cè)到手指信息窗口（注意此時(shí)窗口移動(dòng)的距離變化），標(biāo)號(hào)3、4、5 以此類推。注意到對(duì)大于閾值fathreshold的子畫面未去噪。

圖3 手勢(shì)識(shí)別流程圖Fig.3 Flow chart of gesture recognition

圖4 實(shí)際效果圖（未去噪）Fig.4 Actual effects picture（not denoised）

一般噪點(diǎn)具有隨機(jī)，難預(yù)測(cè)特點(diǎn)，有效信息像素點(diǎn)（如膚色像素點(diǎn)，非膚色點(diǎn)）一般不會(huì)單獨(dú)出現(xiàn)，即有效信息像素點(diǎn)周圍存在若干屬性相似的像素點(diǎn)。因此，利用此特性進(jìn)行此類子畫面的去噪。如式（2）所示，對(duì)當(dāng)前像素點(diǎn)xji進(jìn)行分析與判斷：它為膚色點(diǎn)則滿足式（2）［1］；若它為非膚色點(diǎn)，則滿足式（2）［2］；若當(dāng)前像素xji為噪點(diǎn)，則滿足式（2）［3］。

最后，進(jìn)行仿真實(shí)驗(yàn)。詳細(xì)實(shí)驗(yàn)參數(shù)如下，皮膚顏色特征：YCbCr 顏色空間，膚色橢圓邊界模型，YN=5，fathreshold=0.25，imgy*imgx=640*480，imgx*1=480*1，n=3，每組手勢(shì)實(shí)驗(yàn)20 幀，識(shí)別效果為20 幀中準(zhǔn)確檢測(cè)次數(shù)所占百分比，如圖5（a）與圖5（b）是手指為1 的靜態(tài)手勢(shì)，圖5（c）是手指為3 的靜態(tài)手勢(shì)，圖5（d）是手指為4 的靜態(tài)手勢(shì)（因大拇指活動(dòng)范圍較廣、本文未對(duì)大拇指進(jìn)行檢測(cè)與識(shí)別）。

圖5 靜態(tài)手勢(shì)測(cè)試圖Fig.5 Static gesture test results

5 結(jié)論

本文對(duì)軍事任務(wù)中手勢(shì)交互系統(tǒng)研究的背景與意義進(jìn)行了簡(jiǎn)要介紹；將近年手勢(shì)交互技術(shù)進(jìn)行了簡(jiǎn)要介紹，并總結(jié)出3 個(gè)方面的不足與問題，同時(shí)給出了相應(yīng)的改進(jìn)措施與方法；提出一種基于手勢(shì)表觀特征-手指信息的檢測(cè)技術(shù)，給出軍事任務(wù)中手勢(shì)交互系統(tǒng)原型。