無(wú)標(biāo)記手勢(shì)識(shí)別中基于混合特征的手部分割研究

張生軍，吳仕勛，王宏剛，許登元，黃大榮

(重慶交通大學(xué) 信息科學(xué)與工程學(xué)院，重慶 400074)

無(wú)標(biāo)記手勢(shì)識(shí)別中基于混合特征的手部分割研究

張生軍，吳仕勛，王宏剛，許登元，黃大榮

(重慶交通大學(xué) 信息科學(xué)與工程學(xué)院，重慶 400074)

結(jié)合多種算法對(duì)無(wú)標(biāo)記手勢(shì)動(dòng)作的識(shí)別進(jìn)行了研究。根據(jù)人體膚色分布特性，采用了高斯膚色模型對(duì)膚色進(jìn)行了建模；針對(duì)外界光照問(wèn)題，采用HSV顏色空間來(lái)表示不同的膚色；針對(duì)手部運(yùn)動(dòng)過(guò)程中會(huì)出現(xiàn)背景信息融入手部的情況，使用背景去除的Haar-like特征手部描述算法，同時(shí)研究了AdaBoost分類(lèi)器進(jìn)行特征分類(lèi)。實(shí)驗(yàn)結(jié)果表明:在無(wú)標(biāo)記手部分割中，采用多特征融合的方法較可以得到更好的分割效果。

通信工程；機(jī)器視覺(jué)；手勢(shì)識(shí)別；手部標(biāo)記；混合特征

0 引 言

手勢(shì)識(shí)別可以被用于計(jì)算機(jī)游戲、虛擬現(xiàn)實(shí)、人機(jī)交互、醫(yī)療保健以及工業(yè)控制等領(lǐng)域。由于手勢(shì)識(shí)別廣闊的應(yīng)用前景和應(yīng)用領(lǐng)域，近年來(lái)手勢(shì)識(shí)別技術(shù)越來(lái)越多地受到國(guó)內(nèi)外相關(guān)研究機(jī)構(gòu)和學(xué)者的關(guān)注。手勢(shì)識(shí)別系統(tǒng)通常包括手勢(shì)信息獲取，手部檢測(cè)、手部跟蹤，手勢(shì)識(shí)別等幾個(gè)關(guān)鍵步驟。

根據(jù)手勢(shì)獲取方式，手部信息提取方式分為視頻直接提取手部運(yùn)動(dòng)信息和傳感器輔助提取手部運(yùn)動(dòng)信息兩種主要方式。黃啟友等[1]采用三軸加速度傳感器作為手腕部分?jǐn)?shù)據(jù)采集傳感器，通過(guò)數(shù)據(jù)窗口的自動(dòng)檢測(cè)、信號(hào)去噪聲和重采樣等預(yù)處理；并采用陀螺儀傳感器采集三維手勢(shì)角度特征，將該方法用于3D空間的鼠標(biāo)輸入和鍵盤(pán)輸入。王萬(wàn)良等[2]基于使手勢(shì)交互較少受到視角和光線(xiàn)的限制的考慮，通過(guò)采用具有加速度儀和地磁儀的數(shù)據(jù)手套進(jìn)行手勢(shì)數(shù)據(jù)采集。劉劍鋒等[3]采用加速度傳感器進(jìn)行手勢(shì)數(shù)據(jù)采集，并且在虛擬奧運(yùn)博物館用戶(hù)輸入手勢(shì)實(shí)例中進(jìn)行了測(cè)試。曾芬芳等[4]在人手結(jié)構(gòu)和手關(guān)節(jié)運(yùn)動(dòng)的分析基礎(chǔ)上，通過(guò)使用數(shù)據(jù)手套采集各指節(jié)的曲伸角，然后采用模糊神經(jīng)網(wǎng)絡(luò)進(jìn)行手勢(shì)識(shí)別。C．PUN等[5]介紹了一種基于視頻信息的手勢(shì)識(shí)別系統(tǒng)，該系統(tǒng)在手勢(shì)識(shí)別中采用了直方圖模型；通過(guò)對(duì)選擇的10個(gè)手勢(shì)的測(cè)試，該系統(tǒng)可以達(dá)到較好的手勢(shì)識(shí)別率。胡馨月等[6]采用運(yùn)動(dòng)傳感器進(jìn)行手部跟蹤，并將該方法應(yīng)用于兒童水墨畫(huà)的運(yùn)筆方式和步驟學(xué)習(xí)中。顧偉宏等[7]設(shè)計(jì)了一種基于機(jī)電系統(tǒng)MEMS加速度傳感器的新型數(shù)據(jù)手套，通過(guò)數(shù)據(jù)手套采集手勢(shì)動(dòng)作的空間三維信息和手指的運(yùn)動(dòng)信息，采用基于模糊理論的識(shí)別算法，并且在漢語(yǔ)手指語(yǔ)拼音字母識(shí)別系統(tǒng)中加以應(yīng)用。丁躍等[8]采用手機(jī)內(nèi)置三軸加速度傳感器獲取相應(yīng)手勢(shì)數(shù)據(jù)，采用動(dòng)態(tài)時(shí)間彎曲等算法實(shí)現(xiàn)了通過(guò)手機(jī)示意的自然手勢(shì)識(shí)別，并且將其應(yīng)用到媒體播放控制中。C．OZ等[9]采用數(shù)據(jù)手套的方式進(jìn)行手勢(shì)三維運(yùn)動(dòng)信息采集，然后通過(guò)使用人工神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)了對(duì)美國(guó)手語(yǔ)的識(shí)別，該實(shí)驗(yàn)表明：這種方法可以實(shí)現(xiàn)手語(yǔ)單詞的識(shí)別。其它諸如小波法[10]和自適應(yīng)中值濾波法[11]在圖像處理中也有研究。

雖然采用數(shù)據(jù)手套手勢(shì)識(shí)別系統(tǒng)可以避免基于視頻手勢(shì)識(shí)別系統(tǒng)分析獲取手勢(shì)所帶來(lái)的諸如手部跟蹤容易丟失，雙手遮擋容易造成的雙手分割困難，環(huán)境噪聲造成手部檢測(cè)困難以及視角差異造成的手勢(shì)差異等問(wèn)題；但是，相對(duì)于基于視頻的手勢(shì)識(shí)別系統(tǒng)來(lái)說(shuō)，基于數(shù)據(jù)手套的系統(tǒng)在一定程度上增加了系統(tǒng)成本，同時(shí)降低了用戶(hù)的使用便捷性。相對(duì)于數(shù)據(jù)手套的復(fù)雜性，相關(guān)研究人員采用了折中的辦法，如采用指尖染色和手指染色的顏色手套模型的方式實(shí)現(xiàn)了靜態(tài)和動(dòng)態(tài)手勢(shì)識(shí)別[12-13]。

進(jìn)行無(wú)標(biāo)記手勢(shì)識(shí)別的第一步就是進(jìn)行手部標(biāo)注。根據(jù)手部所具有的特點(diǎn)，筆者采用多特征融合的方法對(duì)手部進(jìn)行檢測(cè)；根據(jù)人體膚色分布特性，為提高膚色判定準(zhǔn)確性，筆者采用了高斯膚色模型對(duì)膚色進(jìn)行了建模；針對(duì)外界光照造成的膚色容易發(fā)生變化的問(wèn)題，筆者采用HSV顏色空間來(lái)表示不同的膚色。由于手勢(shì)具有非剛體運(yùn)動(dòng)特性，在手部運(yùn)動(dòng)過(guò)程中會(huì)出現(xiàn)背景信息融入手部的情況，針對(duì)該問(wèn)題筆者在使用Haar-like特征進(jìn)行手部描述時(shí)采用了手部背景去除算法。為提高Haar-like特征分類(lèi)的準(zhǔn)確性和快速性，筆者采用快速AdaBoost分類(lèi)器。

筆者主要工作是采用手部顏色特征、Haar-like和AdaBoost相結(jié)合的方法進(jìn)行圖像中手部分割。它結(jié)合了顏色特征對(duì)手勢(shì)描述的優(yōu)勢(shì)，同時(shí)也具備了借助手部特征進(jìn)行手部分割的優(yōu)勢(shì)。通過(guò)對(duì)現(xiàn)有的單一特征手部分割結(jié)果相比，筆者所采用的方法具有更好的分割效果。

1 手部顏色特征

根據(jù)族群不同，人類(lèi)膚色的變化范圍可從深色到近乎白色。膚色的色調(diào)決定于黑色素在皮膚中的含量。通常祖先源自光照豐富地區(qū)的人擁有較黑的皮膚；反之則較淺。

von Luschan的膚色標(biāo)尺(圖1)主要用來(lái)對(duì)膚色進(jìn)行分類(lèi)。該圖包含36種顏色，主要作為膚色參考標(biāo)準(zhǔn)，該顏色圖中的膚色適合于未暴露于太陽(yáng)下的膚色部分(如胳膊下方的部分皮膚顏色)。

圖1 von Luschan 膚色標(biāo)尺Fig.1 von Luschan skin color scalle

一個(gè)人的膚色除了與自身的因素有關(guān)外，也與皮膚暴露于太陽(yáng)的程度有關(guān)(表1)。與其它人種相比歐洲人種通常來(lái)講有較淺的皮膚、頭發(fā)和眼睛顏色。而通常來(lái)講非洲人種則有比其它種族更深的皮膚、頭發(fā)和眼睛顏色。Fitzpatrick按照皮膚在太陽(yáng)下暴曬的時(shí)間，將膚色依據(jù)深淺排序分為6類(lèi)[14]。

表1 皮膚顏色深度信息與實(shí)際情況對(duì)比

根據(jù)人體膚色分布特性，為提高膚色判定準(zhǔn)確性，采用了高斯膚色模型對(duì)膚色進(jìn)行了建模。針對(duì)外界光照造成的膚色容易發(fā)生變化的問(wèn)題，在建模時(shí)采用HSV顏色空間來(lái)表示不同的膚色。從人類(lèi)視覺(jué)角度看，在顏色表述方面HSV顏色空間較RGB空間表述更準(zhǔn)確。例如，如果若想分割紅色R，那么在HSV中所有V值從最暗到最亮，所有S值從最不飽和到最飽和都有相同的色調(diào)值H，但是在RGB空間，如果使用紅色R大于某值的方式進(jìn)行分割，將只能得到桔紅色值，而無(wú)法得到較暗的紅色值。

HSV的3個(gè)顏色分量分別如下：色調(diào)(H)，用于表示實(shí)際顏色；飽和度(S)，用于表示顏色的純度，如某種顏色鮮艷或暗淡；色值(V)，用來(lái)表示亮度顏色值，如亮或暗。HSV與RGB換算如式(1)：

(1)

(2)

2 Haar-like特征

Haar-like是受Haar小波啟發(fā)主要用于目標(biāo)檢測(cè)的一種特征描述方法。Haar-like特征具有簡(jiǎn)單、高效和準(zhǔn)確等特點(diǎn)，通常被定義為一個(gè)矩形區(qū)域。

根據(jù)不同的特征描述需要，Haar-like特征的形狀可以定義為各種有利于問(wèn)題描述的形式。當(dāng)被描述對(duì)象多為水平或垂直的特征時(shí)可以選擇以水平或垂直分割為主的Haar-like特征形狀，而當(dāng)被描述對(duì)象包含更復(fù)雜特征時(shí)可以增加傾斜的Haar-like特征，這樣可以盡可能地減少在特征描述時(shí)傾斜紋理信息的丟失。盡管Haar-like特征的形狀可以任意定義，但是隨著形狀數(shù)目的增加，在進(jìn)行目標(biāo)描述時(shí)將產(chǎn)生數(shù)目巨大的特征描述子，這將增加系統(tǒng)的時(shí)間和空間復(fù)雜度。根據(jù)所描述特征的不同，常用的Haar-like特征如圖2[15]。

圖2 常用的Haar-like特征Fig.2 Haar-like features demonstration

其中，圖2(a)主要用于描述邊緣特征；圖2(b)主要用于中心包圍特征；圖2(c)主要用于描述線(xiàn)性特征；圖2(d)主要用于其它特征。

在進(jìn)行Haar-like特征計(jì)算時(shí)，選取特定形狀的區(qū)域作為特征計(jì)算的窗口。特征統(tǒng)計(jì)區(qū)域形狀、數(shù)量和類(lèi)型的選擇依賴(lài)于被檢測(cè)目標(biāo)的特征屬性，常采用矩形區(qū)域窗口。矩形窗口區(qū)域按照一定的規(guī)則分為正區(qū)域和反區(qū)域，窗口分割的數(shù)量和方法可以根據(jù)應(yīng)用范圍自行制定。

3 AdaBoost分類(lèi)器

在樣本Haar-like特征提取完成之后，要對(duì)樣本進(jìn)行分類(lèi)。樣本分類(lèi)算法很多，在基于Haar-like特征的目標(biāo)分類(lèi)中常采用級(jí)聯(lián)分類(lèi)器。在級(jí)聯(lián)分類(lèi)器中每級(jí)以近似的識(shí)別率進(jìn)行識(shí)別，通過(guò)多級(jí)分類(lèi)器并聯(lián)實(shí)現(xiàn)目標(biāo)的最終分類(lèi)。在級(jí)聯(lián)分類(lèi)器中每級(jí)都包括與特征個(gè)數(shù)相同的子分類(lèi)器，也稱(chēng)作弱分類(lèi)器。弱分類(lèi)器的構(gòu)造方法多種多樣，由于樣本數(shù)量巨大，對(duì)于兩類(lèi)分割問(wèn)題通常采用較簡(jiǎn)單的二叉樹(shù)進(jìn)行判別分類(lèi)。

Boosting分類(lèi)方法是一種把若干個(gè)分類(lèi)器整合為一個(gè)分類(lèi)器的級(jí)聯(lián)分類(lèi)方法。在Boosting分類(lèi)方法基礎(chǔ)上，研究人員提出了AdaBoost算法，該算法的優(yōu)點(diǎn)為[16]：有很高精度的分類(lèi)器；算法只提供了框架，子分類(lèi)器可以根據(jù)需求進(jìn)行選擇或定制；弱分類(lèi)器物理原理明確，結(jié)構(gòu)可以比較簡(jiǎn)單；該算法不存在過(guò)訓(xùn)練的問(wèn)題。

AdaBoost算法基本流程如下[16]：

1) 給定圖像樣本序列(x1,y1),…, (xn,yn)；其中：yi∈{0,1}分別表示負(fù)樣本和正樣本。

2) 初始化權(quán)重ω1,i=m/2，l/2；表示yi=0,1；其中：m,l分別表示正負(fù)樣本的數(shù)量。

3) For t=1，2,…，T

權(quán)重歸一化：

(3)

對(duì)每一個(gè)特征j訓(xùn)練一個(gè)分類(lèi)器(弱分類(lèi)器)hj；加權(quán)處理后的分類(lèi)錯(cuò)誤表示為：

(4)

在所有分類(lèi)器hj中，選擇ej最小的分類(lèi)器作為ht；

End For

最終，通過(guò)上述弱分類(lèi)器組成的強(qiáng)分類(lèi)器如式(5)：

(5)

Boosting算法中弱分類(lèi)器構(gòu)造通常有多種形式，式(6)所示是一種比較簡(jiǎn)單的弱分類(lèi)器函數(shù)：

(6)

該弱分類(lèi)器hj(x)包含一個(gè)特征函數(shù)(fj)，一個(gè)門(mén)限值(θj)和一個(gè)方向指示值(pj)，其中：x是固定大小的一個(gè)窗口范圍。

在Boosting分類(lèi)算法中，弱分類(lèi)器的判別結(jié)果作為分類(lèi)依據(jù)，對(duì)輸入特征進(jìn)行類(lèi)型判別，從而實(shí)現(xiàn)特征分類(lèi)。因此，筆者將以式(1)中的特征函數(shù)(fj)、門(mén)限值(θj)和方向指示值(pj)為著手點(diǎn)，通過(guò)應(yīng)用Haar-like特性和膚色特性，實(shí)現(xiàn)手部分割。

4 融合膚色信息的Haar特征

Haar-like特征進(jìn)行手部檢測(cè)時(shí)，首先對(duì)手勢(shì)圖像進(jìn)行積分圖計(jì)算，然后在與訓(xùn)練時(shí)同樣大小的窗口內(nèi)計(jì)算Haar-like特征，并用不同的縮放比例讓該窗口遍歷圖片。在每個(gè)窗口內(nèi)計(jì)算完Haar-like特征后，使用Boost級(jí)聯(lián)分類(lèi)器進(jìn)行特征分類(lèi)，最終獲得該窗口內(nèi)容的級(jí)聯(lián)分類(lèi)結(jié)果。

Haar-like特征是基于灰度圖像進(jìn)行特征計(jì)算的。針對(duì)手部進(jìn)行檢測(cè)時(shí)，如果可以充用手部膚色這一特征，對(duì)提高檢測(cè)準(zhǔn)確性有很大幫助。通過(guò)前面對(duì)Haar-like特征的分析可知，只需在弱分類(lèi)器中采用顏色特征就可以實(shí)現(xiàn)這一目標(biāo)。筆者對(duì)弱分類(lèi)器增加了顏色信息，如式(7)。

(7)

式(7)中由于存在特征向量判別，因此存在向量信息如何進(jìn)行融合的問(wèn)題。在單特征弱分類(lèi)器中每一個(gè)閾值對(duì)應(yīng)一個(gè)特征向量，而在本文提出的多特征情況下，特征向量閾值Ψj包含多個(gè)閾值分量。筆者在使用弱分類(lèi)器進(jìn)行某個(gè)像素點(diǎn)類(lèi)型判別時(shí)，當(dāng)這些特征中的2/3滿(mǎn)足弱分類(lèi)器的真條件時(shí)，就認(rèn)為該點(diǎn)特征為真。

增加顏色信息的弱分類(lèi)器構(gòu)造步驟：

1) 將樣本顏色從RGB顏色空間轉(zhuǎn)換為HSV顏色空間。

2) 計(jì)算樣本均值：m=E{X},其中

X=(H,S)T

(8)

3) 計(jì)算協(xié)方差矩陣：

C=E{(X-m)(X-m)T}

(9)

4) 使用均值和矩陣值構(gòu)造膚色高斯模型

P(x)=exp[-0.5(X-m)TC-1(X-m)]

(10)

式中：m表示均值；C表示協(xié)方差矩陣。

在樣本分類(lèi)時(shí)，將樣本表示為：(P(xi),si), 其中：i∈{1,2,…,n}表示第i個(gè)樣本圖像，當(dāng)Si=1表示正樣本。

5) Haar-like特征

(11)

式中：ωi為矩形的權(quán)重值；R(r) 為第i個(gè)矩形的面積積分，表示矩形個(gè)數(shù)。

6) 單個(gè)弱分類(lèi)器訓(xùn)練

設(shè)置εmin=∞，表示弱分類(lèi)器的誤差值Fort=1 todkdo；

其中：

End If

其中，dk表示由k個(gè)矩形區(qū)域構(gòu)成的特征的可選權(quán)重值，yi∈{-1,1},i∈{1,2,…,n}表示樣本的類(lèi)別。

通過(guò)上述若分類(lèi)器的構(gòu)造，再將膚色信息增加到Haar-like分類(lèi)器中，顏色信息的增加有助于圖像中特定顏色信息的判別，進(jìn)而提高手部的分割準(zhǔn)確性。

5 實(shí)驗(yàn)與分析

針對(duì)筆者所介紹的手部分割算法，采用了自制手部分割樣本數(shù)據(jù)庫(kù)的方式進(jìn)行了測(cè)試。在實(shí)驗(yàn)樣本庫(kù)制作時(shí)，以現(xiàn)有自制動(dòng)態(tài)手勢(shì)庫(kù)為基礎(chǔ)，該手勢(shì)庫(kù)由6位手勢(shì)演示者錄制，對(duì)每個(gè)手勢(shì)演示者選擇10個(gè)手勢(shì)，每個(gè)動(dòng)作選擇10幀手勢(shì)圖片，總共生成600幀手勢(shì)圖像。同時(shí)，選擇100幀不包括手部的圖像作為Haar-like特性訓(xùn)練的室內(nèi)背景圖像。在實(shí)驗(yàn)時(shí)，采用k-fold交叉測(cè)試方法，將所有實(shí)驗(yàn)圖像分為3份，每次選擇2份作為訓(xùn)練樣本，剩余一份作為測(cè)試樣本，最后通過(guò)平均得到實(shí)驗(yàn)結(jié)果。

采用融合膚色特征的Haar-like特征進(jìn)行手部檢測(cè)前，要對(duì)分類(lèi)器進(jìn)行訓(xùn)練。

筆者在訓(xùn)練樣本準(zhǔn)備時(shí)主要考慮兩個(gè)方面的問(wèn)題。首先正樣本應(yīng)該盡可能包含所有的手勢(shì)變化情況，雖然文中所提模型針對(duì)手部檢測(cè)的特殊情況增加了顏色特征，但是Haar-like特征主要用于描述紋理特征，如果在訓(xùn)練階段手部變化情況過(guò)于單一，則會(huì)出現(xiàn)識(shí)別不準(zhǔn)確或者錯(cuò)誤的情況。其次，作為背景的負(fù)樣本選擇應(yīng)該選擇盡可能變化多的場(chǎng)景。針對(duì)文中情況，筆者主要選擇室內(nèi)場(chǎng)景，同時(shí)由于手勢(shì)識(shí)別時(shí)往往人體本身占了很大的一部分，因此不同著裝和畫(huà)面中出現(xiàn)臉部的情況也應(yīng)該進(jìn)行考慮。訓(xùn)練樣本部分采集內(nèi)容如圖3。

圖3 手部檢測(cè)訓(xùn)練樣本示例Fig.3 The positive training sample demonstration

由Boost分類(lèi)原理可知，要對(duì)AdaBoost分類(lèi)器進(jìn)行訓(xùn)練，首先要生成包括手部特征的訓(xùn)練樣本[16]。在生成訓(xùn)練樣本時(shí)主要有以下幾個(gè)關(guān)鍵點(diǎn)：首先，為增加分類(lèi)器對(duì)不同背景下手部的檢測(cè)率，將正樣本中的手部區(qū)域提取出來(lái)并分別放到不同背景中生成不同背景下的訓(xùn)練樣本；其次，為增加分類(lèi)器對(duì)手部旋轉(zhuǎn)的魯棒性，在上一步中手部區(qū)域?qū)⒁圆煌慕嵌确湃氡尘皡^(qū)域中，隨旋轉(zhuǎn)的角度和分度不同得到的訓(xùn)練樣本數(shù)目不同，理論上來(lái)講分度越精細(xì)訓(xùn)練樣本包括的情況越全面，用這些樣本訓(xùn)練的分類(lèi)器分類(lèi)效果越好，但是分類(lèi)器的訓(xùn)練所花費(fèi)的時(shí)間也就越多；最后，為增加分類(lèi)器對(duì)縮放的魯棒性，手部區(qū)域?qū)⒁圆煌目s放比例放入背景中，縮放比例以實(shí)際手部在視頻中的大小作為參考。圖4為使用的部分背景場(chǎng)景。

圖4 用于構(gòu)建Haar-like特征的背景圖片示例Fig.4 The photo with background based on Haar-like property

通過(guò)使用上述訓(xùn)練樣本訓(xùn)練了采用Haar-like特征的手部自動(dòng)檢測(cè)AdaBoost分類(lèi)器，該分類(lèi)器通過(guò)使用融合顏色特征的Haar-like特征可以實(shí)現(xiàn)對(duì)圖像中手部自動(dòng)檢測(cè)。為測(cè)試該分類(lèi)器，采用手勢(shì)中常見(jiàn)的從畫(huà)面中沒(méi)有手到手部進(jìn)入畫(huà)面的方式進(jìn)行手部檢測(cè)測(cè)試。為測(cè)試分類(lèi)器對(duì)手型變化的魯棒性，實(shí)驗(yàn)中也對(duì)不同手勢(shì)進(jìn)入畫(huà)面的情況進(jìn)行測(cè)試。為測(cè)試分類(lèi)器對(duì)復(fù)雜環(huán)境的魯棒性，實(shí)驗(yàn)中以不同的背景做相應(yīng)的手部檢測(cè)測(cè)試。圖5顯示了在測(cè)試過(guò)程中部分檢測(cè)結(jié)果。

圖5 手部檢測(cè)示例Fig.5 The experiment result demonstation

采用多特征融合AdaBoost的實(shí)現(xiàn)過(guò)程比較簡(jiǎn)單，下面采用測(cè)試和訓(xùn)練樣本對(duì)其過(guò)程進(jìn)行簡(jiǎn)單說(shuō)明。

首先采用訓(xùn)練樣本對(duì)上述分類(lèi)器進(jìn)行測(cè)試，為便于比較，在不同的迭代階段分別對(duì)測(cè)試樣本進(jìn)行分類(lèi)測(cè)試。圖6為4個(gè)迭代過(guò)程中對(duì)訓(xùn)練樣本的識(shí)別情況。在第1次迭代時(shí)，樣本點(diǎn)c,d和e分類(lèi)錯(cuò)誤，在第2次開(kāi)始的迭代中被正確分類(lèi)，而在第1次迭代分類(lèi)正確的樣本點(diǎn)a和b，在第2次開(kāi)始的迭代中卻被錯(cuò)誤分類(lèi)。

圖6 4次迭代分類(lèi)器對(duì)訓(xùn)練樣本分類(lèi)情況Fig.6 The 4 iterations classifier results on training sample

圖7顯示了采用前面訓(xùn)練得到的分類(lèi)模型對(duì)測(cè)試樣本進(jìn)行分類(lèi)的情況。在第1次迭代中被錯(cuò)誤分類(lèi)的樣本點(diǎn)c,d和e在后續(xù)迭代中被正確分類(lèi)，而被正確分類(lèi)的樣本點(diǎn)a和b在后續(xù)分類(lèi)中被正確分類(lèi)。由圖7可以看到，通過(guò)每一個(gè)迭代過(guò)程，上一步未分類(lèi)正確的樣本被逐步分類(lèi)正確，這也體現(xiàn)由弱分類(lèi)迭代形成強(qiáng)分類(lèi)器的過(guò)程。

圖7 采用測(cè)試樣本對(duì)分類(lèi)器進(jìn)行測(cè)試的情況Fig.7 The classifier result for testing samples

圖8顯示了在迭代不同階段，分類(lèi)器對(duì)訓(xùn)練樣本和測(cè)試樣本的分類(lèi)錯(cuò)誤率。由訓(xùn)練樣本分類(lèi)錯(cuò)誤率可以看到，隨著迭代次數(shù)的增加分類(lèi)錯(cuò)誤率最終達(dá)到0，而在測(cè)試樣本分類(lèi)錯(cuò)誤率可以看到，隨著迭代次數(shù)的增加分類(lèi)錯(cuò)誤率在不斷降低。比較這兩個(gè)結(jié)果，可以看到使用測(cè)試樣本的分類(lèi)錯(cuò)誤率要高于使用訓(xùn)練樣本的分類(lèi)錯(cuò)誤率，這也符合模型是由訓(xùn)練樣本訓(xùn)練得到的機(jī)理。

圖8 不同迭代階段，對(duì)樣本的分類(lèi)情況Fig.8 The classifier result in different iteration stage

上述過(guò)程可看出，多特征融合手部分割分類(lèi)器雖然簡(jiǎn)單，但是分類(lèi)器也能獲得很好的分類(lèi)效果。

實(shí)驗(yàn)中采用以下評(píng)價(jià)指標(biāo)對(duì)不同的算法在手部檢測(cè)的效果進(jìn)行評(píng)估：檢測(cè)率 (the true positive rate，即圖像中手部真陽(yáng)性率)tp，虛警率(false positive rate，即無(wú)手部圖像識(shí)別為手部圖像的假陽(yáng)性率)fp，其定義如式(12)、式(13)：

(12)

(13)

式中：Ntp表示測(cè)試樣本中分類(lèi)器正確檢測(cè)到的手部圖像數(shù)量；Nfn表示將非手部圖像誤識(shí)別為首部圖像的數(shù)量；Ntn表示正確識(shí)別的非手部圖像數(shù)量；Nfp表示將手部圖像誤識(shí)別為非手部圖像的數(shù)量。共組織了以下3組實(shí)驗(yàn)。

采用測(cè)試樣本對(duì)使用膚色與未使用膚色特征的Haar-like特征的AdaBoost分類(lèi)器進(jìn)行測(cè)試，同時(shí)將文中所提方法與基于PCA和SVM-PSO的實(shí)時(shí)人臉檢測(cè)方法[16]，基于multiple proposals的手部檢測(cè)方法[17]，以及基于直方圖的手部分割方法[5]進(jìn)行了對(duì)比(表2)；除此之外，筆者也分別對(duì)Haar+ AdaBoost分類(lèi)器、Haar-like分類(lèi)器和膚色判別幾種方法單獨(dú)用于手部檢測(cè)時(shí)的情況做了測(cè)試。

表2 手部檢測(cè)率和虛警率

由表2可看出，雖然文中方法手部檢測(cè)率較高，但還有7%的虛警率。為降低在手勢(shì)識(shí)別中的誤報(bào)情況，本系統(tǒng)對(duì)進(jìn)入畫(huà)面的手勢(shì)做了手型的限定，通過(guò)增加手型限定只有當(dāng)手部進(jìn)入畫(huà)面并且滿(mǎn)足預(yù)先定義的手型時(shí)才被認(rèn)為是進(jìn)入畫(huà)面的手部。

由于手部序列圖像屬于非剛體物體，其形狀變化比較大，因此主成分分析方法和Haar-like并不能很好的描述其形狀特征。實(shí)驗(yàn)也對(duì)只采用膚色的手部檢測(cè)情況作了比較，由實(shí)驗(yàn)結(jié)果可知其檢測(cè)率較高，但是只要畫(huà)面背景中有與膚色相近的區(qū)域都被檢測(cè)為手，當(dāng)攝像頭位于手勢(shì)者前方時(shí)，由于畫(huà)面中臉部對(duì)基于膚色的手部檢測(cè)法存在干擾，造成該方法無(wú)法使用。

6 結(jié) 語(yǔ)

筆者主要介紹了使用多特征融合的手部自動(dòng)分割方法。通過(guò)融合膚色、Haar-like特征，采用adaBoost分類(lèi)器對(duì)圖像中的手部做自動(dòng)分割，不僅具備膚色分割法所具有的高效性，同時(shí)通過(guò)使用Haar-like特征，文中方法可以避免其它身體部分由于與膚色相近而對(duì)手部分割所帶來(lái)的影響。

從試驗(yàn)結(jié)果可看出，筆者所提方法較單獨(dú)使用膚色或者Haar-like具有更好的分割效果。下一步將直接將文中所用方法用于前期基于模糊條件隨機(jī)場(chǎng)的手勢(shì)識(shí)別系統(tǒng)，并進(jìn)一步對(duì)該方法進(jìn)行改進(jìn)。

[1] 黃啟友,戴永,胡明清,等.基于陀螺傳感器的三維手勢(shì)識(shí)別方案[J].計(jì)算機(jī)工程,2011,37(22):153-155. HUANG Qiyou, DAI Yong, HU Mingqing, et al. 3D gesture recognition scheme based on gyro sensor[J].ComputerEngineering,2011,37(22):153-155.

[2] 王萬(wàn)良,楊經(jīng)緯,蔣一波.基于運(yùn)動(dòng)傳感器的手勢(shì)識(shí)別[J].傳感技術(shù)學(xué)報(bào),2011,24(12):1723-1727. WANG Wanliang, YANG Jingwei, JIANG Yibo. Motion sensor based gesture recognition[J].ChineseJournalofSensorsandActuators,2011,24(12):1723-1727.

[3] 劉劍鋒,張大興.一種基于加速計(jì)的手勢(shì)識(shí)別算法及其在虛擬環(huán)境中的應(yīng)用[J].機(jī)電工程,2010,27(8):91-96. LIU Jianfeng, ZHANG Daxing. An accelerometer-based gesture recognition algorithm and its application in virtual environment[J].JournalofMechanical&ElectricalEngineering,2010,27(8):91-96.

[4] 曾芬芳,王穎,黃國(guó)建,等.基于模糊神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別[J].小型微型計(jì)算機(jī)系統(tǒng),2000,21(7):706-709. ZENG Fenfang, WANG Ying, HUANG Guojian, et al. Gesture recognition with fuzzy neural networks[J].Mini-MicroSystems,2000,21(7):706-709.

[5] PUN C, ZHU Hongmin, FENG Wei. Real-time hand gesture recognition using motion tracking[J].InternationalJournalofComputationalIntelligenceSystems,2011,4(2):277-286.

[6] 胡馨月,梁秀波,樊儒昆,等.基于運(yùn)動(dòng)傳感的書(shū)空臨摹交互方式[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2010,22(10):1734-1740. HU Xinyue, LIANG Xiubo, FAN Rukun, et al. Interactively painting by Shu-Kong facsimile based on motion sensors[J].JournalofComputer-AidedDesign&ComputerGraphics,2010,22(10):1734-1740.

[7] 顧偉宏,閔昆龍,張曉娜.新型數(shù)據(jù)手套及其手勢(shì)識(shí)別研究[J].自動(dòng)化儀表,2011,32(2):56-58. GU Weihong, MIN Kunlong, ZHANG Xiaona. Research on the new data glove and its gesture recognition[J].ProcessAutomationInstrumentation,2011,32(2):56-58.

[8] 丁躍,劉軍發(fā),陳益強(qiáng),等.基于手機(jī)手勢(shì)識(shí)別的媒體控制界面[J].計(jì)算機(jī)工程,2010,36(23):152-154. DING Yue, LIU Junfa, CHEN Yiqiang, et al. Media control interface based on gesture recognition of mobile phone[J].ComputerEngineering,2010,36(23):152-154.

[9] OZ C, LEU M C. American sign language word recognition with a sensory glove using artificial neural networks[J].EngineeringApplicationsofArtificialIntelligence,2011,24(7):1204-1213.

[10] 孫波成,邱延峻,梁世慶.基于小波的路面裂縫識(shí)別研究[J].重慶交通大學(xué)學(xué)報(bào)(自然科學(xué)版),2010,29(1):69-72. SUN Bocheng, QIU Yanjun, LIANG Shiqing. Cracking recognition of pavement surface based on wavelet technology[J].JournalofChongqingJiaotongUniversity(NaturalScience),2010,29(1):69-72.

[11] 馮煥飛,何友全,劉沖.基于鄰域相關(guān)的自適應(yīng)中值濾波算法[J].重慶交通大學(xué)學(xué)報(bào)(自然科學(xué)版),2013,32(3):547-550. FENG Huanfei, HE Youquan, LIU Chong. Adaptive median filter based on neighborhood correlation[J].JournalofChongqingJiaotongUniversity(NaturalScience),2013,32(3):547-550.

[12] 李勇,高文,姚鴻勛.基于顏色手套的中國(guó)手指語(yǔ)字母的動(dòng)靜態(tài)識(shí)別[J].計(jì)算機(jī)工程與應(yīng)用,2002,38(17):55-60. LI Yong, GAO Wen, YAO Hongxun. Chinese sign language finger alphabet recognition based on color gloves[J].ComputerEngineeringandApplications,2002,38(17):55-60.

[13] WELLER R, HUNTER J A A, SAVIN J, et al.ClinicalDermatology[M]. 4th ed. New Jersey: Wiley-Blackwell,2008.

[14] LIENHART R, MAYDT J. An extended set of haar-like features for rapid object detection[C]// USA: 2002InternationalConferenceonImageProcessing,2002.

[15] ROJAS R.AdaBoostandthesSuperBowlofClassifiersATutorialIntroductiontoAdaptiveBoosting[R]. Berlin: Freie University,2009.

[16] SUN Mingjian, WU Zhenghua, LIU Ting, et al. Time reversal reconstruction algorithm based on PSO optimized SVM interpolation for photoacousticinaging[J].MathematicalProblemsinEngineering,2015(1):1-9.

[17] MITTAL A, ZISSERMAN A, TORR P. Hand detection using multiple proposals[C]//BMVC2011,the22ndBritishMachineVisionConference. Dundee, Scotland: University of Dundee,2011.

Hand Segment Using Multi-feature Fusion Method in Unmarked Hand Gesture Recognition

ZHANG Shengjun, WU Shixun, WANG Honggang, XU Dengyuan, HUANG Darong

(School of Computer Science and Technology, Chongqing Jiaotong University, Chongqing 400074, P.R.China)

Identification of non-mark gesture movement was studied by multi-algorithms. Gaussian skin model was used to model human complexion accoding to human comlexion distribution properties. HSV color space was applied to represent different skin colors. For in hand movement process, background information was incorporated in hand, algorithm of Haar-like which described hand characters by removing background was applied. Meanwhile AdaBoost classifier was explored to classify characters. The results of experiment show that in non-mark hand segmenting, multi-feature combination method can achieve better segment results.

communication engineering; machine vision; gesture recognition; hand segment; multi-feautre fusion

10.3969/j.issn.1674-0696.2016.05.35

2015-04-15；

2015-07-20

重慶市高等教育教學(xué)改革研究項(xiàng)目(1203034)；重慶市教委科學(xué)技術(shù)研究項(xiàng)目(KJ1400305)；重慶交通大學(xué)山區(qū)橋梁與隧道工程國(guó)家重點(diǎn)實(shí)驗(yàn)室開(kāi)放基金資助項(xiàng)目(CQSLBF-Y16-7)；水利水運(yùn)工程教育部重點(diǎn)實(shí)驗(yàn)室開(kāi)放基金(SLK2016A01)

張生軍(1978—)，男，四川成都人，博士，主要從事通訊與信息系統(tǒng)、機(jī)器視覺(jué)及人工智能方面的研究。E-mail:sjzhang@cqjtu.edu.cn。

TN919.81

A

1674-0696(2016)05-185-08