基于卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別方法

，

(安徽工程大學(xué) 電氣工程學(xué)院，安徽 蕪湖 241000)

近年來(lái)，隨著計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)等相關(guān)學(xué)科的發(fā)展,基于視覺(jué)的人機(jī)交互技術(shù)逐漸成為研究熱點(diǎn)，研究者們對(duì)人臉、表情、手勢(shì)等交互信息進(jìn)行了大量的研究.區(qū)別于其他的交互方式，手勢(shì)具有直觀、靈活、多樣的特點(diǎn)，因此手勢(shì)識(shí)別逐漸成為研究熱點(diǎn)[1].手勢(shì)識(shí)別主要分為動(dòng)態(tài)和靜態(tài)手勢(shì)識(shí)別，研究主要對(duì)靜態(tài)手勢(shì)識(shí)別進(jìn)行研究.傳統(tǒng)靜態(tài)手勢(shì)識(shí)別算法的關(guān)鍵在于手勢(shì)特征的提取.楊麗[2]等結(jié)合RGB和HSV顏色空間對(duì)手勢(shì)進(jìn)行分割，提取Hu矩和手指?jìng)€(gè)數(shù)描述輪廓，然后通過(guò)ELM前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練識(shí)別.薛俊韜[3]等在YCbCr空間下對(duì)手勢(shì)進(jìn)行分割，提取Hu矩，并結(jié)合傅里葉描述子得出所需特征，再通過(guò)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練識(shí)別.以上兩種算法都能快速地識(shí)別出手勢(shì)，但是手勢(shì)的分割效果對(duì)識(shí)別率影響較大.呂蕾[4]等基于數(shù)據(jù)手套，改善了手勢(shì)特征提取和特征點(diǎn)匹配的方法，提高了數(shù)據(jù)手套手勢(shì)識(shí)別的準(zhǔn)確率和識(shí)別速度，但在手勢(shì)類(lèi)別增多的情況下識(shí)別率下降.蔡芝蔚[5]等利用SVM算法提取手勢(shì)特征，然后結(jié)合ANN、HMM以及DTW算法對(duì)手勢(shì)進(jìn)行識(shí)別，取得了較高的識(shí)別率，但該組合算法的運(yùn)算速度較慢，不適合實(shí)時(shí)系統(tǒng).近年來(lái)，微軟推出的Kinect深度相機(jī)可以捕捉圖像的深度信息，為人機(jī)交互信息研究者們提供了新的研究思路[6-8].

卷積神經(jīng)網(wǎng)絡(luò)是一種深度神經(jīng)網(wǎng)絡(luò).作為深度學(xué)習(xí)的一個(gè)重要分支，卷積神經(jīng)網(wǎng)絡(luò)近年來(lái)已經(jīng)成為圖像和語(yǔ)音識(shí)別領(lǐng)域的研究熱點(diǎn).區(qū)別于傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)擁有較多的網(wǎng)絡(luò)層數(shù)，卷積層的神經(jīng)元能從前一層輸入中提取更高層次的特征，得出特征圖，并通過(guò)池化層進(jìn)行降維，減少數(shù)據(jù)冗余，最后通過(guò)全連接層和分類(lèi)器進(jìn)行分類(lèi)識(shí)別.權(quán)值共享是卷積神經(jīng)網(wǎng)絡(luò)的一大特點(diǎn)，通過(guò)權(quán)值共享，網(wǎng)絡(luò)的復(fù)雜程度大大降低，減少了網(wǎng)絡(luò)的權(quán)值數(shù)量，也就使得訓(xùn)練網(wǎng)絡(luò)時(shí)的運(yùn)算量大大降低.這一優(yōu)點(diǎn)特別適用于多維圖像作為樣本輸入的網(wǎng)絡(luò)訓(xùn)練.圖像可以直接輸入，省去了傳統(tǒng)識(shí)別算法中手動(dòng)提取特征的復(fù)雜操作.目前卷積神經(jīng)網(wǎng)絡(luò)已成功運(yùn)用于人臉識(shí)別[9-10]、目標(biāo)檢測(cè)[11]等領(lǐng)域，在手勢(shì)識(shí)別領(lǐng)域也逐漸興起.蔡娟[12]等通過(guò)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練出的模型取得了不錯(cuò)的手勢(shì)識(shí)別效果.操小文[13]等通過(guò)引入噪聲驗(yàn)證了其網(wǎng)絡(luò)結(jié)構(gòu)的魯棒性.不足之處在于上述兩者的研究選取的訓(xùn)練樣本背景較為單一，在復(fù)雜背景下的效果無(wú)法得到驗(yàn)證.研究提出的基于卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別方法，相較于文獻(xiàn)[9]用于人臉識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)，提升了網(wǎng)絡(luò)卷積層和池化層的層數(shù)，以求得到更好的高維圖像特征，區(qū)別于文獻(xiàn)[12]、文獻(xiàn)[13],選取了復(fù)雜背景下0到5共6類(lèi)手勢(shì)樣本進(jìn)行訓(xùn)練和測(cè)試.

1 卷積神經(jīng)網(wǎng)絡(luò)

2006年Hinton[14]在科學(xué)雜志上發(fā)表了一篇使用多層神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)據(jù)降維的文章，引發(fā)了研究者們對(duì)深度學(xué)習(xí)的廣泛關(guān)注，深度學(xué)習(xí)逐漸成為機(jī)器學(xué)習(xí)研究的新領(lǐng)域[15].深度學(xué)習(xí)實(shí)質(zhì)上是對(duì)擁有深層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的一類(lèi)方法的總稱(chēng).相對(duì)于SVM、MLP等淺層結(jié)構(gòu)算法，深度學(xué)習(xí)在處理內(nèi)部復(fù)雜的數(shù)據(jù)時(shí)具有更好的表現(xiàn).深層結(jié)構(gòu)模型能夠通過(guò)隱含層逐級(jí)地提取和表示特征.當(dāng)輸入數(shù)據(jù)內(nèi)部比較復(fù)雜且具有高度非線性關(guān)系時(shí)，深層結(jié)構(gòu)模型比淺層結(jié)構(gòu)模型更能準(zhǔn)確地表現(xiàn)出數(shù)據(jù)的內(nèi)部特征[16].目前主流的深度學(xué)習(xí)模型主要包括自動(dòng)編碼器、稀疏編碼、深度置信網(wǎng)絡(luò)(DBN)、限制性玻爾茲曼機(jī)(RBM)和卷積神經(jīng)網(wǎng)絡(luò)(CNN).研究主要基于卷積神經(jīng)網(wǎng)絡(luò).典型的卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)主要包含卷積層、池化層、全連接層和Softmax回歸層.

1.1 卷積層

卷積層是卷積神經(jīng)網(wǎng)絡(luò)核心的層結(jié)構(gòu)，通過(guò)卷積層提取圖像特征圖的好壞直接影響到后續(xù)層的處理.卷積層主要通過(guò)卷積核與輸入的二維圖像數(shù)據(jù)進(jìn)行局部連接，得出圖像數(shù)據(jù)的局部特征，并通過(guò)權(quán)值共享的方式得出特征圖.卷積層上的每個(gè)神經(jīng)元通過(guò)卷積核與前一層特征圖的局部區(qū)域(局部感受野)相連接，卷積核的作用就是提取局部區(qū)域的特征，一旦該局部特征被提取后，通過(guò)卷積核在前一層特征圖上滑動(dòng)，遍歷所有區(qū)域，每個(gè)局部區(qū)域的特征也就確定了.權(quán)值共享指的是卷積層中的每個(gè)神經(jīng)元用一組相同的連接權(quán)值參數(shù)與前一層局部連接，即用同一個(gè)卷積核去卷積前一層的圖像，這樣網(wǎng)絡(luò)訓(xùn)練時(shí)的權(quán)值參數(shù)就減少了.選用不同的卷積核分別遍歷卷積前一層的特征圖，加上偏置，通過(guò)激活函數(shù)得出當(dāng)前神經(jīng)元，就構(gòu)成不同的特征圖.

卷積層卷積示意圖如圖1所示.卷積層的計(jì)算公式可表示為：

(1)

圖1 卷積層卷積示意圖

1.2 池化層

池化層又稱(chēng)為下采樣層，該層往往跟隨卷積層，在卷積層之后.卷積層層數(shù)的增加會(huì)導(dǎo)致特征圖的個(gè)數(shù)隨之增加，因此學(xué)習(xí)到的特征維數(shù)也會(huì)快速增加，池化層的作用就是降低卷積后特征圖的特征維數(shù)，以降低網(wǎng)絡(luò)的復(fù)雜度，減少計(jì)算量.

根據(jù)不同的需求，池化層有不同的池化方式.最大池化和均值池化是最常見(jiàn)的兩種池化方式.假設(shè)采樣大小為2×2，即將卷積層輸入的特征圖分割成2×2的小塊，那么最大池化操作即提取每個(gè)小塊中最大的值，組成新的特征.均值池化操作即取小塊中參數(shù)的均值.通過(guò)池化操作，若圖像稍有偏移，池化結(jié)果不會(huì)隨之改變，因此也提升了系統(tǒng)的魯棒性.池化的一般表達(dá)式為：

(2)

式中，l表示當(dāng)前層數(shù)；j表示第j個(gè)特征圖；down(g)表示池化函數(shù).

1.3 全連接層

全連接層實(shí)際上也是一種卷積層，但區(qū)別于卷積層的局部連接，全連接層中每個(gè)神經(jīng)元與前一層所有神經(jīng)元相連接，但該層神經(jīng)元之間不相互連接.全連接的一個(gè)作用是維度變換，把前一層的高維矩陣數(shù)據(jù)變換成低維矩陣，提取和整合有鑒別能力的特征.另一個(gè)作用是隱含語(yǔ)義的表達(dá)，把原始特征映射到各個(gè)隱語(yǔ)義節(jié)點(diǎn).全連接層的一般表達(dá)式為：

(3)

1.4 Softmax回歸層

Softmax回歸層一般接在全連接層之后,作為卷積神經(jīng)網(wǎng)絡(luò)的最后一層輸出分類(lèi).Softmax回歸分析是logistic回歸分析在多個(gè)分類(lèi)問(wèn)題上面的發(fā)展.在卷積神經(jīng)網(wǎng)絡(luò)中，Softmax分類(lèi)器用于對(duì)樣本種類(lèi)進(jìn)行概率判斷，選取輸出值最大的神經(jīng)元所對(duì)應(yīng)的類(lèi)別作為分類(lèi)結(jié)果.

2 用于手勢(shì)識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)設(shè)計(jì)

提出一種用于手勢(shì)識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如圖2所示.不包含輸入，該卷積神經(jīng)網(wǎng)絡(luò)共有8層，其中包含3個(gè)卷積層，3個(gè)池化層，1個(gè)全連接層和1個(gè)Softmax回歸層.網(wǎng)絡(luò)輸入為224×224的手勢(shì)像素矩陣，卷積層1卷積核大小為5×5，卷積核數(shù)量為32個(gè)，得出32個(gè)特征圖.池化層1的采樣大小為2×2不重疊采樣，與卷積層1相對(duì)應(yīng)，得出32個(gè)特征圖.類(lèi)似的，卷積層2、卷積層3卷積核大小都為5×5，卷積核數(shù)量變?yōu)?4，池化層2、池化層3與之對(duì)應(yīng).全連接層的神經(jīng)元個(gè)數(shù)設(shè)置為500個(gè)，與池化層3進(jìn)行全連接.全連接層后接Softmax回歸層含有6個(gè)神經(jīng)元，對(duì)全連接層輸出的特征進(jìn)行分類(lèi)，得出0到5共6種手勢(shì).

圖2 用于手勢(shì)識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

2.2 網(wǎng)絡(luò)參數(shù)訓(xùn)練

卷積神經(jīng)網(wǎng)絡(luò)本質(zhì)上是通過(guò)大量樣本訓(xùn)練得出輸入輸出之間的映射關(guān)系，是一種有監(jiān)督訓(xùn)練，在開(kāi)始訓(xùn)練前，用一些不同的小隨機(jī)數(shù)對(duì)網(wǎng)絡(luò)的所有權(quán)值進(jìn)行初始化.卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程一般經(jīng)歷兩個(gè)階段：前向傳播階段和反向傳播階段.

f(x)=max(x,0),

(4)

通過(guò)前向傳播得出網(wǎng)絡(luò)的代價(jià)函數(shù)(Loss function)：

(5)

式中，n為訓(xùn)練樣本總數(shù)；xi為當(dāng)前訓(xùn)練樣本；y=y(xi)是訓(xùn)練樣本對(duì)應(yīng)的目標(biāo)輸出.l表示網(wǎng)絡(luò)層數(shù)，al=al(xi)是當(dāng)xi為輸入時(shí)網(wǎng)絡(luò)輸出的激活值向量.

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)基礎(chǔ)

實(shí)驗(yàn)基于Windows平臺(tái)，在開(kāi)源深度學(xué)習(xí)框架Caffe上進(jìn)行.采用純CPU模式進(jìn)行訓(xùn)練，CPU為Intel Core i7-3610QM，主頻2.3 GHz，內(nèi)存4 GB.由于目前統(tǒng)一的手勢(shì)庫(kù)較少，實(shí)驗(yàn)采集了復(fù)雜背景環(huán)境下0到5共6種手勢(shì)，如圖3所示.訓(xùn)練集每種500張，共計(jì)3 600張手勢(shì)樣本.測(cè)試集每種100張共計(jì)600張手勢(shì)樣本.訓(xùn)練前對(duì)樣本進(jìn)行歸一化和灰度處理.

圖3 手勢(shì)類(lèi)別樣例

3.2 不同梯度優(yōu)化策略對(duì)網(wǎng)絡(luò)的影響

將預(yù)處理后的手勢(shì)樣本作為輸入數(shù)據(jù)，采用研究設(shè)計(jì)的8層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練.選取隨機(jī)梯度下降法(SGD)和AdaDelta梯度下降法兩種不同的梯度優(yōu)化策略，對(duì)輸入的樣本分別進(jìn)行5 000次的迭代訓(xùn)練.訓(xùn)練過(guò)程中代價(jià)函數(shù)隨迭代次數(shù)變化情況如圖4所示.兩種不同梯度優(yōu)化策略訓(xùn)練出的模型對(duì)測(cè)試集的識(shí)別率如表1所示.由表1與圖4可以看出，相同條件下，選用兩種梯度優(yōu)化策略在迭代訓(xùn)練1 800次左右時(shí)代價(jià)函數(shù)都能下降到很小的值，但分別經(jīng)過(guò)5 000次迭代后選用AdaDelta梯度下降法訓(xùn)練出的模型對(duì)測(cè)試集手勢(shì)識(shí)別效果更好.

3.3 全連接層神經(jīng)元個(gè)數(shù)對(duì)網(wǎng)絡(luò)的影響

將預(yù)處理后的手勢(shì)樣本作為輸入數(shù)據(jù)，采用研究中設(shè)計(jì)的8層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練.選用AdaDelta梯度下降法，將原本網(wǎng)絡(luò)中全連接層500個(gè)神經(jīng)元提升到800和1 000，各自迭代訓(xùn)練5 000次.訓(xùn)練過(guò)程中代價(jià)函數(shù)歲迭代次數(shù)的變化情況如圖5所示.全連接層不同神經(jīng)元個(gè)數(shù)訓(xùn)練出的模型對(duì)測(cè)試集的正確識(shí)別率如表2所示.由表2與圖5可以看出，選用AdaDelta梯度下降法，相同條件下，改變?nèi)B接層神經(jīng)元個(gè)數(shù)后代價(jià)函數(shù)值下降速度有所變化，當(dāng)全連接層神經(jīng)元個(gè)數(shù)為1 000個(gè)時(shí)下降速度最快.然而迭代訓(xùn)練5 000次后，測(cè)試集的正確識(shí)別率并沒(méi)有提升，反而是神經(jīng)元個(gè)數(shù)為500時(shí)識(shí)別率最高，由此可見(jiàn)，增加全連接層神經(jīng)元個(gè)數(shù)一定程度上能夠提升訓(xùn)練速度，但并不是越多越好.

表1兩種不同梯度優(yōu)化策略訓(xùn)練出模型的手勢(shì)識(shí)別率

策略測(cè)試集識(shí)別率/%SGD92.67%AdaDelta98.50%

表2全連接層神經(jīng)元個(gè)數(shù)改變后的手勢(shì)識(shí)別率對(duì)比

策略測(cè)試集識(shí)別率/%全連接層神經(jīng)元個(gè)數(shù)測(cè)試集識(shí)別率/%50098.50%80096.67%100097.00%

圖4 不同梯度優(yōu)化策略代價(jià)函數(shù)隨迭代次數(shù)變化情況圖5 改變?nèi)B接層神經(jīng)元個(gè)數(shù)后代價(jià)函數(shù)變化情況

4 結(jié)論

研究設(shè)計(jì)了一個(gè)8層的卷積神經(jīng)網(wǎng)絡(luò)用于手勢(shì)識(shí)別，通過(guò)SGD和AdaDelta兩種梯度優(yōu)化策略下訓(xùn)練出的模型在手勢(shì)測(cè)試集上分別取得了92.67%和98.50%的正確識(shí)別率.通過(guò)改變?nèi)B接層的神經(jīng)元個(gè)數(shù)，得出研究設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)在全連接層神經(jīng)元個(gè)數(shù)為500個(gè)時(shí)，能取得較好的識(shí)別率，而且采集的手勢(shì)樣本皆是復(fù)雜背景下的手勢(shì)，因此通過(guò)研究中設(shè)計(jì)的網(wǎng)絡(luò)訓(xùn)練出的模型具有較強(qiáng)的魯棒性.同時(shí)，由于本次實(shí)驗(yàn)在純CPU模式下進(jìn)行，訓(xùn)練模型所需時(shí)間相對(duì)較長(zhǎng)，后續(xù)研究工作將進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，提升訓(xùn)練速度和識(shí)別率.

[1] 易靖國(guó),程江華,庫(kù)錫樹(shù).視覺(jué)手勢(shì)識(shí)別綜述[J].計(jì)算機(jī)科學(xué),2016，43(S1):103-108.

[2] 楊麗,胡桂明,黃東芳,等.結(jié)合膚色分割和ELM算法的靜態(tài)手勢(shì)識(shí)別[J].廣西大學(xué)學(xué)報(bào)：自然科學(xué)版,2015，40(2):444-450.

[3] 薛俊韜,縱蘊(yùn)瑞,楊正瓴.基于改進(jìn)的YCbCr空間及多特征融合的手勢(shì)識(shí)別[J].計(jì)算機(jī)應(yīng)用與軟件,2016，33(1):151-155.

[4] 呂蕾,張金玲,朱英杰,等.一種基于數(shù)據(jù)手套的靜態(tài)手勢(shì)識(shí)別方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2015，27(12):2 410-2 418.

[5] 蔡芝蔚,吳淑燕,宋俊鋒.基于SVM和組合優(yōu)化模型的手勢(shì)識(shí)別[J].系統(tǒng)仿真學(xué)報(bào),2016，28(8):1 812-1 817.

[6] Y LI. Hand gesture recognition using kinect[C]//2012 IEEE 3rd International Conference on Software Engineering and Service Science (ICSESS 2012),Washington:IEEE Computer Society,2012:196-199.

[7] 談家譜,徐文勝.基于Kinect的指尖檢測(cè)與手勢(shì)識(shí)別方法[J].計(jì)算機(jī)應(yīng)用,2015,35(6):1 795-1 800.

[8] 楊勇,葉梅樹(shù).基于Kinect的中國(guó)手語(yǔ)識(shí)別[J].重慶郵電大學(xué)學(xué)報(bào):自然科學(xué)版,2013,25(6):834-841,849.

[9] 陳耀丹,王連明.基于卷積神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別方法[J].東北師大學(xué)報(bào):自然科學(xué)版,2016,48(2):70-76.

[10] S AHMAD RADZI,K H MOHAMAD,S S LIEW,et al.Convolutional neural network for face recognition with pose and illumination variation[J].International Journal of Engineering and Technology(IJET),2014,6(1):44-57.

[11] 周俊宇，趙艷明.卷積神經(jīng)網(wǎng)絡(luò)在圖像分類(lèi)和目標(biāo)檢測(cè)應(yīng)用綜述[J].計(jì)算機(jī)工程與應(yīng)用，2017，53(13)：34-41.

[12] 蔡娟,蔡堅(jiān)勇,廖曉東,等.基于卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別初探[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2015,24(4):113-117.

[13] 操小文,薄華.基于卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別研究[J].微型機(jī)與應(yīng)用,2016,35(9):55-57,61.

[14] G E HINTON,R R SALAKHUTDINOV.Reducing the dimensionality of data with neural networks[J].Science,2006,313(5 786):504-507.

[15] 張建明,詹智財(cái),成科揚(yáng),等.深度學(xué)習(xí)的研究與發(fā)展[J].江蘇大學(xué)學(xué)報(bào):自然科學(xué)版,2015，30(2):191-200.

[16] 盧官明,何嘉利,閆靜杰,等.一種用于人臉表情識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)[J].南京郵電大學(xué)學(xué)報(bào)：自然科學(xué)版,2016，36(1):16-22.