基于可變形卷積神經(jīng)網(wǎng)絡(luò)的手勢識別方法

蘇軍雄，見雪婷，劉 瑋，華俊達，張勝祥

(華南農(nóng)業(yè)大學(xué)數(shù)學(xué)與信息學(xué)院，廣東 廣州 510642)

0 引 言

手勢識別是人機交互的一種直接的表達形式，將手勢作為計算機的輸入已經(jīng)日益成為一種趨勢。神經(jīng)網(wǎng)絡(luò)通過連接到計算機相機捕獲手勢或更一般的人體姿勢和運動來判別手勢[1-3]。2015年11月，Google發(fā)布深度學(xué)習(xí)框架TensorFlow并宣布開源，使得神經(jīng)網(wǎng)絡(luò)與手勢識別更好地融合?，F(xiàn)今伴隨著人機交互技術(shù)飛速發(fā)展，手勢識別技術(shù)也逐漸出現(xiàn)在人們的視野中。在家庭娛樂方面被廣泛熟知的微軟Xbox游戲機，主要由Kinect3D體感攝影機組成，上面集成了可以識別動作及表情的攝像頭和紅外傳感器。手勢識別也應(yīng)用在智能駕駛中，在2015年的CES展上，寶馬展出了最新iDrive系統(tǒng)，其重要變化之一就是引入了手勢識別功能，通過安裝在車頂上的3D傳感器對駕駛員的手勢進行識別，實現(xiàn)駕駛員能夠利用手勢控制車輛導(dǎo)航、信息娛樂等功能。

傳統(tǒng)的手勢識別模型大致可以分為以下3類：1)基于加速傳感器戒指等可穿戴設(shè)備的手勢識別方法[4]。該方法有效且可用于復(fù)雜環(huán)境下的手勢識別，即將識別問題轉(zhuǎn)換成求解樣本間的稀疏表示問題。該方法一般都使用穿戴型的傳感器進行數(shù)據(jù)采集，并非直接在視頻流和圖片上獲取，只借助電腦無法實現(xiàn)數(shù)據(jù)獲取。2)基于視覺的手勢識別。例如，基于RGB圖像的時間序列手勢輪廓模型的手勢識別方法[5]、多色彩度結(jié)合的手勢識別算法[6]和人工設(shè)計特征提取的手勢識別算法[7-8]。由于RGB圖像只包含色度信息，對于其他膚色或近膚色的抗干擾性較差。3)基于RGB-D圖像(彩色和深度圖像)的手勢識別技術(shù)，該方法信息獲取簡單方便、信息量豐富、自由度高[9]。通過模糊聚類算法對手、臉的近距離遮擋進行分割，利用SVM和深度HOG特征完成靜態(tài)手勢識別。其能夠較好地分割出近臉的靜態(tài)手勢，但是該方法的實時性和在不同距離下的適用性有待于驗證[10]。后2種方法都是基于人工提取圖像中的特征實現(xiàn)的。然而，人工提取圖像的特征過程復(fù)雜，需要有較高的專業(yè)知識和經(jīng)驗，難于輕易地泛化到大多數(shù)的場景中來。

卷積神經(jīng)網(wǎng)絡(luò)[11]是目前機器視覺和圖像處理領(lǐng)域應(yīng)用廣泛的模型之一，受到了工業(yè)界和學(xué)術(shù)界的高度關(guān)注。近年來，卷積神經(jīng)網(wǎng)絡(luò)已成功應(yīng)用于圖像檢索[12]、表情識別[13]、行人檢測[13]、人體行為檢測[14]和手勢識別[15]中。得益于卷積神經(jīng)網(wǎng)絡(luò)可以直接從原始圖像中識別視覺模式，其需要的預(yù)處理工作很少[15]。并且卷積神經(jīng)網(wǎng)絡(luò)一般在圖像處理方面有如下的優(yōu)勢：1)輸入圖像和網(wǎng)絡(luò)的拓撲結(jié)構(gòu)能很好地吻合；2)特征提取和模式分類能夠同時進行；3)權(quán)值共享可以大大減少網(wǎng)絡(luò)的訓(xùn)練參數(shù)，使得神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)變得簡單，泛用性增強[16]。

但是傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)的采樣會受卷積核的影響，其采樣的性能會受限于卷積核中固有的幾何設(shè)計。因此，本文基于對卷積神經(jīng)網(wǎng)絡(luò)的卷積層結(jié)構(gòu)進行改進，提出一個名為DC-VGG的卷積神經(jīng)網(wǎng)絡(luò)，較好地解決了手勢識別上圖像采樣的問題。通過在實驗中比較改進后的DC-VGG與傳統(tǒng)的VGG、LeNet-5網(wǎng)絡(luò)的性能，得出一些有益的結(jié)論，有利于以后的研究。

1 卷積神經(jīng)網(wǎng)絡(luò)

在傳統(tǒng)的圖像識別中，建立圖像識別的分類模型是一件十分費力的事情，需要輸入圖像，通過設(shè)計一系列模型對圖片進行預(yù)處理，根據(jù)提取出來的指標(biāo)進行分類得到輸出結(jié)果，如圖1所示。而利用卷積神經(jīng)網(wǎng)絡(luò)則不需要考慮特征設(shè)計和提取的問題，它只需直接將圖像作為數(shù)據(jù)輸入網(wǎng)絡(luò)中，就可以在輸出端得到分類結(jié)果。如圖2所示。

圖1 傳統(tǒng)分類模型

圖2 卷積神經(jīng)網(wǎng)絡(luò)分類模型

得益于卷積神經(jīng)網(wǎng)絡(luò)可以直接利用原始圖像作為輸入數(shù)據(jù)，使得前期所需要進行的預(yù)處理大大減少。并且卷積神經(jīng)網(wǎng)絡(luò)可以通過局域感受域、權(quán)值共享和降采樣這3種方法來實現(xiàn)對圖片的處理。局部感受域指的是在卷積層中，每一層的神經(jīng)元只與上一層的一個小鄰域內(nèi)的神經(jīng)單元連接，通過局部感受域，每個神經(jīng)元可以提取初級的視覺特征；權(quán)值共享可以是卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)共享，具有更少的參數(shù)，從而減少了訓(xùn)練所需要的數(shù)據(jù)；降采樣是在池化層進行的，降采樣可以減少特征的分辨率，實現(xiàn)了對位移、縮放和其他形式的扭曲的不變性[16]。

但是，在傳統(tǒng)的卷積層中，局部感受域的幾何結(jié)構(gòu)是方塊型卷積，致使局部感受域中提取的特征也屬于方塊型的特征。而圖像中的手勢是不規(guī)則的形狀，直接用固定的方塊型卷積提取其特征會使卷積層中的幾何變換能力變得低效，增大識別的難度。

相比原本的卷積核，引入可變形的卷積核可以使接受圖像的感受域的區(qū)域變得更符合實際情況的需要。即引入可變形的卷積核可以根據(jù)實際物體的形狀而進行自我提取特征，提取圖像物體的輪廓也不是固定的正方形，而是以一種近似于物體淪落的形狀作為卷積核的提取特征的“滑動框”。這樣極大地保留了圖像中物體原本所具有的特征，不會因受限方形的提取特征的“滑動框”而使得某些特征被割裂，使圖像中物體特征提取受到一定的損失或者丟失。另外，這樣也符合實際情況的需要，使得圖像中物體的特征保留得更完整、更全面，從而能有效地提高網(wǎng)絡(luò)的性能，較好地進行手勢識別。因此，本文引入一種改進卷積核[17]結(jié)構(gòu)的方法，具體原理如1.1節(jié)所示。

1.1 可變形卷積層

傳統(tǒng)的卷積層的幾何結(jié)構(gòu)是固定的，采取的是方塊型卷積核。若采用二維網(wǎng)格圖表示，則如圖3(a)所示，因而其幾何變換的能力有限。而對于可變形卷積則會突破幾何結(jié)構(gòu)的固定性，在每一個卷積核上加入一個偏移的向量，如圖3(b)～圖3(d)所示，從而可以提升卷積神經(jīng)網(wǎng)絡(luò)的泛化能力，提高不規(guī)則圖形上的識別效果。

(a) (b) (c) (d)圖3 卷積核采樣點的位置分布圖

圖3中分別展示4種3×3的卷積核采樣點的位置分布圖。圖3(a)代表傳統(tǒng)的卷積核的取樣點；圖3(b)代表引入一種隨機偏移向量的卷積核的取樣點；圖3(c)與圖3(d)是圖3(b)的特殊情況，都是引入規(guī)則性偏移向量的卷積核取樣點，表明可變形卷積可以在各種尺度、各種旋轉(zhuǎn)變換下推廣。

通常，二維卷積核的提取分為2個步驟：1)在特征圖上利用一個規(guī)則化的網(wǎng)格R進行采樣；2)在每個采樣點處乘上相應(yīng)的權(quán)值w并求和。

下面，以一個二維的3×3的卷積核采樣為例：

R={(-1,-1), (-1,0), …, (0,1), (1,1)}

在傳統(tǒng)卷積核中，每一個位置p0的輸出結(jié)果為：

(1)

其中pn表示在區(qū)域R的任一位置。

在可變形卷積核中，引入一個偏移向量{Δpn|n=1,…,N}，其中N=|R|。式(1)可變形為[17]：

(2)

其中，pn表示在卷積窗口中任意一個像素點，w(pn)表示像素點pn的權(quán)重，x表示輸入層像素點的集合，Δpn表示像素點pn的偏移量。

由于采樣是在不規(guī)則區(qū)域上進行，會導(dǎo)致偏移向量通常情況下為分?jǐn)?shù)。因此，式(2)需要通過雙線性插值來實現(xiàn)：

(3)

其中p表示區(qū)域中的任意位置，且p=p0+pn+Δp； q表示所有的空間分布特征；G(·,·)表示雙線性插值核，由于其是二維的，可以分解成2個一維的內(nèi)核：

G(q,p)=g(qx,px)g(qy,py)

(4)

其中g(shù)(a,b)=max (0,1-|a-b|)。

圖4展現(xiàn)了可變形卷積層的實現(xiàn)過程。在輸入層中原本固定采樣區(qū)域分別加入偏移向量，然后在卷積核中通過雙線性插值的算法將帶有偏移向量的采樣點集中在一起，并且使得帶偏移向量的輸出特征圖與輸入的特征圖具有一致的空間分辨率，最終傳遞給下一個網(wǎng)絡(luò)層。這樣，在不改變空間分辨率的情況下，實現(xiàn)對不規(guī)則圖像特征的提取。

圖4 可變形卷積層的實現(xiàn)過程

1.2 池化層

在池化層中，本文選用了平均池化的池化方法，即對鄰域內(nèi)的特征點求其平均。

因此，在池化層的形式如式(5)所示：

(5)

其中，pn表示在池化窗口中任意一個像素點，ni,j表示固定在bin里的總像素數(shù)。

2 卷積網(wǎng)絡(luò)結(jié)構(gòu)及改進

2.1 VGG卷積網(wǎng)絡(luò)結(jié)構(gòu)

VGG-16卷積網(wǎng)絡(luò)共有21層，其中包括13個卷積層、5個池化層和3個全連接層，具體的網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。其中，VGG-16使用多個較小卷積核的卷積層代替一個卷積核較大的卷積層，一方面可以減少參數(shù)，另一方面進行了更多的非線性映射，可以增加網(wǎng)絡(luò)的表達能力。

圖5 VGG-16的網(wǎng)絡(luò)結(jié)構(gòu)

2.2 VGG卷積網(wǎng)絡(luò)的改進

本文的卷積網(wǎng)絡(luò)結(jié)構(gòu)是在VGG-16的網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上加以改進的。原先的VGG-16網(wǎng)絡(luò)結(jié)構(gòu)包括13個卷積層(C)、5個池化層(S)和3個全連接層(F)，而改進的網(wǎng)絡(luò)結(jié)構(gòu)縮減了卷積層的個數(shù)，并且引入可變形卷積層，將部分的傳統(tǒng)卷積層替換成可變形卷積層，最終包括6個卷積層(C)、4個可變形卷積層(DC)、5個池化層(S)和3個全連接層(F)。改進后的網(wǎng)絡(luò)稱為DC-VGG網(wǎng)絡(luò)。具體的網(wǎng)絡(luò)結(jié)構(gòu)連接方法如圖6所示。

圖6 DC-VGG的網(wǎng)絡(luò)結(jié)構(gòu)

2.3 DC-VGG的網(wǎng)絡(luò)結(jié)構(gòu)

本文搭建的DC-VGG網(wǎng)絡(luò)結(jié)構(gòu)共由18層組成。該網(wǎng)絡(luò)的輸入層需要256×256大小的圖像作為輸入，經(jīng)過卷積層(C)、可變形卷積層(DC)、池化層(S)和全連接層(F)的共同作用，最終得到輸出的結(jié)果(其中各階段輸出結(jié)果見表1)。

表1 DC-VGG網(wǎng)絡(luò)結(jié)構(gòu)輸出結(jié)果

類型卷積核輸出特征圖大小輸出特征圖個數(shù)C13×3256×25664C23×3256×25664S32×2128×12864DC43×3128×12864C53×3128×128128S62×264×64128DC73×364×64128C83×364×64256S92×232×32256DC103×332×32256C113×332×32512S122×216×16512DC133×316×16512C143×316×16512S152×28×8512F161×114096F171×114096F181×111000

在C1，C2網(wǎng)絡(luò)層中，會對輸入的圖像進行方形區(qū)域內(nèi)的卷積作用。因此，每個神經(jīng)元會與輸入圖像中的某個3×3的方形區(qū)域相連接，得到64個特征圖，其大小為256×256。

在S3網(wǎng)絡(luò)層中，則會對C2的特征圖進行降采樣處理。在該網(wǎng)絡(luò)層中將會利用2×2的抽樣窗口進行操作，得到64個特征圖，其大小為128×128。

在DC4網(wǎng)絡(luò)層中，會對S3的特征圖進行不規(guī)則區(qū)域內(nèi)的卷積作用。因此，該層中的每個神經(jīng)元會與S3的特征圖中的某個3×3的延伸不規(guī)則區(qū)域相連接，得到64個特征圖，其大小為128×128。

在C5網(wǎng)絡(luò)層中(同C1)，對DC4進行卷積的操作，得到128個特征圖，其大小為128×128。

在S6網(wǎng)絡(luò)層中(同S3)，為第2個池化層，繼續(xù)進行降采樣處理。抽樣窗口為2×2，特征圖為128個，其大小為64×64。

在DC7網(wǎng)絡(luò)層中(同DC4)，繼續(xù)在不規(guī)則區(qū)域提取特征圖。其中，卷積核為3×3，得到特征圖為128個，其大小為64×64。

在C8網(wǎng)絡(luò)層中(同C1)，對DC7進行卷積操作。其中，卷積核為3×3，得到256個特征圖，其大小為64×64。

在S9網(wǎng)絡(luò)層中(同S3)，為第3個池化層，繼續(xù)進行降采樣處理。抽樣窗口為2×2，特征圖為256個，其大小為32×32。

在DC10網(wǎng)絡(luò)層中(同DC4)，繼續(xù)在不規(guī)則區(qū)域提取特征圖。其中，卷積核為3×3，得到特征圖為256個，其大小為32×32。

在C11網(wǎng)絡(luò)層中(同C1)，對DC10進行卷積操作。其中，卷積核為3×3，得到512個特征圖，其大小為32×32。

在S12網(wǎng)絡(luò)層中(同S3)，為第4個池化層，繼續(xù)進行降采樣處理。抽樣窗口為2×2，特征圖為512個，其大小為16×16。

在DC13網(wǎng)絡(luò)層中(同DC4)，繼續(xù)在不規(guī)則區(qū)域提取特征圖。其中，卷積核為3×3，得到特征圖為512個，其大小為16×16。

在C14網(wǎng)絡(luò)層中(同C1)，對DC13進行卷積操作。其中，卷積核為3×3，得到512個特征圖，其大小為16×16。

在S15網(wǎng)絡(luò)層中(同S3)，為第5個池化層，繼續(xù)進行降采樣處理。抽樣窗口為2×2，特征圖為512個，其大小為8×8。

在F16，F(xiàn)17，F(xiàn)18的全連接層中，把S15層的特征圖的數(shù)據(jù)向量化后連接到輸出層，最終得到一個1×1×1000的輸出結(jié)果，用來進行識別。

3 實驗和結(jié)果分析

3.1 圖像的預(yù)處理

在手勢識別系統(tǒng)設(shè)計中，為了有效提高算法性能，通常要進行手勢區(qū)域檢測、分割和手勢的規(guī)范化處理等預(yù)處理操作。

在本次實驗中，對數(shù)據(jù)集的圖片僅進行了手勢的規(guī)范化處理。將數(shù)據(jù)集的所有RGB圖片保持原本的長寬比，裁剪成256×256大小，用來作為實驗的輸入層數(shù)據(jù)，同時裁剪后的圖像能夠降低網(wǎng)絡(luò)的運算量，更容易提取出合適的特征，從而提高識別率。

圖7為手勢預(yù)處理演示圖。

圖7 手勢預(yù)處理演示圖

3.2 實驗分析

3.2.1 實驗基礎(chǔ)

圖8 10種手勢

本文的所有實驗都是在Ubuntu 16.04 LTS系統(tǒng)下利用TensorFlow框架完成的，系統(tǒng)的硬件環(huán)境為I5-7300HQ處理器，主頻為2.50 GHz。而實驗的數(shù)據(jù)集則是選取了一個公共的手勢庫，手勢庫的名稱為Large RGB-D Extensible Hand Gesture Dataset[18]。選取10種手勢用于實驗，如圖8所示。將數(shù)據(jù)集設(shè)置為1500張，測試集設(shè)置為150張。每個手勢的實驗分別運行5次，取其識別率的平均值，作為最終某個手勢的識別率。同時也記錄3種網(wǎng)絡(luò)單張圖像的平均識別時間，通過結(jié)合手勢的識別率來反映3種網(wǎng)絡(luò)的性能情況。

3.2.2 LeNet-5, VGG, DC-VGG對比

本文自行搭建了LeNet-5, VGG-16, DC-VGG這3種網(wǎng)絡(luò)結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)來對實驗的數(shù)據(jù)集進行訓(xùn)練。分別將3種卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到10種手勢的數(shù)據(jù)集中，學(xué)習(xí)率設(shè)置為0.001, batch-size設(shè)置為32，意味著每次傳入32張圖片進行訓(xùn)練，每訓(xùn)練100次記錄一次識別率(記作迭代1次)，總共迭代20次。取最后5次迭代時記錄的識別率，計算其平均值，從而得到3種網(wǎng)絡(luò)結(jié)構(gòu)的實驗結(jié)果，具體如表2所示。

表2 3種網(wǎng)絡(luò)結(jié)構(gòu)的實驗結(jié)果

手勢網(wǎng)絡(luò)結(jié)構(gòu)識別率/%LeNet-5VGG-16DC-VGG手勢194.4496.0098.79手勢294.1795.8897.02手勢394.3395.6697.96手勢492.8896.1198.48手勢595.1795.8898.17手勢693.2995.8898.38手勢793.9294.8898.48手勢893.2596.0097.96手勢994.9295.7797.75手勢1093.0495.8897.85

另外，對3種網(wǎng)絡(luò)的單張平均識別時間進行統(tǒng)計，記錄運行識別集所需要的時間，再除以對應(yīng)的識別集的圖像數(shù)，得到各網(wǎng)絡(luò)結(jié)構(gòu)的單張平均識別時間如表3所示。

表3 3種網(wǎng)絡(luò)結(jié)構(gòu)的單張平均識別時間

網(wǎng)絡(luò)結(jié)構(gòu)識別時間/msLeNet-512.9VGG-1642.3DC-VGG137

從上述的實驗結(jié)果來看，引入可變形卷積層的DC-VGG網(wǎng)絡(luò)的識別率優(yōu)于LeNet-5和VGG-16網(wǎng)絡(luò)，說明引入可變形卷積層可有效提高網(wǎng)絡(luò)的性能，提升了卷積神經(jīng)網(wǎng)絡(luò)對樣本對象的容忍度和多樣性，豐富了卷積神經(jīng)網(wǎng)絡(luò)特征的表達能力。

不過在識別時間的表現(xiàn)上差強人意，這其中的差異是由于網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)的不同所造成的。網(wǎng)絡(luò)層數(shù)越深，所需要經(jīng)歷的時間越長；還有可變形卷積層的采樣需要借助雙線性插值來實現(xiàn)，從而增加了網(wǎng)絡(luò)運算的復(fù)雜度，導(dǎo)致時間比VGG-16的長。這一點，是今后需要優(yōu)化和改進的地方。

3.2.3 DC-VGG網(wǎng)絡(luò)與其他模型對比

在實驗中選取有代表性的傳統(tǒng)手勢識別算法，依此在公共的手勢庫Large RGB-D Extensible Hand Gesture Dataset[18]上進行實驗的驗證。

表4中列舉了比較實驗的結(jié)果。其中，SIFT+SVM方法[7]是將SIFT特征提取與SVM(支持向量機)分類器結(jié)合組成的，獲得了84.67%的識別率；將SURT方法特征[8]提取與SVM分類器結(jié)合組成的方法，獲得了88.33%的識別率；在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型上，獲得了94.87%的識別率；而本文的可變形卷積網(wǎng)絡(luò)算法，得到了98.08%的識別率，優(yōu)于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)和基于人工特征設(shè)計的傳統(tǒng)算法。

表4 DC-VGG網(wǎng)絡(luò)與其他方法識別性能比較

對比方法平均識別率/%SIFT+SVM84.67SURT+SVM88.33卷積神經(jīng)網(wǎng)絡(luò)94.87本文算法98.08

通過上述比較實驗結(jié)果可知，人工設(shè)計特征算法的識別率沒有卷積神經(jīng)網(wǎng)絡(luò)的識別率高，這說明卷積神經(jīng)網(wǎng)絡(luò)的特征提取更充分、更真實，在識別率上的表現(xiàn)更出色。另外，通過對傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)進行加入可變形卷積層的擴展，明顯地提高了手勢識別的識別率，表明卷積神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的可擴展性，同時，結(jié)構(gòu)性的擴展也展現(xiàn)出對性能巨大的提升潛力。

4 結(jié)束語

本文在VGG-16卷積神經(jīng)網(wǎng)絡(luò)中引入可變形卷積層的模塊，應(yīng)用到公共的手勢識別數(shù)據(jù)庫中，對比傳統(tǒng)的LeNet-5和VGG-16的網(wǎng)絡(luò)結(jié)構(gòu)，均取得較好的識別率。這說明加入可變形卷積這種空間變化的模塊，能有效地提高卷積神經(jīng)網(wǎng)絡(luò)的性能，提高卷積神經(jīng)網(wǎng)絡(luò)的特征表達能力，為復(fù)雜背景下有效識別手勢提供參考，并且具有一定的延拓能力。實驗結(jié)果表明，改進的DC-VGG與VGG-16網(wǎng)絡(luò)相比結(jié)構(gòu)簡單，比傳統(tǒng)的人工設(shè)計特征的算法識別率更高，更加穩(wěn)定。卷積神經(jīng)網(wǎng)絡(luò)局部感受域和權(quán)值共享的特征，直接將RGB圖像輸入神經(jīng)網(wǎng)絡(luò)中，亦大大減少了圖片預(yù)處理的難度。

參考文獻：

[1] Pavlovic V I, Sharma R, Huang T S. Visual interpretation of hand gestures for human-computer interaction: A review[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997,19(7):677-695.

[2] Wu Ying, Huang T S. Vision-based gesture recognition: A review[C]// Proceedings of the 1999 International Gesture Workshop on Gesture-based Communication in Human-Computer Interaction. 1999:103-115.

[3] Jaimes A, Sebe N. Multimodal human-computer interaction: A survey[J]. Computer Vision and Image Understanding, 2007,108(1-2):116-134.

[4] Xie Renqiang, Sun Xia, Xia Xiang, et al. Similarity matching-based extensible hand gesture recognition[J]. IEEE Sensors Journal, 2015,15(6):3475-3483.

[5] 龐海波,李占波,丁友東. 基于時間序列手勢輪廓模型的動態(tài)手勢識別[J]. 華南理工大學(xué)學(xué)報(自然科學(xué)版), 2015,43(1):140-146.

[6] Bhuyan M K, Kumar D A, MacDorman K F, et al. A novel set of features for continuous hand gesture recognition[J]. Journal on Multimodal User Interfaces, 2014,8(4):333-343.

[7] 李翠,王小妮,劉園園. 基于SIFT算法的手勢控制系統(tǒng)的設(shè)計與實現(xiàn)[J]. 現(xiàn)代經(jīng)濟信息, 2016(10):337.

[8] Wallach H M. Topic modeling: Beyond bag-of-words[C]// Proceedings of the 23rd International Conference on Machine Learning. 2006:977-984.

[9] 曹潔,趙修龍,王進花. 基于RGB-D信息的動態(tài)手勢識別方法[J/OL]. http://www.arocmag.com/article/02-2018-06-050.html, 2017-06-14.

[10] 劉斌,趙興,胡春海,等. 面向顏色深度圖像手臉近距遮擋的手勢識別[J]. 激光與光電子學(xué)進展, 2016(6):134-143.

[11] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]// Proceedings of the 25th International Conference on Neural Information Processing Systems. 2012,1:1097-1105.

[12] 陳祖雪. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的手勢識別研究[D]. 西安:陜西師范大學(xué), 2016.

[13] 柯圣財,趙永威,李弼程,等. 基于卷積神經(jīng)網(wǎng)絡(luò)和監(jiān)督核哈希的圖像檢索方法[J]. 電子學(xué)報, 2017,45(1):157-163.

[14] Fan Yin, Lu Xiangju, Li Dian, et al. Video-based emotion recognition using CNN-RNN and C3D hybrid networks[C]// Proceedings of the 18th ACM International Conference on Multimodal Interaction. 2016:445-450.

[15] 左艷麗,馬志強,左憲禹. 基于改進卷積神經(jīng)網(wǎng)絡(luò)的人體檢測研究[J]. 現(xiàn)代電子技術(shù), 2017,40(4):12-15.

[16] 趙志宏,楊紹普,馬增強. 基于卷積神經(jīng)網(wǎng)絡(luò)LeNet-5的車牌字符識別研究[J]. 系統(tǒng)仿真學(xué)報, 2010,22(3):638-641.

[17] Dai Jifeng, Qi Haozhi, Xiong Yuwen, et al. Deformable Convolutional Networks[DB/OL]. https://arxiv.org/abs/1703.06211, 2017-06-05.

[18] Multimedia Computing Laboratory. Large RGB-D Extensible Hand Gesture Dataset[DB/OL]. http://mclab.citi.sinica.edu.tw/dataset/lared/lared.html#download, 2014-07-18.