基于深度學(xué)習(xí)的手勢識別與外部操作系統(tǒng)

摘? 要：為正確識別使用者意圖要做出的手勢，文章設(shè)計(jì)并制作一種前臂多通道表面肌電信號采集臂環(huán)，再使用信號分割算法和神經(jīng)網(wǎng)絡(luò)模型建立深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，再用樹莓派使用訓(xùn)練好的模型處理肌肉電信號，使得系統(tǒng)的運(yùn)算速度進(jìn)一步提升。最終實(shí)現(xiàn)通過識別用戶肌電數(shù)據(jù)，判斷用戶手勢動作，控制各種外部可操作的系統(tǒng)，例如機(jī)械手、虛擬手等，具有一定的社會價(jià)值與經(jīng)濟(jì)價(jià)值。

關(guān)鍵詞：表面肌電;神經(jīng)網(wǎng)絡(luò);肢體康復(fù)

中圖分類號：TP391.41? ? ? 文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2020）05-0155-03

Gesture Recognition and External Operating System Based on Deep Learning

GAN Han

（School of Software & Internet of Engineering，Jiangxi University of Finance and Economics，Nanchang? 330013，China）

Abstract：In order to correctly recognize the gesture that the user wants to make，this paper designs and makes a forearm multi-channel surface EMG signal collection arm ring，then uses the signal segmentation algorithm and neural network model to establish the deep learning neural network，and uses the trained model to process the EMG signal by raspberry school，which makes the systems operation speed further improved. Finally，it can recognize the EMG data of users，judge the gestures of users，and control all kinds of external operable systems，such as manipulator， virtual hand，etc.，which have certain social and economic value.

Keywords：surface electromyography;neural network;limb rehabilitation

0? 引? 言

本文是基于本?！岸鄠鞲衅魅诤蠈∪怆娺M(jìn)行手勢識別”項(xiàng)目，對肌肉電處理與手勢識別進(jìn)行的研究成果。當(dāng)前手勢識別相關(guān)領(lǐng)域的解決方案主要有基于圖像識別、基于傳感器和基于表面肌電三個(gè)方向，在某些應(yīng)用場景中以上前兩種解決方案可以發(fā)揮其作用，但也受到許多限制，例如易受外界環(huán)境因素影響、使用過程的不便利性、存在識別盲區(qū)以及可識別手勢的數(shù)量較少等?；诒砻婕‰姷氖謩葑R別解決方案的實(shí)現(xiàn)與人體的緊密聯(lián)結(jié)程度最高，可識別到手指關(guān)節(jié)等運(yùn)動的微小細(xì)節(jié)，識別手勢的精度最高，因此該種手勢識別解決方案相關(guān)課題一直是該領(lǐng)域研究的熱點(diǎn)。

1? 系統(tǒng)的總體思路

系統(tǒng)總體可分為前臂多通道表面肌電信號采集臂環(huán)、神經(jīng)網(wǎng)絡(luò)算法和相應(yīng)控制實(shí)現(xiàn)三個(gè)部分，按照功能實(shí)現(xiàn)，本系統(tǒng)可劃分為五大部分，分別為信號源、信號收集、信號處理、神經(jīng)網(wǎng)絡(luò)算法和控制實(shí)現(xiàn)，系統(tǒng)實(shí)現(xiàn)框圖如圖1所示。

2? 信號源的選取

經(jīng)團(tuán)隊(duì)測試，前臂的表面肌電信號隨手勢變化而具有不同的波動，因此系統(tǒng)將受試者的前臂肌肉當(dāng)作信號源。用多個(gè)差分電極以臂環(huán)的形式固定在前臂上采集不同手勢動作的表面肌電信號，臂環(huán)實(shí)物佩戴圖如圖2所示。

3? 表面肌電信號采集

使用差分電極電路實(shí)現(xiàn)對表面肌電信號離線訓(xùn)練階段的數(shù)據(jù)采集[1]，如圖3所示，左右兩端電極為差分輸入電極，中間電極為公共地。

表面肌電信號的幅值小且能量微弱，幅值只有μV～mV的數(shù)量級[2]，因此為有效采集表面肌電信號，避免外界的工頻干擾及體外的電場、磁場感應(yīng)在人體內(nèi)形成的測量噪聲干擾和影響表面肌電的檢測，大多數(shù)研究團(tuán)隊(duì)均會采取植入式針狀電極或者表面陣列式電極采集。為克服以上問題，本系統(tǒng)技術(shù)上使用多通道差分電極采集，解決了表面肌電信號低信噪比問題。

4? 信號處理

將采集到的表面肌電信號進(jìn)行信號處理，信號處理框圖如圖4所示。

獲取的表面肌電信號經(jīng)前后兩級放大，通過切比雪夫I型帶通濾波器濾波后，再通過A/D數(shù)模轉(zhuǎn)換器，從模擬信號得到離散的數(shù)字信號，并通過信號分割算法進(jìn)行信號分割，獲得有效表面肌電信號樣本。

5? 神經(jīng)網(wǎng)絡(luò)算法

通過信號分割算法進(jìn)行信號分割獲得有效表面肌電信號樣本，以此訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型分類，該分類器包括兩種神經(jīng)網(wǎng)絡(luò)：首先使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）識別當(dāng)前時(shí)刻前臂神經(jīng)活動狀態(tài)。卷積神經(jīng)網(wǎng)絡(luò)具有高效的特征提取能力，在表面肌電信號快速識別方面，卷積神經(jīng)網(wǎng)絡(luò)有較好的分類性能，已經(jīng)廣泛應(yīng)用于模式識別領(lǐng)域。之后將上述識別的完整手勢動作前臂神經(jīng)活動狀態(tài)序列使用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）進(jìn)行手勢的分類[3]。使模型在離線訓(xùn)練階段對手勢動作識別的分類具有高準(zhǔn)確度。在在線識別階段，神經(jīng)網(wǎng)絡(luò)模型能夠?qū)?shí)時(shí)傳送的表面肌電信號進(jìn)行模式識別，分類出準(zhǔn)確的類別，并將實(shí)時(shí)識別結(jié)果轉(zhuǎn)換成相應(yīng)的控制參數(shù)，實(shí)現(xiàn)對控制對象的控制。系統(tǒng)算法模塊如圖5所示。

6? 控制實(shí)現(xiàn)

控制器根據(jù)神經(jīng)網(wǎng)絡(luò)模型識別的結(jié)果，將分類結(jié)果轉(zhuǎn)換成相應(yīng)的控制參數(shù)，控制相應(yīng)對象，驅(qū)動虛擬手做出與識別結(jié)果相對應(yīng)的手勢，效果如圖6所示。

7? 實(shí)驗(yàn)測試

為了檢驗(yàn)系統(tǒng)的可靠性以及實(shí)用性，實(shí)驗(yàn)人員對肌肉電采集等系統(tǒng)進(jìn)行多次測試實(shí)驗(yàn)，記錄實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)者進(jìn)行上肢的手勢運(yùn)動，將會產(chǎn)生對應(yīng)的不同表面肌肉電信號，臂環(huán)設(shè)備能夠采集這些數(shù)據(jù)并通過藍(lán)牙傳輸至PC端做進(jìn)一步處理，從而將數(shù)據(jù)傳輸給機(jī)械手以及虛擬手等外部設(shè)備。

系統(tǒng)適用范圍如下：

（1）可以幫助殘疾患者解決因肢體殘疾導(dǎo)致的生活中的不便;

（2）可以用于康復(fù)醫(yī)學(xué)和臨床醫(yī)學(xué)研究，幫助肢體康復(fù);

（3）可以幫助聾啞人與正常人進(jìn)行雙向交流;

（4）滿足如今虛擬現(xiàn)實(shí)技術(shù)中對虛擬對象的操作。

8? 系統(tǒng)優(yōu)勢

（1）識別精度高、識別數(shù)量大。據(jù)調(diào)查，國內(nèi)一款名為DTing產(chǎn)品的平均識別率為90%，而本作品的識別精確度可以達(dá)到99.34%，該精度可以確保能夠識別到每一根手指的運(yùn)動。百度AI手勢識別可以識別24個(gè)手勢，而本作品可以識別的手勢種類由于識別的高精度遠(yuǎn)遠(yuǎn)超過百度AI手勢識別，目前可以識別100余種手勢，未來手勢識別種類數(shù)將不斷增加。

（2）識別無盲區(qū)。國外研究人員開發(fā)的一款名為“E-chat”聾啞人社交手套的作品，應(yīng)用于聾啞人的手勢識別過程中，存在較大的識別盲區(qū)，某些動作由于傳感器的限制無法識別。而本作品不存在識別盲區(qū)的問題。本作品緊密跟隨信號源的變化，表面肌電信號超前于動作發(fā)生大約300 ms，理論上只要是手部能夠做出的動作，均能夠識別出來。

（3）應(yīng)用領(lǐng)域廣。目前市面上手勢識別的解決方案均指向單一問題場景，在面對多任務(wù)需求場景中常顯得應(yīng)接不暇。本作品可用于康復(fù)醫(yī)學(xué)領(lǐng)域、手語翻譯交互以及體感交互體驗(yàn)等多個(gè)領(lǐng)域?？梢詽M足因肢體殘疾而帶來生活不便的殘疾患者的需求;可以滿足聾啞人群體與肢殘人之間的雙向交流需求;可以滿足如今虛擬現(xiàn)實(shí)技術(shù)中對虛擬對象的操作等。

9? 市場分析和經(jīng)濟(jì)效益

根據(jù)我國第二次全國殘疾人抽樣調(diào)查數(shù)據(jù)顯示，我國各類殘疾人總數(shù)已經(jīng)達(dá)到了8 296萬人，這其中肢體殘疾人數(shù)為2 412萬人，占?xì)埣踩丝倲?shù)的29.07%，比重較大，而肢體殘疾者中有226萬是肢體截肢者。隨著現(xiàn)代科學(xué)技術(shù)的迅速發(fā)展，社會對殘疾人事業(yè)的關(guān)注程度也越來越高，數(shù)據(jù)顯示，在所有殘疾人當(dāng)中，處在可就業(yè)階段的青壯年殘疾人所占比率遠(yuǎn)遠(yuǎn)不止四分之一。肢體的殘疾給這些人的生活帶來了很多的不便，嚴(yán)重影響了他們的正常生活。

基于深度學(xué)習(xí)的多傳感器融合手勢識別與控制系統(tǒng)能夠有效地解決此類社會熱問題。本文設(shè)計(jì)的控制裝置不僅可以提高廣大截肢者的生活品質(zhì)，增加就業(yè)機(jī)會，也將會大大地降低國家、企業(yè)及家庭為他們所付出的服務(wù)成本，因此具有巨大的社會前景，能夠被社會公眾接受，具有市場前瞻性，從而產(chǎn)生相應(yīng)的經(jīng)濟(jì)價(jià)值。

10? 結(jié)? 論

本文提出一種基于深度學(xué)習(xí)的多傳感融合手勢識別與控制系統(tǒng)，將肌肉電識別技術(shù)應(yīng)用于手勢識別中，運(yùn)用自主設(shè)計(jì)的前臂多通道表面肌電信號采集臂環(huán)，使用快速有效的信號分割算法對多通道表面肌電信號進(jìn)行采集分割并完成數(shù)據(jù)集的制備，并以此訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。實(shí)時(shí)的表面肌電信號通過已訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行分類，并將分類結(jié)果轉(zhuǎn)化為控制信號，實(shí)現(xiàn)相應(yīng)的控制。本系統(tǒng)可以應(yīng)用于肢體康復(fù)、手語翻譯交互、體感互動娛樂等多個(gè)領(lǐng)域，具有一定的研究價(jià)值、經(jīng)濟(jì)價(jià)值和社會價(jià)值[4]。

參考文獻(xiàn)：

[1] 何友，王國宏，陸大金，等.多傳感器信息融合及應(yīng)用 [M].北京：電子工業(yè)出版社，2001.

[2] 李建華，王健.表面肌電圖診斷技術(shù)臨床應(yīng)用 [M].杭州：浙江大學(xué)出版社，2015.

[3] 孫志軍，薛磊，許陽明，等.深度學(xué)習(xí)研究綜述 [J].計(jì)算機(jī)應(yīng)用研究，2012，29（8）：2806-2810.

[4] 楊彬.基于多通道肌電信號的手指康復(fù)動作研究 [D].杭州：浙江工業(yè)大學(xué)，2017.

作者簡介：甘晗（1999-），男，漢族，江西萍鄉(xiāng)人，本科在讀，主要研究方向：深度學(xué)習(xí)及嵌入式控制。