基于深度學習的sEMG 手語識別翻譯

曾亞婷

（麗水學院，浙江 紹興 323000）

1 基本實現(xiàn)原理

1.1 sEMG 信號采集

經(jīng)過初期的研究，我們開始了基于Arduino 平臺的肌電信號提取的裝置的研發(fā)。我們所挑選的傳感器基本原理如下：傳感器模塊通過檢測人體的表面肌電信號（sEMG），進而反應出人體肌肉和神經(jīng)的活動情況。本傳感器模塊集成了濾波、放大電路，將范圍在±1.5mV內(nèi)的微弱人體表面肌電信號進行1000倍放大，并通過差分輸入、模擬濾波電路的方式對噪聲（特別是工頻干擾）進行有效抑制。輸出信號為模擬量形式，其以1.5V 為基準電壓，0V～3.0V 量程的輸出。輸出信號的大小取決于選定肌肉的活動量，輸出信號的波形則可顯著指示被觀察位置皮下肌肉的情況，方便做肌電信號的分析與研究，但是我們采用了其他更加精確的數(shù)據(jù)進行分析與處理[1]。

1.2 信號分析處理

為了做簡單的分析，我們首先測量了手臂自然下垂時的肌電信號。很明顯可以發(fā)現(xiàn)自然狀態(tài)下手臂是不會產(chǎn)生任何肌電信號的，同時我們讓被測人握拳從而采集到另一種肌電信號。我們要做的就是采集各種不同手勢下的肌電信號，通過多次測量求出平均手勢肌電信號強度，再利用移動窗口法取若干連續(xù)時間序列對應的信號強度求局域平均，若均值大于一定閾值，我們就認為一個動作開始從而進行識別。若反之則視為一個動作的結(jié)束。

1.3 算法分析處理

為了進行預處理來找到不同信號的特征，我們首先對數(shù)據(jù)進行移動窗口平滑處理，其主要用于通過平滑曲線來查找采集到的肌電信號的大體趨勢。其中需要計算包括的數(shù)值有總和，均值，中位數(shù)，方差，協(xié)方差，相關(guān)性等。

使用兩種機器學習算法對每一個的運動進行分類：支持向量機（SVM）和隨機森林（RF）。這些分類器很常見，眾所周知，以前曾應用于許多機器學習問題，包括sEMG 分析，兩者都顯示出良好的性能。重復1、3、4 和6 用于訓練分類器，重復2 和5 用于驗證它們。對所有運動（包括其余運動）進行分類[2]。

2 醫(yī)學機理分析

肌電信號的醫(yī)學機理涉及以下幾個方面：

1.肌肉收縮：當神經(jīng)向肌肉發(fā)送信號時，肌肉會收縮并產(chǎn)生電活動。肌肉收縮是由神經(jīng)沖動引起的，這些沖動在神經(jīng)細胞中產(chǎn)生并沿著神經(jīng)纖維傳導。

2.神經(jīng)傳導：神經(jīng)沖動通過神經(jīng)傳導到達肌肉。這些沖動通常從中樞神經(jīng)系統(tǒng)發(fā)出，經(jīng)過神經(jīng)樹突、軸突和神經(jīng)末梢等結(jié)構(gòu)，最終傳遞到肌肉。

圖1 佩戴示意圖

3.肌肉電活動：肌肉收縮過程中產(chǎn)生的電信號可以通過表面肌電圖進行測量。當肌肉收縮時，肌纖維中的電活動會產(chǎn)生電位差，這些電位差可以通過皮膚傳導到測量電極上。sEMG 可以記錄和分析這些電位差的特征，包括振幅、頻率和時域特性等。

4.神經(jīng)-肌肉接頭：神經(jīng)沖動到達肌肉后，會通過神經(jīng)-肌肉接頭傳遞信號。這是神經(jīng)與肌肉之間的接觸點，通過釋放化學物質(zhì)（例如乙酰膽堿），神經(jīng)沖動可以引發(fā)肌肉收縮。

綜上所述，sEMG 的醫(yī)學機理涉及肌肉收縮、神經(jīng)傳導、肌肉電活動、神經(jīng)-肌肉接頭以及神經(jīng)異常等方面。通過測量和分析肌肉的電信號，sEMG 可以提供有關(guān)肌肉功能和神經(jīng)病理狀態(tài)的信息。因而可以通過對該信號的測量來實現(xiàn)手語的識別翻譯。

當神經(jīng)系統(tǒng)向肌肉發(fā)送指令時，神經(jīng)元釋放神經(jīng)遞質(zhì)乙酰膽堿，乙酰膽堿通過神經(jīng)肌接頭傳遞到肌肉細胞上的乙酰膽堿受體上。乙酰膽堿受體激活后，導致細胞內(nèi)部鈉離子通道打開，鈉離子進入肌肉細胞內(nèi)部。

這種鈉離子的進入導致肌肉細胞內(nèi)部的電位變化，從而觸發(fā)肌肉細胞內(nèi)的細胞膜上的肌動蛋白。這種肌動蛋白和肌原纖維上的肌動蛋白相互作用，產(chǎn)生肌肉收縮。同時，肌肉細胞內(nèi)的鈣離子也參與了肌肉收縮的調(diào)節(jié)。

肌肉收縮完成后，神經(jīng)元停止釋放乙酰膽堿，并將未被吸收的乙酰膽堿分解掉。肌肉細胞內(nèi)的鈉離子通道關(guān)閉，鈣離子的濃度回到正常水平，肌肉細胞逐漸放松。

在肌肉收縮和放松過程中，肌電信號可以通過肌肉細胞內(nèi)的電位變化和離子流動來記錄和測量。這種肌電信號的改變可以用來分析肌肉的活動和功能，因而可以應用于運動控制的手語翻譯領(lǐng)域中[3]。

3 sEMG 采集與數(shù)據(jù)預處理

從客觀的實際出發(fā)，手語包含的手勢動作其實是相對復雜的，一整套手語動作是由連貫的多個手勢動作構(gòu)成的。所以我們選取了四個基礎手勢動作來進行識別分析。其分別是伸掌、握拳、OK 和捏取。

肌電信號數(shù)據(jù)主要來自于項目成員組，在執(zhí)行的過程中每個手勢保持5 秒，手勢之間的間隔為10 秒，一共收集到了上千份數(shù)據(jù)集合。

為了防止數(shù)據(jù)集在后續(xù)的算法應用中出現(xiàn)過擬合現(xiàn)象，我們必須對數(shù)據(jù)進行標簽修正的處理操作。標簽修正可以修復或調(diào)整數(shù)據(jù)中的錯誤標簽，從而改進模型的性能。錯誤的標簽會干擾模型的學習過程，導致模型預測的準確性降低。通過標簽修正，可以提高模型的精度、召回率等性能指標，提升智能算法的整體表現(xiàn)。標簽修正可以充分提高模型的理解能力和泛化能力。

綜上所述，標簽修正在處理肌電信號中具有提高模型性能、改進數(shù)據(jù)質(zhì)量、提供人工知識引導、處理標簽不平衡問題等重要意義。通過標簽修正，可以提高算法的準確性、泛化能力和可解釋性，進一步優(yōu)化智能算法的應用效果。

在多樣本種類分類的任務中，神經(jīng)網(wǎng)絡會輸出一個當前數(shù)據(jù)對應于每個分類類別的置信度分數(shù)，這些分數(shù)可以通過softmax 進行歸一化最終會計算出當前數(shù)據(jù)歸屬每個類別的概率[4]。

為了讓標簽修改更加的貼合肌電信號本身，我們采用了基于最大面積法原則進行標簽修正，即選擇與當前標簽相似度最高的標簽作為修正結(jié)果。這種方法不涉及復雜的模型訓練過程，更加容易理解和實現(xiàn)。其效果較好是由于最大面積法是通過計算相似度找到與當前標簽相似度最高的詮釋方式，從而實現(xiàn)修正。同時，最大面積法可以靈活地結(jié)合其他的標簽修正方法或者特征工程方法，這也是因為其不依賴于特定的領(lǐng)域知識或者先驗條件，適用于各種不同的場景和領(lǐng)域。最大面積法的計算過程相對簡單，不需要進行復雜的模型訓練或者迭代計算。所以其計算效率較高，可以在大規(guī)模數(shù)據(jù)集上進行快速的標簽修正。因此在初始分析時，我們選取了這樣相對較為簡單的修正方式來對數(shù)據(jù)做了初始處理。

圖2 手勢準確率

4 特征提取與分類

卷積神經(jīng)網(wǎng)絡（CNN）是一種深度學習模型，主要用于圖像識別、語音識別和自然語言處理等領(lǐng)域。CNN模型由多個層組成，每一層在模型中承擔不同的作用。經(jīng)過處理后的肌電信號也屬于一種圖像，因此我們考慮用CNN 來進行特征提取與歸類[5]。

最終可以得到的是，四個手勢的識別準確率基本處于60%的范圍水平，基本達到預期的預設目標。

5 本文工作總結(jié)與未來展望

肌電信號是人體手臂活動時肌肉產(chǎn)生的生理電信號，其中包含了動作信息，通過對肌電信號進行分析識別是一種新型的人機交互控制方式。相較于語音還有機器視覺的交互方式，肌電信號具有方便直接，且不易受到環(huán)境干擾等特點。本文以肌電信號手勢識別中的適應性為研究方向，探究了肌電信號時變性對肌電信號手勢識別的影響。本文主要工作總結(jié)如下：

1.分析了當下的殘障人士的現(xiàn)狀困境，并且闡明了基于深度學習的sEMG 手語識別的重要意義。

2.確定了肌電信號的采集模塊，以小組成員作測試對象建立了數(shù)據(jù)集，以四個基礎手勢作基石展開信號分析。

3.分析了肌電信號醫(yī)學機理，通過分析肌電信號的各項特征來確認后續(xù)的分析邏輯思路。

4.進行標簽修正的數(shù)據(jù)預處理操作，并且選取CNN智能算法作分類器，最后的準確率穩(wěn)定在60%左右，達到了預期效果。

而在今后的研究工作中，可以繼續(xù)深入的研究之處有：

1.由于實際中的手勢是較為復雜的，后續(xù)在改進準確度的問題上可能可以考慮其他的算法。

2.未來技術(shù)成熟時也可以遷移到其他的應用領(lǐng)域，比如智能假肢等。