深度學(xué)習(xí)在動(dòng)力下肢假肢運(yùn)動(dòng)意圖識(shí)別中的應(yīng)用

倪 鈺，蘇本躍

（1.安慶師范大學(xué)計(jì)算機(jī)與信息學(xué)院，安徽安慶246133；2.安徽省智能感知與計(jì)算重點(diǎn)實(shí)驗(yàn)室，安徽安慶246133）

第二次全國(guó)殘疾人抽樣調(diào)查數(shù)據(jù)公報(bào)顯示，我國(guó)肢體殘疾人數(shù)接近2 500萬(wàn)，下肢截肢者的數(shù)量約占截肢患者總數(shù)的70%[1]。使用機(jī)械假肢的經(jīng)股截肢者無(wú)法在復(fù)雜的地形上行走，例如樓梯，即使在水平地面上行走，他們的新陳代謝能量也比健全的受試者高出60%[2]。為了克服機(jī)械假肢的部分局限性，研究人員致力于開(kāi)發(fā)智能動(dòng)力下肢假肢。人體運(yùn)動(dòng)意圖識(shí)別在智能下肢假肢研究中尤其重要，將在運(yùn)動(dòng)模式之間提供安全、自動(dòng)和無(wú)縫的過(guò)渡。下肢假肢意圖識(shí)別研究難點(diǎn)主要有傳感器的選擇與融合問(wèn)題、控制策略問(wèn)題以及數(shù)據(jù)的分類算法問(wèn)題。Hargrove等研究了一種依靠從肌電信號(hào)中提取的信息來(lái)控制截肢患者坐下的控制系統(tǒng)[3]，主要通過(guò)提取大腿殘留的肌肉中肌電信號(hào)來(lái)獲取患者的運(yùn)動(dòng)意圖。傳統(tǒng)的運(yùn)動(dòng)意圖識(shí)別的控制策略將傳感器放置患側(cè)，蘇本躍等提出將傳感器放置健側(cè)的新策略，有效地解決了運(yùn)動(dòng)意圖識(shí)別的滯后性[4]。常用于運(yùn)動(dòng)意圖識(shí)別的算法有模板匹配[5]、HMM[6]、SVM[7]等，Su等構(gòu)建了適應(yīng)于下肢假肢運(yùn)動(dòng)意圖的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，采用自學(xué)習(xí)特征的方式準(zhǔn)確地預(yù)測(cè)了動(dòng)力下肢截肢患者的運(yùn)動(dòng)意圖[8]。國(guó)內(nèi)外大量實(shí)驗(yàn)表明，機(jī)器學(xué)習(xí)算法在下肢假肢運(yùn)動(dòng)意圖識(shí)別研究工作中取得了很好的分類效果。但在動(dòng)力下肢假肢運(yùn)動(dòng)意圖識(shí)別中采用深度學(xué)習(xí)方法的確很少見(jiàn)，研究人員大多采用傳統(tǒng)意圖識(shí)別方法，如模板匹配、決策樹(shù)、隱馬爾可夫、SVM等分類器。本文通過(guò)闡述常用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)原理，結(jié)合動(dòng)力下肢假肢運(yùn)動(dòng)意圖識(shí)別的特性，分析深度學(xué)習(xí)算法在意圖識(shí)別數(shù)據(jù)處理中的可行性。

人體下肢運(yùn)動(dòng)具有一定的規(guī)律性和周期性。根據(jù)雙腳觸地狀態(tài)的規(guī)律性，可以分成腳跟著地和腳趾離地這兩個(gè)步態(tài)事件，因此可將運(yùn)動(dòng)步態(tài)周期分成支撐相和擺動(dòng)相。傳統(tǒng)意圖識(shí)別將傳感器放在患側(cè)假肢上，因此轉(zhuǎn)換步定義在患側(cè)，這可能會(huì)帶來(lái)一定的滯后性。本研究小組提出將傳感器放置健側(cè)[4]，有效地避免了滯后性的問(wèn)題，同時(shí)對(duì)轉(zhuǎn)換步進(jìn)行了重定義：第一型轉(zhuǎn)換步起始于前一個(gè)地形條件下的前一只腳的腳尖離地時(shí)刻，終止于同側(cè)腳的腳后跟著地于后一地形。考慮到平地行走至上樓轉(zhuǎn)換和上樓至平地行走轉(zhuǎn)換的特殊性，對(duì)這兩類轉(zhuǎn)換步進(jìn)行了再定義。第二類型轉(zhuǎn)換步是起始于前一個(gè)地形條件下后一只腳的腳尖離地時(shí)刻，終止于同側(cè)腳的腳后跟著地于后一個(gè)地形。

1 基于CNN與LSTM的運(yùn)動(dòng)意圖識(shí)別

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種深度學(xué)習(xí)模型或類似于人工神經(jīng)網(wǎng)絡(luò)的多層感知器，在圖像分類、目標(biāo)檢測(cè)和語(yǔ)意分割等領(lǐng)域取得了優(yōu)秀的研究成果。CNN的主要層級(jí)結(jié)構(gòu)有卷積層、池化層以及全連接層等。卷積層運(yùn)算的主要目的是對(duì)特征進(jìn)行學(xué)習(xí)與提取，從低層特征中提取更為抽象的特征。卷積核通常定義為二維張量，卷積運(yùn)算，其中，I為二維的輸入數(shù)據(jù)，K為二維的卷積核。

1.2 長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)

長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（LSTM）屬于循環(huán)神經(jīng)網(wǎng)絡(luò)類，最初由Hochreiter 和Schmidhuber于1997年提出[9]。與遞歸神經(jīng)網(wǎng)絡(luò)（RNN）類型算法相似，LSTM 也運(yùn)行在具有遺忘機(jī)制特色的鏈結(jié)構(gòu)上。LSTM能夠刪除或添加單元狀態(tài)信息，這些單元以交互結(jié)構(gòu)放置，可以操縱長(zhǎng)序列模型，如圖1所示。

LSTM網(wǎng)絡(luò)的輸入門(mén)it，遺忘門(mén)ft，輸出門(mén)ot，當(dāng)前單元狀態(tài)ct和隱藏輸出ht分別表示為it=σ(Wxixt+Whiht-1+bi)；ft=σ(Wxfxt+Whfht-1+bf)，ot=σ(Wxoxt+Whoht-1+bo)，ct=ftct-1+it(tanh(Wxcxt+Whcht-1+bc))，ht=ottanh(ct)，其中，Wx表示輸入權(quán)重矩陣，Wh為隱藏層神經(jīng)元間的權(quán)重矩陣。

1.3 運(yùn)動(dòng)意圖識(shí)別算法

LeNet-5[10]屬于經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)，它共有8層網(wǎng)絡(luò)，分別為輸入層、卷積層（C1）、池化層（S2）、卷積層（C3）、池化層（S4）、卷積層（C5）、全連接層（F6）和輸出層。

基于卷積神經(jīng)網(wǎng)絡(luò)的意圖識(shí)別實(shí)驗(yàn)步驟如下。（1）數(shù)據(jù)預(yù)處理：提取傳感器放置健側(cè)的擺動(dòng)項(xiàng)數(shù)據(jù)，采用滑動(dòng)窗口的方式對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)增廣（由于處理后的數(shù)據(jù)集樣本最短幀數(shù)為27，所以將滑動(dòng)窗口大小設(shè)為27）；（2）數(shù)據(jù)歸一化：使得深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的輸入保持相同分布，從而一定程度上解決收斂慢的問(wèn)題；（3）采用十折交叉驗(yàn)證對(duì)算法進(jìn)行評(píng)估；（4）將處理好的數(shù)據(jù)集作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，訓(xùn)練模型并調(diào)整神經(jīng)網(wǎng)絡(luò)的參數(shù)；（5）將測(cè)試集樣本代入訓(xùn)練好的模型，計(jì)算分類效果。

基于長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的意圖識(shí)別實(shí)驗(yàn)步驟與卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用步驟大體類似，唯一的區(qū)別是在步驟（1）中無(wú)需使用滑動(dòng)窗口方法。意圖識(shí)別算法中使用滑動(dòng)窗口的目的是將輸入轉(zhuǎn)換成大小一致的數(shù)據(jù)，以適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)的輸入，而長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的輸入可以適應(yīng)不同尺寸大小的數(shù)據(jù)，所以在應(yīng)用長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的實(shí)驗(yàn)中去掉了滑動(dòng)窗口這個(gè)實(shí)驗(yàn)步驟。其他實(shí)驗(yàn)內(nèi)容均與應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)的實(shí)驗(yàn)步驟相同。

為了驗(yàn)證傳統(tǒng)CNN與LSTM算法的運(yùn)動(dòng)意圖識(shí)別分類效果，添加了RF與HMM這兩種分類器作為對(duì)比試驗(yàn)。圖2為本文的算法流程圖。

圖2 算法流程圖

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

意圖識(shí)別主要涉及的運(yùn)動(dòng)模式包括13類：平地行走、上下坡、上下樓；平地行走向上坡轉(zhuǎn)換、上坡向平地行走轉(zhuǎn)換、平地行走向下坡轉(zhuǎn)換、下坡向平地行走轉(zhuǎn)換、平地行走向上樓轉(zhuǎn)換、上樓向平地行走轉(zhuǎn)換、平地行走向下樓轉(zhuǎn)換、下樓向平地行走轉(zhuǎn)換。

本文實(shí)驗(yàn)數(shù)據(jù)集采集了13種運(yùn)動(dòng)模式下，10名身體健全的受試者（5男5女）按照每種模式操作10次的方式，收集了共1 300個(gè)樣本。數(shù)據(jù)采集基于Noitom慣性捕捉系統(tǒng)，共采集了綁定在人體上17個(gè)傳感器的21個(gè)節(jié)點(diǎn)的加速度、角速度、速度、位移、四元數(shù)以及觸地狀態(tài)的數(shù)據(jù)。

2.2 實(shí)驗(yàn)流程

在受試者健側(cè)的3個(gè)傳感器中提取處于擺動(dòng)項(xiàng)的3維加速度和3維角速度信息，共18維時(shí)序數(shù)據(jù)作為本文算法的輸入，數(shù)據(jù)集的劃分采用十折交叉驗(yàn)證。由于CNN算法與RF算法輸入樣本的維數(shù)相同，所以在數(shù)據(jù)進(jìn)入分類器前加入了滑動(dòng)窗處理步驟。算法分類器的輸出為13類運(yùn)動(dòng)意圖的分類結(jié)果，具體見(jiàn)圖2算法流程圖。

本文CNN 模型是基于Matlab R2018b 的DeepLearnToolbox 工具包實(shí)現(xiàn)，RF、HMM、LSTM 均基于Matlab 內(nèi)置工具包實(shí)現(xiàn)動(dòng)作的分類。CNN、LSTM兩類深度學(xué)習(xí)模型相關(guān)參數(shù)如表1所示。

2.3 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)采用了測(cè)試集準(zhǔn)確率(Accuracy)、平均精確率(mAP)以及時(shí)間復(fù)雜度(Time)作為算法性能衡量的指標(biāo)。測(cè)試集準(zhǔn)確率即正確識(shí)別出測(cè)試樣本的個(gè)數(shù)/總測(cè)試樣本的個(gè)數(shù)，平均精確率為13類下肢意圖動(dòng)作識(shí)別率的均值，時(shí)間復(fù)雜度為測(cè)試集在訓(xùn)練好的模型中測(cè)試所需要的時(shí)間。

表1 兩類深度學(xué)習(xí)模型相關(guān)參數(shù)設(shè)置

圖3為選取的4類分類器識(shí)別結(jié)果的混淆矩陣，可以看出4類分類器在13類運(yùn)動(dòng)意圖動(dòng)作的分類中都能夠取得很好的分類效果?；贑NN網(wǎng)絡(luò)框架的準(zhǔn)確率達(dá)90.00%，LSTM在運(yùn)動(dòng)意圖數(shù)據(jù)集中的實(shí)驗(yàn)識(shí)別準(zhǔn)確率達(dá)92.31%，基于RF和HMM模型的分類結(jié)果分別達(dá)86.92%與91.54%，其中LSTM能夠準(zhǔn)確識(shí)別8類動(dòng)作且識(shí)別效果最優(yōu)。

圖3 4類分類器識(shí)別結(jié)果的混淆矩陣。（a）基于RF識(shí)別結(jié)果的混淆矩陣；（b）基于HMM識(shí)別結(jié)果的混淆矩陣；（c）基于CNN識(shí)別結(jié)果的混淆矩陣；（d）基于LSTM識(shí)別結(jié)果的混淆矩陣

4類分類器模型在運(yùn)動(dòng)意圖數(shù)據(jù)集中的實(shí)驗(yàn)結(jié)果如表2所示。實(shí)驗(yàn)驗(yàn)證了CNN與LSTM在運(yùn)動(dòng)意圖識(shí)別這樣的短時(shí)行為樣本分類任務(wù)中具有一定的分類效果。由于LSTM更加適合時(shí)間序列的分類問(wèn)題，所以實(shí)驗(yàn)的識(shí)別結(jié)果相較于CNN更優(yōu)。在時(shí)間復(fù)雜度上CNN算法更優(yōu)，這主要是由于LSTM的網(wǎng)絡(luò)結(jié)構(gòu)比CNN的更復(fù)雜。從實(shí)驗(yàn)對(duì)比中可以看出，CNN無(wú)論是識(shí)別率還是時(shí)間復(fù)雜度都優(yōu)于RF。同樣，LSTM的分類性能也更加優(yōu)于HMM。

表2 4種分類器在運(yùn)動(dòng)意圖數(shù)據(jù)集中的實(shí)驗(yàn)結(jié)果

3 結(jié)束語(yǔ)

本文首先分析了運(yùn)動(dòng)意圖識(shí)別的研究現(xiàn)狀與存在的問(wèn)題，探討了將深度學(xué)習(xí)算法應(yīng)用到意圖識(shí)別的重要意義。然后選擇了兩類典型的深度學(xué)習(xí)算法模型（卷積神經(jīng)網(wǎng)絡(luò)、長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)），簡(jiǎn)述了這兩種網(wǎng)絡(luò)模型的基本原理與算法。最后，將兩類神經(jīng)網(wǎng)絡(luò)模型應(yīng)用到運(yùn)動(dòng)意圖識(shí)別數(shù)據(jù)集中，并與兩類機(jī)器學(xué)習(xí)算法模型（隨機(jī)森林、隱馬爾科夫）進(jìn)行實(shí)驗(yàn)對(duì)比。實(shí)驗(yàn)結(jié)果驗(yàn)證了深度學(xué)習(xí)算法應(yīng)用在運(yùn)動(dòng)意圖識(shí)別研究中的可行性，同時(shí)，分析了兩種深度學(xué)習(xí)算法模型應(yīng)用于意圖識(shí)別的有效性。將深度學(xué)習(xí)應(yīng)用于意圖識(shí)別具有重要的意義，通過(guò)自學(xué)習(xí)的方式提取運(yùn)動(dòng)意圖的抽象特征，簡(jiǎn)化了傳統(tǒng)意圖識(shí)別中手工提取特征的流程。由于本文主要分析深度學(xué)習(xí)應(yīng)用于動(dòng)力下肢假肢運(yùn)動(dòng)意圖識(shí)別的可行性，未對(duì)深度學(xué)習(xí)模型的優(yōu)化進(jìn)行更深層的探討，因此如何更加精確地識(shí)別運(yùn)動(dòng)意圖，需要進(jìn)一步研究。