一種基于改進(jìn)DTW的人體運(yùn)動(dòng)模式感知算法

李 浩，閆國(guó)棟，尹業(yè)成，于志遠(yuǎn)，喬尚嶺

（1. 北京精密機(jī)電控制設(shè)備研究所，北京 100076；2. 航天伺服驅(qū)動(dòng)與傳動(dòng)技術(shù)實(shí)驗(yàn)室，北京 100076）

外骨骼機(jī)器人是一種智能可穿戴設(shè)備,目前已逐步應(yīng)用于消防、醫(yī)療、工業(yè)等領(lǐng)域[1]。能否準(zhǔn)確感知出穿戴者當(dāng)前的運(yùn)動(dòng)模式，是外骨骼機(jī)器人實(shí)現(xiàn)人機(jī)協(xié)同功能的重要前提條件。目前常用于人體運(yùn)動(dòng)模式感知的算法包括支持向量機(jī)（Support Vector Machine,SVM）[2]、隨機(jī)森林（Random Forest, RF）[3]、K近鄰（K-Nearest Neighbor, KNN）[4]、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN）[5]、長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory, LSTM）[6]等，上述基于機(jī)器學(xué)習(xí)或深度學(xué)習(xí)的算法通常需要大量含標(biāo)注的訓(xùn)練集做為支撐、存在超參數(shù)最優(yōu)解搜索困難等問(wèn)題。動(dòng)態(tài)時(shí)間規(guī)整（Dynamic time warping, DTW）算法最早由日本學(xué)者Itakura提出，目的是采用動(dòng)態(tài)規(guī)整的思想衡量?jī)蓚€(gè)不同長(zhǎng)度時(shí)間序列的相似程度[7]，在語(yǔ)音識(shí)別[8]，手勢(shì)識(shí)別[9]等領(lǐng)域取得了廣泛應(yīng)用。與機(jī)器學(xué)習(xí)和深度學(xué)習(xí)相比，DTW算法無(wú)需進(jìn)行特征提取等工作，可直接對(duì)傳感器數(shù)據(jù)進(jìn)行相似性匹配，當(dāng)感知的運(yùn)動(dòng)模式種類發(fā)生變化時(shí)，只需增加或刪減相應(yīng)運(yùn)動(dòng)模式的模板，具有結(jié)構(gòu)簡(jiǎn)單、模型易修正、可解釋性強(qiáng)等優(yōu)點(diǎn)。

傳統(tǒng)DTW算法中的路徑約束條件要求待測(cè)序列與標(biāo)準(zhǔn)模板間必須進(jìn)行逐點(diǎn)匹配，可能會(huì)出現(xiàn)匹配路徑偏離對(duì)角線較遠(yuǎn)、一個(gè)序列中的某個(gè)點(diǎn)與另一個(gè)序列中的連續(xù)多個(gè)點(diǎn)相匹配的情況。在一個(gè)完整的步態(tài)周期內(nèi)，人體下肢運(yùn)動(dòng)具有波形相似，時(shí)間長(zhǎng)度不固定的“準(zhǔn)周期”特性，傳統(tǒng)路徑約束條件勢(shì)必會(huì)影響最優(yōu)匹配路徑的可靠性，進(jìn)而影響算法的精度。為降低算法的計(jì)算量和避免匹配路徑過(guò)度偏離，目前最常用的方法是在原有的路徑搜索區(qū)域的基礎(chǔ)上，繪制一個(gè)平行四邊形區(qū)域[10,11]，一旦匹配路徑觸碰到繪制區(qū)域的邊界，便通過(guò)修改路徑約束條件的方式，將匹配路徑限制在規(guī)定范圍內(nèi)。這種方法雖然可以對(duì)匹配路徑進(jìn)行一定范圍的限制，降低一部分計(jì)算量，但仍然無(wú)法避免連續(xù)“一對(duì)多”現(xiàn)象對(duì)感知結(jié)果影響。

針對(duì)傳統(tǒng)DTW算法存在的問(wèn)題，本文首先提出了一種新的路徑約束條件，并適當(dāng)松弛算法的端點(diǎn)；然后在多傳感器進(jìn)行決策層融合時(shí)，設(shè)計(jì)了一種自適應(yīng)權(quán)重分配機(jī)制；最后采集人體下肢的運(yùn)動(dòng)信息進(jìn)行實(shí)驗(yàn)，對(duì)行走、上樓梯、下樓梯、跑步、上坡和下坡6種下肢外骨骼機(jī)器人常應(yīng)用的運(yùn)動(dòng)模式進(jìn)行感知。

1 算法流程

IMU因具有可穿戴性強(qiáng)、功耗低等優(yōu)點(diǎn)，在人體運(yùn)動(dòng)模式感知領(lǐng)域得到廣泛的應(yīng)用，將IMU綁縛于人體下肢，可采集人體運(yùn)動(dòng)過(guò)程中產(chǎn)生的運(yùn)動(dòng)信號(hào)，如加速度、角速度等。本文設(shè)計(jì)的算法主要包括步態(tài)周期的劃分、標(biāo)準(zhǔn)模板的構(gòu)建和相似度的匹配三部分：首先對(duì)IMU采集的原始數(shù)據(jù)進(jìn)行分割，獲取一個(gè)完整的步態(tài)周期；然后離線構(gòu)建一個(gè)步態(tài)周期內(nèi)不同運(yùn)動(dòng)模式的標(biāo)準(zhǔn)模板；最后將改進(jìn)后的DTW算法與自適應(yīng)權(quán)重分配機(jī)制相結(jié)合，通過(guò)相似度匹配完成運(yùn)動(dòng)模式的感知。流程圖如圖1所示。

圖1 人體運(yùn)動(dòng)模式感知算法流程圖Fig.1 Flow chart of human movement pattern recognition algorithm

2 數(shù)據(jù)采集與預(yù)處理

2.1 數(shù)據(jù)采集

受身高、體重、自身運(yùn)動(dòng)習(xí)慣等因素的影響，人體運(yùn)動(dòng)模式具有顯著的類間相似性和類內(nèi)可變性，為了更好地獲取運(yùn)動(dòng)信息，本文選擇4個(gè)IMU，分別安裝于左右大小腿外側(cè)，采集運(yùn)動(dòng)過(guò)程中各IMU沿X軸的加速度與矢狀面角速度（繞Z軸的角速度）。具體安裝位置如圖2所示。

圖2 傳感器安裝位置示意圖Fig.2 Schematic diagram of sensor installation position

2.2 數(shù)據(jù)預(yù)處理

在進(jìn)行感知前，需要將IMU采集到的數(shù)據(jù)流形式的信號(hào)進(jìn)行分割，以獲取時(shí)間序列樣本。人體下肢的運(yùn)動(dòng)通常具有周期性，本文根據(jù)步態(tài)周期的定義，通過(guò)小腿處IMU的矢狀面角速度提取該側(cè)足跟連續(xù)兩次觸地間的過(guò)程做為窗口，采用Savitzky-Golay濾波方法對(duì)窗口中的數(shù)據(jù)進(jìn)行濾波，并將濾波后的數(shù)據(jù)進(jìn)行歸一化，以消除噪聲和量綱差異的影響。

3 DTW算法的改進(jìn)

假設(shè)兩個(gè)不同長(zhǎng)度的時(shí)間序列Q={q1, q2, q3…qM}和C={c1, c2, c3…cN}的長(zhǎng)度分別為M和N，DTW算法需要構(gòu)建一個(gè)矩陣元素為兩序列各點(diǎn)間的歐式距離d(m, n)的時(shí)間規(guī)整矩陣DM×N，然后搜索使兩序列間累加距離最小的最優(yōu)匹配路徑W，最后沿著最優(yōu)匹配路徑W對(duì)d(m, n)進(jìn)行累加，便可得到兩個(gè)時(shí)間序列的DTW距離D(M, N)。DTW距離越小，兩個(gè)序列的相似度越高。

在尋找最優(yōu)匹配路徑W時(shí)，傳統(tǒng)DTW算法要求必須滿足以下三個(gè)路徑約束條件：

（1） 邊界性： w1=(1,1), wk=(M,N)；

（2） 連續(xù)性：匹配過(guò)程中不得跳過(guò)兩個(gè)序列中的任意一點(diǎn)；

（3） 單調(diào)性：匹配路徑中的任意相鄰兩點(diǎn)必須滿足：

該路徑約束條件要求匹配時(shí)不得跳過(guò)兩個(gè)序列中的任意一點(diǎn)，這可能導(dǎo)致序列Q中的某個(gè)點(diǎn)與序列C中的連續(xù)多個(gè)點(diǎn)或序列C中的某個(gè)點(diǎn)與序列Q中的連續(xù)多個(gè)點(diǎn)相匹配的情況，通過(guò)失真的匹配方式，強(qiáng)行降低兩個(gè)相似度較低的序列的DTW距離。針對(duì)這一問(wèn)題，本文提出一種允許跨點(diǎn)匹配的方法，將規(guī)整路徑的斜率取值范圍固定為0.5、1和2，求取最優(yōu)路徑的遞歸公式由傳統(tǒng)算法中的式(4)變?yōu)槭?5)，改進(jìn)后的DTW規(guī)整路徑方向如圖3所示?？琰c(diǎn)匹配既可以保證匹配路徑不會(huì)偏離對(duì)角線太遠(yuǎn)，也徹底避免了除端點(diǎn)外的“一對(duì)多”的現(xiàn)象。圖4為同一組序列分別在傳統(tǒng)路徑約束條件下和本文提出的改進(jìn)路徑約束條件下的最優(yōu)匹配路徑，其中下方紅色曲線為序列Q，右側(cè)藍(lán)色曲線為序列C，中間黑色曲線為當(dāng)前路徑約束條件下的最優(yōu)匹配路徑。從圖中可以發(fā)現(xiàn)，在匹配過(guò)程中，當(dāng)m和n均大于2時(shí)，對(duì)于同一組序列，改進(jìn)后的算法避免了匹配過(guò)程中出現(xiàn)連續(xù)橫向或縱向的失真現(xiàn)象，最優(yōu)匹配路徑更加光滑。

圖3 DTW規(guī)整路徑方向Fig.3 The direction of search path of DTW algorithm

圖4 最優(yōu)匹配路徑Fig.4 The best warping path

受步態(tài)周期提取算法的限制，待測(cè)樣本無(wú)法保證能與標(biāo)準(zhǔn)模板的端點(diǎn)完全對(duì)齊。為解決這一問(wèn)題，本文采用文獻(xiàn)[10]中的方法，取消傳統(tǒng)DTW路徑約束中w1=(1, 1)，wk=(M, N)的要求，通過(guò)設(shè)置松弛范圍R和T，讓DTW算法自主選擇R和T中最小值對(duì)應(yīng)的點(diǎn)做為算法的兩個(gè)端點(diǎn)。

4 自適應(yīng)權(quán)重分配機(jī)制

IMU的n軸數(shù)據(jù)分別選擇各自DTW距離最小的標(biāo)準(zhǔn)模板對(duì)應(yīng)的運(yùn)動(dòng)模式進(jìn)行分類，通過(guò)多投票表決的方法，將各軸數(shù)據(jù)的分類結(jié)果進(jìn)行決策層融合。由于各分類器的性能不同，各軸數(shù)據(jù)所得結(jié)果的可信度往往并不一致，在多投票表決中，若要給各分類器相同的投票權(quán)重，勢(shì)必會(huì)對(duì)投票結(jié)果的精度產(chǎn)生影響。為解決這一問(wèn)題，目前最常用的方法是事先獲得各分類器性能的先驗(yàn)知識(shí)，根據(jù)先驗(yàn)知識(shí)分配投票權(quán)重，如D-S證據(jù)理論[12]等。然而分類器性能的先驗(yàn)知識(shí)通常需要大量實(shí)驗(yàn)才能獲得，且因人而異。

考慮到DTW算法中相似程度可通過(guò)距離表示，本文設(shè)計(jì)了一種自適應(yīng)權(quán)重分配機(jī)制：首先通過(guò)待測(cè)樣本與各標(biāo)準(zhǔn)模板間的DTW距離確定各分類器的置信度，然后將總投票數(shù)n根據(jù)置信度進(jìn)行自動(dòng)分配。該機(jī)制不僅可以根據(jù)當(dāng)前待測(cè)樣本，自動(dòng)調(diào)整各分類器的投票權(quán)重，而且無(wú)需各分類器性能的先驗(yàn)知識(shí)，具體流程如下：

step1計(jì)算IMU各軸數(shù)據(jù)xi與各標(biāo)準(zhǔn)模板之間的DTW距離，i=1...n，記錄最小距離與次小距離Li1、Li2，選擇Li1對(duì)應(yīng)的運(yùn)動(dòng)模式為xi的感知結(jié)果Ai，得到各分類器感知結(jié)果的集合A，A={A1, A2, A3... An}；

step2利用式(8)計(jì)算xi在權(quán)重分配中所占票數(shù)Vi：

step3根據(jù)感知結(jié)果集合A和式(8)所得權(quán)重對(duì)各分類器的結(jié)果進(jìn)行決策層融合，獲得最終的感知結(jié)果。

需要指出的是，Vi與Li1/Li2成反比，Li1/Li2越小，數(shù)據(jù)xi與相似度最高的標(biāo)準(zhǔn)模板間的DTW距離越小于xi與其它標(biāo)準(zhǔn)模板的DTW距離，表明該感知結(jié)果的置信度越高，在決策層融合中所占的權(quán)重也應(yīng)越高。

5 實(shí)驗(yàn)與分析

5.1 標(biāo)準(zhǔn)模板構(gòu)建

為驗(yàn)證本文所提算法的可行性，共采集了14名測(cè)試人員的數(shù)據(jù)（男性10名，女性4名，年齡23歲~29 歲，身高162 cm~183 cm，體重52 kg~77 kg）。IMU型號(hào)為荷蘭Xsens公司的Xsens MTw，如圖5所示，采樣頻率為100 Hz，加速度量程為160 m/s2，角速度量程為2000 °/s，可自動(dòng)實(shí)現(xiàn)多個(gè)IMU之間的時(shí)間同步。測(cè)試人員將IMU按照?qǐng)D2所示位置進(jìn)行安裝，數(shù)據(jù)采集過(guò)程中不對(duì)測(cè)試人員的行為習(xí)慣設(shè)置約束，采集順序?yàn)樾凶?上樓梯-下樓梯-跑步-上坡-下坡。

圖5 Xsens MTw傳感器Fig.5 Xsens MTw sensor

實(shí)驗(yàn)采用標(biāo)準(zhǔn)民用樓梯（高16 cm寬27 cm），斜坡的坡度為8°，數(shù)據(jù)采集共得到4781個(gè)完整的步態(tài)周期，各運(yùn)動(dòng)模式的占比如表1所示。

表1 各運(yùn)動(dòng)模式的占比Tab.1 Proportion of each movement mode

我們隨機(jī)選擇了6名測(cè)試人員的數(shù)據(jù)，將樣本通過(guò)采樣或插值的方式對(duì)齊到相同長(zhǎng)度，再進(jìn)行平均以創(chuàng)建標(biāo)準(zhǔn)模板庫(kù)，然后將另外8名測(cè)試人員的數(shù)據(jù)作為測(cè)試集進(jìn)行測(cè)試。人體的左右腿在運(yùn)動(dòng)過(guò)程中具有對(duì)稱性，圖6-9顯示了歸一化后不同運(yùn)動(dòng)模式下左側(cè)大小腿的標(biāo)準(zhǔn)模板曲線。可以看出，各運(yùn)動(dòng)模式之間具有一定的區(qū)分度。

圖6 左側(cè)大腿X軸加速度模板Fig.6 Template of X-axis acceleration of left thigh

圖7 左側(cè)大腿矢狀面角速度模板Fig.7 Template of sagittal angular velocity of left thigh

圖8 左側(cè)小腿X軸加速度模板Fig.8 Template of X-axis acceleration of left shank

圖9 左側(cè)小腿矢狀面角速度模板Fig.9 Template of sagittal angular velocity of left shank

5.2 改進(jìn)DTW算法測(cè)試

采用傳統(tǒng)DTW算法，搜索松弛范圍S的最優(yōu)解。由于端點(diǎn)部分?jǐn)?shù)據(jù)無(wú)法對(duì)齊的現(xiàn)象只在很小范圍內(nèi)出現(xiàn)，參數(shù)S不宜過(guò)大，這里選擇2~5，并與固定端點(diǎn)（S=1）進(jìn)行對(duì)比，表2列舉了設(shè)置不同松弛范圍時(shí)的感知精度，當(dāng)S=3時(shí)精度最高，為91.86%。

表2 不同松弛范圍時(shí)的平均精度Tab.2 Average accuracy in different relaxation ranges

確定松弛范圍S后，本文在各分類器具有相同投票權(quán)重的情況下，分別采用文獻(xiàn)[10-11]的平行四邊形搜索區(qū)域方法與本文提出的跨點(diǎn)匹配的方法進(jìn)行實(shí)驗(yàn)。表3列舉了不同方法下各運(yùn)動(dòng)模式的感知精度，其中平均精度為六種運(yùn)動(dòng)模式各自精度與從表1中篩選的8名測(cè)試人員樣本數(shù)所占權(quán)重相乘后累加的結(jié)果，依次為94.08%和96.09%。

從表3中可以看出，當(dāng)使用傳統(tǒng)DTW算法時(shí)，只有上樓梯和跑步兩種運(yùn)動(dòng)模式取得了較好的感知結(jié)果，其余四種運(yùn)動(dòng)模式的誤判概率均較高。設(shè)置平行四邊形搜索區(qū)域雖然可以將匹配路徑限制在較為合理的范圍內(nèi)，在一定程度上提升感知結(jié)果的平均精度，但仍然無(wú)法避免“一對(duì)多”現(xiàn)象的影響。本文提出的跨點(diǎn)匹配方法可以同時(shí)解決以上兩個(gè)問(wèn)題，與設(shè)置平行四邊形搜索區(qū)域的方法相比，除下樓梯的感知精度略有降低外，其余5種運(yùn)動(dòng)模式均有明顯提升，證明了跨點(diǎn)匹配的優(yōu)越性。

表3 不同感知算法下各運(yùn)動(dòng)模式的感知精度Tab.3 Recognition accuracy of each movement mode under different recognition algorithms

5.3 自適應(yīng)權(quán)重分配機(jī)制測(cè)試

本文從混淆矩陣和實(shí)現(xiàn)正確感知時(shí)各運(yùn)動(dòng)模式的平均得票數(shù)兩個(gè)層面對(duì)自適應(yīng)權(quán)重分配機(jī)制的優(yōu)越性進(jìn)行驗(yàn)證。

圖10 分別為將改進(jìn)的DTW算法與自適應(yīng)權(quán)重分配機(jī)制相結(jié)合前后的混淆矩陣?？梢钥闯觯胱赃m應(yīng)權(quán)重分配機(jī)制后，除行走和上坡的精度保持不變外，其余四種運(yùn)動(dòng)模式均有所提高。六種運(yùn)動(dòng)模式平均精度由96.09%提升到了97.64%。以下樓梯為例，引入自適應(yīng)權(quán)重機(jī)制前，傳感器各軸數(shù)據(jù)均具有相同的投票權(quán)重，存在大量將下樓梯誤判為行走的情況。引入自適應(yīng)權(quán)重分配機(jī)制后，下樓梯的平均精度從原來(lái)的90.64%提升到了97.21%，表4為下樓梯時(shí)各軸數(shù)據(jù)的投票權(quán)重平均值和投票數(shù)平均值，由表4可知，各軸數(shù)據(jù)在決策層融合時(shí)能夠根據(jù)當(dāng)前感知結(jié)果的置信度，自動(dòng)調(diào)整分類器的投票權(quán)重。此外，圖11對(duì)比了將改進(jìn)的DTW算法與自適應(yīng)權(quán)重分配機(jī)制相結(jié)合前后，各運(yùn)動(dòng)模式在實(shí)現(xiàn)正確感知時(shí)的平均得票數(shù)。可以看出，自適應(yīng)權(quán)重分配機(jī)制下的各運(yùn)動(dòng)模式的平均得票數(shù)明顯高于相同投票權(quán)重的方法，進(jìn)一步證明了該機(jī)制的優(yōu)越性。

表4 引入權(quán)重分配機(jī)制后下樓梯時(shí)的投票權(quán)重分配情況Tab.4 Voting weight distribution when downstairs after the introduction of the weight allocation mechanism

圖10 混淆矩陣Fig.10 Confusion matrix

圖11 正確感知時(shí)各運(yùn)動(dòng)模式的平均得票數(shù)Fig.11 The average number of votes of each movement mode in correct recognition

6 結(jié) 論

本文首先針對(duì)傳統(tǒng)DTW算法存在的問(wèn)題，提出采用跨點(diǎn)匹配、適當(dāng)松弛算法端點(diǎn)的方法對(duì)DTW進(jìn)行改進(jìn)；然后在多傳感器決策層融合中引入了一種基于置信度的自適應(yīng)權(quán)重分配機(jī)制；最后通過(guò)實(shí)驗(yàn)進(jìn)行驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，在各分類器具有相同投票權(quán)重的融合方式下，改進(jìn)的DTW算法較傳統(tǒng)算法的平均精度提升了5.31%，達(dá)到96.09%；引入自適應(yīng)權(quán)重分配機(jī)制后，平均精度進(jìn)一步提升了1.55%，達(dá)到97.64%，驗(yàn)證了本文所提出的改進(jìn)DTW算法和自適應(yīng)權(quán)重分配機(jī)制的有效性。