基于力跟蹤的上肢康復(fù)機器人系統(tǒng)中視覺與觸覺反饋融合技術(shù)研究

王昱，吳向東，施長城，張佳楫，李娜，馬冶浩，陶亮，唐敏，左國坤

1.西南交通大學機械工程學院，四川成都市 610031；2.中國科學院寧波材料與工程研究所，慈溪生物醫(yī)學工程研究所，浙江寧波市 315300；3.中國科學院寧波材料與工程研究所，醫(yī)用植介入材料浙江省工程研究中心，浙江寧波市 315300；4.寧波市康復(fù)醫(yī)院神經(jīng)康復(fù)科，浙江寧波市 315040

截至2019 年底，全國60 周歲及以上老年人口2.54億，占總?cè)丝诘?8.1%[1]。未來一段時間，我國老齡化程度將持續(xù)加深，并將是一個長期趨勢。伴隨著人口老齡化的加劇以及生活與飲食習慣的改變，腦卒中患者數(shù)量在逐年遞增[2]。腦卒中往往導致不同程度的肢體功能障礙，其中上肢功能障礙約占80%，嚴重影響患者的日常生活[3]。傳統(tǒng)的康復(fù)模式是康復(fù)醫(yī)師通過一對一的方式協(xié)助患者進行大量重復(fù)性的康復(fù)運動，逐步刺激腦部神經(jīng)，以達到康復(fù)目的[4]。這種康復(fù)方式成本高，效率低，難以滿足當前的康復(fù)需求。隨著康復(fù)機器人的誕生，腦卒中患者的康復(fù)成本和康復(fù)效率得到大幅度改善，但仍然存在一些不足[5-6]。

將虛擬現(xiàn)實技術(shù)與上肢康復(fù)相結(jié)合可以為患者提供身臨其境的康復(fù)環(huán)境，降低患者的抵觸情緒，激發(fā)患者的康復(fù)動力，進而提高康復(fù)效果[7-8]。理想的虛擬環(huán)境應(yīng)該能為患者提供一個多源的信息反饋，包括視覺、觸覺和聽覺，但目前的康復(fù)設(shè)備大多只能提供視覺和聽覺，不能完全的使患者沉浸其中[9]。同時，臨床研究也表明[10]，對患者實施任務(wù)導向性的運動和多感覺融合性訓練，有助于提升其獨立完成日?；顒拥哪芰?。

Marchal-Crespo 等[11]設(shè)計了一種基于位置誤差的力反饋策略，該策略在提供重力和摩擦力補償?shù)那疤嵯聻榛颊咛峁┤N不同的力反饋模式，分別為無指導、錯誤縮小和錯誤放大。在錯誤縮小和錯誤放大模式中，控制器根據(jù)患者任務(wù)的完成精度為其提供一個與期望方向相同或相反的力，力的大小與完成精度相關(guān)。Wright 等[12]通過評估患者完成點到點和畫圓運動的表現(xiàn)為其定制化地設(shè)計一種力場，以降低其在康復(fù)運動中肢體活動的頻率。Majeed 等[13]根據(jù)臨床研究結(jié)果設(shè)計了一種與運動速度相關(guān)的黏性力場。Lokesh等[14]通過實驗證明，在康復(fù)過程中，約束較少的力反饋更有助于患者運動學習。以上力場較為固定且無法與現(xiàn)實生活相關(guān)聯(lián)，不具備游戲的樂趣，患者只能被動感受到虛擬環(huán)境對其的力反饋，無法對虛擬環(huán)境產(chǎn)生力的作用，不能實現(xiàn)真正的交互。

與簡單的康復(fù)任務(wù)相比，與現(xiàn)實場景相似的康復(fù)任務(wù)要求更加復(fù)雜的大腦活動[15]，可以為大腦提供更多的信息，有助于腦部神經(jīng)的重塑。Basalp 等[16-18]設(shè)計了一種用于上肢訓練的虛擬劃船系統(tǒng)，該系統(tǒng)可以為用戶提供視覺、觸覺和聽覺反饋，同時為了滿足不同用戶的任務(wù)需求，該系統(tǒng)還允許用戶調(diào)節(jié)虛擬水的密度，改變水與漿的交互力。該系統(tǒng)的臨場較強，可以滿足用戶更加豐富的訓練要求，但其觸覺反饋系統(tǒng)需要對整個系統(tǒng)的動力學參數(shù)進行精確的辨識，具有一定的復(fù)雜性。Keller 等[19]為青少年設(shè)計了一套用于上肢康復(fù)的六自由度外骨骼機器人，該系統(tǒng)將電腦游戲與康復(fù)相結(jié)合，可以提高參與者的興趣，但其反饋力仍不夠真實。

本研究基于末端牽引式上肢康復(fù)機器人提出一種針對腦卒中患者上肢運動康復(fù)的多感覺反饋融合訓練系統(tǒng)。該系統(tǒng)通過采集關(guān)節(jié)電機的運行狀態(tài)，將用戶手臂的運動信息發(fā)送給虛擬環(huán)境，再由虛擬環(huán)境對該事件進行響應(yīng)，計算出用戶應(yīng)該接受的期望力反饋，最終由控制器根據(jù)當前用戶與系統(tǒng)的交互力和期望力反饋之間的偏差調(diào)節(jié)關(guān)節(jié)電機輸出扭矩，讓用戶感受到虛擬環(huán)境中的力反饋。此外該方法還允許康復(fù)醫(yī)師針對不同患者的康復(fù)需求，通過切換虛擬環(huán)境或者調(diào)節(jié)虛擬環(huán)境參數(shù)，定制個性化的康復(fù)任務(wù)。

1 系統(tǒng)設(shè)計

1.1 硬件系統(tǒng)

本研究的實驗平臺采用團隊自主研發(fā)的末端牽引式上肢康復(fù)機器人[20-21]。該平臺由開發(fā)機和下位機兩部分組成。開發(fā)機為裝有電機控制軟件和Unity3D 軟件的臺式機和顯示器，可以為訓練者提供視覺反饋。下位機由伺服控制器和執(zhí)行機構(gòu)組成，與訓練者進行觸覺交互。執(zhí)行機構(gòu)共有三個電機，可以分別控制搖桿沿X 軸和Y 軸方向轉(zhuǎn)動，以及Z 方向移動。在搖桿的末端裝有把手，用于訓練者與系統(tǒng)進行交互。此外在把手下方裝有多維力傳感器，可以實時采集訓練者與搖桿的交互力。

該系統(tǒng)的原理見圖1。首先，訓練者操作搖桿，將手臂末端的位置和速度信息傳遞給虛擬環(huán)境。然后，虛擬環(huán)境對接收到的信息進行響應(yīng)，計算代理點與環(huán)境之間的期望交互力Fd，并將其傳遞給控制器，同時通過顯示器將虛擬環(huán)境中的視覺信息反饋給訓練者。接著，控制器根據(jù)采集到的機械臂關(guān)節(jié)角度θ、訓練者與機械臂的接觸力Fm和期望交互力Fd，調(diào)節(jié)機械臂輸出力矩τd，使訓練者與機械臂的交互力Fm跟蹤期望交互力Fd，最終使訓練者感受來自虛擬環(huán)境的觸覺反饋。

圖1 系統(tǒng)原理圖

1.2 控制器設(shè)計

為了模擬機械臂末端與訓練者之間的接觸力，將機器人末端假設(shè)為一個由質(zhì)量、彈簧和阻尼器組成的二階系統(tǒng)[22-23]，其動力學模式可表示為

其中，M、C、K分別為二階系統(tǒng)的理想質(zhì)量、阻尼和剛度參數(shù)。Fm為訓練者與機械臂末端的實際接觸力。x、分別為機械臂末端的位置矢量、速度矢量和加速度矢量。

經(jīng)典的定阻抗控制其參數(shù)恒定，交互力只與機械臂末端的位置和速度有關(guān)，無法實現(xiàn)訓練者在同一運動狀態(tài)感受到不同交互力的要求[24-25]。為了實現(xiàn)訓練者能在同一運動狀態(tài)感受到不同的交互力，系統(tǒng)的阻抗參數(shù)需要能根據(jù)交互力的偏差和運動狀態(tài)進行自適應(yīng)調(diào)節(jié)?？祻?fù)訓練是一個低速且速度變化緩慢的運動，將系統(tǒng)假設(shè)為二階系統(tǒng)后，訓練者于機械臂的交互力主要由虛擬彈簧產(chǎn)生。因此可以在不改變質(zhì)量M和阻尼系數(shù)C的情況下，調(diào)節(jié)彈簧剛度K實現(xiàn)交互力的跟蹤。

其中，k0為系統(tǒng)的初始剛度，Ef為期望交互力Fd與實際交互力Fm之間的偏差。kp、ki、kd分別為交互偏差的比例、積分和微分增益參數(shù)。

將式(2)帶入式(1)可得

該控制器的特點是在阻抗控制器中引入PID 控制器，使虛擬剛度K可以根據(jù)期望交互力Fd與實際交互力Fm之間的偏差Ef實現(xiàn)自適應(yīng)。然而，期望交互力Fd由虛擬系統(tǒng)設(shè)定可以發(fā)生突變，而實際交互力Fm不會突變。直接采用他們之間的誤差Ef來消除這個誤差，就意味著讓不會突變的值跟蹤可能會發(fā)生突變的值，跟蹤效果勢必無法滿足任務(wù)需求[26-27]。

對此，本文引入跟蹤微分器[26](tracking differentiator,TD)，對交互力偏差Ef進行過渡處理，使其無法突變，同時獲得過渡過程的微分信號。跟蹤微分器包含一個輸入信號x(t)和兩個輸出信號x1(t)、x2(t)。信號x1(t)將在速度因子r的限制下“最快地”跟蹤輸入信號x(t)，x2(t)是x1(t)的微分，可以近似為x(t)的微分。則式(3)可變?yōu)?/p>

由式(4)-(5)可獲得搖桿末端運動期望軌跡x，經(jīng)機器人逆運動學變換獲得機械臂各關(guān)節(jié)運動軌跡θd。為了提高位置跟蹤精度，首先對機器人的關(guān)節(jié)進行重力和摩擦力補償[28]，再通過機器人實時采集的關(guān)節(jié)位置信息θ與期望位置θd進行比較，調(diào)節(jié)各電機扭矩τ，實現(xiàn)康復(fù)機器人的力跟蹤。為了防止系統(tǒng)可能對訓練者帶來的二次傷害，本文對由虛擬環(huán)境傳來的期望交互力進行限位，使其在±10 N 之間。本文的控制框圖見圖2。

1.3 虛擬環(huán)境設(shè)計

圖2 系統(tǒng)控制框圖

本文設(shè)計的虛擬環(huán)境采用Unity3D 軟件編寫，通過TCP/IP協(xié)議通訊與控制器連接，接收控制器發(fā)來的機械臂末端運動信息x和，同時向其發(fā)送期望交互力Fd。如圖3 示，在該場景中訓練者可以水平面自由移動，控制代理小球(黃色)將其他小球打入平臺前面和兩側(cè)的洞內(nèi)。所有小球帶有靜電荷，紅色表示帶正電，藍色表示帶負電。為了區(qū)分代理小球和其他小球，無論其帶什么屬性的電荷均用黃色表示，但會在右上角的UI 界面顯示其電荷屬性。在該場景中訓練者受到來自虛擬環(huán)境中的兩種力，分別是由其他小球?qū)ζ涞膸靷惲q和與地面摩擦力Ff。

所有小球之間的庫侖力Fq可以通過庫侖定律獲得

其中，K為庫倫常數(shù)，Q為小球自身所帶電荷量，Qi為其他小球所帶電荷量，ri為與其他小球之間的距離。N為除自身以外帶電小球的個數(shù)。

目前已有多種摩擦力模型[30-32]。本文采用叢爽等[32]提出的摩擦力數(shù)學模型。

其中，Tc為最大靜摩擦，Ts為動摩擦，v為速度，c為阻尼系數(shù)。

如圖4 所示，當速度v在零點附近時，上述摩擦力會出現(xiàn)突變，使系統(tǒng)產(chǎn)生抖動，引起用戶的不適，為此我們對上述摩擦力模型進行一定改進。在|v|≤v0的范圍內(nèi)引入過渡函數(shù)，可以使摩擦力的變化更加平穩(wěn)。

圖3 虛擬環(huán)境

過渡函數(shù)

其中，參數(shù)a為過渡系數(shù)，用于調(diào)節(jié)過渡函數(shù)的變化陡峭度，v0表示過渡函數(shù)的范圍。

圖4 修改前后摩擦力模型

摩擦力模型可以表示為

則訓練者在該場景中受到的力Fd可以表示

在虛擬環(huán)境的右上角有UI 界面，可以定制代理小球所帶電荷屬性，切換地面材質(zhì)。同時還實時地顯示代理小球受到的庫侖力Fq、摩擦力Ff和合力F的大小。

2 方法

2.1 試驗方法

為了驗證本文所提的方法能將虛擬環(huán)境中的交互力準確、快速地反饋給用戶，且提高其訓練的參與度，共招募8 例健康受試者進行驗證，其中男性7 例，女性1 例，平均年齡(25.5±3.2)歲，均為右利手。試驗于中國科學院寧波材料技術(shù)與工程研究所康復(fù)機器人實驗室進行，由中國科學院寧波材料技術(shù)與工程研究所慈溪生物醫(yī)學工程研究所倫理委員會批準通過。在開始試驗之前，每位受試者均已充分了解試驗流程，并簽署知情同意書。

本試驗共有兩種模式，分別為有反饋融合模式和無反饋融合模式，每種模式各做3 次，交替進行。在兩種模式中，受試者均被要求控制如圖3所示的小球，從A 點移向B 點，并通過排斥力將B 點的紅色小球推到前壁中的洞內(nèi)。當紅色小球進入洞內(nèi)后，受試者控制小球從B 點回到A 點完成一個循環(huán)，此時B 會再次生成一個紅色小球，直到任務(wù)完成。每當紅色小球進入目標洞內(nèi)，虛擬環(huán)境會發(fā)出一聲清脆的鈴聲。每種模式均包含20次任務(wù)，受試者需要盡可能保持每次任務(wù)中用時相同。

2.2 數(shù)據(jù)的采用與處理

本文對試驗過程中的機械臂關(guān)節(jié)角度θ、傳感器讀數(shù)Fm、期望交互力Fd，以及受試者上肢肱二頭肌、肱三頭肌、三角肌前束、三角肌后束的肌電信號進行采集。機械臂關(guān)節(jié)角度θ、實際交互力Fm、期望交互力Fd、電機輸出力矩τ利用電機控制軟件進行采集，采樣頻率為1000 Hz；肌電數(shù)據(jù)采用Delsys 公司Trigo Wireless System 設(shè)備進行采集，采樣頻率為1927 Hz。本文使用數(shù)據(jù)處理軟件對肌電數(shù)據(jù)進行分析。

2.2.1 表面肌電信號預(yù)處理

首先使用軟件對肌電信號進行50～400 Hz 的帶通濾波以及濾除50 Hz 的工頻信號，然后對信號進行去均值、整流、取包絡(luò)線等處理[33-35]，最后以包絡(luò)線作為肌電信號的特征值。

2.2.2 數(shù)據(jù)分割

我們要求受試者盡可能保持每次任務(wù)用時相同，但不可避免的存在一定的差異。首先計算20次任務(wù)過程中機械臂關(guān)節(jié)角度θ的極小值，然后根據(jù)計算得到的極小值下標對傳感器讀數(shù)Fm、期望交互力Fd，以及肌電信號進行分割，獲得單個任務(wù)中其對應(yīng)的信號。

2.2.3 計算單個任務(wù)過程中肌電積分值(integrated EMG,iEMG)和單位時間內(nèi)肌電幅值(EMG amplitude per unit time,EMG/T)

分別計算兩種不同模式下單次任務(wù)的iEMG，用于反映每次任務(wù)中肌肉消耗的能量。再根據(jù)公式(13)計算EMG/T，用于反映單次任務(wù)中肌肉的平均功率。

其中N為單次訓練任務(wù)的肌電數(shù)據(jù)樣本數(shù)，Ei為肌電包絡(luò)線，Δt為采樣間隙。

2.2.4 計算均方根誤差(root mean square error,RMSE)

計算實際交互力Fm與期望交互力Fd間的RMSE，作為評價跟蹤效果的指標。

2.3 統(tǒng)計學分析

采用SPSS 22.0 對兩種訓練模式下iEMG 和EMG/T 進行成對樣本t檢驗。分別計算所有受試者在有反饋融合模式下與無反饋融合模式下iEMG 的比值P1，以及EMG/T的比值P2。顯著性水平α=0.05。

3 結(jié)果

圖5 中上半部分為受試者從A 點出發(fā)到B 點，下半部分為用戶從B 點回到A 點。在從A 點到B 點的過程中受試者受到小球間的排斥力和摩擦力共同作用，而回去的過程中只受到摩擦力，因此正方向的交互力明顯大于反方向。在向前推動的一瞬間實際交互力Fm會大于期望交互力Fd，這是系統(tǒng)和算法本身延時引起。反饋任務(wù)過程中的實際與期望力反饋的均方根誤差為(0.757±0.171) N，表明本文提出的技術(shù)可以精確實現(xiàn)交互力的跟蹤。

有反饋融合模式下四塊肌肉iEMG 均顯著大于無反饋融合模式(P＜0.001)。訓練模式下的P1均值均大于1(圖6)。肱二頭肌和三角肌前束P1的標準差明顯大于其余兩塊肌肉。見表1、圖6。

有反饋融合模式下肱二頭肌、肱三頭肌、三角肌前束的EMG/T 均顯著大于無反饋融合模式下(P＜0.001)，而兩種模式下三角肌后束EMG/T 無顯著性差異(P＞0.05)。兩種訓練模式的P2均值均大于1。肱二頭肌和三角肌前束P2的標準差相對于其他兩塊肌肉較大。見表2、圖7。

4 討論

本研究顯示，有反饋融合模式下四塊肌肉iEMG均顯著大于無反饋融合模式，表明融合反饋訓練需要被試付出更多能量。肱二頭肌和三角肌前束P1的標準差大于其余兩塊肌肉，這可能與不同受試者之間的發(fā)力方式有關(guān)。在被試向前推動小球時，反饋給其的力由兩部分組成，電荷小球間的排斥力和摩擦力。當速度超過一定閾值，速度對摩擦力的影響較小。而排斥力則不同，不同的速度會引起小球之間距離發(fā)生變化，使排斥力發(fā)生較大改變。在向前移動的過程中，手臂的運動主要由肱二頭肌和三角肌前束發(fā)力，因此排斥力的變化會導致肱二頭肌和三角肌前束的P1的標準差較大。

本研究還顯示，兩種模式三角肌后束EMG/T 無差異。這可能是由于受試者從B 點返回A 點的過程中直接借助小球間的排斥力回來，而沒有花費太多力氣，進而與無反饋融合模式交互力相近。四塊肌肉P2均值均大于1，表明融合反饋訓練需要被試付出更多力量。同樣因為不同受試者的發(fā)力方式不同，肱二頭肌和三角肌前束P2的標準差相對于其他兩塊肌肉較大。

圖5 代表性受試者在有反饋融合模式下的期望與實際交互力

表1 兩種模式下四塊肌肉iEMG比較(n=8,×10-5 V?s)

表2 兩種模式下四塊肌肉EMG/T比較(n=8,×10-6 V)

圖6 上肢肌肉P1

圖7 上肢肌肉P2

針對現(xiàn)有上肢康復(fù)訓練系統(tǒng)提供視覺和觸覺反饋無法關(guān)聯(lián)的問題，本文在末端牽引式上肢康復(fù)機器人系統(tǒng)中設(shè)計一種基于力跟蹤的視覺與觸覺力反饋融合康復(fù)訓練模式。該模式采用力跟蹤算法將在虛擬環(huán)境中所看見的力學事件通過搖桿傳遞給訓練者。通過對比試驗發(fā)現(xiàn)有無反饋融合條件下受試者上肢用力情況存在差異。本文提出的技術(shù)可以精確地根據(jù)虛擬環(huán)境中視覺反饋構(gòu)建的力反饋傳遞給用戶，通過多感覺融合反饋增加對訓練者外周神經(jīng)功能的刺激，進而加強中樞神經(jīng)功能重建，并促使用戶付出更多的努力。其次，該技術(shù)所提供的力反饋模式更加自由，所需的力反饋完全在上位機虛擬環(huán)境中計算完成，可實現(xiàn)虛擬環(huán)境中統(tǒng)一位置上兩種以上力學模型的疊加。再次，該力反饋算法避免的對系統(tǒng)進行動力學建模，降低了對系統(tǒng)參數(shù)識別精度的要求，具有較好的可移植性。

本文提出的反饋融合技術(shù)也存在一定局限性，例如力反饋的響應(yīng)時間相對較長(0.5 s 左右)，難以實現(xiàn)虛擬場景中剛性物體碰撞產(chǎn)生的力反饋。下一步將針對不同的虛擬場景中的視覺反饋研究多樣化的機器人力反饋融合策略。

利益沖突聲明：所有作者聲明不存在利益沖突。