基于視覺(jué)信息的智能下肢假肢路況識(shí)別

喻貝貝，孟青云，喻洪流，曹武警，趙偉亮

1.上海理工大學(xué)康復(fù)工程與技術(shù)研究所，上海市200093；2.上海健康醫(yī)學(xué)院，上海市201318；3.上海康復(fù)器械工程技術(shù)研究中心，上海市200093

人體下肢是人類移動(dòng)步行的重要器官，具有很高的靈活性，可以協(xié)同其他器官完成多種動(dòng)作[1-2]。由于先天性疾病、工傷或交通事故等原因，每年都有數(shù)以萬(wàn)計(jì)的人失去下肢[3]。根據(jù)2006年國(guó)務(wù)院公布的第二次全國(guó)殘疾人抽樣調(diào)查數(shù)據(jù)顯示，我國(guó)肢體殘疾人數(shù)為2412萬(wàn)人，占全國(guó)總?cè)丝诒壤?.34%[4]。由于當(dāng)前的醫(yī)療水平還不能使失去的肢體重新生長(zhǎng)出來(lái)[5]，所以大多數(shù)患者都是通過(guò)佩戴下肢假肢恢復(fù)行走能力[6]。膝上下肢假肢包括接受腔、膝關(guān)節(jié)、小腿腿管、假腳[7]。其中膝關(guān)節(jié)對(duì)膝上下肢假肢穿戴者的行走能力具有決定性的影響[8]。然而傳統(tǒng)膝關(guān)節(jié)假肢不能在水平行走、上下樓梯等多種運(yùn)動(dòng)模式之間進(jìn)行切換，導(dǎo)致下肢假肢穿戴者的運(yùn)動(dòng)范圍受到極大的限制[9-10]，不能在復(fù)雜的環(huán)境下進(jìn)行有效的社會(huì)活動(dòng)。因此，識(shí)別出下肢假肢穿戴者的行走路況，根據(jù)路況切換運(yùn)動(dòng)模式，是智能膝關(guān)節(jié)研究的關(guān)鍵內(nèi)容[11-12]。

國(guó)內(nèi)外學(xué)者對(duì)智能膝關(guān)節(jié)的路況識(shí)別進(jìn)行了一定程度的研究。河北工業(yè)大學(xué)張燕等[13]通過(guò)在腰部安置傳感器采集距離信息和地形高度信息，提取特征值，并進(jìn)行簡(jiǎn)單訓(xùn)練來(lái)識(shí)別不同的路況；北京大學(xué)王啟寧等[14]通過(guò)三軸陀螺儀、加速度計(jì)、力敏電阻和定時(shí)器等多傳感器融合的方式，采用實(shí)時(shí)模糊邏輯控制去識(shí)別不同的地形；美國(guó)的Afzal等[15]通過(guò)肌肉協(xié)同提取算法，用運(yùn)動(dòng)模式分類的方式來(lái)實(shí)現(xiàn)對(duì)不同路況的識(shí)別；Shahmoradi等[16]提出通過(guò)讓患者佩戴慣性測(cè)量單元(inertial measurement unit,IMU)和電阻式壓力傳感器(force sensing resistor,FSR)傳感器采集捕獲運(yùn)動(dòng)數(shù)據(jù)和步態(tài)時(shí)間，用模糊序列的識(shí)別方法去識(shí)別不同的運(yùn)動(dòng)模式。綜上可以看出，當(dāng)前路況識(shí)別研究大都是基于力學(xué)、運(yùn)動(dòng)學(xué)和肌電信息進(jìn)行相應(yīng)的處理。運(yùn)動(dòng)學(xué)和力學(xué)信息具有滯后性，不能及時(shí)反映最新的數(shù)據(jù)信息；肌電信號(hào)通常比較微弱，而且容易受到鄰近肌肉信號(hào)的干擾，其安全性無(wú)法保證[17]；多傳感信息融合雖然可以提高精度，但是對(duì)算法的要求更高，處理過(guò)程更為復(fù)雜[18-19]。

視覺(jué)信息直觀、準(zhǔn)確，已在多領(lǐng)域得到了廣泛應(yīng)用[20]，但是基于視覺(jué)信息的智能膝關(guān)節(jié)路況識(shí)別研究還處于空白。因此，本工作從視覺(jué)信息角度出發(fā)，將機(jī)器視覺(jué)模塊嵌入智能膝關(guān)節(jié)的控制系統(tǒng)。通過(guò)視覺(jué)傳感器將采集到的路況圖像信息進(jìn)行實(shí)時(shí)處理，探索基于視覺(jué)信息的智能膝關(guān)節(jié)假肢路況識(shí)別的精度和實(shí)時(shí)性。

1 材料與方法

1.1 智能膝關(guān)節(jié)系統(tǒng)研究

該路況識(shí)別研究方案是在已經(jīng)研制的智能膝關(guān)節(jié)樣機(jī)的基礎(chǔ)上實(shí)現(xiàn)的[21]。執(zhí)行智能假肢膝關(guān)節(jié)具體功能的部分還是智能膝關(guān)節(jié)的結(jié)構(gòu)，因此膝關(guān)節(jié)機(jī)械結(jié)構(gòu)的設(shè)計(jì)尤為重要。假肢膝關(guān)節(jié)的樣機(jī)結(jié)構(gòu)如圖1所示，整體結(jié)構(gòu)設(shè)計(jì)緊湊，縮減了裝配高度，并進(jìn)行相關(guān)的有限元分析、運(yùn)動(dòng)學(xué)分析驗(yàn)證了機(jī)械結(jié)構(gòu)的合理性和可行性。

基于前期的基礎(chǔ)理論研究和相關(guān)實(shí)驗(yàn)，設(shè)計(jì)了智能液壓假肢膝關(guān)節(jié)的總體控制框圖。見圖2。

圖1 液壓假肢膝關(guān)節(jié)機(jī)械設(shè)計(jì)圖

圖2 智能液壓仿生膝關(guān)節(jié)整體控制框圖

樣機(jī)采用兩個(gè)獨(dú)立液壓缸通過(guò)直線電機(jī)獨(dú)立調(diào)節(jié)閥門，分別控制屈曲和伸展過(guò)程中的行走阻尼，實(shí)現(xiàn)仿真步態(tài)；在膝關(guān)節(jié)轉(zhuǎn)動(dòng)軸處放置角度傳感器，采集膝關(guān)節(jié)的運(yùn)動(dòng)信息；在樣機(jī)上搭載一塊單片機(jī)控制板，用JHBM-7-V(承重壓力傳感器)實(shí)時(shí)檢測(cè)假肢當(dāng)前承受的重力，識(shí)別膝關(guān)節(jié)在擺動(dòng)過(guò)程中的支撐期和擺動(dòng)期；將OpenMV模塊(機(jī)器視覺(jué)模塊)放在膝關(guān)節(jié)軸心處，實(shí)時(shí)拍攝假肢膝關(guān)節(jié)前方的外界路況。整個(gè)膝關(guān)節(jié)總體長(zhǎng)度240 mm，總質(zhì)量1.2 kg，最大承受重量100 kg。

1.2 視覺(jué)模塊及特點(diǎn)

OpenMV是一個(gè)基于STM32F765VI ARM CortexM7處理器的單片機(jī)和OV7670圖像傳感器的開源微型機(jī)器視覺(jué)模塊。OpenMV模塊自帶python3解釋器，可以使用Python腳本編程，大大提高開發(fā)速度。OpenMV所有的引腳輸出3.3 V且兼容5 V，而且留出異步串口總線接口，可以方便地與單片機(jī)通信。同時(shí)留出高速SPI接口，可以把簡(jiǎn)單的圖像數(shù)據(jù)流傳輸給其他控制器[22]。

OpenMV視覺(jué)模塊擁有豐富的硬件資源，引出UART、I2C、SPI、PWM及GPIO等接口，方便拓展外圍功能，其自帶的Python編程接口，為視覺(jué)處理開發(fā)帶來(lái)極大的方便[23]。視覺(jué)模塊體積小巧、功耗低的特點(diǎn)，使其可以方便地集成在電路里面。

1.3 圖像處理算法

歸一化互相關(guān)(normalized cross correlation,NCC)算法用來(lái)比較兩幅圖像的相似程度，已經(jīng)是一個(gè)常見的圖像處理手段，在工業(yè)生產(chǎn)環(huán)節(jié)檢測(cè)、監(jiān)控領(lǐng)域?qū)?duì)象檢測(cè)與識(shí)別均有應(yīng)用。NCC算法可以有效降低光照對(duì)圖像比較結(jié)果的影響[24]。對(duì)于圖像來(lái)說(shuō)，每個(gè)像素點(diǎn)都可以看成是RGB數(shù)值，這樣整幅圖像就可以看成是一個(gè)樣本數(shù)據(jù)的集合。如果它有一個(gè)子集與另外一個(gè)樣本數(shù)據(jù)相互匹配則它的NCC值為1，表示相關(guān)性很高；如果是-1，則表示完全不相關(guān)?；谶@個(gè)原理，實(shí)現(xiàn)圖像基于模板匹配識(shí)別算法，其中第一步就是要?dú)w一化數(shù)據(jù)，NCC相似性度量函數(shù)數(shù)學(xué)公式如下[25]。

尋找點(diǎn)(x,y)在模板中的匹配過(guò)程就是在找最合適的d，使得NCC(x,y,d)最大，這樣對(duì)應(yīng)的數(shù)據(jù)樣本就與模板匹配。NCC算法具有很高的準(zhǔn)確性和適應(yīng)性，且所求的NCC值不受灰度值線性變換的影響。

1.4 實(shí)驗(yàn)過(guò)程

從上文公式推導(dǎo)可以看出，NCC的數(shù)據(jù)量比較大，但是其抗噪聲能力相對(duì)較強(qiáng)，綜合考慮識(shí)別精度和識(shí)別時(shí)間，本設(shè)計(jì)中相似度閾值設(shè)為0.7。當(dāng)攝像頭采集所得的外界路況數(shù)據(jù)與模板圖片在閾值范圍內(nèi)匹配時(shí)，用白色矩形標(biāo)出識(shí)別的區(qū)域，并在上位機(jī)中顯示。在實(shí)際應(yīng)用時(shí)，若識(shí)別到上下樓梯、上下坡等不同的路況時(shí)，系統(tǒng)會(huì)根據(jù)識(shí)別的結(jié)果去控制液壓缸阻尼，切換到相應(yīng)的步態(tài)，從而保證假肢識(shí)別路況的實(shí)時(shí)性。

將OpenMV模塊集成在假肢膝關(guān)節(jié)控制系統(tǒng)，實(shí)際圖片如圖3。

本工作在前期采集圖像模板和后期實(shí)驗(yàn)的時(shí)候，均采用鹵素?zé)粽彰?，使得設(shè)定的場(chǎng)景光源恒定[26]，可最大程度減少因光源的變化而引起識(shí)別的誤差等問(wèn)題。

讓正常人穿戴改裝好的假肢膝關(guān)節(jié)，以較慢的速度上下樓梯，模擬患者穿戴假肢行走，在灰度模式下，從不同的角度分別去采集上下樓梯圖像數(shù)據(jù)、平地圖像數(shù)據(jù)、上下坡圖像數(shù)據(jù)，并將拍攝所得的圖片保存至上位機(jī)。默認(rèn)保存的圖片是bmp格式的，需要用圖片處理工具將圖片轉(zhuǎn)化為PGM格式的圖片，將處理后的圖片作為模板保存到SD卡中。多角度采集模板圖像，這對(duì)后面識(shí)別時(shí)間和識(shí)別精度有很大影響，因此一定要做好采集的工作。

圖3 膝關(guān)節(jié)整體模塊圖片

穿戴測(cè)試的實(shí)驗(yàn)對(duì)象為上海假肢廠的一名下肢截肢患者，男性，58歲，體質(zhì)量65 kg，身高172 cm，左側(cè)截肢。讓患者穿戴裝配好的假肢，在設(shè)定的場(chǎng)景中行走，同時(shí)上位機(jī)通過(guò)接收藍(lán)牙模塊傳輸?shù)臄?shù)據(jù)實(shí)時(shí)顯示識(shí)別的時(shí)間和識(shí)別的結(jié)果，并記錄結(jié)果。

實(shí)驗(yàn)過(guò)程中，當(dāng)攝像頭識(shí)別到與當(dāng)前路況不一樣的路況時(shí)，若患者等待3 s以上，則執(zhí)行另一種路況的步態(tài)；否則，執(zhí)行與當(dāng)前一樣的步態(tài)。由于本工作是純視覺(jué)信息去處理路況，后期可考慮加上慣性傳感器輔助處理達(dá)到更好的執(zhí)行效果。

2 結(jié)果

患者在設(shè)定的場(chǎng)景中接收測(cè)試，進(jìn)行多次實(shí)驗(yàn)，記錄識(shí)別時(shí)間和識(shí)別次數(shù)。實(shí)驗(yàn)證明當(dāng)放置圖片模板過(guò)多時(shí)，會(huì)影響識(shí)別的速度；當(dāng)放置的圖片模板過(guò)少時(shí)，又無(wú)法達(dá)到識(shí)別的精度。在實(shí)驗(yàn)時(shí)，分別放置不同路況的圖片模板數(shù)據(jù)，讓患者分別進(jìn)行測(cè)試并記錄數(shù)據(jù)。見表1。

綜合考慮識(shí)別的速度和精度，針對(duì)上/下樓梯、上/下坡、平地5種路況，實(shí)際應(yīng)用中選擇在TF卡中放置5張上樓梯圖片模板、4張下樓梯圖像模板、4張上坡圖片模板、3張下坡圖片模板、2張平地圖片模板共18張5種不同路況的圖片模板進(jìn)行匹配。識(shí)別平地、上/下坡、上/下樓梯5種路況的準(zhǔn)確率分別為88.6%、85.3%、78.4%、87.5%和77.9%。結(jié)果證明，視覺(jué)模塊可以有效識(shí)別不同的路況。

由于本工作目前處于實(shí)驗(yàn)室階段，故沒(méi)有考慮大腿假肢穿戴的時(shí)候褲子外衣等遮擋攝像頭的問(wèn)題。在實(shí)驗(yàn)時(shí)，假肢是直接裸露的。后期準(zhǔn)備將攝像頭模塊單獨(dú)拿出來(lái)，綁在大腿殘肢。

表1 不同數(shù)量不同路況的模板識(shí)別結(jié)果

3 結(jié)論

路況識(shí)別是假肢智能膝關(guān)節(jié)功能實(shí)現(xiàn)的重要組成部分。相對(duì)于傳統(tǒng)的肌電信號(hào)和運(yùn)動(dòng)學(xué)力學(xué)等多傳感器融合的研究，本工作采用視覺(jué)信息的方式，通過(guò)處理實(shí)時(shí)采集的圖像去進(jìn)行路況識(shí)別，結(jié)果表明視覺(jué)信息可以在智能膝關(guān)節(jié)路況識(shí)別中起到良好的效果，提升識(shí)別精度以及速度。后續(xù)可考慮將視覺(jué)信息與其他信息結(jié)合，更深入地進(jìn)行智能膝關(guān)節(jié)路況及步態(tài)識(shí)別的研究。