機(jī)器視覺(jué)技術(shù)在康復(fù)領(lǐng)域的應(yīng)用

楊榮 宋亮 魏鵬緒 潘國(guó)新

0 引言

近年來(lái)，由于人口老齡化、工業(yè)、交通事故、自然災(zāi)害、工作壓力、疾病等的原因，有康復(fù)需求的人群數(shù)量以驚人的速度逐年增加，據(jù)統(tǒng)計(jì)，截至2019年底，我國(guó)已有9 775家殘疾人康復(fù)機(jī)構(gòu)，但專業(yè)技術(shù)人員僅有19萬(wàn)，8 500萬(wàn)殘疾人中僅有1 043萬(wàn)人得到康復(fù)服務(wù)[1]。康復(fù)需求端的擴(kuò)大導(dǎo)致康復(fù)領(lǐng)域出現(xiàn)護(hù)理人員緊缺、康復(fù)效率低下的問(wèn)題。機(jī)器視覺(jué)技術(shù)的發(fā)展為康復(fù)領(lǐng)域提供了新的發(fā)展思路。將機(jī)器視覺(jué)技術(shù)與康復(fù)技術(shù)相結(jié)合可以輔助康復(fù)人員自主完成訓(xùn)練任務(wù)，提高康復(fù)人員的主動(dòng)訓(xùn)練參與度與自信度，同時(shí)可以利用網(wǎng)絡(luò)對(duì)居家患者進(jìn)行實(shí)時(shí)康復(fù)效果評(píng)估與訓(xùn)練方案調(diào)整，提高康復(fù)效率的同時(shí)有效地減輕醫(yī)護(hù)人員和家屬的負(fù)擔(dān)。

1 機(jī)器視覺(jué)

機(jī)器視覺(jué)是一門(mén)結(jié)合了光學(xué)、機(jī)電控制、圖像處理、人工智能等技術(shù)的綜合性學(xué)科[2]，在康復(fù)領(lǐng)域應(yīng)用時(shí)的基本技術(shù)構(gòu)成一般包括圖像采集部分、圖像處理部分和外部控制部分。

1.1 圖像采集

圖像采集部分由照明系統(tǒng)和視覺(jué)傳感器兩部分組成[3]，完成外部圖像的采集和處理。

照明系統(tǒng)即采用發(fā)光光源照亮目標(biāo)物體，保障圖像處理成像效果的同時(shí)避免外部環(huán)境光線的干擾。光源的效果對(duì)機(jī)器視覺(jué)的成像質(zhì)量至關(guān)重要，不同形狀、顏色、照射角度的光源會(huì)產(chǎn)生不同的圖像效果。機(jī)器視覺(jué)中的光源類型包括發(fā)光二極管、熱輻射光源、氣體放電光源等[4]，實(shí)際應(yīng)用中需要根據(jù)不同的應(yīng)用場(chǎng)景，選擇能最大程度分離圖像中目標(biāo)信息與背景信息的光源，以降低圖像處理過(guò)程的難度，提高算法分割與特征識(shí)別的準(zhǔn)確度與可靠度。

視覺(jué)傳感器包括單目視覺(jué)傳感器、雙目視覺(jué)傳感器及深度相機(jī)3種。單目視覺(jué)傳感器使用單一攝像頭進(jìn)行目標(biāo)定位，每次處理單幀圖像數(shù)據(jù)，具有信息容量小和運(yùn)算速度快的優(yōu)點(diǎn)[5]，但是由于單目視覺(jué)傳感器在目標(biāo)成像過(guò)程中會(huì)將場(chǎng)景的三維信息降維為二維信息進(jìn)行處理，造成目標(biāo)深度信息的丟失，不適用于需要精準(zhǔn)定位和跟蹤目標(biāo)的場(chǎng)合。雙目視覺(jué)傳感器通過(guò)左右2個(gè)攝像頭獲取場(chǎng)景同一時(shí)刻不同角度的兩幅圖像，可以真實(shí)還原場(chǎng)景的三維信息，具有能夠表達(dá)目標(biāo)遠(yuǎn)近差異程度的優(yōu)勢(shì)[6]，在康復(fù)領(lǐng)域應(yīng)用較為廣泛。深度相機(jī)的核心部件是COMS攝像機(jī)和紅外發(fā)射器[7]，利用光編碼技術(shù)獲取目標(biāo)的深度信息，具有數(shù)據(jù)讀取快、應(yīng)用簡(jiǎn)單的優(yōu)勢(shì)。由于深度相機(jī)能同時(shí)采集目標(biāo)的顏色信息和深度信息[8]，被廣泛用于移動(dòng)機(jī)器人、手術(shù)機(jī)器人等需要完成自主跟隨任務(wù)的應(yīng)用中。

1.2 圖像處理

圖像處理部分的功能為對(duì)采集到的圖像進(jìn)行處理分析，提取特定目標(biāo)的特征進(jìn)行識(shí)別，轉(zhuǎn)換為外部控制命令，過(guò)程包括圖像增強(qiáng)、圖像去噪、圖像定位與分割、特征提取與模式分類等步驟[9]。圖像處理部分涉及到的各類算法非常多，如目標(biāo)標(biāo)定中使用的張正友標(biāo)定法[10]、自標(biāo)定法[11]等，圖像增強(qiáng)中使用的圖像銳化、運(yùn)動(dòng)模糊去除等方法，圖像分割中使用的閾值分割方法[12]、基于神經(jīng)網(wǎng)絡(luò)的語(yǔ)義分割法[13]等方法以及特征提取與模式分類中使用的小波變化[14]、支持向量機(jī)[15]、卷積神經(jīng)網(wǎng)絡(luò)[16]等方法。圖像處理部分是多算法集成模塊，實(shí)際應(yīng)用中需綜合考慮圖像的類型、算法的處理速度、算法復(fù)雜度、模型泛化能力等多種因素。隨著人工智能技術(shù)的發(fā)展，如卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、自編碼器等深度學(xué)習(xí)算法[17]由于可以將特征提取與模式分類過(guò)程集成在一起，在機(jī)器視覺(jué)領(lǐng)域得到越來(lái)越多的應(yīng)用。

1.3 外部控制

外部控制部分根據(jù)圖像處理部分得到的目標(biāo)位置信息數(shù)據(jù)輸出相應(yīng)的控制波至電機(jī)驅(qū)動(dòng)電路，從而控制電機(jī)的運(yùn)動(dòng)狀態(tài)，完成目標(biāo)跟隨、避障、輔助等任務(wù)。實(shí)際應(yīng)用中需要根據(jù)實(shí)際情況選擇相應(yīng)的控制模式(如點(diǎn)位控制、連續(xù)軌跡控制等)、驅(qū)動(dòng)方式(如液壓、氣壓、電氣驅(qū)動(dòng)等)、通信類型(如串口、以太網(wǎng)、各種工業(yè)控制總線等)等參數(shù)[18]。

2 機(jī)器視覺(jué)在康復(fù)領(lǐng)域的應(yīng)用

2.1 機(jī)器視覺(jué)在輔助類康復(fù)輔具中的應(yīng)用

輔助類康復(fù)輔具的范圍非常廣泛，目前使用到機(jī)器視覺(jué)技術(shù)的包括智能輪椅車、輔助起立裝置、機(jī)器臂等。輔助類康復(fù)輔具能夠輔助患者完成起立、飲食、移動(dòng)等動(dòng)作，減輕了護(hù)理人員的負(fù)擔(dān)的同時(shí)可以為患者提供更加科學(xué)、安全的服務(wù)。Hartman等[19]研發(fā)了搭載攝像機(jī)、激光傳感器、陀螺儀等的智能輪椅，將圖像信息與距離信息融合，進(jìn)行輪椅車路徑規(guī)劃與避障，實(shí)現(xiàn)輪椅車自動(dòng)駕駛功能。周瑩亮[7]運(yùn)用視覺(jué)目標(biāo)跟蹤技術(shù)設(shè)計(jì)的輪椅跟隨系統(tǒng)，實(shí)現(xiàn)了輪椅對(duì)使用者的實(shí)時(shí)跟隨與障礙躲避，系統(tǒng)具有良好的通用性和可移植性。李杰[20]利用機(jī)器視覺(jué)技術(shù)，研究患者不同身高和坐姿情況下對(duì)輔助起立運(yùn)動(dòng)的要求，建立人體運(yùn)動(dòng)數(shù)學(xué)模型，控制輔助起立機(jī)器人按照預(yù)測(cè)的軌跡精準(zhǔn)輔助患者完成起立動(dòng)作。

2.2 機(jī)器視覺(jué)在肢體類康復(fù)中的應(yīng)用

肢體康復(fù)類系統(tǒng)主要用于手臂、腿部、各類關(guān)節(jié)等的運(yùn)動(dòng)功能康復(fù)訓(xùn)練，集成機(jī)器視覺(jué)技術(shù)后可以通過(guò)攝像頭實(shí)時(shí)采集的圖像提取患者肢體的輪廓，生成骨架系統(tǒng)后進(jìn)行軌跡分析，判斷肢體運(yùn)動(dòng)軌跡是否正確并進(jìn)行實(shí)時(shí)調(diào)整與反饋。基于機(jī)器視覺(jué)的肢體康復(fù)系統(tǒng)不受時(shí)間、空間的約束，能夠最大程度地提高患者訓(xùn)練參與度與康復(fù)自信心。Ustinova等[21]開(kāi)發(fā)了虛擬栽花系統(tǒng)用于患者手部功能的康復(fù)。祝敏航[22]設(shè)計(jì)了基于Kinect的下肢外骨骼康復(fù)訓(xùn)練系統(tǒng)，實(shí)時(shí)解析下肢運(yùn)動(dòng)角度參數(shù)，實(shí)現(xiàn)對(duì)人體下肢的行走驅(qū)動(dòng)，滿足家庭化康復(fù)訓(xùn)練的需求。閆航[23]針對(duì)腦卒中居家康復(fù)患者的需求，綜合機(jī)器視覺(jué)、姿態(tài)估計(jì)、深度學(xué)習(xí)等技術(shù)，設(shè)計(jì)了康復(fù)訓(xùn)練場(chǎng)景下的在線康復(fù)動(dòng)作識(shí)別系統(tǒng)，幫助患者實(shí)現(xiàn)居家康復(fù)鍛煉。

2.3 機(jī)器視覺(jué)在心理類康復(fù)中的應(yīng)用

隨著許多新疾病的重新定義與研究，有康復(fù)需求的人群大量增加，機(jī)器視覺(jué)技術(shù)被用于輔助患者進(jìn)行記憶、抽象思維、計(jì)算、理解力等有關(guān)認(rèn)知功能的康復(fù)訓(xùn)練中。Adriella等[24]開(kāi)發(fā)了用于阿爾茨海默病與輕度認(rèn)知障礙患者康復(fù)訓(xùn)練的互動(dòng)式康復(fù)系統(tǒng)，通過(guò)機(jī)器視覺(jué)系統(tǒng)輔助患者完成各項(xiàng)日?；顒?dòng)，并實(shí)現(xiàn)了患者與醫(yī)護(hù)人員之間的實(shí)時(shí)互動(dòng)交流。陳浩東[25]設(shè)計(jì)了基于機(jī)器視覺(jué)的認(rèn)知康復(fù)機(jī)器人系統(tǒng)，利用六自由度機(jī)器臂和攝像頭系統(tǒng)進(jìn)行認(rèn)知康復(fù)任務(wù)中的積木任務(wù)示教與輔助。

2.4 機(jī)器視覺(jué)在臨床醫(yī)療輔助中的應(yīng)用

自2000年第一代達(dá)芬奇手術(shù)機(jī)器人批準(zhǔn)應(yīng)用于臨床后，基于機(jī)器視覺(jué)技術(shù)的手術(shù)機(jī)器人在臨床上應(yīng)用越來(lái)越廣泛，并取得了良好的效果，其中包括可以進(jìn)行細(xì)胞層面康復(fù)的膠囊機(jī)器人。手術(shù)機(jī)器人一般包括機(jī)械臂、傳感器、控制器和動(dòng)力源4部分[26]，通過(guò)三維重建技術(shù)選擇最優(yōu)手術(shù)方案，精準(zhǔn)定位操作點(diǎn)并進(jìn)行實(shí)時(shí)導(dǎo)航，幫助醫(yī)生完成傳統(tǒng)手術(shù)難以完成的復(fù)雜手術(shù)，提高手術(shù)效率和成功率。目前，尚沒(méi)有國(guó)內(nèi)研制的應(yīng)用于臨床的手術(shù)機(jī)器人。鄭紅杰[27]設(shè)計(jì)了一種方便利用視覺(jué)進(jìn)行檢測(cè)的標(biāo)記物，并改進(jìn)跟蹤算法，提高了手術(shù)檢測(cè)的精準(zhǔn)性和快速性。機(jī)器視覺(jué)在臨床醫(yī)療系統(tǒng)中的應(yīng)用還包括通過(guò)圖像增強(qiáng)、標(biāo)記、渲染處理、測(cè)量比較等手段輔助醫(yī)生進(jìn)行醫(yī)學(xué)影像解析，通過(guò)大數(shù)據(jù)訓(xùn)練模型網(wǎng)絡(luò)來(lái)估算患病的概率，包括X 射線、B超、CT、MRI等，規(guī)避由于人眼疲勞、誤差等引發(fā)的醫(yī)療事故。目前基于深度學(xué)習(xí)算法的醫(yī)學(xué)圖像分割是該領(lǐng)域研究的重點(diǎn)和難點(diǎn)[28]。

2.5 機(jī)器視覺(jué)在個(gè)體化康復(fù)醫(yī)療中的應(yīng)用

近年來(lái)，機(jī)器視覺(jué)技術(shù)結(jié)合生物醫(yī)學(xué)工程、3D打印技術(shù)成為了個(gè)體化康復(fù)醫(yī)療的研究熱點(diǎn)，即通過(guò)三維模型重構(gòu)技術(shù)實(shí)現(xiàn)肢體、器官、骨骼、皮膚等的三維建模，再結(jié)合3D打印技術(shù)進(jìn)行康復(fù)輔具產(chǎn)品的個(gè)性化定制。由于機(jī)器視覺(jué)技術(shù)可以檢測(cè)到人體表面的微小變化，不依賴于人工經(jīng)驗(yàn)，相比于人工取型技術(shù)更適用于人體復(fù)雜度高、曲面不規(guī)則的取型情況，具有取型準(zhǔn)確、佩戴舒適性高、康復(fù)效果好的優(yōu)點(diǎn)。目前，機(jī)器視覺(jué)技術(shù)結(jié)合3D打印技術(shù)在康復(fù)領(lǐng)域的主要研究熱點(diǎn)包括矯形鞋墊[29]、假肢[30]、脊柱側(cè)彎矯形器[31]等多種智能矯形器[32-33]，膝關(guān)節(jié)[34]、髖關(guān)節(jié)[35]、骨修復(fù)[36]、腫瘤治療[37]等人工器官植入與置換等方面。

3 小結(jié)

本文歸納了機(jī)器視覺(jué)的主要技術(shù)構(gòu)成與工作原理，總結(jié)了機(jī)器視覺(jué)技術(shù)在輔助類康復(fù)、肢體類康復(fù)、心理類康復(fù)、臨床醫(yī)療輔助及個(gè)體化康復(fù)醫(yī)療等5種康復(fù)領(lǐng)域的主要應(yīng)用進(jìn)展。從現(xiàn)有的研究來(lái)看，機(jī)器視覺(jué)研究，尤其是國(guó)內(nèi)的機(jī)器視覺(jué)研究還處于起步階段，距離成熟的大規(guī)模實(shí)際應(yīng)用差距還很大。目前應(yīng)用于康復(fù)領(lǐng)域的機(jī)器視覺(jué)技術(shù)測(cè)試對(duì)象主要是健康人群，數(shù)據(jù)分析和效果分析時(shí)使用的數(shù)據(jù)缺乏來(lái)自患者人群的數(shù)據(jù)，模型泛化能力低，導(dǎo)致研發(fā)成果基本處于實(shí)驗(yàn)室階段，成果實(shí)用性和通用性不高。同時(shí)由于機(jī)器視覺(jué)的多學(xué)科融合性，在整體系統(tǒng)設(shè)計(jì)時(shí)需要充分考慮到各部分技術(shù)構(gòu)成的協(xié)同性。因此，如何加大在患者人群的實(shí)際應(yīng)用測(cè)試，并有針對(duì)性地進(jìn)行系統(tǒng)集成設(shè)計(jì)與優(yōu)化，提高安全性和實(shí)用性，同時(shí)降低其制造和應(yīng)用的成本，是機(jī)器視覺(jué)技術(shù)真正服務(wù)于康復(fù)領(lǐng)域的研究重點(diǎn)與難點(diǎn)。