基于體感交互的骨折復(fù)位機器人控制方法實驗研究

蘇永剛 孫志彬 朱 罡 王 豫#*

1(北京積水潭醫(yī)院創(chuàng)傷骨科，北京 100035)2(北京航空航天大學(xué)生物與醫(yī)學(xué)工程學(xué)院, 北京 100191)

基于體感交互的骨折復(fù)位機器人控制方法實驗研究

蘇永剛1孫志彬2朱 罡2王 豫2#*

1(北京積水潭醫(yī)院創(chuàng)傷骨科，北京 100035)2(北京航空航天大學(xué)生物與醫(yī)學(xué)工程學(xué)院, 北京 100191)

將基于體感交互的控制方法引入骨折復(fù)位機器人，通過實驗研究驗證該方法的控制精度以及學(xué)習(xí)曲線，從而評估該方法的控制效果和學(xué)習(xí)的難易程度。利用Kinect采集操作者的手勢以及手臂的運動狀態(tài)作為控制參數(shù)，經(jīng)計算機程序識別處理后生成機器人控制指令，從而控制機器人在模型骨上完成骨折復(fù)位操作。由6位操作者進行共計60次復(fù)位實驗，得出復(fù)位精度和學(xué)習(xí)曲線數(shù)據(jù)。 6位操作者的復(fù)位平均距離誤差為(4.10±0.77)mm，角度誤差為3.25°±1.11°。通過學(xué)習(xí)曲線分析發(fā)現(xiàn)，從第6次實驗開始，操作所用時間顯著縮短。將基于體感交互用的控制方法用于骨折復(fù)位機器人控制，不僅能夠滿足復(fù)位精度要求，而且操作學(xué)習(xí)時間短。該方法可為手術(shù)機器人的人機交互提供一種新的有效方法。

手術(shù)機器人；體感交互；骨折復(fù)位；人機交互

引言

隨著社會現(xiàn)代化進程的不斷加快，因車禍等高能量損傷和老年骨質(zhì)疏松造成的骨創(chuàng)傷已經(jīng)日益成為嚴(yán)重影響人類生命和健康的突出問題[1-2]。

骨折復(fù)位是將骨折后斷裂錯位的骨骼恢復(fù)到正常解剖位置，是骨創(chuàng)傷手術(shù)治療的第一步，也是至關(guān)重要的一步，其效果會直接影響手術(shù)的效果及術(shù)后的恢復(fù)。目前，骨折復(fù)位存在費時、費力的問題，需要大量使用術(shù)中透視，而且復(fù)位效果并不令人滿意[3]。

機器人相比人類，具有操作精度高、穩(wěn)定性好、不受輻射傷害且不會疲勞等優(yōu)勢，因此將它用于骨折復(fù)位已成為骨科手術(shù)機器人研究的一個熱點方向。

德國的Westphal等在這一領(lǐng)域開展了深入的研究[3-4]，他們使用一臺6自由度串聯(lián)機器人、配合6自由度的被動臂進行骨折復(fù)位，使用一個游戲操縱桿對機器人進行本地遙操作控制。Füchtmeier等也同樣使用一臺串聯(lián)機器人，開發(fā)了叫做RepoRobo的復(fù)位機器人，完成了體外尸體骨實驗[5]。日本的Warisawa等開發(fā)了一種通過牽拉足部進行間接復(fù)位的機器人，并對該機器人的控制邏輯進行了研究[6]。

近年來，還有不少學(xué)者嘗試使用并聯(lián)結(jié)構(gòu)的機器人進行骨折復(fù)位，以實現(xiàn)較大的復(fù)位力和力矩輸出，以及較高的運動精度[7-9]。

但是，目前上述骨折復(fù)位機器人的研究仍處于實驗室樣機階段，一般只能完成模型骨或尸體骨的實驗，難以在真正的手術(shù)室臨床環(huán)境中進行應(yīng)用。究其原因，除了骨折復(fù)位這一操作本身的復(fù)雜性之外，骨折復(fù)位機器人在手術(shù)室環(huán)境中的交互控制也是一個重要的技術(shù)瓶頸。

目前，常用的骨折復(fù)位機器人控制方法分為兩類：一類是主從式控制，機器人完全處于醫(yī)生的控制之下，由醫(yī)生依賴經(jīng)驗對復(fù)位運動量和路徑進行控制；另一類是自動控制，由醫(yī)生進行復(fù)位規(guī)劃，之后機器人自主完成復(fù)位運動。

依據(jù)臨床經(jīng)驗，本研究選擇臨床接受度更高的主從式控制方式，并嘗試將最新的體感交互技術(shù)引入骨折復(fù)位機器人控制，以期為骨折復(fù)位機器人在手術(shù)室環(huán)境中的交互控制提供一種新的方法。

體感交互是指用戶直接使用其肢體動作與機器進行的交互，一般需要手勢識別、運動跟蹤、體勢識別、表情與語音識別等計算機技術(shù)的支持[10]。體感交互的設(shè)備使用更加簡單、直觀、易學(xué)，有效減少了用戶與計算機硬件間的約束，對降低用戶的認(rèn)知負(fù)荷[11]、提高用戶的參與度和情感體驗具有積極作用；更重要的是，體感交互方式下用戶不必與機器直接接觸，更符合手術(shù)室對消毒滅菌的要求。

綜上所述，將體感交互用于骨折復(fù)位機器人控制，有助于提升系統(tǒng)的臨床適應(yīng)性，使臨床醫(yī)生更容易使用。本研究的目的在于驗證基于體感交互的骨折復(fù)位機器人控制方法能否達到令人滿意的復(fù)位效果，并通過對其學(xué)習(xí)曲線進行分析，從而對其易用性進行評估。

1 材料和方法

1.1 實驗材料準(zhǔn)備

實驗中使用的材料為人工合成股骨(以下簡稱“模型骨”)，如圖1所示。在實驗材料準(zhǔn)備階段，首先在模型骨中段與其長軸大致平行的方向標(biāo)記3條線段(如圖1中圓圈標(biāo)示)，作為復(fù)位角度測量依據(jù)，這3條線段在圓周上呈120°均勻分布。在實驗中，使用光學(xué)定位跟蹤系統(tǒng)(NDI Polaris Spectra，定位精度為0.25 mm)來測量骨折復(fù)位的精度。因此，在模型骨的中段兩側(cè)距標(biāo)記線段中心8～10 cm的位置分別鉆一個直徑3 mm的通孔，這兩個孔的軸線近似平行，在這兩個孔上固定兩個定位用跟蹤器。接著，在模型骨遠端打一個直徑4 mm的通孔，這個孔的軸線與之前兩個孔的軸線近似平行，用于將模型骨固定在機械臂末端。以上3個孔的軸線要求近似平行，原因是方便光學(xué)定位跟蹤系統(tǒng)在實驗過程中對定位用跟蹤器進行實時跟蹤，避免出現(xiàn)遮擋和脫離視野的情況。最后，將模型骨在標(biāo)記線的中間位置鋸開，一端固定在機械臂末端，另一端用臺鉗固定。

圖1 人工合成股骨及其處理方法Fig.1 Artificial femur and its treatment method

1.2 體感交互控制方法

如圖2所示，采用一臺Motoman MH5S六自由度機械臂來完成復(fù)位操作。該機械臂的性能指標(biāo)為：工作空間最大半徑706 mm，重復(fù)定位精度0.02 mm，末端最大負(fù)載5 kg。

圖2 骨折復(fù)位機器人系統(tǒng)(A—六自由度機械臂；B—計算機；C—體感采集設(shè)備；D—機械臂控制柜)Fig.2 Robot assisted fracture reduction system(A-6 degree of freedom robot arm; B-Computer; C-Kinect; D-Control cabinet of robot arm)

本研究使用一臺Microsoft Kincet 2作為體感采集設(shè)備，其功能是識別操作者的手勢并實時捕獲上肢的運動狀態(tài)；使用一臺計算機來接收Kincet 2輸出的體感信號，并經(jīng)體感交互控制程序處理后生成機械臂控制指令，發(fā)送到機械臂控制柜，進而控制機械臂做出相應(yīng)的動作。

為保證體感數(shù)據(jù)采集的穩(wěn)定性，使用The Kinect for Windows Software Development Kit (SDK) V2.0中的BodyBasic模塊來讀取人體上肢的運動數(shù)據(jù)，該模塊可識別手掌的狀態(tài)(張開或握拳)，并且實時反饋手部中心點在Kinect相機坐標(biāo)系下的三維坐標(biāo)，且數(shù)據(jù)更新速度可達30 Hz。

在實驗中，通過光學(xué)定位跟蹤器，預(yù)先標(biāo)定Kinect坐標(biāo)系與機器人基座坐標(biāo)系的變換關(guān)系，從而將Kinect反饋回的位置參數(shù)轉(zhuǎn)化為機器人的運動參數(shù)。具體控制方法是：先將Kinect反饋的手掌狀態(tài)(張開或握拳)作為開關(guān)控制量，左手握拳代表開始復(fù)位操作，右手握拳代表平移，右手張開代表旋轉(zhuǎn)；然后利用Kinect實時反饋右手中心的坐標(biāo)pi(xi,yi,zi)，計算兩次坐標(biāo)的位置差值[(xi-xi-1),(yi-yi-1),(zi-zi-1)]，再變換到機器人坐標(biāo)系下，得到機器人在各方向的平移或轉(zhuǎn)動參數(shù)。在本研究中，之所以將平移和旋轉(zhuǎn)運動解耦控制，是為了更好地控制復(fù)位精度，同時也更加符合臨床操作習(xí)慣。

1.3 復(fù)位精度測定

在實驗材料準(zhǔn)備的過程中，將模型骨鋸開，模型骨上做的3條標(biāo)記線分別與兩個斷面α和β形成3個交點，即(A1,B1,C1)和(A2，B2,C2)(見圖3)。兩塊模型骨上都安裝光學(xué)定位跟蹤器。在實驗開始前，在光學(xué)定位跟蹤系統(tǒng)上標(biāo)定出每塊骨骼上3個交點相對于其定位跟蹤器的位置關(guān)系。因此，只要通過光學(xué)定位跟蹤系統(tǒng)得到兩塊模型骨上定位跟蹤器的坐標(biāo)，則上述6個交點的坐標(biāo)也就確定了。

圖3 模型骨斷面Fig.3 The section of artificial femur

理想的復(fù)位后，每個骨折面上的3個標(biāo)記點應(yīng)該與另一個骨折面上的對應(yīng)標(biāo)記點重合，即A1與A2重合，B1與B2重合，C1與C2重合。所以，定義這3組對應(yīng)點之間距離的平均值作為復(fù)位的距離誤差d，即d=(|A1A2|+|B1B2|+|C1C2|)/3。

兩個斷面α和β的夾角作為本次復(fù)位的角度誤差θ，即θ=〈α,β〉。

1.4 實驗操作步驟

本實驗有6位被試參與，包括3名男性和3名女性，年齡為22～26歲，各項身體狀況正常，在實驗進行前均沒有接觸過體感交互設(shè)備和本實驗所用控制程序，并且事先對實驗中的復(fù)位操作方法完全不了解，受試者均簽署知情同意書。

每位被試進行10次復(fù)位操作，共計進行了60次骨折復(fù)位操作，主要包括6個步驟。

步驟1：啟動計算機和機械臂，打開體感交互機器人控制程序。

步驟2：由主試人員向被試講解骨折復(fù)位操作方法和復(fù)位要求，然后被試體驗復(fù)位操作過程，10 min后結(jié)束。

步驟3：讓機械臂運動到預(yù)先設(shè)定好的初始位姿，使兩塊模型骨分離。初始位姿時兩塊骨骼的位移與夾角為：dx=40 mm，dy=50 mm，dz=80 mm；θx=10°,θy=30°,θz=15°。

步驟4：啟動控制程序，被試開始復(fù)位操作，同時開始計時。

步驟5：當(dāng)被試完成復(fù)位操作后，記錄操作時間，斷開機械臂伺服，被試休息5 min。

步驟6：由光學(xué)定位跟蹤系統(tǒng)導(dǎo)出復(fù)位后模型骨上兩個定位用跟蹤器的坐標(biāo)，并記錄下來。

將步驟3～6重復(fù)10次。

在每一次操作實驗前，機械臂都回到相同的初始位姿，以確保每次操作實驗的工作量都相同；同時也保證在復(fù)位過程中調(diào)整所有方向的位置和角度。

1.5 數(shù)據(jù)處理方法

對實驗獲得的復(fù)位距離誤差和角度誤差數(shù)據(jù)，分別統(tǒng)計平均值和標(biāo)準(zhǔn)差，以獲得對該交互控制方法下復(fù)位精度的評價。

為了分析復(fù)位時間的變化規(guī)律，將操作次數(shù)作為分組依據(jù)，將每次復(fù)位操作看作一個獨立的數(shù)據(jù)組(包含6個被試的數(shù)據(jù))，以第1次操作數(shù)據(jù)作為對照組，第2～10次操作數(shù)據(jù)作為實驗組進行統(tǒng)計分析。首先利用F檢驗進行方差齊性判定，然后依據(jù)判定結(jié)果分別采用等方差t檢驗和異方差t檢驗，評價隨著操作次數(shù)的增加、復(fù)位時間是否有顯著性的降低。

2 結(jié)果

實驗發(fā)現(xiàn)，所有操作者均能有效地利用實驗中的體感交互控制方式控制機械臂完成骨折復(fù)位操作。如圖4所示，操作者利用手勢控制機器人完成骨折復(fù)位操作。在這個過程中，被試靠肉眼直接觀察復(fù)位的效果。實驗中的一組復(fù)位前后情況如圖5所示，復(fù)位前兩段折骨處于固定的初始位姿，復(fù)位后基本實現(xiàn)解剖復(fù)位。

圖4 被試進行復(fù)位操作Fig.4 Operator performs fracture reduction

圖5 實驗中復(fù)位情況。(a)復(fù)位前；(b)復(fù)位后Fig.5 Reduction status in experiments. (a) Before reduction; (b) After reduction

分別計算6位被試各10次復(fù)位操作的平均距離誤差和平均角度誤差，如表1所示。6位被試的復(fù)位操作平均距離誤差為(4.10±0.77)mm，復(fù)位操作的平均角度誤差為3.25°±1.11°，誤差偏大，但從臨床角度考慮仍在可接受范圍內(nèi)。

表1 復(fù)位誤差Tab.1 Errors of fracture reduction

對6位被試每次復(fù)位所用的時間進行統(tǒng)計，并制作如圖6所示的學(xué)習(xí)曲線?？梢钥闯?，幾乎對于每位被試來說，隨著實驗次數(shù)增加，復(fù)位時間有顯著下降。

圖6 基于體感交互的骨折復(fù)位機器人控制方法學(xué)習(xí)曲線Fig.6 Learning curve of somatosensory interaction based control method for fracture reduction robot

對復(fù)位時間的統(tǒng)計分析結(jié)果如表2所示。從F檢驗結(jié)果可知，除第8和第10組結(jié)果P<0.05，不滿足等方差假設(shè)以外，其他組與對照組相比均滿足等方差假設(shè)。從t檢驗結(jié)果可以看出，從第6次操作開始，t檢驗結(jié)果P<0.05，操作時間顯著性縮短。說明操作者通過前5次操作后，就能較好地掌握這一控制方法。

表2 復(fù)位時間統(tǒng)計分析結(jié)果Tab. 2 Reduction time analysis

3 討論

通過實驗可以發(fā)現(xiàn)，使用基于體感交互的骨折復(fù)位機器人控制方法，操作者均能夠有效完成骨折復(fù)位操作，復(fù)位精度可以滿足臨床要求，并且操作者可以在短時間內(nèi)掌握該控制方法。

采用基于體感交互的骨折復(fù)位機器人控制方法，操作者不需要同機器人直接接觸，既符合手術(shù)室臨床環(huán)境對消毒滅菌的要求，又減少了交叉感染的風(fēng)險；由于體感交互具有很強的直觀性，因此易于學(xué)習(xí)。另外，引入體感交互控制后，醫(yī)生可以遠離手術(shù)床，通過觀看透視圖像進行遙控復(fù)位操作，可以顯著降低醫(yī)生所受的輻射傷害。

關(guān)于本實驗的設(shè)計，也存在一些不足之處。首先，操作者是通過肉眼直觀地觀察復(fù)位的整個過程，與臨床上通過X射線透視來觀察有些不同，實驗時操作者距離模型骨較遠，也難以判斷復(fù)位距離特別是角度，這也是導(dǎo)致本實驗所測得的復(fù)位誤差較大的直接原因。在未來的工作中，可以使用光電定位跟蹤器來實時獲取骨骼的位置，并結(jié)合術(shù)前CT與術(shù)中X光的配準(zhǔn)，建立三維模型來用于引導(dǎo)醫(yī)生完成更精確的骨折復(fù)位操作。其次，本實驗中的骨折模型較為簡單，與實際臨床上的骨折情形有一定差距，這主要是為了簡化復(fù)位精度的測量而設(shè)計的。最后，為了統(tǒng)一每次復(fù)位操作的難度和工作量，以便于統(tǒng)計操作時間，每人每次操作都是從相同的初始狀態(tài)開始，這也有利于操作者通過幾次練習(xí)后縮短操作時間。但從總體的統(tǒng)計數(shù)據(jù)來看，基于體感交互的控制方法易于學(xué)習(xí)掌握的結(jié)論還是可以成立的。

4 結(jié)論

基于體感交互的控制方法具有直觀、易學(xué)、符合手術(shù)室臨床環(huán)境等優(yōu)點，可以為骨折復(fù)位機器人以及其他的手術(shù)機器人提供一種新穎有效的人機交互控制方法。

[1] 王軍強, 趙春鵬, 胡磊, 等. 遙外科機器人輔助脛骨髓內(nèi)釘內(nèi)固定系統(tǒng)的初步應(yīng)用[J]. 中華骨科雜志, 2006, 26(10): 682-686.

[2] Wang Y, Yun C, Hu L, et al. DEA-based efficiency evaluation of a novel robotic system for femoral neck surgery[J]. The International Journal of Medical Robotics and Computer Assisted Surgery, 2009, 5(3): 207-212.

[3] Gosling T，Westphal R，Hufner T，et al． Robot-assisted fracture reduction: A preliminary study in the femur shaft [J]． Medical and Biological Engineering and Computing，2005，43(1): 115-120．

[4] Westphal R, Winkelbach S, Wahl F, et al. Robot-assisted long bone fracture reduction[J]. The International Journal of Robotics Research, 2009, 28(10): 1259-1278.

[5] Füchtmeier B, Egersdoerfer S, Mai R, et al. Reduction of femoral shaft fractures in vitro by a new developed reduction robot system ‘RepoRobo’[J]. Injury, 2004, 35(1): 113-119.

[6] Warisawa S, Ishizuka T, Mitsuishi M, et al. Development of a femur fracture reduction robot[C]//Proceedings of IEEE International Conference on Robotics and Automation. New Orlean: IEEE, 2004, 4: 3999-4004.

[7] Lin H, Wang JQ, Han W. Parallel Manipulator Robot assisted Femoral Fracture Reduction on Traction Table[C]//35th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). Osaka: IEEE, 2013: 4847-4850.

[8] Du H, Hu L, Li C, et al. Preoperative trajectory planning for closed reduction of long-bone diaphyseal fracture using a computer-assisted reduction system[J]. The International Journal of Medical Robotics and Computer Assisted Surgery, 2015, 11(1): 58-66.

[9] Ye R, Chen Y, Yau W. A simple and novel hybrid robotic system for robot-assisted femur fracture reduction[J]. Advanced Robotics, 2012, 26(1-2): 83-104.

[10] 龐小月，郭睿楨， 姚乃埌，等. 體感交互人因?qū)W研究回顧與展望[J]. 應(yīng)用心理學(xué)，2014，20(3): 243-251.

[11] Ren Z, Yuan JS, Meng JJ, et al. Robust part-based hand gesture recognition using Kinect sensor [J]. IEEE Transactions on Multimedia, 2013, 15(5): 1110-1120.

Experiments Research of Somatosensory Interaction Based Control Method
for Fracture Reduction Robot
Su Yonggang1Sun Zhibin2Zhu Gang2Wang Yu2#*

1(DepartmentofOrthopedicTrauma,BeijingJiShuiTanHospital,Beijing100035,China)

2(SchoolofBiologicalScienceandMedicalEngineering,BeihangUniversity,Beijing100191,China)

surgical robot; somatosensory interaction; fracture reduction; human-computer interaction

10.3969/j.issn.0258-8021. 2016. 03.018

2015-10-17， 錄用日期:2016-04-11

國家自然科學(xué)基金(61201313)；北京市科技計劃(Z141100000514003)

R318

D

0258-8021(2016) 03-0380-05

# 中國生物醫(yī)學(xué)工程學(xué)會會員(Member, Chinese Society of Biomedical Engineering)

*通信作者(Corresponding author)， E-mail:wangyu@buaa.edu.cn