基于視覺的腰背部中醫(yī)通絡(luò)機(jī)器人穴位定位方法*

費(fèi)紅琳 黃理杰 陸東海 郭程湘 楊仁軒

(1.廣東省郭氏醫(yī)學(xué)保健研究所,廣東 廣州 510530;2.廣東省新黃埔中醫(yī)藥聯(lián)合創(chuàng)新研究院,廣東 廣州 510530;3.廣東省中醫(yī)院,廣東 廣州 510120)

峨嵋武醫(yī)暢氣通絡(luò)療法,為全國名老中醫(yī)藥專家郭程湘所創(chuàng),氣血經(jīng)絡(luò)理論是暢氣通絡(luò)療法診治疾病的理論本源。氣血陰陽及經(jīng)絡(luò)氣化功能的失衡是臨床痛痹疾病發(fā)生的根本病機(jī),運(yùn)用推拿、點(diǎn)穴手法可調(diào)整經(jīng)絡(luò)系統(tǒng)中的氣血運(yùn)行狀態(tài),疏通經(jīng)脈,調(diào)養(yǎng)氣血,激發(fā)經(jīng)氣,經(jīng)臨床實(shí)踐和研究證實(shí),該療法治療頸椎病、肩周炎、腰椎間盤突出癥,膝骨關(guān)節(jié)炎,偏頭痛,睡眠障礙,亞健康狀態(tài),以及部分內(nèi)科雜癥等皆有非常好的療效,具有很高的推廣價(jià)值[1-8]。

為了更好地挖掘“暢氣通絡(luò)”療法的臨床價(jià)值,更高效地傳承與普及推廣該療法,研究中醫(yī)暢氣通絡(luò)智能機(jī)器人非常有必要。經(jīng)絡(luò)的疏通是“暢氣通絡(luò)”療法治療疾病的首要條件,如何循經(jīng)取穴非常重要,中醫(yī)按摩機(jī)器人的穴位識別、穴位跟蹤等技術(shù)已有不少專家學(xué)者們進(jìn)行了研究,如杜光月等利用三維坐標(biāo)測量儀測量若干人體穴位坐標(biāo)數(shù)據(jù),基于神經(jīng)網(wǎng)絡(luò)理論中的學(xué)習(xí)功能,設(shè)計(jì)實(shí)現(xiàn)按摩機(jī)器人在人體穴位尋找方面的功能[9]。董詩繪等根據(jù)ABB機(jī)器人機(jī)械手在空間上的運(yùn)動(dòng)指令,設(shè)計(jì)其在人體表面的坐標(biāo)位移與定位,從而識別人體經(jīng)絡(luò)穴位[10]。黨麗峰等針對患者在按摩過程中移動(dòng)的現(xiàn)象,研究了一款能夠?qū)崿F(xiàn)實(shí)時(shí)圖像采集分析、坐標(biāo)變換的穴位跟蹤系統(tǒng)[4]。

基于視覺的腰背部中醫(yī)通絡(luò)機(jī)器人通過用視覺相機(jī)作為工具,進(jìn)行采樣、并對樣本進(jìn)行訓(xùn)練、并根據(jù)訓(xùn)練結(jié)果,達(dá)到對新目標(biāo)進(jìn)行穴位識別的目的。

1 腰背部中醫(yī)通絡(luò)機(jī)器人結(jié)構(gòu)

中醫(yī)通絡(luò)機(jī)器人是基于全國名老中醫(yī)藥專家郭程湘老師的中醫(yī)暢氣通絡(luò)特色療法,將機(jī)器人力控技術(shù),3D視覺引導(dǎo)技術(shù),人工智能輔助定位技術(shù),語音交互技術(shù)等與該療法理念、技法結(jié)合,研發(fā)的一套針對腰背部的安全、舒適的中醫(yī)通絡(luò)智能協(xié)作機(jī)器人[12]。

腰背部中醫(yī)通絡(luò)機(jī)器人的主要機(jī)械結(jié)構(gòu)包括協(xié)作機(jī)器人機(jī)械臂、視覺相機(jī)、傳感器、按摩頭等[13-14]。該設(shè)備主要實(shí)現(xiàn)對人體背部穴位的推拿按摩。如圖1。

圖1 腰背部中醫(yī)通絡(luò)機(jī)器人硬件結(jié)構(gòu)

機(jī)器人上位機(jī)系統(tǒng)共有6個(gè)模塊組成,分別是界面模塊,圖像采集模塊,AI穴位識別模塊,運(yùn)動(dòng)規(guī)劃模塊[15],力控算法模塊,按摩頭控制模塊[7]。如圖2。

圖2 腰背部中醫(yī)通絡(luò)機(jī)器人軟件系統(tǒng)

其中界面模塊主要的功能是接受用戶的輸入請求例如用戶登錄,用戶的功能選擇例如力度調(diào)整按摩方式,溫度調(diào)整,速度調(diào)整,接收用戶的請求之后軟件系統(tǒng)開始內(nèi)部操作,開始調(diào)用其他的功能模塊。

圖像采集模塊連接的是3D視覺相機(jī),用來采集人體背部的照片和深度信息,是系統(tǒng)的輸入[16]。

AI識別模塊,判斷用戶背部穴位位置信息,它實(shí)現(xiàn)功能的基礎(chǔ)是依靠大量數(shù)據(jù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò),依據(jù)這種智能算法可以定位特定的穴位,標(biāo)定出人體的穴位的坐標(biāo)和法向量,然后通過共享內(nèi)存的方式傳遞給上位機(jī)的界面[17-19]。

運(yùn)動(dòng)規(guī)劃模塊,在機(jī)械臂運(yùn)動(dòng)過程中起主導(dǎo)作用,規(guī)劃模塊使用AI識別的穴位信息以及相機(jī)獲得的3D數(shù)據(jù)信息進(jìn)行空間位姿的解算以及路徑插值,實(shí)現(xiàn)對中醫(yī)手法工程的仿真[20-22]。

力控控制算法,是在運(yùn)動(dòng)規(guī)劃產(chǎn)生的路徑中以特定的力度幅度向人體表面壓緊或遠(yuǎn)離，功能的基礎(chǔ)是依靠阻抗控制算法原理計(jì)算出末端位置修正量；該模塊也有碰撞檢測和拖動(dòng)示教的功能[22-27]。

最后一個(gè)模塊是按摩頭控制模塊,它用來溝通和按摩頭的控制相關(guān)參數(shù)的調(diào)整比如開關(guān)運(yùn)動(dòng)幅度、頻率。它實(shí)現(xiàn)和上位機(jī)的通訊是通過485通信、網(wǎng)口等[28-30]。

2 穴位定位

其中,穴位定位的流程如圖3。

圖3 穴位定位的流程

2.1樣本采集

2.1.1采集工具 設(shè)計(jì)一個(gè)軟件,驅(qū)動(dòng)3D立體相機(jī)(本項(xiàng)目采用英特爾的435相機(jī)),并能對目標(biāo)進(jìn)行拍照和分類記錄。拍照的數(shù)據(jù)包括RGB圖像和深度圖像等或更多的其他信息。穴位標(biāo)記為中醫(yī)專業(yè)人士,以免出錯(cuò)和低效。讓醫(yī)學(xué)人員在目標(biāo)實(shí)物上作好標(biāo)記再拍照,由視覺或圖像技術(shù)人員后期作標(biāo)記處理。

為了算法工程師后期處理方便,可讓醫(yī)學(xué)人員先拍一張未標(biāo)記的目標(biāo)(并保存),然后讓目標(biāo)保持不動(dòng),在目標(biāo)上做標(biāo)記,再拍一張帶標(biāo)記的,并保存,算法工程師后期通過兩張圖片的差異找出標(biāo)記點(diǎn)。此操作就如同在圖片上作出了標(biāo)記點(diǎn)。

采集了足夠帶標(biāo)記的圖片后,可作訓(xùn)練,并建立數(shù)字模型,在以后的實(shí)際應(yīng)用中識別目標(biāo)及其特性,以作運(yùn)動(dòng)系統(tǒng)的指引。

2.1.2樣本采樣 (1)標(biāo)記前,拍照并保存,見圖4;(2)用標(biāo)記物標(biāo)記關(guān)鍵點(diǎn)后,再拍照并保存,見圖5;(3)變換指定姿勢至少5種,重復(fù)上述兩個(gè)步驟;(4)標(biāo)記點(diǎn)的穴位和部位名稱,見圖6。

圖4

圖5

圖6

2.2關(guān)鍵穴位拓展 對足夠多的樣品進(jìn)行訓(xùn)練后,以獲得的結(jié)果,對新目標(biāo)進(jìn)行識別,可以識別標(biāo)記點(diǎn)。但有限的幾個(gè)標(biāo)記點(diǎn),不足以支撐更廣的應(yīng)用,應(yīng)以這些標(biāo)記點(diǎn)作為參考點(diǎn),計(jì)算和推導(dǎo)其他關(guān)鍵點(diǎn)[31]。圖7為整體穴位圖。

圖7 整體穴位圖

比如,采樣時(shí)并沒有標(biāo)記“命門穴”,但是可以計(jì)算和推導(dǎo)出“命門穴”位置,主要是根據(jù)已識別的已知穴位位置與未標(biāo)記穴位的相對位置關(guān)系。

從醫(yī)學(xué)人體模型可獲得,更精準(zhǔn)的穴位相對位置如圖8、圖9。

圖8 基于骨骼的穴位位置以及尺寸標(biāo)柱

圖9 視覺標(biāo)記點(diǎn)位置

2.3穴位識別

2.3.1穴位識別方法 穴位識別的軟件實(shí)施中,先建立基于神經(jīng)網(wǎng)絡(luò)的計(jì)算模型,再通過專業(yè)人工標(biāo)定穴位特征并制造大量數(shù)據(jù)樣本,將這些樣本數(shù)據(jù)投喂模型輸入側(cè),通過多層隱含層進(jìn)行深度學(xué)習(xí),輸出側(cè)獲得模型特征參數(shù)的結(jié)果,這些訓(xùn)練的結(jié)果將被保存以備后用。在現(xiàn)場對新目標(biāo)進(jìn)行識別時(shí),這些模型參數(shù)將被用作比對與匹配運(yùn)算,目標(biāo)識別結(jié)果一般將是與目標(biāo)最接近的那個(gè)樣本的參數(shù)值,不但如此,參數(shù)還被泛化與平均化,更接近真實(shí)。在訓(xùn)練過程中,如果發(fā)現(xiàn)結(jié)果不理想,會(huì)調(diào)整隱含層中的各參數(shù)權(quán)重值,重新訓(xùn)練,直至獲得理想的輸出。本系統(tǒng)中,彩色參數(shù)與距離參數(shù)的同時(shí)結(jié)合輸入,使得參數(shù)的特征差異性更加明顯,大大增加了系統(tǒng)的魯棒性。

對于模型的選擇,我們選擇了resnet、unet、dmnet等優(yōu)秀的深度學(xué)習(xí)模型進(jìn)行訓(xùn)練,在訓(xùn)練之前需要對已有圖片進(jìn)行數(shù)據(jù)增強(qiáng),包括平移、旋轉(zhuǎn)、放縮、剪切等空間上的變換以及色彩偏移、亮度變化、對比度變化、隨機(jī)扣除等色彩上的數(shù)據(jù)增強(qiáng),通過數(shù)據(jù)增強(qiáng)能夠獲得更多的數(shù)據(jù)集進(jìn)行模型訓(xùn)練,防止模型過擬合。針對我們?nèi)梭w背部穴位識別任務(wù),我們還采用了人體分割技術(shù),將人體從背景環(huán)境中分割出來,這樣能夠減少模型對周圍環(huán)境的關(guān)注,將模型的注意力約束到對人體的邊緣、結(jié)構(gòu)的關(guān)注上[32]。將分割好并完成數(shù)據(jù)增強(qiáng)的網(wǎng)絡(luò)喂入深度學(xué)習(xí)模型中讓其進(jìn)行學(xué)習(xí)直至模型收斂。使用該模型即可對新的樣本進(jìn)行預(yù)測,從而實(shí)現(xiàn)我們對于人體穴位識別的任務(wù)。

2.3.2穴位識別評測 對AI穴位識別系統(tǒng)的精度評估,整個(gè)系統(tǒng)誤差包括:相機(jī)深度數(shù)據(jù)誤差、RGB相機(jī)自身畸變、機(jī)械臂手眼標(biāo)定誤差、AI穴位識別誤差等諸多誤差形式組成。相機(jī)、機(jī)械臂導(dǎo)致的誤差是硬件本身的誤差,需要更換高精度工業(yè)3D相機(jī)來減少此問題,我們主要評估的是AI穴位識別系統(tǒng)誤差,視覺系統(tǒng)所對標(biāo)的是人眼穴位定位系統(tǒng),即先評估人眼穴位定位的誤差,再對我們視覺系統(tǒng)的精度進(jìn)行評估,衡量指標(biāo)為視覺系統(tǒng)能否逼近甚至超過人眼標(biāo)注的精度[33]。人體背部穴位定位的檢驗(yàn)方法及步驟:

(1)用未標(biāo)記穴位位置的人體模型作測試對象。首先中醫(yī)醫(yī)生使用穴位標(biāo)注軟件進(jìn)行人眼視覺標(biāo)定實(shí)驗(yàn)(test1),同時(shí)訓(xùn)練好的模型也會(huì)對圖片中的人體進(jìn)行穴位的預(yù)測(test2)。

(2)中醫(yī)醫(yī)生將真實(shí)的穴位位置貼上綠色標(biāo)簽,通過視覺系統(tǒng)對這些穴位真實(shí)位置標(biāo)簽進(jìn)行記錄(ground truth)。

(3)對醫(yī)生人眼穴位定位誤差進(jìn)行評估,評估指標(biāo)為人眼在圖片上標(biāo)注的位置到真實(shí)穴位位置的像素距離偏差,計(jì)算數(shù)據(jù)的均值和方差。

(4)對AI系統(tǒng)做與醫(yī)生相同的誤差評估。

(5)上述的評估數(shù)據(jù)可以從我們采集到的數(shù)據(jù)中來,為保證公平這些數(shù)據(jù)不會(huì)用于模型的訓(xùn)練過程,這些數(shù)據(jù)可以是新采集的數(shù)據(jù),醫(yī)生與AI系統(tǒng)同時(shí)對這些數(shù)據(jù)進(jìn)行穴位定位,隨后進(jìn)行精度評估。

2.3.3評估結(jié)果 我們對多種人工智能模型精度進(jìn)行了系統(tǒng)的評估,包括基于位置回歸的RESNET、基于熱圖回歸的UNET以及基于注意力機(jī)制的DMNET網(wǎng)絡(luò)。從各個(gè)模型在測試集的精度上來講基于熱圖回歸的模型以平均誤差10個(gè)pixel的精度取得了最好的結(jié)果,但我們將該網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行實(shí)際應(yīng)用時(shí)發(fā)現(xiàn)模型的魯棒性很差,對光影遮擋、衣服褶皺、光源不穩(wěn)定等諸多情況表現(xiàn)出很明顯的精度下降。而基于位置回歸的RESNET方案魯棒性很高,能夠保留不同穴位之間的結(jié)構(gòu)相關(guān)性。應(yīng)用時(shí)即使物理光照環(huán)境復(fù)雜多樣,依舊能保持結(jié)構(gòu)的魯棒性。我們最終使用基于RESNET的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行最終的模型部署實(shí)驗(yàn),評估結(jié)果在不同的穴位上存在一定差異,對于大椎穴等頸部附近的穴位定位精度很高,對于大腸俞等臀部附近的穴位定位精度要低一些。

3 結(jié)束語

機(jī)器人通過大量的人體穴位標(biāo)識數(shù)據(jù)采集,不斷通過人工智能訓(xùn)練,后期可以實(shí)現(xiàn)不用人為干預(yù)機(jī)器人都可以精準(zhǔn)找到人體穴位并減少誤差的穴位定位方案,包括了協(xié)作機(jī)器人本身的機(jī)械臂自動(dòng)軌跡運(yùn)行、3D視覺相機(jī)的圖像采集與識別、六維力傳感器的柔順控制等。應(yīng)用該方法的中醫(yī)暢氣通絡(luò)機(jī)器人可實(shí)現(xiàn)名老中醫(yī)的部分特色手法。