基于單目視頻的手術(shù)器械相對(duì)工作空間估計(jì)方法

蘇?赫，白?雪

基于單目視頻的手術(shù)器械相對(duì)工作空間估計(jì)方法

蘇?赫，白?雪

(天津大學(xué)機(jī)械工程學(xué)院，天津 300354)

由于單目手術(shù)視頻的鏡頭參數(shù)未知，僅憑該單目圖像難以準(zhǔn)確估算內(nèi)鏡鏡頭下的手術(shù)器械的三維坐標(biāo)．針對(duì)這一問(wèn)題，提出一種手術(shù)器械相對(duì)工作空間的估計(jì)方法．首先，對(duì)用U-Net網(wǎng)絡(luò)分割后的掩膜圖像進(jìn)行直線檢測(cè)，對(duì)圖像坐標(biāo)系下的直線映射到參數(shù)空間上的點(diǎn)進(jìn)行聚類，從而優(yōu)化直線檢測(cè)效果．然后，利用邊緣線段的相對(duì)幾何位置特征對(duì)因網(wǎng)絡(luò)分割效果欠佳導(dǎo)致的邊緣線段殘缺進(jìn)行補(bǔ)足，從而提取出與目標(biāo)邊緣高度擬合的完整線段. 結(jié)合目標(biāo)器械實(shí)際尺寸與圖像尺寸間的比例關(guān)系，利用平行線在投影平面上的消隱點(diǎn)特性計(jì)算出目標(biāo)器械目標(biāo)點(diǎn)處的實(shí)際三維坐標(biāo)．最后，進(jìn)行測(cè)距實(shí)驗(yàn)和軌跡跟蹤實(shí)驗(yàn). 實(shí)驗(yàn)結(jié)果表明：該方法較磁導(dǎo)航傳感器準(zhǔn)確度高、魯棒性強(qiáng)，距離測(cè)量精度可達(dá)2.6581mm，軌跡擬合度達(dá)91.2%，滿足實(shí)際情況下手術(shù)器械相對(duì)工作空間的估算要求．

工作空間；單目視覺(jué)；三維坐標(biāo)估算；手術(shù)機(jī)器人

進(jìn)入21世紀(jì)，隨著以由美國(guó)Intuitive Surgical公司開(kāi)發(fā)的da Vinci機(jī)器人系統(tǒng)[1]為代表的手術(shù)機(jī)器人的開(kāi)發(fā)并迅速投入臨床應(yīng)用，第三代外科手術(shù)時(shí)代到來(lái)[2]．微創(chuàng)手術(shù)機(jī)器人在傳統(tǒng)微創(chuàng)手術(shù)優(yōu)點(diǎn)的基礎(chǔ)上，還具有精度高、可單人施術(shù)、省力、學(xué)習(xí)曲線短、工作空間污染少、可遠(yuǎn)程手術(shù)等優(yōu)點(diǎn)，在時(shí)空層面減少手術(shù)條件限制，極大程度提高手術(shù)效率．為最大程度地拓展手術(shù)醫(yī)生操作能力，手術(shù)機(jī)器人的自由度更高，故而整體結(jié)構(gòu)復(fù)雜．由于其從操作端上安裝的手術(shù)器械工作在狹小的人體內(nèi)部空間，所以從操作端工作空間設(shè)置不當(dāng)會(huì)導(dǎo)致器械干涉的問(wèn)題，其主從分離式結(jié)構(gòu)[3]也會(huì)產(chǎn)生一定的人機(jī)交互困難的問(wèn)題，導(dǎo)致手術(shù)機(jī)器人術(shù)前規(guī)劃困難．因而研究微創(chuàng)手術(shù)所需的操作空間和操作模式對(duì)手術(shù)機(jī)器人的結(jié)構(gòu)設(shè)計(jì)、運(yùn)動(dòng)控制系統(tǒng)設(shè)計(jì)和手術(shù)切口設(shè)置有重要意義．

手術(shù)器械運(yùn)動(dòng)空間檢測(cè)的方法有兩類，分別是基于運(yùn)動(dòng)學(xué)或外設(shè)傳感器的方法和基于視覺(jué)的方法.前者通過(guò)用正運(yùn)動(dòng)學(xué)原理將機(jī)器人各關(guān)節(jié)運(yùn)動(dòng)映射到器械末端，或者在末端添設(shè)傳感器直接跟蹤，該類方式直接簡(jiǎn)單、準(zhǔn)確度高，但其關(guān)節(jié)位姿映射存在一定的誤差，增設(shè)傳感器需在手術(shù)中器械上進(jìn)行改造，存在臨床消毒等問(wèn)題，進(jìn)行大數(shù)據(jù)統(tǒng)計(jì)亦存在成本高和很難征招志愿者等困難．基于視覺(jué)的方法是一種無(wú)接觸的器械跟蹤方法，主要分為兩類，基于標(biāo)記點(diǎn)特征的方法和基于目標(biāo)特征的方法.前者需要在器械上附加帶有特殊顏色的標(biāo)記，會(huì)對(duì)手術(shù)有影響，而基于手術(shù)器械特征進(jìn)行識(shí)別跟蹤的方法無(wú)需額外添加標(biāo)記，僅僅通過(guò)視覺(jué)圖像求解，但該方法較其他方法精度較低．Zhang等[4]提出基于深度學(xué)習(xí)的無(wú)標(biāo)記手術(shù)器械追蹤框架，將手術(shù)器械關(guān)節(jié)定義為追蹤點(diǎn)，在跟蹤精度和速度上均有較好的效果．Peng等[5]提出基于YOLO網(wǎng)絡(luò)預(yù)測(cè)的箭頭對(duì)象邊界框器械尖端自主識(shí)別方法，該方法實(shí)現(xiàn)器械關(guān)鍵部位的識(shí)別和定位，具有36.5幀/s的速度和較高的準(zhǔn)確率效果，但該方法僅實(shí)現(xiàn)于二維圖像中的器械跟蹤．

單目?jī)?nèi)窺鏡體積更小、自由度更大，但單目三維目標(biāo)檢測(cè)區(qū)別于多目三維目標(biāo)檢測(cè)，其最大的難點(diǎn)在于深度的估計(jì)，對(duì)此，當(dāng)前用于單目?jī)?nèi)窺鏡的深度估計(jì)研究方法分為傳統(tǒng)的三維重建方法和基于深度學(xué)習(xí)的方法．Mahmoud等[6]利用改進(jìn)的單目ORB-SLAM算法來(lái)估計(jì)內(nèi)窺鏡場(chǎng)景位置和手術(shù)場(chǎng)景的3D結(jié)構(gòu)，但其重建地圖稀疏，只能用于內(nèi)窺鏡定位．Phan等[7]提出了結(jié)合密集光流的交叉矩陣結(jié)構(gòu)(switch fabric module，SFM)的圖像表面重建方法，該方法改進(jìn)弱紋理區(qū)域的特征匹配效果，用于胃鏡下的三維重建．岑仕杰等[8]使用位姿估計(jì)網(wǎng)絡(luò)提供無(wú)監(jiān)督數(shù)據(jù)，結(jié)合雙重注意力模塊對(duì)自然場(chǎng)景進(jìn)行深度估計(jì)，但該方法位姿估計(jì)準(zhǔn)確性較低．

當(dāng)前較為成熟的單目深度估計(jì)研究主要在自動(dòng)駕駛領(lǐng)域，有3種方法：使用深度估計(jì)、使用激光雷達(dá)引導(dǎo)和直接回歸的方法[9]. CaDDN方法[10]跳脫出精確估計(jì)深度的桎梏，提出估計(jì)深度范圍的方法，將連續(xù)值的回歸問(wèn)題轉(zhuǎn)化為離散值的分類問(wèn)題，減小深度預(yù)測(cè)難度，提高三維檢測(cè)效果；MonoPSR方法[11]利用了邊框預(yù)判和形狀重構(gòu)等方法，降低三維定位難度，提高準(zhǔn)確率；直接回歸的方法往往借助于幾何先驗(yàn)條件，利用目標(biāo)的幾何關(guān)系、關(guān)鍵點(diǎn)等已知條件回歸目標(biāo)深度．這些方法由于應(yīng)用在自動(dòng)駕駛中，其目標(biāo)物體多數(shù)較為單一，如行人、車輛等，尺寸類型較少，因而進(jìn)行3D包圍盒的檢測(cè)時(shí)更偏向于全包括性而非獲得實(shí)際深度尺寸．

內(nèi)窺鏡系統(tǒng)因其具有超清圖像、高亮度發(fā)光二極管(light emitting diode，LED)冷光源特點(diǎn)，可將手術(shù)視野穩(wěn)定并完美呈現(xiàn)[12]，除為術(shù)者提供清晰的手術(shù)操作圖像、提高手術(shù)效率、降低病人不適感和手術(shù)復(fù)雜度外，醫(yī)療內(nèi)鏡拍攝的視頻也常用于術(shù)后臨床病例討論、遠(yuǎn)程會(huì)診和教學(xué)中，為教學(xué)、科研提供可靠的資料．

當(dāng)下，以達(dá)芬奇為主的手術(shù)機(jī)器人由于其售價(jià)高、耗材花費(fèi)大、常用器械使用次數(shù)少導(dǎo)致的單次使用成本高等問(wèn)題，導(dǎo)致普通人負(fù)擔(dān)不起巨額手術(shù)費(fèi)，再加上長(zhǎng)期以來(lái)中國(guó)醫(yī)保并未覆蓋到機(jī)器人輔助手術(shù)，所以中國(guó)的手術(shù)機(jī)器人市場(chǎng)滲透率極低[13]．而部分國(guó)內(nèi)手術(shù)機(jī)器人公司研發(fā)出術(shù)式較少的機(jī)器人，如微創(chuàng)醫(yī)療機(jī)器人自主研發(fā)的適用于機(jī)器人輔助腹腔鏡根治性前列腺切除術(shù)(robot-assisted laparoscopic radical prostatectomy，RALRP)的圖邁腔鏡手術(shù)機(jī)器人[14]、適用于全膝關(guān)節(jié)置換術(shù)(total knee arthroplasty，TKA)的鴻鵠骨科機(jī)器人等[15]，該類手術(shù)機(jī)器人雖部分尚處于研發(fā)過(guò)程中還未投入使用，但因其術(shù)式較少，可助力專用手術(shù)的標(biāo)準(zhǔn)化診療流程建設(shè)，其成本顯著下降，因而這類機(jī)器人或?qū)⒏醒芯亢蛻?yīng)用價(jià)值．而手術(shù)的實(shí)時(shí)錄像不僅可作為術(shù)者的術(shù)中參考，還可以在專用手術(shù)機(jī)器人的結(jié)構(gòu)設(shè)計(jì)、運(yùn)動(dòng)控制、術(shù)前規(guī)劃等方面提供指導(dǎo)作用．

本文基于單目手術(shù)視頻，將對(duì)其語(yǔ)義分割后的掩膜圖像作為輸入，結(jié)合消隱點(diǎn)特性和手術(shù)器械的直線特征，對(duì)單目視頻中的手術(shù)器械相對(duì)于鏡頭的三維坐標(biāo)進(jìn)行估算，并繪制出器械的運(yùn)動(dòng)軌跡，從而獲得手術(shù)器械的操作空間，該方法可在專用手術(shù)機(jī)器人的結(jié)構(gòu)設(shè)計(jì)、運(yùn)動(dòng)控制、術(shù)前規(guī)劃等方面提供指導(dǎo)作用．

1?本文研究方法

為了滿足操作空間計(jì)算的準(zhǔn)確性，本文提出的手術(shù)器械操作空間估計(jì)方法利用消隱點(diǎn)特性和目標(biāo)器械幾何特征來(lái)計(jì)算單目視覺(jué)下的手術(shù)器械三維位姿．該方法基于對(duì)單目手術(shù)視頻圖像的分析，在內(nèi)鏡運(yùn)動(dòng)參數(shù)以及內(nèi)參未知的情況下，以U-Net網(wǎng)絡(luò)語(yǔ)義分割得到的掩膜為輸入數(shù)據(jù)，結(jié)合霍夫變換原理，提出直線檢測(cè)優(yōu)化方法，結(jié)合目標(biāo)器械特征優(yōu)化邊緣重繪效果，最后利用消隱點(diǎn)特性，建立模型并推導(dǎo)出手術(shù)器械的相對(duì)三維坐標(biāo)，構(gòu)成手術(shù)器械操作空間．本文算法流程如圖1所示．

圖1?本文算法流程

1.1?直線檢測(cè)與刀柄邊緣重繪

基于霍夫變換原理，引入相似者相同的方法優(yōu)化直線檢測(cè)效果，并針對(duì)因網(wǎng)絡(luò)分割不準(zhǔn)確等引起的識(shí)別不完整問(wèn)題，采用目標(biāo)長(zhǎng)度比較的方法獲得更為接近的邊緣重繪結(jié)果．

在對(duì)掩膜圖像進(jìn)行直線檢測(cè)時(shí)，由于U-Net網(wǎng)絡(luò)對(duì)圖像進(jìn)行先壓縮后擴(kuò)展操作，導(dǎo)致圖像邊緣出現(xiàn)鋸齒效應(yīng)[16]，加上圖像本身因光照、快速運(yùn)動(dòng)等原因出現(xiàn)邊界不清晰、掩膜圖像有波浪狀缺失的情況，此時(shí)直線檢測(cè)效果較差，無(wú)法提取有效信息．利用霍夫變換[17]將圖像空間上的直線映射到參數(shù)空間上的點(diǎn)的原理，對(duì)其參數(shù)空間點(diǎn)坐標(biāo)進(jìn)行閾值限定，優(yōu)化直線檢測(cè)效果．

圖2?霍夫變換原理示意

然而在實(shí)際應(yīng)用中，由于光照、快速運(yùn)動(dòng)、虛焦等原因產(chǎn)生的模糊邊緣以及圖像分割時(shí)產(chǎn)生的鋸齒效應(yīng)等使得直線檢測(cè)效果變差，無(wú)法得到有效邊緣線段，故需對(duì)此進(jìn)行優(yōu)化．

(2) 根據(jù)線段的值的正負(fù)判斷線段方向，求得合成線段的兩端點(diǎn)坐標(biāo)；

兩端點(diǎn)坐標(biāo)暫不分前后，優(yōu)化效果如圖3所示. 圖3(a)為掩膜圖像上直線檢測(cè)的圖像；圖3(b)為單獨(dú)的直線檢測(cè)效果，其中存在許多斷續(xù)的短線段；圖3(c)為優(yōu)化后的直線檢測(cè)效果，經(jīng)過(guò)該優(yōu)化后，斷?續(xù)的短線段結(jié)合為完整的長(zhǎng)線段，其優(yōu)化效果直觀?可見(jiàn)．

圖3?直線檢測(cè)優(yōu)化效果

在實(shí)際圖像分割時(shí)，由于光照、特征相似、遮擋等原因，往往出現(xiàn)目標(biāo)分割不完整的問(wèn)題，這對(duì)形狀較為規(guī)則的目標(biāo)的邊緣重繪影響極大，而針對(duì)每張圖片的分割效果進(jìn)行直線檢測(cè)閾值調(diào)整工作量巨大且無(wú)法自動(dòng)化實(shí)現(xiàn)，而采用自適應(yīng)閾值[18]等方法對(duì)原圖像的分割效果進(jìn)行優(yōu)化不能針對(duì)性地解決部分?jǐn)?shù)據(jù)分割效果差的問(wèn)題．所以在手術(shù)刀柄邊緣重繪時(shí)，選取過(guò)邊線較遠(yuǎn)端點(diǎn)與骨線相垂直的線段作為器械末端的有效識(shí)別半徑，實(shí)現(xiàn)方法如下．

其通過(guò)兩刀頭端點(diǎn)有不同截距，其表達(dá)式分別為

圖5?邊緣重繪優(yōu)化效果

1.2?結(jié)合消隱點(diǎn)特性估算器械相對(duì)操作空間

歐氏空間中兩條平行直線相交于無(wú)窮遠(yuǎn)點(diǎn)，在理想小孔模型下，兩條平行直線經(jīng)過(guò)攝像機(jī)得到的投影交點(diǎn)稱為消隱點(diǎn)(vanish point)[19]，它是無(wú)窮遠(yuǎn)點(diǎn)在平面上的投影．

目標(biāo)手術(shù)器械刀柄為圓柱體，故其兩條可視母線(即上文提到的邊線)也是兩條平行直線，其在圖像上也會(huì)交于一消隱點(diǎn)，利用該特性可求出圖像視野內(nèi)刀柄部分實(shí)際長(zhǎng)度．繪制器械柄部在投影平面上示意如圖6所示．

圖6?器械投影平面上消隱點(diǎn)示意

(14)

已知在同一深度距離下，兩物體的實(shí)際尺寸之比等于圖像尺寸之比，即

若器械上某點(diǎn)處深度距離與參考圖片中某處距離相同，則其圖像尺寸之比等于其實(shí)際尺寸之比，若距離不同，則在圖中繪制出其相應(yīng)比例的圖像尺寸，將消隱點(diǎn)與等深度下圖像端點(diǎn)相連，延長(zhǎng)至實(shí)際圖像尺寸上，此時(shí)該交點(diǎn)對(duì)應(yīng)坐標(biāo)值即為該點(diǎn)處的實(shí)際深度坐標(biāo)．

2?實(shí)驗(yàn)分析

2.1?實(shí)驗(yàn)設(shè)備及步驟

為了證明所提出的三維位姿檢測(cè)算法的有效性、可行性和結(jié)果的準(zhǔn)確性，本文采用NDI Aurora電磁傳感器作為驗(yàn)證依據(jù)，該傳感器參數(shù)[21]如表1所示，使用直徑4.78mm(±2mm)手持器械、Lap Game腹腔鏡手術(shù)模擬訓(xùn)練箱和直桿腹腔鏡進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)裝置如圖8所示．首先驗(yàn)證兩器械末端端點(diǎn)間距離檢測(cè)結(jié)果的準(zhǔn)確性，然后進(jìn)行器械末端跟蹤實(shí)驗(yàn)，得到與電磁傳感器軌跡相匹配的結(jié)果，最后根據(jù)所得實(shí)驗(yàn)結(jié)果進(jìn)行特定軌跡繪制實(shí)驗(yàn)，驗(yàn)證本文方法較電磁傳感器的準(zhǔn)確性更好．

表1?NDIAurora電磁傳感器參數(shù)

Tab.1?Parameters of NDI Aurora electromagnetic sensor

本文所采用數(shù)據(jù)集均為大小1080×1920分辨率、25幀/s的實(shí)拍視頻，數(shù)據(jù)預(yù)處理方法流程如下．

圖8?實(shí)驗(yàn)裝置及環(huán)境

(1) 輸入一段視頻．

(2) 對(duì)視頻隔幀截取，獲得一組圖片，得到待預(yù)測(cè)樣本．

(3) 對(duì)待預(yù)測(cè)樣本抽取10%，即對(duì)70張圖片使用Labelme標(biāo)記工具進(jìn)行數(shù)據(jù)標(biāo)記，生成訓(xùn)練集．

(4) 將訓(xùn)練集輸入U(xiǎn)-Net網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并將全部待預(yù)測(cè)樣本進(jìn)行預(yù)測(cè)．U-Net網(wǎng)絡(luò)運(yùn)行環(huán)境為：Windows10系統(tǒng)，Python3.7，Tensorflow1.13.1，keras2.2.4；網(wǎng)絡(luò)相關(guān)參數(shù)：batch size＝2，epoch＝200．其損失曲線如圖9所示，可見(jiàn)其迭代至60步就已趨于穩(wěn)定，訓(xùn)練集整體損失loss穩(wěn)定至0.004，同時(shí)驗(yàn)證集整體損失val_loss穩(wěn)定至0.012，且兩者同步下降，說(shuō)明訓(xùn)練良好，未出現(xiàn)過(guò)擬合現(xiàn)象，最終進(jìn)行預(yù)測(cè)得到分割掩膜圖片，即為本文所需數(shù)據(jù)集．

圖9?U-Net網(wǎng)絡(luò)的loss曲線

2.2?器械末端端點(diǎn)間距離實(shí)驗(yàn)

實(shí)驗(yàn)前將電磁傳感器分別用透明膠固定在兩器械柄部末端，固定直桿腹腔鏡保證相機(jī)不發(fā)生相對(duì)運(yùn)動(dòng)，固定器械位置，手動(dòng)測(cè)量?jī)善餍瞪蟼鞲衅鏖g距離并拍攝圖片，同時(shí)使電磁傳感器識(shí)別兩器械的坐標(biāo)，共拍攝并測(cè)量12組數(shù)據(jù)．

圖10?器械柄部末端距離實(shí)驗(yàn)數(shù)據(jù)

分析得知，NDI磁導(dǎo)航傳感器定位結(jié)果產(chǎn)生較大偏移，磁導(dǎo)航傳感器工作時(shí)將其磁針的磁場(chǎng)強(qiáng)度與磁針的磁場(chǎng)特性結(jié)合從而確定磁導(dǎo)航傳感器的位置，在其使用環(huán)境中，手術(shù)器械上的金屬材料使得傳感器周圍磁場(chǎng)發(fā)生變化，導(dǎo)致傳感器定位偏移，該偏移量穩(wěn)定在11mm左右．計(jì)算得磁導(dǎo)航傳感器偏差均值為10.2753mm，本文算法偏差均值為2.6581mm，磁導(dǎo)航傳感器誤差標(biāo)準(zhǔn)差為0.07855mm，本文誤差標(biāo)準(zhǔn)差為0.07330mm，可見(jiàn)本文方法較磁導(dǎo)航傳感器定位更準(zhǔn)確，且其誤差離散程度更?。?/p>

由于當(dāng)下基于單目視覺(jué)的手術(shù)器械定位方法均需要進(jìn)行相機(jī)標(biāo)定或已知相機(jī)內(nèi)參，而本算法無(wú)需此步驟，故與幾個(gè)常用的手術(shù)器械定位方法進(jìn)行比較從而說(shuō)明其可用性．表2比較了多種手術(shù)導(dǎo)航定位與跟蹤系統(tǒng)的平均定位精度，從表中可見(jiàn)，本研究提出的估計(jì)方法精度接近手術(shù)導(dǎo)航定位精度，且其無(wú)需增設(shè)任何設(shè)備，也不需要進(jìn)行相機(jī)標(biāo)定，相較之下具有一定的先進(jìn)性．

表2?不同定位方法精度比較

Tab.2 Comparison of accuracy of different positioning methods

2.3?器械末端跟蹤實(shí)驗(yàn)

該實(shí)驗(yàn)僅需跟蹤單個(gè)手術(shù)器械的運(yùn)動(dòng)軌跡，故僅在一把手術(shù)器械柄部末端貼上電磁傳感器，實(shí)驗(yàn)過(guò)程中同時(shí)進(jìn)行視頻錄制和電磁傳感器跟蹤，操作時(shí)將器械進(jìn)行緩慢移動(dòng)，移動(dòng)軌跡盡量清晰簡(jiǎn)單，共設(shè)置5組實(shí)驗(yàn)，每組實(shí)驗(yàn)錄制時(shí)長(zhǎng)60s，視頻幀率為25幀/s.對(duì)視頻每隔15幀截取圖片，獲得100組數(shù)據(jù)，NDI電磁傳感器的刷新頻率約為40次/s，故每隔8次取300組傳感器數(shù)據(jù)最終將本文算法估算得到的器械坐標(biāo)與NDI電磁傳感器識(shí)別坐標(biāo)分別進(jìn)行軌跡繪制，5組實(shí)驗(yàn)的軌跡如圖11所示．

可看出本文算法能夠較為準(zhǔn)確地還原目標(biāo)運(yùn)動(dòng)軌跡，與磁導(dǎo)航傳感器跟蹤獲得的軌跡相似程度高，圖12描述了5組實(shí)驗(yàn)中兩方法的軌跡范圍對(duì)比，其偏差不超過(guò)3.2mm，由于傳感器與器械末端間相對(duì)姿態(tài)變化導(dǎo)致識(shí)別點(diǎn)存在1～2mm誤差[25]，且電磁傳感器精度大于2.0000mm[26]，可證明本文方法估算三維坐標(biāo)達(dá)到準(zhǔn)確率要求．

2.4?特定軌跡跟隨圖形擬合實(shí)驗(yàn)

由器械末端端點(diǎn)間距離實(shí)驗(yàn)可看出本文算法可獲得準(zhǔn)確率較高的距離估算值，在器械末端跟蹤實(shí)驗(yàn)中，對(duì)單個(gè)器械進(jìn)行軌跡跟蹤實(shí)驗(yàn)時(shí)，將其與電磁傳感器跟蹤數(shù)據(jù)軌跡進(jìn)行對(duì)比也可見(jiàn)本文算法具有較好的軌跡匹配效果，然而由于第2.2節(jié)所述實(shí)驗(yàn)1中電磁傳感器較真實(shí)測(cè)量值發(fā)生較大偏移，故進(jìn)行特定尺寸軌跡跟蹤實(shí)驗(yàn)，跟蹤實(shí)驗(yàn)?zāi)繕?biāo)點(diǎn)如圖13中箭頭所指處．

首先繪制半徑為50mm的標(biāo)準(zhǔn)圓，將該圓固定于較為平整的平面上，將相機(jī)固定于任意合適位置. 以成像范圍覆蓋該標(biāo)準(zhǔn)圓為準(zhǔn)，手持直徑為5mm的手持器械，使其柄部末端處沿著圓周緩慢運(yùn)動(dòng)并錄制該運(yùn)動(dòng)的視頻. 視頻時(shí)長(zhǎng)30s，留有5s的數(shù)據(jù)同步時(shí)間以避免傳感器發(fā)生延遲等，從第6s開(kāi)始運(yùn)動(dòng)，運(yùn)動(dòng)時(shí)長(zhǎng)25s．截取該運(yùn)動(dòng)片段并對(duì)此每隔5幀截取圖片，獲得125組數(shù)據(jù)，進(jìn)行數(shù)據(jù)集預(yù)處理. 然后用本文估算方法計(jì)算每組數(shù)據(jù)的實(shí)際坐標(biāo)，將該125組離散點(diǎn)坐標(biāo)輸入Matlab并進(jìn)行標(biāo)準(zhǔn)圓擬合，得到半徑52.1801mm的擬合圓，擬合效果如圖14所示. 用擬合圓半徑與標(biāo)準(zhǔn)圓半徑之差再除以標(biāo)準(zhǔn)圓半徑得到擬合誤差，計(jì)算得具有4.36%的擬合誤差，擬合圓心坐標(biāo)為(-32.3540，25.2230，11.8670)，通過(guò)計(jì)算離散點(diǎn)到擬合圓心的距離與理想圓半徑做差，得到偏差值，繪制離散圖如圖15所示，有114組數(shù)據(jù)在4.8mm偏差范圍內(nèi)(91.2%的數(shù)據(jù)在此范圍內(nèi))．由于在實(shí)驗(yàn)中進(jìn)行手持器械沿圓周運(yùn)動(dòng)操作時(shí)存在軌跡本身不完全重合于理想圓的情況，操作中產(chǎn)生???±2mm以內(nèi)的操作偏差，所以該實(shí)驗(yàn)誤差可接受．

圖12?兩種方法軌跡范圍對(duì)比

圖13?特定軌跡跟蹤軌跡實(shí)驗(yàn)

圖14?擬合圓效果

圖15?離散點(diǎn)擬合偏差

3?結(jié)?語(yǔ)

本文提出基于單目手術(shù)視頻的器械工作空間研究的方法，該方法利用深度學(xué)習(xí)網(wǎng)絡(luò)獲得的手術(shù)器械分割掩膜作為輸入，結(jié)合霍夫變換及投影平面上的平行線消隱點(diǎn)特性，建立直線檢測(cè)優(yōu)化模型并推導(dǎo)出目標(biāo)點(diǎn)處的相對(duì)三維坐標(biāo)．實(shí)驗(yàn)表明，本文方法具有比磁導(dǎo)航傳感器更高的位置估計(jì)準(zhǔn)確度和抗干擾性，測(cè)距偏差均值為2.6581mm，測(cè)距誤差標(biāo)準(zhǔn)差為0.07330mm，具有可行的定位精度和較小的誤差離散程度，獲得了較高的軌跡擬合程度和91.2%的軌跡擬合率．為僅提供單目手術(shù)圖像的條件下計(jì)算手術(shù)器械相對(duì)操作空間提供了可行性方案，對(duì)微創(chuàng)手術(shù)機(jī)器人的設(shè)計(jì)和手術(shù)切口設(shè)置具有重要的意義．

通過(guò)本文研究可知，基于單目視頻進(jìn)行手術(shù)器械的三維坐標(biāo)估算方法是可行的，該方法具有計(jì)算量少、無(wú)附加條件限制等優(yōu)點(diǎn)，但仍無(wú)法達(dá)到多目、外設(shè)傳感器等更成熟的方法的精度，且在對(duì)比實(shí)驗(yàn)中存在難以避免的系統(tǒng)誤差．未來(lái)的研究方向可以考慮將單目視頻流的時(shí)序特征與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，有望進(jìn)一步提高三維坐標(biāo)估計(jì)精度．最后，進(jìn)一步探索更好的模型框架，對(duì)相機(jī)運(yùn)動(dòng)進(jìn)行估算也是本領(lǐng)域?qū)?lái)的研究方向之一．

［1］ Guthart G S，Salisbury J K. The intuitiveTMtelesurgery system：Overview and application[C]//IEEE Interna-tional Conference on Robotics & Automation(ICRA). San Francisco，USA，2000：618-621.

［2］ 安芳芳，荊朝俠，彭?燕，等. 達(dá)芬奇機(jī)器人的“前世、今生、來(lái)世”[J]. 中國(guó)醫(yī)療設(shè)備，2020，35(7)：148-151，168.

An Fangfang，Jing Zhaoxia，Peng Yan，et al. The past，present and future of the da Vinci robot[J]. China Medical Equipment，2020，35(7)：148-151，168(in Chinese).

［3］ 倪志學(xué). 腹腔微創(chuàng)手術(shù)機(jī)器人控制系統(tǒng)研究[D]. 長(zhǎng)春：吉林大學(xué)機(jī)械與航空航天工程學(xué)院，2021.

Ni Zhixue. Research on the Robot Control System for Minimally Invasive Abdominal Surgery[D]. Chang-chun：School of Mechanical and Aerospace Engineer-ing，Jilin University，2021(in Chinese).

［4］ Zhang J Y，Gao X. Object extraction via deep learning-based marker-free tracking framework of surgical instruments for laparoscope-holder robots[J]. International Journal of Computer Assisted Radiology and Surgery，2020，15(8)：1335-1345.

［5］ Peng J，Chen Q，Kang L，et al. Autonomous recognition of multiple surgical instruments tips based on arrow OBB-YOLO network[J]. IEEE Transactions on Instrumentation and Measurement，2022，71：1-13.

［6］ Mahmoud N，Cirauqui I，Hostettler A，et al. ORBSLAM-based endoscope tracking and 3D reconstruc-tion[C]// International Workshop on Computer-Assisted and Robotic Endoscopy(CARE). Qubec City，Canada，2017：72-83.

［7］ Phan T B，Trinh D H，Lamarque D，et al. Dense optical flow for the reconstruction of weakly textured and structured surfaces：Application to endoscopy[C]// IEEE International Conference on Image Processing(ICIP). Taipei，China，2019：310-314.

［8］ 岑仕杰，何元烈，陳小聰. 結(jié)合注意力與無(wú)監(jiān)督深度學(xué)習(xí)的單目深度估計(jì)[J]. 廣東工業(yè)大學(xué)學(xué)報(bào)，2020，37(4)：35-41.

Cen Shijie，He Yuanlie，Chen Xiaocong. A monocular depth estimation combined with attention and unsupervised deep learning[J]. Journal of Guangdong University of Technology，2020，37(4)：35-41(in Chinese).

［9］ Ma X Z，Ouyang W L，Simonelli A，et al. 3D object detection from images for autonomous driving：A survey[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR). New Orleans，USA，2022.

［10］ Reading C，Harakeh A，Chae J，et al. Categorical depth distribution network for monocular 3D object detection[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR). 2021：8551-8560.

［11］ Ku J，Pon A D，Waslander S L. Monocular 3D object detection leveraging accurate proposals and shape reconstruction[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Long Beach，USA，2019：11867-11876.

［12］ Bao Y D，Li K，Qi D B，et al. Recent patents on the structure of medical endoscope[J]. Recent Patents on Engineering，2022，16(4)：81-95.

［13］ Zhang W，Li H Y，Cui L L，et al. Research progress and development trend of surgical robot and surgical instrument arm[J]. The International Journal of Medical Robotics＋Computer Assisted Surgery，2021，17(5)：e2309.

［14］ 微創(chuàng)醫(yī)療. 圖邁?腔鏡手術(shù)機(jī)器人[EB/OL]. https:// www.microport.com.cn/health/product/109.html，2022-06-13.

MicroPort. Toumai? endoscopic surgery robot [EB/OL]. https://www.microport.com.cn/health/product/ 109. html，2022-06-13(in Chinese).

［15］ 微創(chuàng)醫(yī)療. 鴻鵠?骨科手術(shù)機(jī)器人[EB/OL]. https:// www.medbotsurgical.com/patientcare/robot/guke，2022-06-13.

MicroPort. Honghu(SkyWalker? for FDA(510k)) [EB/OL]. https://www.medbotsurgical.com/patientcare/ robot/guke，2022-06-13(in Chinese).

［16］ 李雄宗，李翠華，張丹瑩，等. 一種柔化鋸齒的超分辨率圖像重建方法[J]. 廈門(mén)大學(xué)學(xué)報(bào)(自然科學(xué)版)，2012，51(3)：348-352.

Li Xiongzong，Li Cuihua，Zhang Danying，et al. A method of softening the jagged in image super-resolution reconstruction[J]. Journal of Xiamen University(Natural Science)，2012，51(3)：348-352(in Chinese).

［17］ Ballard D H. Generalizing the Hough transform to detect arbitrary shapes[J]. Pattern Recognition，1981，13(2)：111-122.

［18］ 劉川熙，趙汝進(jìn)，劉恩海，等. 基于RANSAC的SIFT匹配閾值自適應(yīng)估計(jì)[J]. 計(jì)算機(jī)科學(xué)，2017，44(增1)：157-160.

Liu Chuanxi，Zhao Rujin，Liu Enhai，et al. Estimate threshold of SIFT matching adaptively based on RANSAC[J]. Computer Science，2017，44(Suppl1)：157-160(in Chinese).

［19］ 關(guān)?闖，魏?朗，喬?潔，等. 一種基于消隱點(diǎn)的單目視覺(jué)車輛測(cè)距方法[J]. 電子測(cè)量技術(shù)，2018，41(11)：83-87.

Guan Chuang，Wei Lang，Qiao Jie，et al. A vehicle distance measurement method with monocular vision based on vanishing point[J]. Electronic Measurement Technology，2018，41(11)：83-87(in Chinese).

［20］ 畢嘉楨，沈?拓，張軒雄. 基于機(jī)器視覺(jué)的軌道交通自動(dòng)測(cè)距研究[J]. 電子科技，2022，35(9)：1-7.

Bi Jiazhen，Shen Tuo，Zhang Xuanxiong. A research on distance measurement between trains in rail transit based on machine vision[J]. Electronic Science and Technology，2022，35(9)：1-7(in Chinese).

［21］ NDI. Product[EB/OL]. https://www.ndigital.cn/，2022-07-11.

［22］ 孫九愛(ài)，莊天戈. 計(jì)算機(jī)輔助外科手術(shù)中被動(dòng)多眼定位方法[J]. 上海交通大學(xué)學(xué)報(bào)(自然科學(xué)版)，2002，36(1)：76-78.

Sun Jiu’ai，Zhuang Tiange. Passive multi-eye localizing method in computer assisted surgery[J]. Journal of Shanghai Jiaotong University(Natural Science Edition)，2002，36(1)：76-78(in Chinese).

［23］ 王遵亮. 圖像導(dǎo)航外科手術(shù)光學(xué)三維定位系統(tǒng)的研究與開(kāi)發(fā)[D]. 南京：東南大學(xué)生物科學(xué)與醫(yī)學(xué)工程系，2002.

Wang Zunliang. Research and Development of Optical 3D Positioning System for Image Navigation Surgical Operation[D]. Nanjing：School of Biological Science & Medical Engineering，Southeast University，2002(in Chinese).

［24］ 陳?為，Georios Sakas，彭群生. 手動(dòng)式電磁定位及圖像導(dǎo)航的短徑癌癥放射治療系統(tǒng)[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2002，14(9)：870-877.

Chen Wei，Georios S，Peng Qunsheng. A free hand navigation system for brachytherapy[J]. Journal of Computer Aided Design &Computer Graphics，2002，14(9)：870-877(in Chinese).

［25］ 郭兆君，丁?輝，王廣志，等. 手術(shù)導(dǎo)航中定位跟蹤系統(tǒng)精度問(wèn)題的研究[J]. 北京生物醫(yī)學(xué)工程，2008，27(2)：146-150.

Guo Zhaojun，Ding Hui，Wang Guangzhi，et al. Research of orientation and tracking system accuracy in image guide surgery[J]. Beijing Biomedical Engineering，2008，27(2)：146-150(in Chinese).

［26］ 姜立軍，甘東兵，王國(guó)榮. 基于雙目視覺(jué)傳感的計(jì)算機(jī)輔助骨外科手術(shù)導(dǎo)航模型[J]. 華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版)，2006，34(2)：67-72.

Jiang Lijun，Gan Dongbing，Wang Guorong. Navigation model of computer-assisted orthopedic surgery based on binocular vision sensor[J]. Journal of South China University of Technology(Natural and Science Edition)，2006，34(2)：67-72(in Chinese).

Relative Workspace Estimation Method of Surgical Instruments Based on Monocular Video

Su He，Bai Xue

(School of Mechanical Engineering，Tianjin University，Tianjin 300354，China)

It is difficult to accurately estimate the three-dimensional coordinates of surgical instruments under an endoscopic lens based on the monocular image because the lens parameters of monocular surgical video are unknown. Consequently，a method for estimating the relative workspace of surgical instruments is proposed to address this difficulty. First，the straight lines in the mask image segmented by U-Net were detected，and the points mapped from straight lines in the image coordinate to parameter space were grouped to maximize the effect of straight-line detection.Second，to make up for the incomplete lines caused by poor network segmentation，the edge segment’s geometric position feature was used by extracting the complete segment with a high degree of fit with the edge of the target. Furthermore，the actual 3D coordinate estimation of the target equipment was calculated using the proportional relationship between the actual and image size of the target instrument and the characteristics of the parallel line’s vanishing point. Finally，ranging and trajectory tracking experiments were conducted. The experimental results show that this method has higher accuracy and robustness than magnetic navigation sensors，and it achieves a distance measurement accuracy of 2.6581mm and a trajectory fitting degree reaching 91.2%，which meets the requirements of the relative workspace estimation of surgical instruments in the actual situation.

workspace；monocular vision；3D coordinate estimation；surgical robot

10.11784/tdxbz202206022

TP391

A

0493-2137(2023)08-0785-11

2022-06-05；

2022-09-10.

蘇?赫（1984—??），男，博士，副教授，suhe@tju.edu.cn.Email：m_bigm@tju.edu.cn

白?雪，snowwhite29@126.com.

國(guó)家自然科學(xué)基金資助項(xiàng)目(52175028).

the National Natural Science Foundation of China(No. 52175028).

(責(zé)任編輯：王曉燕)