基于點(diǎn)云三維重建技術(shù)的甲狀腺超聲穿刺三維導(dǎo)航研究

王子燦,付 莊,盧晨卓,趙艷娜，謝榮理，張 俊，費(fèi) 健

(1.上海交通大學(xué)機(jī)械系統(tǒng)與振動(dòng)國(guó)家重點(diǎn)實(shí)驗(yàn)室，上海200240;2.上海市瑞金康復(fù)醫(yī)院，上海 200023;3.上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院，上海 200025)

0 引言

甲狀腺穿刺手術(shù)作為一種體表下手術(shù)，為了正確定位甲狀腺結(jié)節(jié)的位置，醫(yī)生在手術(shù)的同時(shí)需通過(guò)超聲掃描儀獲取手術(shù)位置的截面信息，從而了解體表下的組織情況[1]。這種通過(guò)提供額外的體內(nèi)視覺(jué)信息的手術(shù)輔導(dǎo)技術(shù)稱(chēng)為手術(shù)視覺(jué)導(dǎo)航技術(shù)[2-4]。當(dāng)前甲狀腺手術(shù)的導(dǎo)航系統(tǒng)大多依賴(lài)于超聲截面圖像，但其空間姿態(tài)信息不明確的弱點(diǎn)導(dǎo)致醫(yī)生通過(guò)超聲截面視圖獲取結(jié)節(jié)相對(duì)手術(shù)穿刺針位置的難度增加，限制了系統(tǒng)的導(dǎo)航能力[5-6]。

通過(guò)甲狀腺自動(dòng)超聲掃查機(jī)器人，可以獲得帶有準(zhǔn)確空間和時(shí)間信息的超聲掃描圖像。將圖像重建成為甲狀腺三維模型，并和CT重建模型進(jìn)行融合后，可組建甲狀腺穿刺手術(shù)導(dǎo)航模型[7]。以此為基礎(chǔ)，將傳統(tǒng)的甲狀腺超聲截面導(dǎo)航穿刺機(jī)器人系統(tǒng)與三維導(dǎo)航模型融合，可以為醫(yī)生提供穿刺時(shí)針尖相對(duì)于甲狀腺結(jié)節(jié)和周邊組織的位置和姿態(tài)，提升導(dǎo)航的直觀(guān)程度。

1 自動(dòng)超聲掃查與圖像分割

1.1 甲狀腺自動(dòng)超聲掃查機(jī)器人

超聲掃查機(jī)器人的掃查范圍如圖1所示。掃查機(jī)器人平臺(tái)基于文獻(xiàn)[8]的工作進(jìn)行了修改，在增加超聲穿刺探頭的前提下，根據(jù)甲狀腺附近頸部掃查部位的皮膚表面幾何形狀進(jìn)行了運(yùn)動(dòng)軌跡重新規(guī)劃，保證了甲狀腺的所有區(qū)域均能被掃描探頭掃查到。

圖1 自動(dòng)超聲掃描區(qū)域規(guī)劃

為了獲取帶有附加空間時(shí)間精密數(shù)據(jù)的超聲截面圖像，可將如圖2所示的超聲掃描儀器和自動(dòng)掃查機(jī)器人運(yùn)動(dòng)控制平臺(tái)相結(jié)合，每當(dāng)運(yùn)動(dòng)控制模塊更新機(jī)器人關(guān)節(jié)角度和末端位置姿態(tài)信息時(shí)，會(huì)同時(shí)紀(jì)錄當(dāng)前的掃查圖像，從而獲得高時(shí)間空間精度的甲狀腺掃描圖像。

圖2 掃查圖像采集-運(yùn)動(dòng)控制聯(lián)合系統(tǒng)

1.2 甲狀腺圖像分割算法

獲得帶有空間姿態(tài)和時(shí)間信息的甲狀腺原始掃描圖像后，需要對(duì)超聲圖像進(jìn)行圖像強(qiáng)化和區(qū)域分割，才能獲得適應(yīng)于建立三維模型的甲狀腺圖像。三維重建算法的總流程如圖3所示。

圖3 超聲模型三維重建算法結(jié)構(gòu)

其中，甲狀腺圖像分割算法分為經(jīng)典圖像學(xué)算法和基于深度學(xué)習(xí)網(wǎng)絡(luò)UNet架構(gòu)的圖像分割算法。經(jīng)典圖像學(xué)習(xí)算法包含增強(qiáng)圖像特征成分的圖像增強(qiáng)流程和提取最大聯(lián)通甲狀腺區(qū)域的洪泛算法。

通過(guò)圖像學(xué)分割算法獲得的各個(gè)步驟的甲狀腺圖像如圖4所示。由圖4b可見(jiàn)，經(jīng)典圖像分割算法選取甲狀腺組織位置的效果有限:一方面不能獲取掃描圖像內(nèi)分離的甲狀腺區(qū)域；另一方面在圖像較為嘈雜時(shí)不能區(qū)分甲狀腺與周邊組織信息，生成圖像不利于點(diǎn)云重建。因此系統(tǒng)引入了UNet深度學(xué)習(xí)圖像分割算法[9]。UNet的網(wǎng)絡(luò)架構(gòu)如圖5所示。

圖4 甲狀腺圖像

圖5 UNet深度網(wǎng)絡(luò)結(jié)構(gòu)

作為有監(jiān)督的機(jī)器學(xué)習(xí)算法，UNet網(wǎng)絡(luò)需要研究者提供作為學(xué)習(xí)目標(biāo)的分割圖像作為訓(xùn)練集?？梢詮慕?jīng)典圖像算法分割結(jié)果圖像中選擇分割效果較優(yōu)的5%比例的圖像作為訓(xùn)練集，并且通過(guò)圖像訓(xùn)練集增強(qiáng)(image train set augmentation)的方法將訓(xùn)練集合擴(kuò)大為原有大小的10倍，降低了模型的過(guò)擬合，提升了模型的泛化能力。最終通過(guò)UNet分割的甲狀腺圖像如圖4c所示，可見(jiàn)UNet成功將甲狀腺輪廓提取出來(lái)，可以進(jìn)入點(diǎn)云重建的算法步驟。

2 甲狀腺超聲三維重建與CT模型數(shù)據(jù)融合

2.1 甲狀腺超聲三維重建算法

甲狀腺超聲三維模型的方案建立在點(diǎn)云融合算法的基礎(chǔ)上，將單張甲狀腺的分割后的二值圖像通過(guò)式(1)采樣并表達(dá)為空間點(diǎn)云，則有

(1)

xscanner、yscanner、zscanner分別為生成點(diǎn)云在掃描頭坐標(biāo)系下的表示；xpixel和ypixel為像素坐標(biāo)系表示；wscanner和hscanner分別表示掃描頭掃查寬度和深度；wpixer和hpixel分別表示圖像的像素寬度和高度。

將二值圖像表達(dá)為掃描頭坐標(biāo)系下的點(diǎn)云后，再將點(diǎn)云根據(jù)圖像附加的空間位置姿態(tài)信息統(tǒng)一表達(dá)在機(jī)器人基座坐標(biāo)系下，即可完成將多張點(diǎn)云融合成為一個(gè)三維點(diǎn)云模型。

由于甲狀腺掃描運(yùn)動(dòng)和通信過(guò)程的不穩(wěn)定，實(shí)際得到的點(diǎn)云面片之間的間距是不均勻的，導(dǎo)致最后點(diǎn)云成像的結(jié)果不佳?；诼D距離相鄰點(diǎn)云切片插值增強(qiáng)算法，通過(guò)分析2張二值圖像之間的差距，在二者間插入指定張過(guò)渡圖像，實(shí)現(xiàn)圖像的平滑過(guò)渡，從而使得點(diǎn)云變得稠密均勻。

現(xiàn)將起點(diǎn)圖像稱(chēng)為Gstart，其中值為1的像素集合為Pstart；終點(diǎn)圖像稱(chēng)為Gend，值為1的像素集合為Pend。如圖6所示，將圖像重疊后，可以發(fā)現(xiàn)2張圖像值為1的區(qū)域根據(jù)交疊關(guān)系形成了3個(gè)子集，分別為Pstart∩Pend，Pstart-Pend，Pend-Pstart。

圖6 二值圖像的曼哈頓距離表生成算法圖解

Pstart∩Pend為圖形變化中不會(huì)發(fā)生改變的區(qū)域；Pstart-Pend為起始圖像包含而終點(diǎn)圖像不包含的區(qū)域，即消失的像素的集合，記為Pvanish；而Pend-Pstart為終點(diǎn)圖像包含而起始圖像不包含的像素區(qū)域，即新生成的像素的集合，記為Pemerge。

算法為了保證中間插入的圖像具有漸變效果，根據(jù)L1距離，從Pvanish部分遠(yuǎn)離Pstart∩Pend的區(qū)域開(kāi)始置0，而Pemerge從靠近Pstart∩Pend的區(qū)域開(kāi)始賦值為1。最終生成的點(diǎn)云融合效果如圖7所示。

圖7 甲狀腺超聲掃描點(diǎn)云面片融合效果

獲得甲狀腺三維點(diǎn)云模型后，為了加速渲染，可對(duì)甲狀腺模型使用VTK庫(kù)中的高斯濺水法(Gaussian splatter)和等值面重建算法(iso-surface reconstruction)，獲得了甲狀腺外殼的面片三維模型[10]，從而大大減少了同一個(gè)模型幾何單元數(shù)量，在不損失模型精度的情況下提升了模型的渲染效率。形成的面片模型效果如圖8所示。

圖8 甲狀腺三維重建結(jié)果

2.2 甲狀腺模型與CT模型配準(zhǔn)融合

寒假里，爸爸媽媽帶我去了盼望已久的長(zhǎng)白山。在南方長(zhǎng)大的我，還從沒(méi)見(jiàn)過(guò)北方這么壯觀(guān)的雪景。放眼望去，白雪皚皚，到處都像鋪了一層厚厚的白色地毯。遠(yuǎn)處的雪道上，人們一起一伏，悠閑地滑著雪。我頓時(shí)被吸引住了，拉著爸爸、媽媽直奔服務(wù)臺(tái)，辦手續(xù)、領(lǐng)道具。

(2)

通過(guò)CT貼片的方式可以確定人體在CT坐標(biāo)系下的坐標(biāo)，再通過(guò)穿刺機(jī)器人針尖定位在貼片部位的方式，可以獲得定位點(diǎn)在機(jī)器人基座坐標(biāo)系下的坐標(biāo)，從而可以使用最少6個(gè)定位點(diǎn)確定CT模型和超聲模型的空間配準(zhǔn)關(guān)系。配準(zhǔn)后渲染效果如圖9所示。

圖9 甲狀腺超聲、CT模型配準(zhǔn)重建結(jié)果

3 穿刺手術(shù)導(dǎo)航系統(tǒng)和實(shí)驗(yàn)分析

根據(jù)上述理論和算法研究，在自動(dòng)超聲掃描機(jī)器人的基礎(chǔ)上構(gòu)建穿刺導(dǎo)航機(jī)器人系統(tǒng)，將機(jī)器人姿態(tài)與甲狀腺混合模型渲染在同一模型空間中，為醫(yī)生提供全面的空間位置姿態(tài)信息。

在搭建完成的掃描穿刺導(dǎo)航手術(shù)機(jī)器人平臺(tái)上，可進(jìn)行以甲狀腺超聲數(shù)據(jù)三維重建為目的人體自動(dòng)掃查實(shí)驗(yàn)，以及以檢驗(yàn)機(jī)器人導(dǎo)航準(zhǔn)確性的人體模型實(shí)驗(yàn)，如圖10所示。

圖10 自動(dòng)掃描人體實(shí)驗(yàn)及導(dǎo)航穿刺人體模型實(shí)驗(yàn)

自動(dòng)掃描實(shí)驗(yàn)結(jié)果如圖11所示。在0.001 s的數(shù)據(jù)采集周期下，其核心伺服掃查運(yùn)動(dòng)流程運(yùn)動(dòng)速度不大于0.30 mm/s，標(biāo)準(zhǔn)差不大于±0.01 mm/s，證明甲狀腺自動(dòng)掃查運(yùn)動(dòng)速度均勻，和掃描區(qū)域皮膚貼合緊密，能夠滿(mǎn)足后繼三維重建和手術(shù)導(dǎo)航的要求。

圖11 自動(dòng)掃描流程速度曲線(xiàn)分解

對(duì)于甲狀腺的圖像處理和三維重建算法實(shí)驗(yàn)，由表1可以觀(guān)察到UNet圖像分割算法極大提升了可用圖像數(shù)量，且最后和精確的CT重建數(shù)據(jù)配準(zhǔn)時(shí)，甲狀腺重建生成的可用體素?cái)?shù)量占總個(gè)數(shù)的95%以上，證明了三維重建算法的有效性和精確性。

表1 UNet分割算法生成可用圖像比例與CT配準(zhǔn)有效體素比例

圖12 模型運(yùn)算穿刺針空間x坐標(biāo)位置與真值對(duì)比

由圖12可以看出，模型運(yùn)算結(jié)果與真值之間的差距主要由不大于100 ms的通信時(shí)延造成，并且由此產(chǎn)生的最大控件誤差不大于±0.1 mm，說(shuō)明模型能夠準(zhǔn)確反映物理空間中針尖位置。

4 結(jié)束語(yǔ)

基于甲狀腺自動(dòng)超聲掃查機(jī)器人獲得的圖像，設(shè)計(jì)并實(shí)現(xiàn)了一套集三維重建、模型融合、實(shí)時(shí)渲染的甲狀腺超聲掃查穿刺手術(shù)導(dǎo)航機(jī)器人方案。根據(jù)人體自動(dòng)掃查實(shí)驗(yàn)的三維重建結(jié)果和導(dǎo)航模型空間配準(zhǔn)結(jié)果，可以獲得如下結(jié)論：

a.提出的甲狀腺模型重建算法可以有效生成高質(zhì)量的、準(zhǔn)確直觀(guān)的甲狀腺模型。

b.提出的CT、超聲數(shù)據(jù)融合方法能有效提升模型的直觀(guān)程度和信息量。

c.所建立的甲狀腺超聲穿刺導(dǎo)航系統(tǒng)能夠精確反映穿刺針在空間中的位置和姿態(tài)，以及相對(duì)穿刺目標(biāo)之間的位置關(guān)系，其空間絕對(duì)誤差不大于±0.1 mm。