基于增強(qiáng)現(xiàn)實(shí)的計(jì)算機(jī)輔助微創(chuàng)手術(shù)導(dǎo)航系統(tǒng)*

黃偉萍，韋孟宇，杜 民，高欽泉

(1. 福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350116；2. 福建省醫(yī)療器械與醫(yī)藥技術(shù)重點(diǎn)實(shí)驗(yàn)室，福建 福州 350116；3. 澳門大學(xué) 模擬與混合信號(hào)超大規(guī)模集成電路國(guó)家重點(diǎn)實(shí)驗(yàn)室，澳門 999078)

0 引言

微創(chuàng)手術(shù)與傳統(tǒng)的開放式手術(shù)相比，具有創(chuàng)傷小、疼痛輕、恢復(fù)快的優(yōu)越性[1]，在臨床中被廣泛地使用。醫(yī)生依據(jù)患者術(shù)前影像(如CT或MRI)和解剖學(xué)結(jié)構(gòu)來(lái)確定病灶的位置，并規(guī)劃手術(shù)實(shí)施方案。在實(shí)施手術(shù)的過(guò)程中，通過(guò)內(nèi)窺鏡來(lái)獲取手術(shù)的即時(shí)信息并推進(jìn)手術(shù)的進(jìn)行。但是由于手術(shù)操作空間小、內(nèi)窺鏡僅提供二維的組織表面信息、人體內(nèi)部器官組織錯(cuò)綜復(fù)雜，很難快速準(zhǔn)確地找到病灶的位置，就有可能造成病灶切除不完全或者對(duì)正常組織造成破壞的風(fēng)險(xiǎn)，影響手術(shù)的治療效果。因此，臨床上，一套高效的輔助手術(shù)導(dǎo)航系統(tǒng)對(duì)于微創(chuàng)手術(shù)具有重要的意義。

目前主流的手術(shù)導(dǎo)航技術(shù)主要是基于非視覺(jué)信息的導(dǎo)航，如電磁導(dǎo)航跟蹤[2]、術(shù)中X射線透視[3]、術(shù)中實(shí)時(shí)CT成像[4]等，盡管這些技術(shù)已經(jīng)比較成熟，但是也有相應(yīng)的弊端。由于術(shù)前影像有較高的分辨率，其重建的3D模型逐漸被應(yīng)用于各類手術(shù)導(dǎo)航當(dāng)中[5]，但如何將術(shù)前的3D模型以正確的姿態(tài)與術(shù)中視野目標(biāo)物體實(shí)時(shí)融合成為亟待解決的難點(diǎn)。為此，本文提出并設(shè)計(jì)了一種基于增強(qiáng)現(xiàn)實(shí)的計(jì)算機(jī)輔助微創(chuàng)手術(shù)導(dǎo)航系統(tǒng)，通過(guò)立體內(nèi)窺鏡獲取視頻幀，利用視覺(jué)跟蹤技術(shù)實(shí)時(shí)獲取相機(jī)的姿態(tài)信息，根據(jù)相機(jī)位姿的多自由度變換矩陣來(lái)實(shí)現(xiàn)3D模型與術(shù)中目標(biāo)物體的實(shí)時(shí)融合，從而輔助醫(yī)生定位當(dāng)前內(nèi)窺鏡及手術(shù)刀的位置，以及病灶區(qū)域的方向和距離，為手術(shù)實(shí)施提供良好的視覺(jué)導(dǎo)航作用。

1 微創(chuàng)手術(shù)輔助導(dǎo)航系統(tǒng)框架

微創(chuàng)手術(shù)輔助導(dǎo)航系統(tǒng)框架如圖1所示，整個(gè)導(dǎo)航系統(tǒng)主要包含以下幾個(gè)步驟：(1)立體內(nèi)窺鏡的標(biāo)定及校正；(2)術(shù)前CT影像的分割及模型重建，并處理成標(biāo)準(zhǔn)的3D模型文件;(3)術(shù)中視野的目標(biāo)物體與重建3D模型的空間配準(zhǔn)；(4)對(duì)立體內(nèi)窺鏡進(jìn)行位置跟蹤，并顯示內(nèi)窺鏡與3D模型的相對(duì)位置和增強(qiáng)現(xiàn)實(shí)(Augmented Reality，AR)顯示。

圖1 導(dǎo)航系統(tǒng)框圖

2 導(dǎo)航系統(tǒng)的主要算法原理

2.1 立體內(nèi)窺鏡的標(biāo)定及校正

本文采用棋盤標(biāo)定法對(duì)內(nèi)窺鏡進(jìn)行單目標(biāo)定[6]，然后再采用Bouguet極線校正對(duì)雙目進(jìn)行立體標(biāo)定、校正[7]，如圖2所示，左右視圖共面行對(duì)準(zhǔn)，則兩視圖的同一特征點(diǎn)是在同一水平線，特征點(diǎn)匹配只需沿水平線搜尋，提高了匹配效率。

圖2 立體標(biāo)定校正

2.2 模型重建及渲染

將患者的術(shù)前影像器官組織區(qū)域和病灶區(qū)域分割出來(lái)，利用CT重建系統(tǒng)對(duì)其重建，形成3D模型，并導(dǎo)入本導(dǎo)航系統(tǒng)，使用OpenGL進(jìn)行渲染。OpenGL最終渲染設(shè)備是2D屏幕，根據(jù)OpenGL的透視投影原理對(duì)3D模型進(jìn)行變換，如圖3所示，其透視投影矩陣根據(jù)相機(jī)立體標(biāo)定校正后的參數(shù)進(jìn)行設(shè)置，投影矩陣為：

(1)

圖3 透視投影原理

2.3 術(shù)中2D目標(biāo)與3D模型空間配準(zhǔn)

3D模型經(jīng)模型視圖變換后，將頂點(diǎn)坐標(biāo)的參考坐標(biāo)系由模型坐標(biāo)系轉(zhuǎn)換為相機(jī)坐標(biāo)系，以能夠在虛擬相機(jī)被觀測(cè)到。但此時(shí)3D模型與真實(shí)世界的物體的相對(duì)位姿還未知，如何將3D模型與術(shù)中2D目標(biāo)實(shí)現(xiàn)完全地融合配準(zhǔn)對(duì)齊，是實(shí)現(xiàn)手術(shù)導(dǎo)航的關(guān)鍵步驟之一。

各參考坐標(biāo)系之間的關(guān)系如圖4所示，目標(biāo)物體在真實(shí)場(chǎng)景的信息由內(nèi)窺鏡獲取得到2D圖像IW，3D模型由OpenGL渲染得到2D圖像IM，若模型在IW與IM所對(duì)應(yīng)的2D圖像重疊，則虛擬相機(jī)坐標(biāo)系與真實(shí)相機(jī)坐標(biāo)系映射關(guān)系可被求出，通過(guò)多自由度的變換矩陣，3D模型與手術(shù)視野下的目標(biāo)物體能夠配準(zhǔn)融合，以達(dá)到增強(qiáng)現(xiàn)實(shí)的效果。

圖4 各參考坐標(biāo)系之間的關(guān)系

由于雙目視差的存在，3D模型與真實(shí)目標(biāo)物體的尺度一致，3D模型與真實(shí)目標(biāo)物體能夠完全重疊。空間配準(zhǔn)的目標(biāo)能量方程為：

(2)

2.4 基于雙目視覺(jué)信息的內(nèi)窺鏡跟蹤定位

2.4.1特征點(diǎn)檢測(cè)及三維重建

由于圖像已經(jīng)立體校正，左右視圖的特征點(diǎn)在同一水平線上，先對(duì)左右視圖進(jìn)行特征點(diǎn)檢測(cè)并提取，然后沿水平線進(jìn)行極線搜索匹配。接著進(jìn)行亞像素精度的計(jì)算，提取特征點(diǎn)匹配對(duì)，根據(jù)雙目視差獲得深度信息。如圖5所示，根據(jù)三角形相似，可得深度值為：

(3)

式中，d=ul-ur為左右視圖的視差；F為焦距；T為基線距離。

圖5 立體重建

2.4.2內(nèi)窺鏡軌跡跟蹤

在已檢測(cè)并匹配左右視圖的特征點(diǎn)信息后，利用重投影誤差優(yōu)化相機(jī)姿態(tài)信息。根據(jù)特征點(diǎn)匹配對(duì)重建的三維點(diǎn)構(gòu)建幾何模型[8]，如圖6所示。固定三維點(diǎn)云，對(duì)相機(jī)姿態(tài)[Rt](旋轉(zhuǎn)矩陣R和平移向量t)優(yōu)化，使三維點(diǎn)經(jīng)變換后的重投影誤差之和最小，則優(yōu)化函數(shù)為：

(4)

圖6 重投影誤差幾何模型

在相機(jī)跟蹤過(guò)程中，新的視頻幀不斷產(chǎn)生，需要選取關(guān)鍵幀作為地圖的路標(biāo)，且為局部地圖優(yōu)化提供局部信息。

由于式(4)是基于兩幀來(lái)估計(jì)相機(jī)位姿，前面某一幀的誤差一直傳遞下去，各個(gè)幀的誤差累加導(dǎo)致跟蹤一段時(shí)間后，相機(jī)位姿有可能誤差很大。為此，需要使用局部地圖優(yōu)化相機(jī)位姿，來(lái)減少累積誤差。在跟蹤一段時(shí)間，關(guān)鍵幀達(dá)到一定的數(shù)量后，設(shè)置滑動(dòng)窗口進(jìn)行優(yōu)化。如圖7所示，在滑動(dòng)窗口中，最右邊的關(guān)鍵幀為最新插入，它觀測(cè)到的三維點(diǎn)集合記為PL，若PL也能被其他關(guān)鍵幀觀測(cè)，記這部分的關(guān)鍵幀為KL；滑動(dòng)窗口中剩余的其他關(guān)鍵幀記為KF。固定KF相機(jī)姿態(tài)和滑動(dòng)窗口中除PL以外的三維點(diǎn)，對(duì)KL所對(duì)應(yīng)的相機(jī)姿態(tài)(記為[RLtL])和PL進(jìn)行局部光束平差法優(yōu)化，使該窗口的全部三維點(diǎn)對(duì)應(yīng)的重投影誤差之和最小，則成本函數(shù)為：

{Χi,Rl,tl|i∈ΡL,l∈ΚL}=

(5)

圖7 局部地圖跟蹤

3 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析

本實(shí)驗(yàn)先重建出骨盆模型，利用3D打印機(jī)進(jìn)行打印并涂上血肉顏色，形成仿真人體骨盆模型，模擬手術(shù)過(guò)程，錄制一段手術(shù)視頻來(lái)驗(yàn)證本系統(tǒng)的導(dǎo)航算法。

3.1 骨盆模型及腫瘤位置顯示

采用ITK-SNAP對(duì)術(shù)前CT影像進(jìn)行分割及重建，導(dǎo)出骨盆模型和腫瘤模型文件，然后根據(jù)立體標(biāo)定后的相機(jī)參數(shù)對(duì)模型進(jìn)行透視投影變換，效果如圖8所示，淺色區(qū)域?yàn)楣桥瑁钌珔^(qū)域?yàn)槟[瘤。

圖8 骨盆及腫瘤模型

3.2 術(shù)中2D目標(biāo)與3D模型空間配準(zhǔn)

在進(jìn)行配準(zhǔn)前，須先檢測(cè)模型的可視點(diǎn)。本系統(tǒng)采用一種快速可視點(diǎn)檢測(cè)算法，先將模型頂點(diǎn)渲染成不同顏色，模型經(jīng)透視投影后的2D圖像，其顏色信息為模型全部可視點(diǎn)投影到屏幕的顏色。若頂點(diǎn)顏色等于2D圖像像素點(diǎn)顏色即是可視的，反之不是?？梢朁c(diǎn)檢測(cè)效果如圖9所示。

圖9 可視點(diǎn)檢測(cè)

式(2)是非線性優(yōu)化，主要的優(yōu)化算法有梯度下降法和無(wú)導(dǎo)數(shù)優(yōu)化。經(jīng)系統(tǒng)實(shí)驗(yàn)測(cè)試，使用梯度下降法的優(yōu)化方法，很容易得到局部最優(yōu)解；而使用無(wú)導(dǎo)數(shù)優(yōu)化的BOBYQA，發(fā)現(xiàn)其優(yōu)化效果很好。將優(yōu)化變量模型矩陣[Rmtm]轉(zhuǎn)化成李代數(shù)的指數(shù)形式：

[Rmtm]=eξ∧

(6)

式中，ξ為6維向量(前三維為旋轉(zhuǎn)向量，后三維為平移向量)，優(yōu)化變量轉(zhuǎn)化成6維變量?？臻g配準(zhǔn)效果如圖10所示。

圖10 左右視圖的配準(zhǔn)重疊效果

3.3 相機(jī)跟蹤軌跡

由于ORB匹配速度快且具有較穩(wěn)定的旋轉(zhuǎn)不變性[9]，本文選取ORB進(jìn)行特征提取，再進(jìn)行基于參考幀的相機(jī)位姿優(yōu)化和局部地圖優(yōu)化，構(gòu)造非線性的圖優(yōu)化結(jié)構(gòu)，將相機(jī)位姿(若為局部?jī)?yōu)化，三維點(diǎn)坐標(biāo)也是其優(yōu)化目標(biāo))作為優(yōu)化變量，特征點(diǎn)匹配對(duì)重建的三維點(diǎn)重投影坐標(biāo)值作為誤差項(xiàng)，使用G2O[10]來(lái)構(gòu)造頂點(diǎn)和邊，進(jìn)行優(yōu)化。如圖11所示，左圖的深色框?yàn)殛P(guān)鍵幀的歷史軌跡，淺色框?yàn)閮?nèi)窺鏡當(dāng)前位置，與右圖進(jìn)行對(duì)比發(fā)現(xiàn)，估計(jì)的內(nèi)窺鏡位置與真實(shí)內(nèi)窺鏡相差無(wú)幾，具有良好的導(dǎo)航作用。圖12展示了模型與手術(shù)畫面相結(jié)合的增強(qiáng)現(xiàn)實(shí)顯示，直觀地給予醫(yī)生視覺(jué)導(dǎo)航。

圖11 內(nèi)窺鏡與模型的相對(duì)位姿

圖12 增強(qiáng)現(xiàn)實(shí)顯示

由于內(nèi)窺鏡的真實(shí)軌跡很難獲取，為了量化跟蹤的準(zhǔn)確性，本系統(tǒng)設(shè)計(jì)了一套可獲取內(nèi)窺鏡真實(shí)軌跡的仿真手術(shù)視頻制作，用來(lái)驗(yàn)證該跟蹤算法的準(zhǔn)確性。其跟蹤結(jié)果如圖13所示，其位置的均方誤差為1.329 6，說(shuō)明能夠提供精度較高的位置信息。

圖13 真實(shí)軌跡與估計(jì)軌跡的三維顯示

4 結(jié)論

本文設(shè)計(jì)開發(fā)了一套基于增強(qiáng)現(xiàn)實(shí)的計(jì)算機(jī)輔助微創(chuàng)手術(shù)導(dǎo)航系統(tǒng)，利用術(shù)前影像重建的3D模型，給予臨床醫(yī)生提供增強(qiáng)現(xiàn)實(shí)的“地圖”手術(shù)輔助導(dǎo)航。該系統(tǒng)提供3D模型立體可視化功能，根據(jù)內(nèi)窺鏡成像原理和OpenGL渲染原理，實(shí)現(xiàn)3D模型與2D目標(biāo)的空間配準(zhǔn)。立體內(nèi)窺鏡跟蹤算法選取ORB作為特征點(diǎn)提取算法，匹配過(guò)程中沿著水平線進(jìn)行搜尋，提高了匹配速度和準(zhǔn)確率；采用基于幀的相機(jī)姿態(tài)優(yōu)化和局部地圖優(yōu)化算法，使跟蹤具有良好的魯棒性和較高的精度。未來(lái)的研究中，將結(jié)合臨床手術(shù)開展臨床驗(yàn)證，根據(jù)臨床需求設(shè)計(jì)一套專用的計(jì)算機(jī)輔助手術(shù)導(dǎo)航系統(tǒng)，為醫(yī)生提供更多更準(zhǔn)的視覺(jué)信息輔助。

[1] KAPLAN J R, LEE Z, EUN D D, et al. Complications of minimally invasive surgery and their management[J]. Current Urology Reports, 2016, 17(6): 1-10.

[2] LIU X, KANG S, PLISHKER W, et al. Laparoscopic stereoscopic augmented reality: toward a clinically viable electromagnetic tracking solution[J]. Journal of Medical Imaging, 2016, 3(4): 045001.

[3] PETERS T M. Image-guided surgery: from X-rays to virtual reality[J]. Computer Methods in Biomechanics & Biomedical Engineering, 2001, 4(1): 27-57.

[4] VINOGRADSKIY Y Y, CASTILLO R, CASTILLO E, et al. Use of weekly 4DCT-based ventilation maps to quantify changes in lung function for patients undergoing radiation therapy[J]. Medical Physics, 2012, 39(1): 289-298.

[5] OKAMOTO T, ONDA S, YASUDA J, et al. Navigation surgery using an augmented reality for pancreatectomy[J]. Digestive Surgery, 2015, 32(2): 117-123.

[6] ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000, 22(11): 1330-1334.

[7] KAEHLER A, BRADSKI G. Learning OpenCV 3: Computer Vision in C++ with the OpenCV Library[M]. O′Reilly Media, Inc. 2016.

[8] LOURAKIS M I A, ARGROS A A. SBA: A software package for generic sparse bundle adjustment[J]. ACM Transactions on Mathematical Software, 2009, 36(1): 2.

[9] RUBLEE E, RABAUD V, KONOLIGE K, et al. ORB: An efficient alternative to SIFT or SURF[C]//IEEE International Conference on Computer Vision, 2012: 2564-2571.

[10] KUMMERLE R, GRISETTI G, STRASDAT H, et al. G2O: A general framework for graph optimization[J]. IEEE International Conference on Robotics and Automation, 2011, 7(8): 3607-3613.