精準(zhǔn)空間透視融合手術(shù)導(dǎo)航

范真誠，張欣然，廖洪恩

清華大學(xué) 醫(yī)學(xué)院 生物醫(yī)學(xué)工程系，北京 100084

精準(zhǔn)空間透視融合手術(shù)導(dǎo)航

范真誠，張欣然，廖洪恩

清華大學(xué) 醫(yī)學(xué)院 生物醫(yī)學(xué)工程系，北京 100084

面對大眾對創(chuàng)傷性小、恢復(fù)期短、更安全高效的微創(chuàng)手術(shù)需求，手術(shù)導(dǎo)航的臨床重要性日漸顯著。如何使用醫(yī)學(xué)影像信息指導(dǎo)術(shù)前手術(shù)規(guī)劃，在術(shù)中引導(dǎo)實(shí)時(shí)診斷、精確操作與高效治療，提高手術(shù)效率、精度與安全成為研究關(guān)注熱點(diǎn)。本文針對臨床需求提出一種基于高性能立體全像技術(shù)的新型精準(zhǔn)空間透視融合手術(shù)導(dǎo)航系統(tǒng)，并且介紹了該導(dǎo)航系統(tǒng)涉及到的關(guān)鍵技術(shù)?；谠撓到y(tǒng)能夠?qū)崿F(xiàn)對微創(chuàng)手術(shù)器械追蹤與手術(shù)感興趣區(qū)域中關(guān)鍵解剖組織的三維立體增強(qiáng)顯示，為醫(yī)生提供精確直觀的透視融合引導(dǎo)。

微創(chuàng)手術(shù)導(dǎo)航；增強(qiáng)現(xiàn)實(shí)；實(shí)時(shí)立體全像；空間定位

1 研究背景

微創(chuàng)手術(shù)中，如何在局限的手術(shù)空間下避免對微小復(fù)雜生理組織傷害，并準(zhǔn)確抵達(dá)病灶區(qū)域，是臨床醫(yī)學(xué)中亟待解決的問題。隨著計(jì)算機(jī)斷層掃描（CT）、磁共振成像（MRI）等醫(yī)學(xué)影像技術(shù)的快速發(fā)展，醫(yī)生可以更詳細(xì)的了解解剖結(jié)構(gòu)與生理結(jié)構(gòu)信息。在醫(yī)學(xué)影像信息的引導(dǎo)下，醫(yī)學(xué)計(jì)算機(jī)輔助手術(shù)可以輔助醫(yī)生實(shí)時(shí)了解關(guān)鍵區(qū)域的空間結(jié)構(gòu)、靶向區(qū)域與介入工具之間的關(guān)系[1]，有效進(jìn)行術(shù)前路徑規(guī)劃，術(shù)中精準(zhǔn)治療與術(shù)后觀察。

在傳統(tǒng)計(jì)算機(jī)輔助導(dǎo)航系統(tǒng)中，圖像導(dǎo)航界面與手術(shù)操作區(qū)域分離，醫(yī)生需要在屏幕和患者病灶區(qū)域之間進(jìn)行視野切換，以確認(rèn)手術(shù)入口、工具和目標(biāo)之間的位置。手眼無法協(xié)調(diào)的問題會顯著降低操作的效率和準(zhǔn)確性[2]。并且，傳統(tǒng)導(dǎo)航界面僅供醫(yī)生進(jìn)行二維觀察，缺乏對病灶區(qū)域的整體空間信息顯示。因此，如何解決手眼協(xié)調(diào)問題、實(shí)現(xiàn)精準(zhǔn)立體空間定位與圖像引導(dǎo)是精準(zhǔn)微創(chuàng)手術(shù)領(lǐng)域的研究重點(diǎn)與難點(diǎn)。為解決上述提及的兩個(gè)主要問題，許多研究提出圖像增強(qiáng)導(dǎo)航的解決方案。增強(qiáng)現(xiàn)實(shí)（AR）作為一種能夠?qū)⑻摂M計(jì)算機(jī)數(shù)據(jù)準(zhǔn)確融合到實(shí)際手術(shù)場景的可視化技術(shù)[3]，無需醫(yī)生在圖像顯示器和實(shí)際操作區(qū)域進(jìn)行視野切換，改善醫(yī)生的手眼協(xié)調(diào)問題，提高圖像引導(dǎo)手術(shù)的精度[4]。醫(yī)療中對于增強(qiáng)現(xiàn)實(shí)裝置有兩個(gè)關(guān)鍵要求——準(zhǔn)確的時(shí)間和準(zhǔn)確的位置。這兩者能夠保證實(shí)際手術(shù)區(qū)域和虛擬影像的動態(tài)配準(zhǔn)融合。為實(shí)現(xiàn)這些目標(biāo)，三維定位技術(shù)、術(shù)中成像與三維可視化技術(shù)等等應(yīng)用于醫(yī)療增強(qiáng)現(xiàn)實(shí)系統(tǒng)中[5]。針對醫(yī)療增強(qiáng)現(xiàn)實(shí)技術(shù)的研究通過光學(xué)投影、光路變換等技術(shù)完成影像融合，多集中于二維投影增強(qiáng)、手術(shù)顯微鏡、頭戴式三維顯示器（HMD）、和原位透視融合顯示[6]的研究。

二維投影顯示系統(tǒng)需借助投影裝置將醫(yī)學(xué)影像數(shù)據(jù)疊加到人體上實(shí)現(xiàn)影像增強(qiáng)手術(shù)引導(dǎo)。二維投影顯示實(shí)現(xiàn)方法簡單，無需借助復(fù)雜設(shè)備即可完成增強(qiáng)現(xiàn)實(shí)的需求，設(shè)備空間體積小。因?yàn)橥队靶璞粚?shí)物呈接后才能可視化，投影圖像通常為二維圖像，無法實(shí)現(xiàn)三維圖像投影融合顯示，無法提供深度信息，在復(fù)雜區(qū)域手術(shù)中并不適用。此外，術(shù)中人體組織表面將產(chǎn)生形變，為得到無畸變的準(zhǔn)確投影圖像，需要根據(jù)人體表面形態(tài)對被投影圖進(jìn)行形變處理。

頭戴式三維顯示器通過向觀察者左右眼視野分別提供不同的影像構(gòu)建視差感，人眼通過雙目視差圖在空間中聚焦得到三維立體場景。研究者在頭戴式顯示器用于醫(yī)療教學(xué)、內(nèi)窺鏡手術(shù)等方面進(jìn)行了大量研究。頭戴式三維顯示器能構(gòu)建高清晰度三維場景，通過增強(qiáng)現(xiàn)實(shí)或虛擬現(xiàn)實(shí)的方式提高手術(shù)的準(zhǔn)確性與效率。然而同時(shí)，頭戴式三維顯示器通過兩幅二維圖像構(gòu)建的三維場景與觀察者視點(diǎn)位置相關(guān)，在不同觀察者的使用中其精度存在個(gè)體性差異。為得到準(zhǔn)確融合圖像，需要對醫(yī)生進(jìn)行位置追蹤。此外，其裝置本身以及觀察過程中的輻輳反射不一致性問題易令觀察者產(chǎn)生暈眩的感受以及視覺疲勞的問題。

立體手術(shù)顯微鏡也是采用雙目視差圖構(gòu)建立體場景，并通過光學(xué)疊加的方法把引導(dǎo)信息疊加至手術(shù)顯微鏡成像視野中。將MRI或CT掃描數(shù)據(jù)傳送到左右視野中實(shí)現(xiàn)增強(qiáng)顯示，通過光學(xué)追蹤裝置可以定位顯微鏡和患者位置，顯示準(zhǔn)確的增強(qiáng)圖像。在增強(qiáng)顯示的同時(shí)獲取更為清晰的術(shù)中場景。

與頭戴式三維顯示器、立體手術(shù)顯微鏡等相比，基于半透半反鏡的原位透視融合顯示系統(tǒng)無需追蹤觀察者的位置或佩戴附加輔助觀察裝置[2]。利用原位透視融合顯示技術(shù)，醫(yī)生能夠穿透半透半反鏡觀察到疊加到真實(shí)場景中的醫(yī)學(xué)影像信息。醫(yī)學(xué)影像信息可以是二維橫斷面圖像、三維面繪制或體繪制結(jié)果和立體醫(yī)學(xué)影像。通過患者-影像注冊以及調(diào)整影像與半透半反鏡的光學(xué)對應(yīng)關(guān)系可保證圖像能夠融合到目標(biāo)空間位置。利用該系統(tǒng)能夠?qū)⒒颊咝畔⑴c術(shù)前術(shù)中信息相融合，用于術(shù)前規(guī)劃和術(shù)中引導(dǎo)。評估實(shí)驗(yàn)證明，與常規(guī)方式相比，采用原位透視融合顯示系統(tǒng)進(jìn)行脊椎穿刺針的位置更加準(zhǔn)確。目前，原位透視融合顯示已經(jīng)應(yīng)用于膝關(guān)節(jié)[7]、導(dǎo)針穿刺[8]、牙科[9]和其他微創(chuàng)手術(shù)的模型及動物實(shí)驗(yàn)。

疊加影像的空間精度與融合精度是確保手術(shù)安全性和高效性的主要因素。由于二維平面顯示不能提供足夠的空間精度，因此三維可視化與三維空間透視融合技術(shù)得到越來越多的重視。相較于二維投影缺乏立體信息、頭戴式三維顯示器和立體手術(shù)顯微鏡體積大且深度信息不精確[10]等問題，利用三維空間透視融合系統(tǒng)不僅能夠顯示具有立體視差、運(yùn)動視差且空間位置準(zhǔn)確的三維影像，而且能夠準(zhǔn)確疊加融合到真實(shí)場景中起到增強(qiáng)現(xiàn)實(shí)的作用，是實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)圖像引導(dǎo)手術(shù)的重要解決方案。

為滿足臨床對三維原位可視化的需求，實(shí)現(xiàn)精確三維影像疊加融合顯示，解決手眼協(xié)調(diào)問題，本文提出一種基于高性能立體全像技術(shù)的新型空間透視融合精準(zhǔn)定位導(dǎo)航系統(tǒng)，實(shí)現(xiàn)對微創(chuàng)手術(shù)器械追蹤與靶向區(qū)域的三維立體增強(qiáng)顯示。并且對其臨床應(yīng)用和研究應(yīng)用進(jìn)行分析與探討。

2 新型空間原位透視融合精準(zhǔn)定位導(dǎo)航系統(tǒng)

為提高手術(shù)導(dǎo)航系統(tǒng)信息的可靠性與精確性，解決現(xiàn)有系統(tǒng)中手眼協(xié)調(diào)與缺乏立體引導(dǎo)信息等問題，我們提出基于高性能立體全像技術(shù)的立體空間影像原位透視融合精準(zhǔn)定位導(dǎo)航系統(tǒng)，為醫(yī)生提供一個(gè)立體、精確、直觀的增強(qiáng)現(xiàn)實(shí)手術(shù)導(dǎo)航場景。本系統(tǒng)基于實(shí)時(shí)立體全像技術(shù)與新型光路結(jié)構(gòu)，設(shè)計(jì)空間透視融合裝置，完成裸眼三維立體影像在實(shí)際患者的疊加顯示；基于立體全像技術(shù)設(shè)計(jì)緊湊式空間標(biāo)記物，對用于微創(chuàng)手術(shù)狹窄區(qū)域的手術(shù)器械進(jìn)行精確定位追蹤?；诟咝阅芰Ⅲw全像技術(shù)的新型空間透視融合精準(zhǔn)定位導(dǎo)航系統(tǒng)，能夠?yàn)獒t(yī)生提供可視化引導(dǎo)，有效了解患者解剖結(jié)構(gòu)與手術(shù)器械空間姿態(tài)。

2.1 實(shí)時(shí)立體全像技術(shù)

與前文所述二維影像或雙目立體影像增強(qiáng)現(xiàn)實(shí)導(dǎo)航相比，自由立體全像能在無需佩戴眼鏡或其他設(shè)備的情況下為觀察者提供引導(dǎo)信息。自由立體全像可通過透鏡陣列、光柵、體顯示器、全息成像等方法實(shí)現(xiàn)。其中，實(shí)時(shí)立體全像技術(shù)（IV）能生成幾何位置信息準(zhǔn)確的全真彩色、全視差立體影像。與實(shí)物一樣，立體全像在空間中有固定的位置，在不同的視角下，觀察者能看到不一樣的影像，且可供多人同時(shí)裸眼觀察。實(shí)時(shí)立體全像的數(shù)據(jù)源可以是術(shù)前或術(shù)中醫(yī)學(xué)影像數(shù)據(jù)、計(jì)算機(jī)模型或立體相機(jī)、激光掃描等設(shè)備采集的三維信息，能方便重建生理結(jié)構(gòu)和手術(shù)器械立體影像，為醫(yī)生提供精確直觀的引導(dǎo)。

立體全像的原理是空間物體的三維信息能被一組微型凸透鏡陣列記錄在其焦平面上，焦平面上記錄到的影像稱為基元圖像。由此，三維信息能通過基元圖像和對應(yīng)微透鏡陣列恢復(fù)出來。基元圖像上每個(gè)像素點(diǎn)發(fā)出的光線穿過對應(yīng)透鏡中心，并在不同位置相交會聚，在對應(yīng)的空間位置上重現(xiàn)立體影像。實(shí)時(shí)立體全像技術(shù)通過計(jì)算機(jī)仿真基元圖像生成過程，并將基元圖像顯示在二維平面顯示器上，以實(shí)現(xiàn)動態(tài)重現(xiàn)?；獔D像的計(jì)算方法可分為面繪制與體繪制兩大類。面繪制方法通過計(jì)算多個(gè)視點(diǎn)下表面模型到基元圖像平面的反向映射確定基元圖像上各像素值，其計(jì)算過程服從像素分配算法[11-12]，見圖1。體繪制方法假設(shè)基元圖像中每個(gè)像素點(diǎn)均發(fā)射出一條穿過對應(yīng)微透鏡中心的光線，通過計(jì)算每條光線方向上體繪制結(jié)果確定其像素值。

圖1 實(shí)時(shí)立體全像面繪制方法原理

手術(shù)場景發(fā)生變化時(shí)，引導(dǎo)影像需實(shí)現(xiàn)實(shí)時(shí)渲染，以進(jìn)行同步更新。然而，立體全像渲染過程包含大量的計(jì)算，例如一次渲染包括大量面片繪制（面繪制）或光線追跡計(jì)算（體繪制）（圖2）。為保證渲染速度符合臨床需求，可以使用基于圖形處理器（GPU）并行加速的立體全像渲染流程[13]，使用商用級GPU便可實(shí)現(xiàn)高分辨率實(shí)時(shí)立體全像渲染。

圖2 立體全像顯示在各個(gè)視角下的不同效果

2.2 立體影像增強(qiáng)現(xiàn)實(shí)導(dǎo)航關(guān)鍵技術(shù)

影像引導(dǎo)手術(shù)[14]主要涉及四個(gè)主要技術(shù)。首先，術(shù)前路徑規(guī)劃與優(yōu)化是手術(shù)成功的保證。根據(jù)精確引導(dǎo)信息，醫(yī)生可以決定手術(shù)器械的入口和路徑，以避免損傷周圍的高風(fēng)險(xiǎn)結(jié)構(gòu)。第二步是在手術(shù)過程中實(shí)時(shí)跟蹤檢測手術(shù)器械的位置，確定其與病灶區(qū)域的空間位置。同時(shí)，輔助進(jìn)行注冊。第三，結(jié)合患者術(shù)前醫(yī)學(xué)圖像選擇不同的注冊方法，完成術(shù)前醫(yī)學(xué)圖像與實(shí)際患者的統(tǒng)一。第四，直觀的人性化友好界面能夠?yàn)獒t(yī)生提供可視化引導(dǎo)。其中，為實(shí)現(xiàn)準(zhǔn)確三維影像空間融合增強(qiáng)顯示與術(shù)中器械追蹤，需要選擇合適的患者－醫(yī)學(xué)影像注冊與空間定位方法。下文將詳細(xì)介紹立體影像增強(qiáng)顯示導(dǎo)航涉及的注冊與空間定位技術(shù)。

2.2.1 空間定位技術(shù)

在影像引導(dǎo)手術(shù)中，空間定位系統(tǒng)能提供成像設(shè)備、手術(shù)器械與患者的實(shí)時(shí)位姿，以保證增強(qiáng)現(xiàn)實(shí)引導(dǎo)影像顯示位置的精確性與可更新性。臨床常用的定位系統(tǒng)包括基于框架的立體定位、光學(xué)定位、電磁定位與術(shù)中影像設(shè)備。立體定位通過框架規(guī)定參考坐標(biāo)系，患者與器械需固定在框架上并通過機(jī)械的方式實(shí)現(xiàn)定位。雖然基于框架的立體定位在剛性結(jié)構(gòu)定位上有很高的精度，但框架結(jié)構(gòu)總易影響手術(shù)操作。光學(xué)定位系統(tǒng)通過可見光或紅外光范圍內(nèi)進(jìn)行對標(biāo)志點(diǎn)的識別實(shí)現(xiàn)空間定位。光學(xué)定位擁有較高的精確度與穩(wěn)定性，但需保持標(biāo)志點(diǎn)始終處于定位系統(tǒng)的有效范圍內(nèi)且不存在遮擋。電磁定位可以很好地解決光學(xué)定位中存在的遮擋問題，可實(shí)現(xiàn)體內(nèi)目標(biāo)的跟蹤。電磁定位通過檢測位于磁場中電磁線圈中感應(yīng)電流變化判斷其位姿。然而，電磁定位系統(tǒng)中磁場的穩(wěn)定性易受外界環(huán)境干擾，導(dǎo)致定位精度不及光學(xué)與機(jī)械定位方法。術(shù)中影像設(shè)備通過影像處理方法獲取手術(shù)器械或生理結(jié)構(gòu)的實(shí)時(shí)位置，并能很好地詮釋器械與生理結(jié)構(gòu)間的關(guān)系。此外，術(shù)中影像還可用于實(shí)時(shí)診斷與治療效果評估。

目前臨床使用的大多數(shù)定位系統(tǒng)需要借助特定的標(biāo)志點(diǎn)，但這個(gè)方法有明顯的局限性。首先是標(biāo)志點(diǎn)固定可能對患者造成的損傷和感染；再次，標(biāo)志點(diǎn)僅能反應(yīng)有限個(gè)數(shù)點(diǎn)的位置，難以精確反映非剛性的定位目標(biāo)的準(zhǔn)確位姿。為解決上述問題，需要使用無需標(biāo)記的空間定位方法?；趫D像特征分析與運(yùn)動檢測方法、醫(yī)學(xué)成像與可見光雙目相機(jī)都可用于目標(biāo)定位[20]。目前，在以介入器械、牙科、軟組織等為目標(biāo)的無需標(biāo)記空間定位研究已獲得了良好的結(jié)果，但依然受到定位精度、定位速度及魯棒性等方面的局限。隨著醫(yī)學(xué)影像、模式識別、計(jì)算機(jī)視覺等領(lǐng)域的發(fā)展，無需標(biāo)記空間定位將擁有更大的臨床應(yīng)用潛力。

因?yàn)椴煌臻g定位方法均有各自的優(yōu)缺點(diǎn)，復(fù)合型空間定位系統(tǒng)通過結(jié)合不同方法，實(shí)現(xiàn)精度更高、有效范圍更大、更可靠的空間定位。

2.2.2 患者－立體醫(yī)學(xué)影像的三維注冊

導(dǎo)航系統(tǒng)中，患者與醫(yī)學(xué)影像的三維注冊技術(shù)能實(shí)現(xiàn)醫(yī)學(xué)影像數(shù)據(jù)和實(shí)際患者間在空間位置上的有效關(guān)聯(lián)，保證立體影像能在目標(biāo)解剖結(jié)構(gòu)上精準(zhǔn)呈現(xiàn)。患者-立體醫(yī)學(xué)影像三維注冊基于兩組分別位于立體影像與患者數(shù)據(jù)上，且相互對應(yīng)的外部特征點(diǎn)集或自然解剖結(jié)構(gòu)特征點(diǎn)集，確定患者坐標(biāo)系與立體影像坐標(biāo)系間的轉(zhuǎn)換關(guān)系。從數(shù)學(xué)角度而言，三維注冊過程是基于基準(zhǔn)點(diǎn)集對求解從立體影像坐標(biāo)系到患者坐標(biāo)系的轉(zhuǎn)換矩陣的過程。其中剛性轉(zhuǎn)換關(guān)系可以表示用一個(gè)4×4矩陣表示，其中包括一個(gè)3×3旋轉(zhuǎn)矩陣和一個(gè)3×1平移向量?；谧钚《藬M合算法，此轉(zhuǎn)換矩陣可通過最小化特征點(diǎn)集之間的距離求解。

（1）基于標(biāo)志點(diǎn)的患者－影像注冊方法

特征點(diǎn)的定位與識別精度是影像注冊精確性的主要因素。立體定向手術(shù)中的參考定位儀是一個(gè)在早期臨床應(yīng)用中進(jìn)行對標(biāo)志點(diǎn)進(jìn)行精確定位的方法。然而，立體框架在成像過程中可能會產(chǎn)生偽影而降低患者-影像注冊精度。此外，立體框架會引入患者不適與醫(yī)生操作不便。

為了減輕患者負(fù)擔(dān)與提高手術(shù)操作便捷性，可以使用標(biāo)志點(diǎn)代替立體框架進(jìn)行定位。標(biāo)志點(diǎn)可以固定在患者、探針或成像設(shè)備上，借助定位系統(tǒng)便可確定上述目標(biāo)的空間位姿。獲取兩組相對應(yīng)基準(zhǔn)點(diǎn)集位置的方法有兩種。第一種方法是使在皮膚上或骨骼上固定標(biāo)志點(diǎn)的位置。這些標(biāo)志點(diǎn)能夠在醫(yī)學(xué)影像中精確識別，同時(shí)也能通過定位裝置被跟蹤。術(shù)中對標(biāo)志點(diǎn)的實(shí)時(shí)跟蹤可在患者位姿變化時(shí)實(shí)現(xiàn)引導(dǎo)圖像的相應(yīng)更新。第二種方法是使用在醫(yī)學(xué)影像及直接觀察中均易于分辨的人體解剖特征點(diǎn)作為基準(zhǔn)點(diǎn)，例如鼻尖、眉心等內(nèi)外部特征。這些特征的位置可以通過定位探針記錄，由此無需在患者身體上固定任何標(biāo)志點(diǎn)，避免對患者的損傷。

（2）無需標(biāo)記的患者－影像注冊方法

盡管基于標(biāo)志點(diǎn)的注冊方法在很多應(yīng)用中都得到了很好的效果。但是在某些手術(shù)場景下，基于標(biāo)志點(diǎn)的注冊方法會受到一定的局限。出于盡量避免患者損傷和感染的考慮，大多數(shù)解剖目標(biāo)不適合提前安置標(biāo)志點(diǎn)。無需標(biāo)記的患者-影像注冊方法將能有效解決上述問題。

無需標(biāo)記的患者-影像注冊可通過三維表面匹配方法實(shí)現(xiàn)。一個(gè)解剖結(jié)構(gòu)表面可以在醫(yī)學(xué)影像坐標(biāo)系及患者坐標(biāo)系中分別使用點(diǎn)集進(jìn)行描述。醫(yī)學(xué)影像表面點(diǎn)集到實(shí)際患者表面點(diǎn)集間的變換關(guān)系可以通過面匹配算法求解。由此即可完成患者-影像注冊。目前有多種算法可以點(diǎn)集間變換關(guān)系，其中最常用的算法是迭代最近點(diǎn)（ICP）算法[15]。醫(yī)學(xué)影像信息通過CT、MRI等影像采集獲取，實(shí)際患者數(shù)據(jù)可以通過利用多種影像采集設(shè)備在術(shù)中獲取。根據(jù)影像采集設(shè)備的不同，可以分為二維場景采集與三維場景采集。

二維場景采集多采用單目相機(jī)，且獲取的圖像為平面投影信息，缺乏空間結(jié)構(gòu)信息。為將二維平面信息同三維術(shù)前醫(yī)學(xué)影像信息配準(zhǔn)融合，Liao等[16]在2004年提出一種基于二維圖像的表面匹配方法。從三維表面模型中提取的二維渲染表面模型，利用此二維表面模型與術(shù)中采集的二維平面信息進(jìn)行配準(zhǔn)融合。最后將裸眼三維立體醫(yī)學(xué)影像準(zhǔn)確透視融合到實(shí)際病灶區(qū)域。

三維場景可以由立體相機(jī)三維重建，激光表面掃描重建與結(jié)構(gòu)光重建獲取。通過多種方式獲取三維表面數(shù)據(jù)后，基于表面匹配方法可以將三維表面數(shù)據(jù)同術(shù)前CT、MRI的表面數(shù)據(jù)進(jìn)行匹配，完成無標(biāo)志點(diǎn)的患者-醫(yī)學(xué)影像注冊。基于立體相機(jī)的三維重建是通過相機(jī)標(biāo)記獲取立體相機(jī)的內(nèi)外參數(shù)，并根據(jù)此參數(shù)與左右視差圖重建得到三維場景。而已有研究表明激光表面掃描沒有侵入性、且具有足夠的精度[17]。因此，激光掃描分辨率越高，激光表面掃描重建精度越高，無標(biāo)志點(diǎn)的患者-醫(yī)學(xué)影像注冊結(jié)果越好。目前，此概念方法已應(yīng)用于商業(yè)設(shè)備且在口腔頜面外科[18]得到了廣泛應(yīng)用。基于結(jié)構(gòu)光的表面重建[19]技術(shù)則可利用結(jié)構(gòu)光投射到患者并基于光學(xué)設(shè)備進(jìn)行計(jì)算重建患者表面數(shù)據(jù)。除基于表面進(jìn)行患者-醫(yī)學(xué)影像注冊外，還可以基于解剖輪廓進(jìn)行配準(zhǔn)。Wang等[9]提出一種基于立體追蹤和三維輪廓配準(zhǔn)的自動無標(biāo)志點(diǎn)配準(zhǔn)方法。該方法主要包括四個(gè)主要步驟。首先，在立體圖像的首幀左視圖中手動選擇圖像模板，以用于采集牙科手術(shù)場景。其次，右視圖的對應(yīng)區(qū)域可以根據(jù)模板匹配獲取。第三步，在左右視圖感興趣區(qū)域中，根據(jù)牙齒和口腔的強(qiáng)對比度提取二維牙齒邊界。并且基于極限約束搜索算法進(jìn)行立體配準(zhǔn)。最后，根據(jù)相機(jī)標(biāo)定結(jié)果完成三維輪廓重建并且進(jìn)行實(shí)時(shí)更新。基于ICP算法實(shí)現(xiàn)三維輪廓與術(shù)前CT、MRI等數(shù)據(jù)提取到的模板進(jìn)行注冊。根據(jù)三維圖像融合增強(qiáng)現(xiàn)實(shí)，能夠增加牙科手術(shù)的準(zhǔn)確性。

2.3 立體全像原位透視融合導(dǎo)航系統(tǒng)構(gòu)成

立體全像原位透視融合導(dǎo)航系統(tǒng)主要包括基于立體全像的緊湊式定位器械追蹤系統(tǒng)和導(dǎo)航系統(tǒng)兩部分。

2.3.1 基于立體全像的緊湊式定位器械追蹤系統(tǒng)

當(dāng)患者、手術(shù)器械與導(dǎo)航裝置移動時(shí)，立體全像導(dǎo)航信息需實(shí)現(xiàn)同步更新，這時(shí)需要術(shù)中實(shí)時(shí)精確空間定位系統(tǒng)。然而，微創(chuàng)手術(shù)感興趣區(qū)域小，因此如何實(shí)現(xiàn)狹窄空間下器械的有效追蹤亟需解決。傳統(tǒng)的光學(xué)空間定位主要基于近紅外光（例POLARIS, Northern Digital Inc）和可見光（例MicronTracker, Claron Technology Inc）完成。同時(shí)為檢測出整個(gè)手術(shù)器械在空間的姿態(tài)變換，需要在器械上安裝三個(gè)或三個(gè)以上能夠保證空間自由度的標(biāo)記物。因此，其空間設(shè)計(jì)和安裝復(fù)雜且空間體積較大，在一定程度上影響手術(shù)操作。

為解決上述問題，我們提出了基于立體全像技術(shù)的緊湊式空間定位器械追蹤方法。利用立體全像技術(shù)對初始棋盤格狀標(biāo)記物進(jìn)行渲染，得到具有空間信息的二維基元圖像。并利用具有相同參數(shù)的微型凸透鏡陣列進(jìn)行三維標(biāo)記物再現(xiàn)[23]（圖3）。為保證追蹤到探針的整個(gè)自由度，至少需要三個(gè)標(biāo)記物構(gòu)成三角形形狀，因此，整個(gè)探針上棋盤格狀標(biāo)記物的空間幾何排列如圖所示。三個(gè)二維基元圖像與透鏡陣列組合共線排列，實(shí)際在空間中生成的棋盤格狀標(biāo)記物構(gòu)成非特殊三角形。

圖3 緊湊式定位器械

基于立體全像技術(shù)的緊湊式定位器械占有空間體積小，能夠滿足在微創(chuàng)手術(shù)狹窄區(qū)域的有效空間定位與跟蹤，保證手術(shù)導(dǎo)航信息的精確可靠[23]（圖4）。

圖4 緊湊式定位器械應(yīng)用場景

2.3.2 基于立體全像的導(dǎo)航系統(tǒng)構(gòu)成

立體全像原位透視融合導(dǎo)航裝置由立體全像顯示器、半透半反鏡與支撐臂構(gòu)成，見圖5。

圖5 立體全像原位透視融合導(dǎo)航裝置框架

觀察者透過半透半反鏡觀察手術(shù)區(qū)域，同時(shí)，觀察者還能看到經(jīng)半透半反鏡反射后的立體全像，這樣立體全像便能疊加在手術(shù)區(qū)域上。因?yàn)殇秩镜牧Ⅲw全像與最終觀察到的立體全像間滿足光學(xué)透鏡的縮小成像與半透半反鏡的鏡像關(guān)系，通過對光路的精確建模與計(jì)算，我們能夠通過調(diào)整立體全像渲染參數(shù)，保證立體全像能與患者目標(biāo)生理結(jié)構(gòu)在空間中精確融合，見圖4。這樣，醫(yī)生能直觀精確地獲取被遮擋生理結(jié)構(gòu)的位置與形態(tài)，以更好地保證手術(shù)安全性與效率。此外，醫(yī)生能根據(jù)手術(shù)操作需求方便地調(diào)整導(dǎo)航裝置位置與觀察角度，對不同的手術(shù)目標(biāo)進(jìn)行引導(dǎo)。

在精細(xì)手術(shù)中，引導(dǎo)影像應(yīng)具有很高的分辨率，保證醫(yī)生能夠分辨微小重要組織。然而，立體全像的分辨率受基元圖像分辨率和透鏡陣列密度限制。這里我們提出了一個(gè)高效靈活的基于光學(xué)透鏡的高分辨率實(shí)時(shí)立體全像系統(tǒng)。此系統(tǒng)由光學(xué)透鏡組成，放置于觀察者與立體全像之間。此系統(tǒng)能實(shí)現(xiàn)立體全像幾何尺寸的縮小，同時(shí)保持影像的像素?cái)?shù)，從而提高影像像素密度，提高立體全像單位體積內(nèi)的分辨率。與此同時(shí)，為補(bǔ)償透鏡成像中存在的光學(xué)畸變，我們還提出了立體全像預(yù)畸變校正算法。通過仿真或?qū)嶒?yàn)標(biāo)定的方法確定透鏡的光學(xué)畸變模型，并在立體全像渲染過程中將光學(xué)畸變考慮在內(nèi)，補(bǔ)償光學(xué)元件畸變對成像精度的影響，以滿足臨床安全對立體全像分辨率的需求[22]。

3 系統(tǒng)搭建與實(shí)驗(yàn)結(jié)果

我們搭建立體全像原位透視融合導(dǎo)航原型系統(tǒng)，并在膝關(guān)節(jié)手術(shù)領(lǐng)域進(jìn)行了志愿者實(shí)驗(yàn)。實(shí)際搭建的系統(tǒng)見圖6。

圖6 立體全像原位透視融合導(dǎo)航原型系統(tǒng)

膝蓋部位的手術(shù)是一種針對骨頭/軟骨損傷的微創(chuàng)手術(shù)。作為抑制伸展過度的重要內(nèi)部穩(wěn)定部位，膝關(guān)節(jié)很容易在超過生物力學(xué)限制的時(shí)候受到損傷。因此，醫(yī)生需要重建膝關(guān)節(jié)以對其進(jìn)行治療。手術(shù)中，外科醫(yī)生通過股骨和脛骨的空隙中進(jìn)行操作。為更好的實(shí)現(xiàn)術(shù)后康復(fù)，保證腔道位置精度是很重要的。在傳統(tǒng)的手術(shù)中，外科醫(yī)生使用X射線或CT得到的醫(yī)學(xué)圖像進(jìn)行引導(dǎo)操作。將立體全像原位透視融合導(dǎo)航系統(tǒng)應(yīng)用于前交叉韌帶重建能夠?qū)崟r(shí)顯示靜脈建立股骨、脛骨和手術(shù)器械[21]，直觀生動地顯示三維膝關(guān)節(jié)內(nèi)部結(jié)構(gòu)（圖7）。在光學(xué)跟蹤系統(tǒng)和半透半反鏡的輔助下，骨頭的CT數(shù)據(jù)和三維手術(shù)器械能夠引導(dǎo)外科醫(yī)生觀察到膝關(guān)節(jié)結(jié)構(gòu)和手術(shù)病人的體內(nèi)工具位置，進(jìn)而完成手術(shù)操作。

圖7 立體全像原位透視融合導(dǎo)航系統(tǒng)在膝關(guān)節(jié)手術(shù)志愿者實(shí)驗(yàn)與結(jié)果

4 結(jié)論

圖像增強(qiáng)現(xiàn)實(shí)技術(shù)能夠解決手眼協(xié)調(diào)問題，輔助醫(yī)生在觀察實(shí)時(shí)場景的同時(shí)獲取醫(yī)學(xué)影像信息，從而保障手術(shù)安全、提高手術(shù)精度。

本文介紹了目前可用于圖像引導(dǎo)手術(shù)中的多種增強(qiáng)現(xiàn)實(shí)系統(tǒng)，簡要介紹各種增強(qiáng)現(xiàn)實(shí)系統(tǒng)的研究進(jìn)展并對其優(yōu)缺點(diǎn)進(jìn)行對比。相較于二維投影缺乏立體信息、頭戴式三維顯示器和立體手術(shù)顯微鏡體積大且深度信息不精確等問題，利用三維空間透視融合系統(tǒng)不僅能夠顯示具有立體視差、運(yùn)動視差且空間位置準(zhǔn)確的三維影像，而且能夠?qū)⑷S醫(yī)學(xué)影像準(zhǔn)確疊加融合到真實(shí)場景，是實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)圖像引導(dǎo)手術(shù)的一種重要解決方案。本文著重介紹了三維空間透視融合系統(tǒng)的關(guān)鍵技術(shù)，包括三維影像可視化、精確的患者－立體醫(yī)學(xué)影像的三維注冊與有效的器械追蹤。并針對于微創(chuàng)手術(shù)的實(shí)際臨床應(yīng)用需求，提出一種基于高性能立體全像技術(shù)的新型空間透視融合精準(zhǔn)定位導(dǎo)航系統(tǒng)?；诠鈱W(xué)透鏡實(shí)現(xiàn)高分辨率實(shí)時(shí)立體全像顯示，提高三維融合影像性能。同時(shí)基于立體全像技術(shù)設(shè)計(jì)緊湊式定位器械，實(shí)現(xiàn)在微創(chuàng)手術(shù)狹窄區(qū)域的定位追蹤。

相較于軟組織，骨科中的結(jié)構(gòu)變形小，因此，對于骨科的三維空間透視融合系統(tǒng)更容易實(shí)現(xiàn)，且目前的臨床實(shí)驗(yàn)顯示了良好的應(yīng)用前景。然而，目前的三維空間透視融合系統(tǒng)依舊存在一定技術(shù)上的制約。例如，其具有較高的空間精度，但其平面精度需要進(jìn)一步的改善。為獲得清晰的立體視覺圖像和較寬的顯示視角，需要利用高性能微型凸透鏡陣列和高分辨率顯示器。同時(shí)，也需要更多的臨床試驗(yàn)對系統(tǒng)的效率和可行性進(jìn)行評估。

三維空間透視融合已經(jīng)成為圖像引導(dǎo)手術(shù)的重要發(fā)展趨勢，將會為精準(zhǔn)微創(chuàng)診療提供有效可視化平臺。

致謝

本課題受國家自然科學(xué)基金（81427803, 61361160417, 81271735），北京市科委《生命科學(xué)領(lǐng)域前沿技術(shù)》專項(xiàng)（Z151100003915079）及科技支撐計(jì)劃項(xiàng)目（2015BAI01B03）項(xiàng)目等資助。

[1] Cleary K,Peters TM.Image-guided interventions:technology review and clinical applications[J].Annu Rev Biomed Eng, 2010,12:119-142.

[2] Peters T,Cleary K.Image-guided interventions:technology and applications[M].US:Springer,2008.

[3] Liao H,Edwards PJ.Introduction to the special issues of mixed reality guidance of therapy-Towards clinical implementation[J].Comput Med Imaging Graph,2013,37(2):81-82.

[4] Suenaga H,Tran HH,Liao H,et al.Real-time in situ threedimensional integral videography and surgical navigation using augmented reality:a pilot study[J].Int J Oral Sci,2013,5(2):98-102.

[5] Lamata P,Ali W,Cano A,et al.Augmented reality for minimally invasive surgery:overview and some recent advances[J].Minerva Chir,2010,65(4):451-462.

[6] Sauer F,Vogt S,Khamene A.Augmented reality.Image-Guided Interventions[M].US:Springer,2008:81-119.

[7] Tran HH,Suenaga H,Kuwana K,et al.Augmented reality system for oral surgery using 3D auto stereoscopic visualization.Medical Image Computing and Computer-Assisted Intervention-MICCAI 2011[M].Berlin Heidelberg:Springer,2011:81-88.

[8] Fichtinger G,Deguet A,Masamune K,et al.Needle insertion in CT scanner with image overlay-cadaver studies.Medical Image Computing and Computer-Assisted Intervention-MICCAI 2004[M].Berlin Heidelberg:Springer,2004:795-803.

[9] Wang J,Suenaga H,Hoshi K,et al.Augmented Reality Navigation with Automatic Marker-Free Image RegistrationUsing 3D Image Overlay for Dental Surgery[J].IEEE Trans Biomed Eng,2014,61(4):1295-1304.

[10] Liao H,Sakuma I,Dohi T.Development and Evaluation of a Medical Autostereoscopic Image Integral Videography for Surgical Navigation[C].Complex Medical Engineering,2007. CME 2007[A].IEEE/ICME International Conference on, IEEE,2007.

[11] Lippmann G.La Photographie integrale,Comtes Rendus[M]. Academie des Sciences,1908:446-451.

[12] Liao H,Nakajima S,Iwahara M,et al.Intra-operative realtime 3-D information display system based on integral videography.Medical Image Computing and Computer-Assisted Intervention-MICCAI 2001[M].Springer Berlin Heidelberg,2001.

[13] Liao H,Dohi T,Nomura K.Autostereoscopic 3D display with long visualization depth using referential viewing area-based integral photography[J].IEEE Trans Vis Comput Graph,2011, 17(11):1690-1701.

[14] DiGioia III AM,Jaramaz B,Colgan BD.Computer assisted orthopaedic surgery:image guided and robotic assistive technologies[J].Clin Orthop Relat Res,1998,(354):8-16.

[15] Eggers G,Mühling J,Marmulla R.Image-to-patient registration techniques in head surgery[J].Int J Oral Maxillofac Surg,2006, 35(12):1081-1095.

[16] Liao H,Inomata T,Hata N,et al.Integral videography overlay navigation system using mutual information-based registration. Medical Imaging and Augmented Reality[M].Springer Berlin Heidelberg,2004:361-368.

[17] Luebbers HT,Messmer P,Obwegeser J A,et al.Comparison of different registration methods for surgical navigation in cranio-maxillofacial surgery[J].J Craniomaxillofac Surg,2008, 36(2):109-116.

[18] Marmulla R,Hassfeld S,Lüth T,et al.Laser-scan based navigation in cranio-maxillofacial surgery[J].J Craniomaxillofac Surg,2003,31(5):267-277.

[19] Nicolau S,Soler L,Mutter D,et al.Augmented reality in laparoscopic surgical oncology[J].Surg Oncol,2011, 20(3):189-201.

[20] Liao H,Hata N,Nakajima S,et al.Surgical navigation by autostereoscopic image overlay of integral videography[J].IEEE Trans Inf Technol Biomed,2004,8(2):114-121.

[21] Liao H,Nomura K,Dohi T.Autostereoscopic integral photography imaging using pixel distribution of computer graphics generated image[C].ACM SIGGRAPH 2005 Posters,ACM,2005.

[22] Zhang X,Chen G,Liao H.A High-accuracy Surgical Augmented Reality System Using Enhanced Integral Videography Image Overlay[C].37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC'15),2015[A].

[23] Fan Z,Wang J,Liao H.A spatial position measurement system using integral photography based 3d image markers.1st Global Conference on Biomedical Engineering & 9th Asian-Pacific Conference on Medical and Biological Engineering[M]. Springer International Publishing,2015:150-153.

High-precision Three-dimensional Space See-through Surgical Navigation

FAN Zhencheng, ZHANG Xinran, LIAO Hongen
Department of Biomedical Engineering, School of Medicine, Tsinghua University, Beijing 100084, China

Image guided surgery has shown increasing importance as the public is in need of a surgical procedure that is minimally invasive, requires short recovery time, and can be performed in a safer and more efficient way. Current researches focus on how to utilize medical images to guide preoperative planning and to intraoperatively ensure real-time diagnosis, high-accurate operation, and high-efficient treatment. This paper proposed a surgical navigation technique and system for specific clinical scenarios, and provided an integral videography three-dimensional (3D) image based high-precision augmented reality. Key technologies involved in the surgical navigation system were also introduced. The surgical tools can be tracked in real time and updated in 3D display. Using 3D image overlay system, 3D autostereoscopic images of critical anatomy structures and tools can be observed with naked eyes in surgical scene. The proposed system can provide intuitive and precise guidance for surgeons by providing a “see-through” 3D augmented scene.

minimally invasive surgery navigation; augmented reality; integral videography; spatial tracking

R197.39

A

10.3969/j.issn.1674-1633.2016.03.005

1674-1633(2016)03-0026-07

2015-10-07

2016-01-13

國家自然科學(xué)基金國家重大科研儀器研制項(xiàng)目（81427803）；國家自然科學(xué)基金（61361160417, 81271735）；北京市科委《生命科學(xué)領(lǐng)域前沿技術(shù)》專項(xiàng)（Z151100003915079）；科技支撐計(jì)劃項(xiàng)目（2015BAI01B03）等支持。

廖洪恩，教授。

通訊作者郵箱：liao@tsinghua.edu.cn