視覺(jué)透視技術(shù)在計(jì)算機(jī)輔助手術(shù)領(lǐng)域的研究綜述

趙子健 翁 瑩

1(山東大學(xué)控制科學(xué)與工程學(xué)院， 濟(jì)南 250061)2(威爾士班戈大學(xué)計(jì)算機(jī)學(xué)院， 班戈 LL57 1UT，英國(guó))

視覺(jué)透視技術(shù)在計(jì)算機(jī)輔助手術(shù)領(lǐng)域的研究綜述

趙子健1*翁 瑩2

1(山東大學(xué)控制科學(xué)與工程學(xué)院， 濟(jì)南 250061)2(威爾士班戈大學(xué)計(jì)算機(jī)學(xué)院， 班戈 LL57 1UT，英國(guó))

視覺(jué)透視技術(shù)在計(jì)算機(jī)輔助手術(shù)領(lǐng)域的應(yīng)用是目前一個(gè)研究熱點(diǎn)。文中首先介紹了視覺(jué)透視技術(shù)的概念，以及在計(jì)算機(jī)輔助手術(shù)中應(yīng)用的必要性；再就視覺(jué)透視技術(shù)在計(jì)算機(jī)輔助手術(shù)領(lǐng)域的國(guó)內(nèi)外研究現(xiàn)狀進(jìn)行了系統(tǒng)闡述；再后從醫(yī)學(xué)成像數(shù)據(jù)配準(zhǔn)、透視模型參數(shù)估計(jì)和深度感知等3方面，對(duì)視覺(jué)透視技術(shù)的研究?jī)?nèi)容進(jìn)行了詳細(xì)闡述；還介紹了兩個(gè)基于視覺(jué)透視技術(shù)的典型系統(tǒng)；最后就技術(shù)、人因?qū)W和臨床應(yīng)用等3個(gè)角度的分析，指出進(jìn)一步研究和發(fā)展的方向。

視覺(jué)透視；懸浮顯示；配準(zhǔn)；視覺(jué)標(biāo)定；深度感知

引言

近些年來(lái)，隨著數(shù)字技術(shù)的不斷發(fā)展，在計(jì)算機(jī)輔助手術(shù)領(lǐng)域(computer-aided surgery, CAS)相繼出現(xiàn)了一系列的數(shù)字成像設(shè)備，例如計(jì)算機(jī)斷層掃描(CT)、磁共振成像(MRI)、超聲波掃描和內(nèi)窺鏡等。這些數(shù)字成像設(shè)備可以提供海量的醫(yī)學(xué)成像信息，而這些信息大都是人的感官無(wú)法直接感知的。在這些數(shù)字醫(yī)學(xué)信息的幫助下，醫(yī)生可以更全面地了解病體的內(nèi)部結(jié)構(gòu)，從而更好地完成一些原來(lái)認(rèn)為較復(fù)雜、很難完成的手術(shù)。這些先進(jìn)的數(shù)字醫(yī)學(xué)成像設(shè)備，在給醫(yī)生帶來(lái)方便的同時(shí)也表現(xiàn)出了一些不足和問(wèn)題。以腹腔內(nèi)窺鏡手術(shù)為例，在手術(shù)中醫(yī)生無(wú)法直接觀察到手術(shù)部位的情況，需要借助內(nèi)窺鏡來(lái)觀察病體。然而內(nèi)窺鏡的觀察視角與醫(yī)生直接觀察病體場(chǎng)景的視角(工作視角)之間存在很大差異，這就導(dǎo)致了內(nèi)窺鏡手術(shù)中常見(jiàn)的眼-手失調(diào)問(wèn)題。在手術(shù)過(guò)程中，只關(guān)注內(nèi)窺鏡提供的單一病體狀態(tài)信息是遠(yuǎn)遠(yuǎn)不夠的，仍需要隨時(shí)了解病體的CT、MRI或者超聲波造影，來(lái)獲取對(duì)手術(shù)有用的視覺(jué)位置信息，還要同時(shí)查看病體場(chǎng)景信息(病體表征、生命體征等)。在整個(gè)手術(shù)過(guò)程中醫(yī)生總是不停地轉(zhuǎn)換注意力，這樣的狀態(tài)會(huì)使醫(yī)生更容易感覺(jué)疲勞，增大手術(shù)失敗的風(fēng)險(xiǎn)。從人因?qū)W的角度來(lái)講，腹腔鏡手術(shù)過(guò)程可以看作是一個(gè)任務(wù)過(guò)程，醫(yī)生在任務(wù)過(guò)程中需要不斷的獲取病體場(chǎng)景和病體狀態(tài)信息。這些信息獲取的越多，就越有利于狀態(tài)意識(shí)(situation awareness)的形成[1]。良好的狀態(tài)意識(shí)可以促使醫(yī)生做出正確的決策，進(jìn)而促成手術(shù)順利進(jìn)行。實(shí)際上，在腹腔鏡手術(shù)中存在的眼-手失調(diào)和注意力不連續(xù)的問(wèn)題，都是醫(yī)生在無(wú)法同時(shí)有效地獲取病體場(chǎng)景和狀態(tài)信息的情況下，喪失狀態(tài)意識(shí)所造成的。

為什么醫(yī)生無(wú)法在手術(shù)中同時(shí)有效地獲取病體場(chǎng)景和狀態(tài)信息呢？其主要原因在于,傳統(tǒng)的醫(yī)學(xué)影像顯示模式中，顯示輸出病體場(chǎng)景和病體狀態(tài)信息的渠道是分離的，同時(shí)對(duì)兩種信息做有效的獲取也就非常困難，進(jìn)而導(dǎo)致了信息感知的中斷。能否找到一種技術(shù)將兩種信息進(jìn)行融合，從單一渠道傳送呢？答案是肯定的，這種技術(shù)被稱為“視覺(jué)透視”(see-through)，簡(jiǎn)稱透視。在理論研究層面上，透視技術(shù)的研究是利用人類視覺(jué)系統(tǒng)的認(rèn)知機(jī)理，在中層視覺(jué)處理階段上對(duì)三維環(huán)境的再抽樣化描述，是對(duì)經(jīng)典計(jì)算機(jī)視覺(jué)理論的前瞻性拓展。在應(yīng)用層面上，透視技術(shù)與數(shù)字醫(yī)學(xué)聯(lián)系緊密，該方法可以有效地避免在手術(shù)過(guò)程中醫(yī)生對(duì)狀態(tài)意識(shí)的喪失，在計(jì)算機(jī)輔助手術(shù)領(lǐng)域有著廣泛的應(yīng)用前景?？傊?，視覺(jué)透視技術(shù)是信息科學(xué)、心理學(xué)、人因?qū)W和數(shù)字醫(yī)學(xué)交叉學(xué)科的產(chǎn)物，對(duì)該技術(shù)的研究具有重大的科學(xué)意義。

1 視覺(jué)透視技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀

目前，視覺(jué)透視技術(shù)在計(jì)算機(jī)輔助手術(shù)領(lǐng)域的應(yīng)用十分廣泛。視覺(jué)透視技術(shù)根據(jù)其視覺(jué)融合原理的不同一般可以分為兩種，分別叫做視頻透視(video see-through)和光學(xué)透視(optical see-through)。如圖1所示：視頻透視是通過(guò)把現(xiàn)實(shí)場(chǎng)景進(jìn)行視頻數(shù)字化以后，在數(shù)字視覺(jué)通道與病體狀態(tài)(主要是醫(yī)學(xué)影像)的視覺(jué)信息進(jìn)行融合；光學(xué)透視則是利用光學(xué)設(shè)備(例如半反射鏡)在感官視覺(jué)通道，將兩種信息進(jìn)行融合。在計(jì)算機(jī)輔助手術(shù)領(lǐng)域，視頻透視主要傾向于加強(qiáng)觀察者對(duì)病體場(chǎng)景立體感的感知，在狹義上歸屬于增強(qiáng)現(xiàn)實(shí)(augmented reality)范疇；光學(xué)透視則是通過(guò)把病體的數(shù)字醫(yī)學(xué)信息和現(xiàn)實(shí)場(chǎng)景在感官上進(jìn)行疊加，從而使人產(chǎn)生一種穿透病體表面而觀察病體內(nèi)部的視覺(jué)感受，故此有時(shí)也稱它為“虛擬解剖”。在計(jì)算機(jī)輔助手術(shù)領(lǐng)域中，透視技術(shù)的流程可以概括為圖2所示的框圖。圖中虛線箭頭表示的是透視技術(shù)中涉及的兩個(gè)關(guān)鍵相對(duì)關(guān)系G和F，其中G表示醫(yī)學(xué)成像設(shè)備與透視顯示媒介之間的相對(duì)位置關(guān)系，F(xiàn)表示視覺(jué)感官與透視顯示媒介之間的相對(duì)位置關(guān)系。關(guān)系G決定了透視技術(shù)所應(yīng)用的臨床方向，關(guān)系F則表明了透視技術(shù)的應(yīng)用方式。根據(jù)應(yīng)用方式的不同，透視技術(shù)又可以分為頭盔式顯示(head-mounted display)和懸浮式顯示(floating display),分別簡(jiǎn)稱為HMD式和FD式(見(jiàn)表1和表2)。

1.1HMD式透視技術(shù)

HMD式透視的主要特征，是在人的頭部固定一個(gè)透視顯示設(shè)備，保持人的視覺(jué)感官與顯示設(shè)備之間的位置關(guān)系不變，即F是固定不變的。視頻HMD式透視是在一個(gè)不透明的HMD上裝有視頻攝像機(jī)，由攝像機(jī)拍攝場(chǎng)景的視頻流和數(shù)字醫(yī)學(xué)圖像或模型組合顯示在HMD內(nèi)部的顯示器上。光學(xué)HMD式透視是使用一種半透明的光學(xué)設(shè)備(例如半反射鏡)作為HMD的顯示器，通過(guò)這種光學(xué)設(shè)備在真實(shí)場(chǎng)景上融合疊加數(shù)字醫(yī)學(xué)圖像或模型，從而在視網(wǎng)膜上實(shí)現(xiàn)增強(qiáng)顯示的效果。無(wú)論是視頻的還是光學(xué)的HMD式透視，都需要對(duì)頭部的運(yùn)動(dòng)做實(shí)時(shí)的跟蹤，以確定顯示設(shè)備與病體之間的相對(duì)位置關(guān)系。

視頻HMD式透視技術(shù)的研究開(kāi)展的比較早而且相對(duì)較多，其主要原因在于該項(xiàng)技術(shù)對(duì)場(chǎng)景的感知信號(hào)是數(shù)字的，可以直接使用計(jì)算機(jī)分析，相對(duì)容易標(biāo)定，并且可以極大簡(jiǎn)化配準(zhǔn)問(wèn)題的計(jì)算。但是視頻HMD式透視技術(shù)的使用，受到攝像機(jī)視場(chǎng)分辨率和動(dòng)態(tài)范圍等因素的限制。對(duì)視頻HMD式透視技術(shù)在醫(yī)學(xué)領(lǐng)域的研究，最早來(lái)自State等的研究團(tuán)隊(duì)，他們使用檢測(cè)標(biāo)志圖案的方法完成頭部跟蹤和定位，并提出了針對(duì)場(chǎng)景攝像機(jī)聚集度發(fā)散和視差大等問(wèn)題的解決方案，最終他們?cè)O(shè)計(jì)的系統(tǒng)應(yīng)用在穿刺活檢和腫瘤消融的手術(shù)上[2-3]。Sauer等采用紅外光學(xué)標(biāo)定和跟蹤的方法，并使用植入標(biāo)志點(diǎn)的方法完成了配準(zhǔn)，相應(yīng)的透視系統(tǒng)則被應(yīng)用于神經(jīng)外科手術(shù)的規(guī)劃和導(dǎo)航[4-5]。隨后Traub等又成功地將Sauer等研發(fā)的系統(tǒng)在骨科和創(chuàng)傷外科的手術(shù)導(dǎo)航上進(jìn)行了應(yīng)用[6]。Rhienmora等則將視頻HMD透視技術(shù)，應(yīng)用在牙科手術(shù)的訓(xùn)練中，取得了很好的效果[7]。

與視頻HMD式透視技術(shù)相比，光學(xué)HMD式透視技術(shù)具有觀測(cè)視場(chǎng)大和顯示沒(méi)有延遲的特點(diǎn)，但是在光學(xué)HMD式透視中，無(wú)法直接反映出真實(shí)場(chǎng)景、顯示器和視網(wǎng)膜3者之間的關(guān)系，需要對(duì)系統(tǒng)進(jìn)行基于視覺(jué)的標(biāo)定。Figl領(lǐng)導(dǎo)的團(tuán)隊(duì)對(duì)光學(xué)HMD式透視技術(shù)有著深入的研究，開(kāi)發(fā)了一套比較成熟的系統(tǒng)Varioscope[8-10], 醫(yī)生通過(guò)佩戴該設(shè)備可以同時(shí)觀察病體的CT圖像和真實(shí)表征,針對(duì)該系統(tǒng)的成像模型亦提出了完整的視覺(jué)標(biāo)定算法。Lin等將光學(xué)HMD透視技術(shù)成功地應(yīng)用在植牙手術(shù)的訓(xùn)練上面[11]。

1.2FD式透視技術(shù)

FD式透視技術(shù)的主要特點(diǎn)，是將顯示設(shè)備置于視覺(jué)感官和目標(biāo)物體之間的相應(yīng)位置，使觀察者感覺(jué)顯示的醫(yī)學(xué)圖像好像“懸浮”在物體上面一樣。與HMD式透視技術(shù)相比較，F(xiàn)D式透視技術(shù)并沒(méi)有把顯示器與視覺(jué)感官之間的位置關(guān)系固定化，即F隨著視覺(jué)感官的運(yùn)動(dòng)而發(fā)生相應(yīng)的變化。視頻FD透視技術(shù)在早期的一些文獻(xiàn)中又被稱為圖像疊加(image overlay),通過(guò)將手術(shù)過(guò)程中必需的離線醫(yī)學(xué)圖像或模型(CT，MRI等)和在線醫(yī)學(xué)圖像(顯微鏡、內(nèi)窺鏡等)進(jìn)行配準(zhǔn)，從而獲得融合顯示的效果。這里的配準(zhǔn)是傳統(tǒng)意義上的基于圖像或視頻的配準(zhǔn)。光學(xué)FD透視技術(shù)則是通過(guò)半透明的顯示設(shè)備，將離線醫(yī)學(xué)圖像或模型和在線醫(yī)學(xué)圖像同時(shí)“懸浮”顯示在病體的相應(yīng)部位。這里除了需要考慮數(shù)字圖像特征的配準(zhǔn)，還需要關(guān)注光學(xué)標(biāo)定問(wèn)題，即如何準(zhǔn)確地把透明顯示的圖像“懸浮”疊加在真實(shí)場(chǎng)景上。值得一提的是，在FD式透視技術(shù)中，顯示設(shè)備與病體之間的相對(duì)位置關(guān)系一般是固定的(或可以測(cè)量的)，但是仍然需要對(duì)觀察者的頭部運(yùn)動(dòng)做實(shí)時(shí)跟蹤，以便隨時(shí)調(diào)整顯示迎合觀察者的視角。

視頻FD透視技術(shù)的研究，最早是由Edwards等組成的研究團(tuán)隊(duì)開(kāi)展的，他們針對(duì)顯微鏡輔助介入手術(shù)(microscope-assisted guided interventions, MAGI)開(kāi)發(fā)了一套基于視頻FD透視的系統(tǒng)[12]。Shahidi等則針對(duì)微創(chuàng)內(nèi)窺鏡手術(shù)(minimally invasive endoscopic surgery)開(kāi)發(fā)了一套圖像增強(qiáng)系統(tǒng)，該系統(tǒng)通過(guò)視頻FD透視技術(shù)，將病體的CT/MRI造影模型疊加在內(nèi)窺鏡圖像上，大大增強(qiáng)了內(nèi)窺鏡在手術(shù)過(guò)程中的實(shí)用性[13]。Mourgues等研制了一套基于達(dá)芬奇(da vinci)機(jī)器人的冠狀動(dòng)脈搭橋系統(tǒng)[14]，該系統(tǒng)使用了胸腔鏡的微創(chuàng)介入方式，為了更好地顯示血管的樹(shù)狀結(jié)構(gòu)，冠狀動(dòng)脈系統(tǒng)的三維CT模型以人機(jī)交互的模式被疊加在了胸腔鏡圖像上。雖然以上對(duì)視頻FD透視技術(shù)的研究都取得了不錯(cuò)的成果，但是它們幾乎都忽略了對(duì)病體場(chǎng)景的感知問(wèn)題，醫(yī)生對(duì)病體場(chǎng)景的感知視角與內(nèi)窺鏡輸出的病體圖像之間存在著巨大的反差，上面的研究都沒(méi)有考慮到這一點(diǎn)。

摘 要：隨著社會(huì)的不斷發(fā)展、信息技術(shù)的不斷提升，網(wǎng)絡(luò)也走進(jìn)了校園，成為教師的得力助手。在小學(xué)語(yǔ)文教學(xué)的過(guò)程中，運(yùn)用慕課的教學(xué)方式開(kāi)展教學(xué)，不僅能夠提升學(xué)生的學(xué)習(xí)質(zhì)量，同時(shí)也能夠鍛煉學(xué)生的自主學(xué)習(xí)能力，促進(jìn)其綜合素養(yǎng)的提升。

考慮到病體場(chǎng)景的感知問(wèn)題，對(duì)光學(xué)FD透視技術(shù)的研究也就應(yīng)運(yùn)而生。光學(xué)FD透視技術(shù)的優(yōu)點(diǎn)就在于通過(guò)半透明顯示設(shè)備，可以同時(shí)觀察到病體場(chǎng)景和疊加的醫(yī)學(xué)圖像。廖等開(kāi)發(fā)了一種新的醫(yī)學(xué)全息成像技術(shù)—integral videography[15]，并將此技術(shù)與光學(xué)FD透視技術(shù)相結(jié)合，在神經(jīng)外科手術(shù)導(dǎo)航上面[16-17]取得了很好的效果。Livingston[18]研制出了一種基于光學(xué)FD透視的多譜醫(yī)學(xué)成像設(shè)備，并應(yīng)用在了臨床手術(shù)上。Fichtinger等的研究團(tuán)隊(duì)研制了一種基于光學(xué)FD透視技術(shù)的CT增強(qiáng)顯示設(shè)備[19-20]，可以把CT實(shí)時(shí)掃描的圖像，通過(guò)半反射鏡疊加顯示到被掃描部位，該設(shè)備在脊柱針刺介入手術(shù)中得到了很好的應(yīng)用[21]。Tagaya等成功地研發(fā)了在前哨淋巴結(jié)活檢手術(shù)中使用的基于光學(xué)FD透視技術(shù)的顯示設(shè)備[22]，他們采用了與Fichtinger等相近的技術(shù)路線，主要區(qū)別在于他們使用了小型投影儀投射要顯示的醫(yī)學(xué)圖像。

2 視覺(jué)透視技術(shù)的研究?jī)?nèi)容

視覺(jué)透視技術(shù)的研究?jī)?nèi)容可以概括為3個(gè)部分(見(jiàn)圖3)，分別是醫(yī)學(xué)成像數(shù)據(jù)配準(zhǔn)、透視模型參數(shù)估計(jì)以及深度感知。圖3中的在線醫(yī)學(xué)成像數(shù)據(jù)(intra-operative imaging data)指的是手術(shù)中獲取的醫(yī)學(xué)成像數(shù)據(jù)(包括內(nèi)窺鏡圖像、C形臂系統(tǒng)造影數(shù)據(jù))，離線醫(yī)學(xué)成像數(shù)據(jù)(preoperative imaging data)主要指的是手術(shù)前獲得的切片掃描(CT、MRI以及超聲波掃描)醫(yī)學(xué)圖像及其三維模型。

2.1醫(yī)學(xué)成像數(shù)據(jù)配準(zhǔn)

離線醫(yī)學(xué)成像數(shù)據(jù)一般都是在手術(shù)前的診斷階段獲得的，它們的視角(掃描方向)與手術(shù)中獲得的在線醫(yī)學(xué)成像數(shù)據(jù)是不一致的。針對(duì)醫(yī)學(xué)成像數(shù)據(jù)間視角差異的問(wèn)題，就需要對(duì)離線和在線醫(yī)學(xué)成像數(shù)據(jù)之間相對(duì)成像關(guān)系的配準(zhǔn)作深入研究。離線醫(yī)學(xué)成像數(shù)據(jù)是由切片掃描生成的，都具有深度信息，是一種三維的成像數(shù)據(jù)。在線醫(yī)學(xué)成像數(shù)據(jù)一般都是實(shí)時(shí)生成的二維圖像，因此兩類數(shù)據(jù)之間的配準(zhǔn)就是一種2D/3D的配準(zhǔn)。醫(yī)學(xué)成像數(shù)據(jù)配準(zhǔn)是比較成熟的研究課題，按照配準(zhǔn)使用幾何特征的不同可以分為：點(diǎn)-點(diǎn)配準(zhǔn)、點(diǎn)-面配準(zhǔn)、輪廓-面配準(zhǔn)、面-面配準(zhǔn)?；邳c(diǎn)特征配準(zhǔn)算法的運(yùn)算量，一般是基于輪廓特征配準(zhǔn)算法的1/100～1/1 000，是基于面特征配準(zhǔn)算法的1/105～1/106?？紤]到實(shí)時(shí)性的需要，透視技術(shù)中涉及的配準(zhǔn)一般指的是點(diǎn)-點(diǎn)配準(zhǔn)。實(shí)現(xiàn)高精度點(diǎn)-點(diǎn)配準(zhǔn)需要滿足一個(gè)關(guān)鍵條件：能夠提取出成像數(shù)據(jù)中的顯著視覺(jué)特征點(diǎn)。在早期的一些視覺(jué)透視系統(tǒng)(例如文獻(xiàn)[29])中，使用了人工固定基準(zhǔn)點(diǎn)作為顯著視覺(jué)特征的方法,但是在一些腔內(nèi)操作(例如腹腔鏡)手術(shù)中，這種方法實(shí)現(xiàn)起來(lái)比較困難，因此有必要尋找一些人體自然特征進(jìn)行配準(zhǔn)。另外，如何將選取的三維顯著特征點(diǎn)和二維顯著特征點(diǎn)進(jìn)行匹配，則是2D/3D配準(zhǔn)研究的關(guān)鍵。

2.2透視描述模型參數(shù)估計(jì)

為了能夠準(zhǔn)確地把透視顯示的圖像“懸浮”疊加在真實(shí)場(chǎng)景上，就需要事先了解醫(yī)學(xué)成像設(shè)備的成像平面與透視顯示器之間的相對(duì)位置關(guān)系。針對(duì)求解這個(gè)相對(duì)位置關(guān)系的問(wèn)題，就需要對(duì)透視系統(tǒng)模型的描述作深入研究。模型的描述形式?jīng)Q定了求解相對(duì)位置關(guān)系的過(guò)程。透視系統(tǒng)可以描述為一個(gè)多相機(jī)視覺(jué)模型，在該模型中透視顯示器與視覺(jué)感官或外設(shè)相機(jī)配合在一起，被當(dāng)作一個(gè)虛擬相機(jī)系統(tǒng)來(lái)考慮，醫(yī)學(xué)成像設(shè)備也都假設(shè)遵循針孔成像原理。建立的這個(gè)多相機(jī)視覺(jué)模型包含很多參數(shù)，需要對(duì)這些參數(shù)進(jìn)行準(zhǔn)確估計(jì)。對(duì)相機(jī)模型參數(shù)的估計(jì)過(guò)程又稱為視覺(jué)標(biāo)定。視覺(jué)標(biāo)定主要是研究在線醫(yī)學(xué)成像平面與顯示輸出面之間射影關(guān)系的求解問(wèn)題，主要包括虛擬相機(jī)內(nèi)標(biāo)定和在線成像設(shè)備與虛擬相機(jī)之間的外標(biāo)定。獲得了在線醫(yī)學(xué)成像平面與顯示輸出面之間的變換關(guān)系后，再考慮到離線醫(yī)學(xué)成像數(shù)據(jù)的配準(zhǔn)關(guān)系，就可以間接地求解出離線醫(yī)學(xué)成像平面與顯示輸出面之間的射影變換關(guān)系。模型參數(shù)估計(jì)的研究，關(guān)鍵就在于根據(jù)模型約束條件在射影空間中如何通過(guò)優(yōu)化搜索的方式，求解成像平面之間的射影關(guān)系矩陣。

2.3深度感知

離線醫(yī)學(xué)成像數(shù)據(jù)在透視顯示時(shí)，其三維深度信息無(wú)法隨著手術(shù)進(jìn)程或觀察位置的變化直接得到體現(xiàn)。針對(duì)深度缺失問(wèn)題，就需要對(duì)離線醫(yī)學(xué)成像數(shù)據(jù)在深度感知(depth perception)方面作深入的研究[27-30]。深度感知具體指的是對(duì)離線醫(yī)學(xué)成像數(shù)據(jù)在特定深度方向上進(jìn)行實(shí)時(shí)二維切片抽樣，并將抽樣圖像加以顯示。需要指出的是，這里的“特定”深度方向指的是工作坐標(biāo)系或者是觀察坐標(biāo)系的深度方向，在手術(shù)中指的就是跟蹤手術(shù)工具或者頭部觀察位置所在相應(yīng)坐標(biāo)系(在線醫(yī)學(xué)成像設(shè)備坐標(biāo)系或透視顯示器坐標(biāo)系)的深度方向，它們與離線醫(yī)學(xué)成像數(shù)據(jù)的切片掃描方向一般相差很大。如果使用的離線醫(yī)學(xué)成像數(shù)據(jù)沒(méi)有進(jìn)行層間插值處理的話，那么在特定深度方向上切片抽樣獲得的圖像就是不完整的，需要對(duì)切片圖像進(jìn)行內(nèi)插值處理。深度感知的關(guān)鍵步驟就在于實(shí)時(shí)獲取手術(shù)工具或醫(yī)生頭部的三維位置，即不但要在醫(yī)學(xué)成像設(shè)備坐標(biāo)系下實(shí)施對(duì)手術(shù)工具的三維跟蹤，還要在透視顯示器坐標(biāo)系下對(duì)醫(yī)生頭部的運(yùn)動(dòng)進(jìn)行跟蹤。比較常用的跟蹤技術(shù)主要有電磁跟蹤和光學(xué)跟蹤。目前在計(jì)算機(jī)輔助手術(shù)領(lǐng)域中，光學(xué)跟蹤技術(shù)因其精確度高、實(shí)時(shí)性好而得到了廣泛應(yīng)用。

3 基于視覺(jué)透視技術(shù)的典型系統(tǒng)

本節(jié)將介紹兩個(gè)在計(jì)算機(jī)輔助手術(shù)領(lǐng)域發(fā)展比較成熟的視覺(jué)透視系統(tǒng)，其中一個(gè)屬于HMD透視系統(tǒng)，另一個(gè)屬于FD透視系統(tǒng)。

3.1HMD透視典型系統(tǒng)

在計(jì)算機(jī)輔助手術(shù)領(lǐng)域中，HMD式透視技術(shù)應(yīng)用最成功的就是Varioscope系統(tǒng)[8-10](見(jiàn)圖4)。該系統(tǒng)使用了光學(xué)HMD透視技術(shù)，通過(guò)一組復(fù)雜的光學(xué)反射組件，將數(shù)字醫(yī)學(xué)圖像和病體場(chǎng)景疊加在一起加以顯示，實(shí)現(xiàn)了醫(yī)學(xué)增強(qiáng)現(xiàn)實(shí)的效果。針對(duì)系統(tǒng)中復(fù)雜的光學(xué)組件配置，Varioscope系統(tǒng)也有相應(yīng)基于圖像的自動(dòng)視覺(jué)標(biāo)定算法。在視覺(jué)標(biāo)定過(guò)程中，Varioscope系統(tǒng)引入了光學(xué)跟蹤設(shè)備，分別在透視顯示器和標(biāo)定物上固定了光學(xué)跟蹤標(biāo)志物，可以實(shí)時(shí)采集它們?cè)谑澜缱鴺?biāo)系下的標(biāo)定數(shù)據(jù)。在系統(tǒng)使用過(guò)程中，Varioscope系統(tǒng)也借助了光學(xué)跟蹤設(shè)備來(lái)定位手術(shù)工具的位置，根據(jù)手術(shù)工具的指示實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的效果。根據(jù)文獻(xiàn)[9]中的測(cè)試實(shí)驗(yàn)結(jié)果，Varioscope系統(tǒng)的圖像疊加誤差小于1 mm，完全達(dá)到了醫(yī)學(xué)應(yīng)用允許的誤差水平。需要指出的是，現(xiàn)有Varioscope系統(tǒng)相關(guān)的文獻(xiàn)資料，沒(méi)有針對(duì)醫(yī)學(xué)成像數(shù)據(jù)配準(zhǔn)和深度感知兩方面內(nèi)容的闡述。

3.2FD透視典型系統(tǒng)

在計(jì)算機(jī)輔助手術(shù)領(lǐng)域中，基于FD式透視技術(shù)的典型系統(tǒng)，當(dāng)屬Fichtinger等研發(fā)的借助CT掃描的針介入手術(shù)導(dǎo)航系統(tǒng)(見(jiàn)圖5)[19-21]。該系統(tǒng)將一個(gè)由LED顯示器和半反射鏡組成的透視顯示設(shè)備固定在CT掃描設(shè)備上部，并通過(guò)外接電腦控制所有設(shè)備的運(yùn)行。系統(tǒng)使用全過(guò)程是：首先啟動(dòng)CT掃描儀，當(dāng)掃描到感興趣切片圖像時(shí)，就停止掃描并存儲(chǔ)相應(yīng)掃描圖像；然后將病體退出掃描區(qū)域并停留在透視顯示設(shè)備下方，在顯示器上顯示存儲(chǔ)的切片圖像，通過(guò)半反射鏡將該圖像疊加顯示在病體上，達(dá)到透視顯示的效果；最后在透視圖像的幫助下醫(yī)生完成針介入手術(shù)。從整個(gè)系統(tǒng)的使用過(guò)程可以看出，CT掃描圖像是作為在線醫(yī)學(xué)成像數(shù)據(jù)使用的，CT圖像的成像平面與透視顯示平面之間的相對(duì)位置關(guān)系是通過(guò)視覺(jué)標(biāo)定獲得的，CT掃描儀的數(shù)字傳送床可以進(jìn)行精確移動(dòng)，這就保證了平面間相對(duì)位置關(guān)系在移動(dòng)前后仍保持不變，系統(tǒng)的深度感知功能就是通過(guò)數(shù)字傳送床的精確移動(dòng)得以實(shí)現(xiàn)的。另外，為了更好地確定手術(shù)介入部位的位置，醫(yī)生還會(huì)在病體外表面上固定一些標(biāo)志點(diǎn)，以便在使用系統(tǒng)時(shí)能夠更快地確定針的插入方向。該系統(tǒng)已經(jīng)在尸體上進(jìn)行了實(shí)驗(yàn)，并取得了較好的使用效果。預(yù)計(jì)在不久的將來(lái)會(huì)在臨床上得到廣泛應(yīng)用。

4 視覺(jué)透視技術(shù)研究方向展望

從技術(shù)方面講，視覺(jué)透視的性能評(píng)價(jià)要看它所能提供視覺(jué)區(qū)域(field of view，F(xiàn)OV)[31]的大小。這里視覺(jué)區(qū)域包括兩部分：疊加視域(overlay FOV)和外圍視域(peripheral FOV)。在計(jì)算機(jī)輔助手術(shù)中，疊加視域指的是醫(yī)學(xué)圖像與病體部位疊加顯示的區(qū)域，外圍視域指的是除疊加視域外的真實(shí)場(chǎng)景。對(duì)于基于視頻透視的技術(shù)來(lái)說(shuō)，由于受到攝像機(jī)和顯示器在分辨率、視角范圍等方面的限制，為觀察者提供的視域是比較小的。尤其是當(dāng)外圍視域比較小，而且與實(shí)際場(chǎng)景存在尺度上的差異時(shí)，觀察者就會(huì)出現(xiàn)運(yùn)動(dòng)機(jī)能失調(diào)的癥狀。運(yùn)動(dòng)機(jī)能失調(diào)就會(huì)導(dǎo)致觀察者的手眼協(xié)作能力與使用透視設(shè)備前相比較有明顯降低。與視頻透視技術(shù)相比較，光學(xué)透視技術(shù)則可以提供更大的外圍視域，并且與實(shí)際場(chǎng)景在尺度上不存在差異。因此，使用光學(xué)透視設(shè)備的觀察者手眼協(xié)作能力與之前比較不會(huì)有明顯退化。從人因?qū)W角度講，視覺(jué)透視設(shè)備要使用方便、舒適。HMD式透視設(shè)備一般會(huì)加重觀察者的頭部負(fù)載，從而影響到使用的舒適程度。根據(jù)文獻(xiàn)[32]所述，在計(jì)算機(jī)輔助手術(shù)中透視顯示設(shè)備的觀察位置也是非常重要的。文獻(xiàn)中的實(shí)驗(yàn)，分別對(duì)3個(gè)常見(jiàn)的顯示器觀察位置(面部正前方、面部?jī)蓚?cè)和俯視雙手上方)進(jìn)行了評(píng)估，發(fā)現(xiàn)觀察者在俯視雙手上方這個(gè)觀察位置完成任務(wù)的效果最好。這也就說(shuō)明，如果FD式透視設(shè)備能夠放置在符合俯視雙手上方的觀察位置，就能夠取得比HMD式透視設(shè)備更好的視覺(jué)效果。綜上兩個(gè)方面的敘述，本文認(rèn)為從事光學(xué)FD式透視技術(shù)的理論和方法在相關(guān)領(lǐng)域的研究，具有很高的研究?jī)r(jià)值和廣闊的應(yīng)用前景。值得指出的是，商用透明LED顯示器的推出，使得透視顯示設(shè)備的設(shè)計(jì)尺寸大大減小，開(kāi)發(fā)使用更加方便，這將推動(dòng)光學(xué)FD透視技術(shù)獲得更加迅猛的發(fā)展。

從臨床應(yīng)用角度講，自從1987年法國(guó)的Mouret完成了第一例腹腔鏡手術(shù)以后，以腹腔鏡為代表的微創(chuàng)外科手術(shù)在普外、婦產(chǎn)、泌尿和整形等各個(gè)領(lǐng)域得到廣泛應(yīng)用，已被公認(rèn)為21世紀(jì)外科發(fā)展的主流方向之一。腹腔鏡手術(shù)主要面臨的問(wèn)題就是眼-手協(xié)調(diào)的問(wèn)題，除了改進(jìn)內(nèi)窺鏡結(jié)構(gòu)以外，最重要的就是引入透視技術(shù)，從而徹底消除眼-手失調(diào)問(wèn)題。然而從近些年來(lái)的研究情況看，透視技術(shù)在腹腔鏡手術(shù)中的應(yīng)用研究非常少[33]。筆者認(rèn)為從事光學(xué)FD式透視技術(shù)在腹腔鏡相關(guān)領(lǐng)域的研究，將成為計(jì)算機(jī)輔助手術(shù)領(lǐng)域未來(lái)發(fā)展的熱門方向。目前，針對(duì)光學(xué)FD式透視技術(shù)的3個(gè)研究?jī)?nèi)容講，在光學(xué)透視模型參數(shù)估計(jì)這一方面內(nèi)容的研究得到了一定程度的開(kāi)展，并提出了一些先進(jìn)的標(biāo)定算法；但是在醫(yī)學(xué)成像數(shù)據(jù)配準(zhǔn)和深度感知這兩方面的研究并沒(méi)有得到廣泛開(kāi)展，只有在少數(shù)文獻(xiàn)(例如文獻(xiàn)[16,17,34])中有所涉及，并且都不系統(tǒng)化。由于醫(yī)學(xué)成像數(shù)據(jù)配準(zhǔn)和深度感知這兩方面研究針對(duì)不同的臨床方向有著不同的側(cè)重點(diǎn)，故而對(duì)這兩方面內(nèi)容從不同的臨床方向進(jìn)行系統(tǒng)理論總結(jié)和創(chuàng)新將是未來(lái)研究的重點(diǎn)。

[1] Endsley MR. Toward a theory of situation awareness in dynamic system [J]. Human Factors, 1995,37(1): 32-64.

[2] State A, Ackerman J, Hirota G,etal. Dynamic virtual convergence for video see-through head-mounted displays: maintaining maximum stereo overlap throughout a close-range work space [C] // Proceedings of 4th International Symposium on Augmented Reality. Washington: IEEE Computer Society, 2001: 137-146.

[3] State A, Keller KP, Fuchs H. Simulation-based design and rapid prototyping of a parallax-free orthoscopic video see-through head-mounted display [C]// Proceedings of 4th IEEE and ACM International Symposium on Mixed and Augmented Reality. Vienne: IEEE Computer Society, 2005: 28-31.

[4] Sauer F, Khamene A, Bascle B,etal. A head-mounted display system for augmented reality image guidance: towards clinical evaluation for iMRI-guided neurosurgery [C]// Niessen WJ, Viergever MA, eds. Proceedings of 4th International Conference on Medical Image Computing and Computer Assisted Intervention. Utrecht: Springer-Verlag, 2001: 707-716.

[5] Maurer CR, Sauer F, Hu Bo,etal. Augmented-reality visualization of brain structures with stereo and kinetic depth cues: system description and initial evaluation with head phantom [C]// Seong KM, eds. Proceedings of SPIE 4319, Medical Imaging 2001: Visualization, Display, and Image-Guided Procedures. San Diego: SPIE, 2001: 445-456.

[6] Traub J, Stefan P, Heining SM,etal. Hybrid navigation interface for orthopedic and trauma surgery [C]// Larsen R, Nielsen M, Sporring J, eds. Proceedings of 9th International Conference on Medical Image Computing and Computer Assisted Intervention. Copenhagen: Springer-Verlag, 2006: 373-380.

[7] Rhienmora P, Gajananan K, Haddawy P,etal. Augmented reality haptics system for dental surgical skills training [C]// Baciu G, Lau RWH, Lin Ming, et al, eds. Proceedings of 17th ACM Symposium on Virtual Reality Software and Technology. Hong Kong: ACM, 2010: 97-98.

[8] Birkfellner W, Figl M, Huber K,etal. A head-mounted operating binocular for augmented reality visualization in medicine-design and initial evaluation [J]. IEEE Trans Medical Imaging, 2002,21(8): 991-997.

[9] Figl M, Ede C, Hummel J,etal. A fully automated calibration method for an optical see-through head-mounted operating microscope with variable zoom and focus [J]. IEEE Trans Medical Imaging, 2005,24(11): 1492-1499.

[10] Birkfellner W, Figl M, Huber K,etal. The varioscope AR—A head-mounted operating microscope for augmented reality [C]// Delp SL, DiGioia AM, Jaramaz B, eds. Proceedings of 3th International Conference on Medical Image Computing and Computer Assisted Intervention. Pittsburgh: Springer-Verlag, 2000: 869-877.

[11] Lin Yenkun, Tsai Kunlun, Yau Hongtzong. The development of optical see-through display based on augmented reality for oral implant surgery simulation [J]. Computer-Aided Design and Applications, 2012,9(1): 111-120.

[12] Edwards PJ, King AP, Maurer CR,etal. Design and evaluation of a system for microscope-assisted guided interventions (MAGI) [J]. IEEE Trans Med Imaging, 2000,19(11):1082-1093.

[13] Shahidi R, Bax MR, Maurer CR,etal. Implementation, calibration and accuracy testing of an image-enhanced endoscopy system [J]. IEEE Trans Med Imaging, 2002,21(12):1082-1093.

[14] Mourgues F, Viebille T, Falk V, Coste-Maniere E. Interactive guidance by image overlay in robot assisted coronary artery bypass [C]// Ellis RE, Peters TM, eds. Proceedings of 6th International Conference on Medical Image Computing and Computer Assisted Intervention. Montreal: Springer-Verlag, 2003: 173-181.

[15] Liao Hongen, Iwahara M, Koike T,etal. Scalable high-resolution integral videograohy auto-stereoscopic display with a seamless multi-projection system [J]. Applied Optics, 2005,44(3): 305-315.

[16] Liao Hongen, Hata H, Nakajima S,etal. Surgical navigation by auto-stereoscopic image overlay of integral videography [J]. IEEE Trans Information Technology in Biomedicine, 2004,8(2): 114-121.

[17] Liao Hongen, Inomata T, Sakuma I,etal. Surgical navigation of integral videography image overlay for open MRI-guided glioma surgery [C]// Yang Guangzhong, eds. Proceedings of 3rdinternational workshop on Medical Imaging and Augmented Reality. Shanghai: Springer-Verlag, 2006: 187-194.

[18] Edward H. Livingston. Surgical and clinical needs for DLP hyperspectral imaging [C]// Douglass MR, Hornback LJ, eds. Proceedings ofSPIEEmerging Digital Micromirror Device Based Systems and Applications II. San Francisco: SPIE, 2010: 1-9.

[19] Masamune K, Fichtinger G, Deguet A,etal. An image overlay system with enhanced reality for percutaneous therapy performed inside CT scanner [C]// Dohi T, Kikinis R, eds. Proceedings of 5th International Conference on Medical Image Computing and Computer Assisted Intervention. Tokyo: Springer-Verlag, 2002: 77-84.

[20] Fichtinger G, Deguet A, Masamune K,etal. Image overlay guidance for needle insertion in CT scanner [J]. IEEE Trans Biomedical Engineering, 2005,52(8): 1415-1424.

[21] Weiss CR, Marker DR, Fischer GS,etal. Augmented reality visualization using image-overlay for MR-guided intervention: system description, feasibility, and initial evaluation in a spine phantom [J]. American Journal of Roentgenology, 2011,196(1): 305-307.

[22] Tagaya N, Aoyagi H, Nakagawa A,etal. A novel approach for sentinel lymph node identification using fluorescence imaging and image overlay navigation surgery in patients with breast caner [J]. World Journal of Surgery, 2011,35(2): 154-158.

[23] Tuceryan M, Genc Y, Navab N. Single point active alignment method (SPAAM) for optical see-through HMD calibration for AR [J]. Presence: Teleoperators and Virtual Environments, 2002,11(3): 259-276.

[24] Axholt M, Cooper MD, Skoglund MA,etal. Parameter estimation variance of the single point active alignment method in optical see-through head mounted display calibration [C]// Hirose M, Lok B, Majumder A, Schmalstieg D, eds. Proceedings of IEEE Virtual Reality. Singapore: IEEE Computer Society, 2011: 27-34.

[25] Gilson S, Fitzgibbon AW, Glennerster A. Spatial calibration of an optical see-through head-mounted display [J]. Journal of Neuroscience Methods, 2008,173(3): 140-146.

[26] Braux-Zin J, Bartoli A, Dupont R,etal. Calibrating an optical see-through rig with two non-overlapping cameras: The virtual camera framework [C]// Proceedings of 2nd Joint 3DIM/3DPVT Conference on 3D Imaging, Modeling, Processing, Visualization & Transmission. Zurich: IEEE computer society, 2012: 308 -315.

[27] Prytz E, Montano M, Scerbo MW. Using Fitts' law for a 3D pointing task on a 2D display: Effects of depth and vantage point [C]// Proceedings of the Human Factors and Ergonomics Society. Boston: Sage Publications, 2012: 1391-1395.

[28] Jones JA, Swan II JE, Singh G,etal. Peripheral visual information and its effect on distance judgments in virtual and augmented environments [C]// McDonnell R, Thorpe SJ, Spencer SN, eds. Proceedings of ACM Symposium on Applied Perception in Graphics & Visualization. Toulouse: ACM, 2011: 29-36.

[29] Kuhl SA, Thompson WB, Creem-Regehr SH. HMD calibration and its effects on distance judgments [J]. ACM Transactions on Applied Perception, 2009,6(3): 1-20.

[30] Singh G, Swan II JE, Jones JA,etal. Depth judgments by reaching and matching in near-field augmented reality [C]// Proceedings of IEEE Virtual Reality. Orange County: IEEE Computer Society, 2012: 165-166.

[31] Jones JA, Suma EA, Krum DM,etal. Comparability of narrow and wide field-of-view head-mounted displays for medium-field distance judgments [C]// Proceedings of ACM Symposium on Applied Perception. Los Angeles: ACM, 2012: 119-122.

[32] Hanna GB, Shimi SM, Cuschieri A. Task performance in endoscopic surgery is influenced by location of the image display [J]. Annals of Surgery, 1998,227(4): 481-484.

[33] 李舫, 宋志堅(jiān). HMD式光學(xué)穿透技術(shù)在醫(yī)學(xué)增強(qiáng)現(xiàn)實(shí)中的研究進(jìn)展 [J]. 中國(guó)數(shù)字醫(yī)學(xué), 2012,7(1): 14-20.

[34] Kellner F, Bolte B, Bruder G,etal. Geometric calibration of head-mounted displays and its effects on distance estimation [J]. IEEE Transactions on Visualization and Computer Graphics, 2012,18(4): 589-596.

SurveyofSee-ThroughTechniqueinComputer-AidedSurgery

ZHAO Zi-Jian1*WENG Ying2

1(SchoolofControlScienceandEngineering,ShandongUniversity,Jinan250061,China)2(SchoolofComputerScience,BangorUniversity,Bangor,LL57 1UT,UK)

The application of see-through technique in computer-aided surgery is a hot research topic at present. In this article, firstly, the concept of see-through is introduced, and the necessity of its application in computer-aided surgery is also emphasized. Secondly, the state of arts of see-through technique is discussed systematically in computer-aided surgery. Thirdly, the research contents of see-through technique are summarized into three parts, including registration of medical imaging data, parameter-estimation of see-through model, and depth perception, which are all explained in details. Fourthly, two standard systems based on see-through technique are addressed in this paper. Finally, through the analysis on technique, human factor and clinic applications, further research questions and possible directions in the future are proposed.

see-through; floating display; registration; vision calibration; depth perception

10.3969/j.issn.0258-8021. 2014. 03.013

2013-05-18， 錄用日期:2014-02-24

高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金(20130131120036)；山東省優(yōu)秀中青年科學(xué)家科研獎(jiǎng)勵(lì)基金(BS2013DX027)；山東大學(xué)自主創(chuàng)新基金(2012GN042)

R318.6

A

0258-8021(2014) 03-0349-09

*通信作者(Corresponding author)，E-mail: zhaozijian@sdu.edu.cn