基于平板電腦的增強(qiáng)現(xiàn)實(shí)系統(tǒng)

李 舫

(上海電力學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，上海 200090)

神經(jīng)外科手術(shù)導(dǎo)航系統(tǒng)能夠指導(dǎo)醫(yī)生在術(shù)中準(zhǔn)確定位手術(shù)部位，最大程度地減少對周圍神經(jīng)組織的損傷，在神經(jīng)外科手術(shù)中具有重要臨床價(jià)值.[1]目前的導(dǎo)航系統(tǒng)主要是在手術(shù)中通過空間定位儀跟蹤手術(shù)器械的空間位置并變換到圖像空間，與手術(shù)前采集的病人斷層掃描(Computed Tom-ography，CT)或者磁共振(Magnetic Resonance Imaging，MRI)圖像疊加在一起，醫(yī)生就能在主機(jī)監(jiān)視器上看到手術(shù)器械在病人體內(nèi)的“虛擬透視”效果.[2]這種操作模式的缺點(diǎn)是:為了同時(shí)獲取術(shù)中導(dǎo)航信息和手術(shù)器械相對于真實(shí)病人的位置，醫(yī)生需要在病人身體和主機(jī)監(jiān)視器之間來回切換視線.

通過增強(qiáng)現(xiàn)實(shí)(Augmented Reality，AR)技術(shù)[3-4]可以解決這一問題，該技術(shù)能直接在病人身體的原位顯示虛擬導(dǎo)航信息.目前，增強(qiáng)現(xiàn)實(shí)技術(shù)共有兩種方法:一是整合新的顯示設(shè)備，包括較早的光學(xué)式頭盔[5-6]和視頻式頭盔，[7-9]技術(shù)較為成熟的 NARVIS 系統(tǒng)[10-11]和 INPRES 系統(tǒng)，[12-13]以及增強(qiáng)視窗、[14-15]圖像投影設(shè)備;[16-17]二是改進(jìn)原有醫(yī)學(xué)設(shè)備，比如增強(qiáng)手術(shù)顯微鏡、[18-19]增強(qiáng)MRI醫(yī)學(xué)成像設(shè)備.[20-21]但兩種方法都存在一些問題，如整合的新的顯示設(shè)備需要專門制造，改進(jìn)的醫(yī)學(xué)顯示設(shè)備在制造工藝上有幾何對準(zhǔn)的要求，它們都在一定程度上增加了系統(tǒng)的成本，限制了增強(qiáng)現(xiàn)實(shí)技術(shù)在臨床上的廣泛應(yīng)用.

本文將平板電腦整合進(jìn)原有的神經(jīng)外科手術(shù)導(dǎo)航系統(tǒng)，這種新的顯示設(shè)備無需專門制造，醫(yī)生使用方便，且沒有幾何對準(zhǔn)的工藝要求，因而在臨床上較易推廣.

1 材料和方法

1.1 虛實(shí)對準(zhǔn)的基本原理

本文提出的系統(tǒng)是將平板電腦作為顯示設(shè)備，醫(yī)生在空間原位上可以同時(shí)看到融合的CT圖像和真實(shí)病人.實(shí)現(xiàn)系統(tǒng)的功能需要解決3個(gè)關(guān)鍵技術(shù):一是對平板電腦相機(jī)的標(biāo)定;二是虛擬圖像和空間目標(biāo)的配準(zhǔn);三是將主機(jī)生成的虛擬圖像發(fā)送并顯示在平板電腦屏幕上.實(shí)現(xiàn)虛實(shí)對準(zhǔn)的原理如圖1所示.

圖1 虛實(shí)對準(zhǔn)的原理

式中:Tproj——相機(jī)的內(nèi)參;

Tpose——相機(jī)的外參，Tpose=TrcThr;

Trc——平板電腦的適配器到相機(jī)的變換;

Thr——病人空間到平板電腦適配器的變換;

Tmh——圖像空間到病人空間的變換;

Tph，Tpr——光學(xué)定位儀分別到病人空間、平板電腦的變換.

利用平板電腦作為增強(qiáng)現(xiàn)實(shí)顯示設(shè)備，首先就必須對平板電腦的相機(jī)進(jìn)行標(biāo)定.我們在平板電腦的相機(jī)旁邊固定了一個(gè)適配器用于實(shí)現(xiàn)光學(xué)跟蹤，通過標(biāo)定獲得平板電腦相機(jī)的內(nèi)部參數(shù)和相機(jī)相對于適配器的變換關(guān)系.然后確定虛擬圖像空間到平板電腦適配器的變換關(guān)系.由圖1可知，這需要經(jīng)過圖像空間到病人空間的配準(zhǔn)關(guān)系Tmh以及病人空間到平板電腦適配器的空間變換Thr.以下將分別說明確定配準(zhǔn)關(guān)系和空間變換關(guān)系的方法.

在手術(shù)中，采用光學(xué)定位儀跟蹤病人頭部和平板電腦，在病人頭部和平板電腦相機(jī)附近分別固定了參考架和適配器(見圖1).參考架和適配器上的反光球構(gòu)成了一個(gè)正交的三維坐標(biāo)系，光學(xué)定位儀跟蹤到反光球的空間位置，計(jì)算出參考架和適配器坐標(biāo)系分別相對于光學(xué)定位儀的變換矩陣Tph和Tpr.然后利用式(2)就可以得到病人空間到平板電腦適配器的變換關(guān)系，所得的Thr在手術(shù)中是需要實(shí)時(shí)更新的.

為了在平板電腦的顯示屏上準(zhǔn)確疊加重建的CT圖像和病人頭部，就需要確定圖像空間到病人空間的變換Tmh.本系統(tǒng)采用的方法是在手術(shù)前對該圖像與病人頭部進(jìn)行點(diǎn)配準(zhǔn)，在重建的三維圖像和病人頭部上分別選取多個(gè)特征點(diǎn)，按點(diǎn)配準(zhǔn)算法[22]對這兩個(gè)特征點(diǎn)集進(jìn)行配準(zhǔn).導(dǎo)航系統(tǒng)中已有的手術(shù)前數(shù)據(jù)是病人頭部的CT圖像，在配準(zhǔn)前先由采集的二維斷層序列重建得到CT體數(shù)據(jù)，采用以圖像空間為序的體繪制方法，對手術(shù)前采集的CT圖像做三維重構(gòu)顯示.利用點(diǎn)配準(zhǔn)算法估算出掃描3D數(shù)據(jù)和術(shù)前CT數(shù)據(jù)的配準(zhǔn)變換，從而得到圖像空間到病人頭部空間的變換關(guān)系Tmh，該變換關(guān)系在手術(shù)前確定后固定不變.

1.2 平板電腦的標(biāo)定

標(biāo)定的相機(jī)內(nèi)參Tproj包括焦距、主點(diǎn)、徑向和切向變形系數(shù)，[23]相機(jī)相對于平板電腦適配器的變換關(guān)系Trc包括3個(gè)方向的旋轉(zhuǎn)向量和平移向量.標(biāo)定Trc的原理如圖2所示.

圖2 標(biāo)定平板電腦的基本設(shè)置

經(jīng)過式(3)的變換關(guān)系以及相機(jī)的內(nèi)參Tproj，在適配器坐標(biāo)系中的點(diǎn)就可以投影到相機(jī)屏幕的正確位置上.

式中:Trm——標(biāo)定網(wǎng)格相對于平板電腦適配器的變換關(guān)系;

Tmc——標(biāo)定網(wǎng)格相對于相機(jī)的外部變換關(guān)系.

如圖2所示，在標(biāo)定Trc時(shí)，將標(biāo)定網(wǎng)格和平板電腦都置于光學(xué)定位儀的跟蹤區(qū)域中，將探針指向標(biāo)定網(wǎng)格的原點(diǎn)，以及x軸和y軸上的角點(diǎn)位置，通過光學(xué)定位儀跟蹤到標(biāo)定網(wǎng)格上的角點(diǎn)和平板電腦的適配器，同時(shí)平板電腦的相機(jī)在相同位置下拍攝標(biāo)定網(wǎng)格的圖像.由光學(xué)定位儀分別跟蹤適配器和標(biāo)定網(wǎng)格，采用單位矢量法計(jì)算得到標(biāo)定網(wǎng)格相對于適配器的變換關(guān)系Trm.在光學(xué)定位儀跟蹤標(biāo)定網(wǎng)格角點(diǎn)的同時(shí)，由相機(jī)拍攝標(biāo)定網(wǎng)格，利用之前求得的相機(jī)內(nèi)參，通過最小化重投射誤差的方法得到網(wǎng)格相對于相機(jī)的外部變換Tmc.

1.3 數(shù)據(jù)的傳輸與顯示

如圖1中的虛線箭頭所示，這一階段主要實(shí)現(xiàn)傳統(tǒng)導(dǎo)航系統(tǒng)與平板電腦之間的通信，將重建的病人圖像顯示在平板電腦的視頻場景中.醫(yī)生通過觀察平板電腦屏幕，可以同時(shí)看到攝像頭拍攝的真實(shí)場景和疊加在場景中手術(shù)部位的病人圖像.圖像數(shù)據(jù)實(shí)時(shí)傳輸采用的方法是:傳統(tǒng)導(dǎo)航系統(tǒng)作為服務(wù)器端新開一條線程，監(jiān)聽來自客戶端的連接請求，若有連接，則將數(shù)據(jù)發(fā)送到輸出流;若無連接，則將一直處于等待狀態(tài).平板電腦作為客戶端，通過指定端口與服務(wù)器端建立點(diǎn)對點(diǎn)的連接，然后獲取輸入流，并將輸入流中的圖像數(shù)據(jù)進(jìn)行解析再疊加顯示在攝像頭的視頻場景中.

2 實(shí)驗(yàn)結(jié)果

2.1 配準(zhǔn)精度

由式(1)可知，影響本系統(tǒng)虛實(shí)配準(zhǔn)精度的因素如下:Trc和Tproj與相機(jī)標(biāo)定的精度有關(guān);Tmh與點(diǎn)集配準(zhǔn)的精度有關(guān);Thr則與光學(xué)定位儀的動態(tài)跟蹤精度有關(guān).由于本系統(tǒng)實(shí)現(xiàn)過程中會受到人為因素的影響，我們對4個(gè)測試者的標(biāo)定、對準(zhǔn)和疊加結(jié)果進(jìn)行測量，將其誤差值做統(tǒng)計(jì)平均.

首先，使用平面網(wǎng)格對平板電腦的相機(jī)進(jìn)行標(biāo)定，在得到相機(jī)內(nèi)參的同時(shí)通過重投射測量了標(biāo)定的誤差，標(biāo)定誤差為0.68 px.這一階段的誤差主要反映了標(biāo)定的精度.然后再標(biāo)定相機(jī)相對于適配器的外部變換，通過光學(xué)跟蹤，在光學(xué)定位儀的坐標(biāo)系下再進(jìn)行重投射，得到3D對準(zhǔn)的誤差為1.19 mm.這一階段的誤差大小主要與動態(tài)跟蹤的精度有關(guān).

為了得到虛實(shí)配準(zhǔn)最后的結(jié)果，我們在模擬實(shí)驗(yàn)中使用一個(gè)顱骨模型，實(shí)驗(yàn)之前在導(dǎo)航系統(tǒng)中重建顱骨的CT掃描圖像，得到其體繪制圖像，利用虛實(shí)配準(zhǔn)過程得到在顱骨模型上疊加體繪制圖像的結(jié)果.然后測量顱骨模型上6個(gè)特征標(biāo)記點(diǎn)的投影和虛擬圖像上的對應(yīng)點(diǎn)之間的距離誤差，疊加誤差為1.50 mm.這一階段的誤差主要與點(diǎn)集配準(zhǔn)的精度有關(guān).

2.2 實(shí)時(shí)配準(zhǔn)結(jié)果

采用光學(xué)定位儀進(jìn)行跟蹤，得到了實(shí)時(shí)的虛實(shí)配準(zhǔn)結(jié)果.在虛實(shí)配準(zhǔn)的視頻中截取一幀，測量了配準(zhǔn)圖像的目標(biāo)配準(zhǔn)誤差(Target Registration Error，TRE).[24]因?yàn)槭窃诓煌臻g位置選取的目標(biāo)點(diǎn)，其TRE誤差值的差異較大，為了較準(zhǔn)確地說明配準(zhǔn)精度，選取分布在顱骨前半部的多個(gè)目標(biāo)點(diǎn)，測量每個(gè)點(diǎn)的TRE誤差，得到配準(zhǔn)的平均誤差和最大誤差，以此測試該系統(tǒng)的實(shí)時(shí)誤差是否能滿足導(dǎo)航系統(tǒng)的精度要求.

圖3顯示了在跟蹤過程視頻中截取的其中一幀配準(zhǔn)圖像，圖3a是在真實(shí)顱骨上疊加了部分的CT體繪制圖像，圖3b是疊加的全部體繪制圖像.

圖3 在平板電腦上的虛實(shí)配準(zhǔn)結(jié)果

實(shí)驗(yàn)中選取了配準(zhǔn)圖像上的11個(gè)目標(biāo)點(diǎn)，利用這些目標(biāo)點(diǎn)的TRE誤差計(jì)算了顱骨表面的配準(zhǔn)精度，測量的虛實(shí)配準(zhǔn)的平均TRE誤差為1.39 mm，最大TRE誤差為1.96 mm.由此表明實(shí)時(shí)配準(zhǔn)的精度能夠滿足導(dǎo)航系統(tǒng)的要求.

2.3 與視頻頭盔的精度比較

為了與已有的使用視頻頭盔的增強(qiáng)現(xiàn)實(shí)系統(tǒng)進(jìn)行比較，我們在實(shí)驗(yàn)中將顯示設(shè)備改用頭盔，采用同樣的方法整合原有的神經(jīng)導(dǎo)航系統(tǒng)，從標(biāo)定、重投射后的空間對準(zhǔn)兩方面分別測量了這兩種顯示設(shè)備的精度.

表1是兩種顯示設(shè)備所做的實(shí)驗(yàn)比較.由表1可以看出，兩種顯示設(shè)備的系統(tǒng)誤差接近，但平板電腦在實(shí)際使用中比頭盔更方便.

表1 分別使用視頻頭盔和平板電腦產(chǎn)生的誤差

3 結(jié)語

本文建立的基于平板電腦的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，實(shí)現(xiàn)了通過光學(xué)定位儀的實(shí)時(shí)跟蹤，以及在病人手術(shù)部位的原位看到疊加的虛擬圖像的目的.實(shí)驗(yàn)結(jié)果表明，本系統(tǒng)比已有的增強(qiáng)現(xiàn)實(shí)系統(tǒng)使用更方便，且虛實(shí)對準(zhǔn)的精度和實(shí)時(shí)性均能滿足導(dǎo)航系統(tǒng)的要求.

[1]LUMENTA C B，GUMPRECHTH，KRAMMERM J.Image-guided neurosurgery[M]∥Neurosurgery.Springer Berlin Heidelberg，2010:579-590.

[2]GRIMSON E，LEVENTON M，ETTINGER G，et al.Clinical experience with a high precision image-guided neurosurgery system[M]∥Medical Image Computing and Computer-Assisted Intervention.SpringerBerlin Heidelberg，1998:63-73.

[3]SHUHAIBER J H.Augmented realityin surgery[J].Archives of Surgery，2004(2):170-174.

[4]FUCHS H，LIVINGSTON M A，RASKAR R，et al.Augmented reality visualization for laparoscopic surgery[M]∥Medical Image Computing and Computer-Assisted Intervention.Springer Berlin Heidelberg，1998:934-943.

[5]ARGOTTI Y，DAVISL，OUTTERSV，et al.Dynamic superimposition of synthetic objects on rigid and simpledeformable real objects[J].Computers ＆ Graphics，2002，26(6):919-930.

[6]LUO G，PELI E.Use of an augmented-vision device for visual search by patients with tunnel vision[J].Investigative Ophthalmology ＆ Visual Science，2006，47(9):4 152-4 159.

[7]BAJURA M，NEUMANN U.Dynamic registration correction in video-based augmented reality systems[J].Computer Graphics and Applications，IEEE，1995，15(5):52-60.

[8]ROSENTHAL M，LEE J，HIROTA G，et al.Augmented reality guidance for needle biopsies:an initial randomized，controlled trial in phantoms[J].Medical Image Analysis，2002，6(3):313-320.

[9]SAUER F，WENZEL F，VOGT S，et al.Augmented workspace:designing an AR testbed[C]∥Augmented Reality(ISAR2000).Proceedings IEEE and ACM International Symposium on IEEE，2000:47-53.

[10]BICHLMEIER C，SIELHORST T，HEINING S M，et al.Improvingdepth perception in medicalAR[M]∥Bildverarbeitung fürdieMedizin 2007.SpringerBerlin Heidelberg，2007:217-221.

[11]WIMMER F，BICHLMEIER C，HEININGSM，et al.Creating a vision channel for observing deep-seated anatomy in medical augmented reality[M]∥Bildverarbeitung für die Medizin 2008.Springer Berlin Heidelberg，2008:298-302.

[12]SALB T，BRIEF J，WELZEL T，et al.INPRES(intraoperative presentation ofsurgical planning and simulation results)-augmented reality for craniofacial surgery[C]∥Electronic Imaging.International Society for Optics and Photonics，2003:453-460.

[13]SUDRA G，MARMULLA R，SALB T，et al.First clinical tests with the augmented reality system INPRES[J].Neurosurgery，2005(1):4.

[14]BLACKWELL M，NIKOU C，DIGIOIA A M，et al.An image overlay system for medical data visualization[J].Medical Image Analysis，2000，4(1):67-72.

[15]LIAO H，HATA N，NAKAJIMA S，et al.Surgical navigation by autostereoscopic image overlay of integral videography[J].Information Technology in Biomedicine，IEEE Transactions on，2004，8(2):114-121.

[16]SASAMA T，SUGANO N，SATO Y，et al.A novel laser guidance system for alignment of linear surgical tools:its principles and performance evaluation as a man-machine system[M]∥Medical Image Computing and Computer-Assisted Intervention.SpringerBerlin Heidelberg，2002:125-132.

[17]GAVAGHAN K A，PETERHANS M，OLIVEIRA-SANTOS T，et al.A portable image overlay projection device for computeraided open liver surgery[J].Biomedical Engineering，IEEE Transactions on，2011，58(6):1 855-1 864.

[18]EDWARDS P J，KING A P，MAURER JR C R，et al.Design and evaluation of a system for microscope-assisted guided interventions(MAGI) [J].MedicalImaging，IEEE Transactions on，2000，19(11):1 082-1 093.

[19]FIGL M，EDE C，HUMMEL J，et al.A fully automated calibration method for an optical see-through head-mounted operating microscope with variable zoom and focus[J].Medical Imaging， IEEE Transactions on， 2005， 24(11):1 492-1 499.

[20]FICHTINGER G，DEGUET A，MASAMUNE K，et al.Image overlay guidance for needle insertion in CT scanner[J].Biomedical Engineering，IEEE Transactions on，2005，52(8):1 415-1 424.

[21]FISCHER G S，DEGUET A，CSOMA C，et al.MRI image overlay:application to arthrography needle insertion[J].Computer Aided Surgery，2007，12(1):2-14.

[22]ZHANG Z.Iterative point matching for registration of freeform curves and surfaces[J].International Journal of Computer Vision，1994，13(2):119-152.

[23]HEIKKILA J，SILVEN O.A four-step camera calibration procedure with implicit image correction[C]∥Computer Vision and Pattern Recognition.Proceedings IEEE Computer Society Conference on.IEEE，1997:1 106-1 112.

[24]FITZPATRICK J M，WEST J B.The distribution of target registration error in rigid-body point-based registration[J].Medical Imaging，IEEE Transactions on，2001，20(9):917-927.