基于VTK的虛擬心臟切面交互式可視化方法

賈延延，楊 飛，左旺孟，王寬全

(哈爾濱工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，哈爾濱 150001，wangkq@hit.edu.cn)

基于VTK的虛擬心臟切面交互式可視化方法

賈延延，楊 飛，左旺孟，王寬全

(哈爾濱工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，哈爾濱 150001，wangkq@hit.edu.cn)

為解決傳統(tǒng)醫(yī)學(xué)影像技術(shù)方向性單一的問題，滿足臨床醫(yī)學(xué)從不同方位從整體或切面等多角度對器官組織進(jìn)行觀察分析的需求，提出了心臟核磁共振成像(MRI)數(shù)據(jù)的體可視化和任意角度切面的可視化方法.基于可視化工具包VTK，在VC6.0開發(fā)環(huán)境中，運(yùn)用光線投射算法設(shè)計(jì)并實(shí)現(xiàn)了MRI羊心臟切片數(shù)據(jù)的三維體繪制，橫斷、冠狀、矢狀位置的標(biāo)準(zhǔn)切片、切面以及任意角度、任意位置切面的繪制技術(shù).通過簡單的鼠標(biāo)操作就可以實(shí)時(shí)的對切面進(jìn)行移動、旋轉(zhuǎn)、縮放等交互操作.實(shí)驗(yàn)結(jié)果表明:該方法有助于醫(yī)生從多個(gè)方位觀察整體器官組織和切面形態(tài).在疾病預(yù)防、醫(yī)療診斷、手術(shù)方案制定以及術(shù)后評價(jià)中具有較大的實(shí)用價(jià)值.

三維可視化;體繪制;光線投射算法;VTK;切面

體繪制(Volume Rendering)［1－2］的探索始于20世紀(jì)70年代中期，隨著斷層投影、核磁共振、超聲波等醫(yī)學(xué)影像技術(shù)的產(chǎn)生，體繪制技術(shù)在繪制算法、繪制速度和應(yīng)用等方面都得以長足發(fā)展.目前，體繪制領(lǐng)域中的經(jīng)典算法主要有:Levoy M［3］提 出 的 光 線 投 射 法 (ray casting)，Westover L［4］提出的足跡表法(footprint)，Cameron G、Lacroute P［5］提出的錯切 － 變形法(shearwarp)，以及基于硬件的3D紋理映射法(hardware-assisted 3D texture-mapping)，基于頻域的體繪制法(frequency domain volume rendering)等［6］.本文在核磁共振成像(MRI)的基礎(chǔ)上，運(yùn)用體繪制算法對羊心臟切片數(shù)據(jù)進(jìn)行處理，借助可視化工具包VTK(visualization toolkit)［7］實(shí)現(xiàn)心臟數(shù)據(jù)的三維可視化.直觀地還原了羊心臟原貌，克服了原始MRI影像序列難以從整體角度展現(xiàn)組織器官層次信息和結(jié)構(gòu)特點(diǎn)的弊端，擴(kuò)展了原有切片數(shù)據(jù)的方向性，使醫(yī)生不僅可以通過鼠標(biāo)交互觀察任意位置的橫斷、冠狀、矢狀3個(gè)標(biāo)準(zhǔn)切面［8］，還可以觀察任意角度、任意部位的虛擬切面.并能對切面進(jìn)行移動、縮放、旋轉(zhuǎn)等交互操作，從而幫助醫(yī)生做出更加準(zhǔn)確的診斷和制定正確的手術(shù)方案.

1 體繪制理論與VTK技術(shù)

體繪制技術(shù)可分為兩類:間接體繪制(Indirect Volume Rendering)和直接體繪制(Direct Volume Rendering).間接體繪制又稱為面繪制(Surface Rendering)［9］，是從三維數(shù)據(jù)場中抽取有用信息的一種重要手段.該方法通過構(gòu)造中間幾何圖元，將體數(shù)據(jù)轉(zhuǎn)換為一種逼近面表示，進(jìn)而利用計(jì)算機(jī)圖形學(xué)技術(shù)顯示感興趣區(qū)域的表面信息.本文所采用的直接體繪制方法無須中間轉(zhuǎn)換過程，直接對體數(shù)據(jù)進(jìn)行明暗處理，合成具有立體感的繪制結(jié)果.具有無須進(jìn)行轉(zhuǎn)換即可直接進(jìn)行繪制，保留三維數(shù)據(jù)場的細(xì)節(jié)信息，整體繪制質(zhì)量高的優(yōu)點(diǎn).

在體繪制理論的基礎(chǔ)上，借助可視化工具包VTK技術(shù)實(shí)現(xiàn)羊心臟切片數(shù)據(jù)的三維可視化.VTK是Kitware公司推出的一個(gè)支持多平臺的類庫，它是在三維函數(shù)庫OpenGL的基礎(chǔ)上發(fā)展起來的，并且具有更強(qiáng)的方便性和靈活性.主要特點(diǎn)為:1)VTK構(gòu)建在OpenGL圖形類庫的基礎(chǔ)之上，可用于三維圖像處理、計(jì)算機(jī)圖形學(xué)和可視化等領(lǐng)域.2)支持和處理多種格式的數(shù)據(jù)，如點(diǎn)陣、圖像、體元數(shù)據(jù)等.3)構(gòu)造在C++語言之上，支持多種腳本語言如 Java、TCL＆Tk、Python等.4)面向?qū)ο蟮目梢暬悗?，包含了大量的對象模?Object Models)，如圖形模型對象(Graphics Models)和可視化模型對象(Visualization Models).5)開源類庫，封裝了圖形圖像和可視化領(lǐng)域內(nèi)的上百種常用算法，具有強(qiáng)大的生命力.6)采用流水線機(jī)制，程序的執(zhí)行過程可以用流水線清晰的描繪出來.

可視化領(lǐng)域常用的工具包還包括:分割與配準(zhǔn)平臺ITK(Insight Segmentation and Registration Toolkit)、醫(yī)學(xué)影像工具包MITK(Medical Imaging ToolKit)［10］等.ITK僅是一個(gè)圖像處理工具包，包括圖像的讀寫、分割、配準(zhǔn)、濾波等功能，但不能進(jìn)行數(shù)據(jù)的顯示與可視化，也不具備圖像用戶接口.因此，ITK一般要與可視化工具包VTK及MFC、QT等工具配合使用.為集成醫(yī)學(xué)影像的分割，配準(zhǔn)與可視化功能，中國科學(xué)院自動化研究所開發(fā)了集成化的醫(yī)學(xué)影像處理與分析類庫MITK，它具有較強(qiáng)的可移植性和代碼優(yōu)化能力，雖然其三維重建及可視化功能強(qiáng)大但提供的算法不夠豐富.相比之下，VTK具有強(qiáng)大的三維可視化功能和豐富的圖像處理算法，使其在可視化領(lǐng)域得到了廣泛的應(yīng)用.

2 心臟數(shù)據(jù)三維可視化及切面顯示

本文所使用實(shí)驗(yàn)數(shù)據(jù)為352×352×256的Sheep Heart系列羊心臟MRI組織切片數(shù)據(jù)(http://www9.informatik.uni-erlangen.de/External/vollib/)，該數(shù)據(jù)集中存在少量由于心臟局部循環(huán)阻塞造成的壞死組織，MRI切片圖像示例如圖1所示.實(shí)驗(yàn)開發(fā)平臺為Microsoft Visual C++6. 0，VTK版本為 VTK5.0.2.計(jì)算機(jī)配置為 Pentium(R)4 CPU 3.00 GHz，1.00 GB 內(nèi)存.

圖1 部分原始羊心臟MRI切片數(shù)據(jù)

2.1 心臟數(shù)據(jù)三維可視化

采用體繪制中經(jīng)典的光線投射算法(Ray Casting)進(jìn)行心臟數(shù)據(jù)的三維可視化，基本原理為:從圖像空間的每一像素出發(fā)，按視線方向發(fā)射一條射線.這條射線穿過三維數(shù)據(jù)場，沿著這條射線選擇K個(gè)等距的采樣點(diǎn)，并由距離某一采樣點(diǎn)最近的8數(shù)據(jù)點(diǎn)的顏色值和不透明度值作三線性插值，求出該采樣點(diǎn)的顏色值和不透明度值.再將每條射線上各采樣點(diǎn)的顏色值和不透明度值由前向后或由后向前加以合成，即可得到發(fā)出該射線的像素點(diǎn)的顏色值［11］.

在VTK中用vtkVolumeRayCastComposite-Function類進(jìn)行光線投射算法采樣點(diǎn)的累計(jì)，算法實(shí)現(xiàn)的偽代碼為:

運(yùn)用光線投射算法進(jìn)行羊心臟數(shù)據(jù)的三維可視化，實(shí)驗(yàn)結(jié)果如圖2所示，通過鼠標(biāo)交互可實(shí)現(xiàn)心臟的旋轉(zhuǎn)、縮放和平移等操作.該方法直觀的將系列原始羊心臟MRI二維切片數(shù)據(jù)還原為三維心臟體，將灰度圖像變換為具有真實(shí)感的彩色圖像.從而，不僅提高了人眼對圖像的敏感度和分辨能力，還便于從多方位直觀地觀察心臟的整體形態(tài)特征.

圖2 心臟數(shù)據(jù)三維可視化結(jié)果

2.2 切面顯示

2.2.1 心臟標(biāo)準(zhǔn)切面顯示

利用vtkImageReslice類實(shí)現(xiàn)心臟數(shù)據(jù)標(biāo)準(zhǔn)切片的顯示，提取結(jié)果如圖3所示，其中圖3(a)～圖3(c)分別顯示了切片方向垂直于x軸、垂直于y軸和垂直于z軸的羊心臟標(biāo)準(zhǔn)方向切片，從而擴(kuò)展了原始MRI羊心臟切片序列的方向性.

利用vtkPlaneWidget類定義法向量分別沿著x、y、z 3個(gè)坐標(biāo)軸的標(biāo)準(zhǔn)切面，相應(yīng)顯示橫斷、冠狀、矢狀3個(gè)具有重要醫(yī)學(xué)價(jià)值的切面.可以通過鼠標(biāo)交互控制切平面位置和大小.在切面的平移過程中，被切掉的部分心臟會消失，從而在光線投射算法重建的剩余部分心臟體基礎(chǔ)上，將心臟剖面內(nèi)部的層次細(xì)節(jié)和組織結(jié)構(gòu)特征展現(xiàn)出來.該功能實(shí)現(xiàn)的偽代碼為:

通過上述方法進(jìn)行心臟數(shù)據(jù)標(biāo)準(zhǔn)方向切面的提取，實(shí)驗(yàn)結(jié)果如圖4、圖5所示，圖4(a)～圖4(c)和圖5(a)～圖5(c)分別顯示了切面剩余數(shù)據(jù)的可視化效果和切面的位置.相對于圖3中的切片信息，可以看出圖4中的心臟切面不僅可以體現(xiàn)心臟剖面的表面特征，更能突出心臟剖面內(nèi)部的層次細(xì)節(jié)和整體組織形態(tài)，真實(shí)的還原組織器官原貌，有利于從整體角度觀察心臟內(nèi)部的組織結(jié)構(gòu)和病變區(qū)域，使病灶的觀察和診斷更為直觀和準(zhǔn)確.

圖3 心臟數(shù)據(jù)橫斷、冠狀、矢狀標(biāo)準(zhǔn)切片

圖4 心臟數(shù)據(jù)橫斷、冠狀、矢狀標(biāo)準(zhǔn)切面

圖5 心臟數(shù)據(jù)橫斷、冠狀、矢狀標(biāo)準(zhǔn)切面位置

2.2.2 心臟任意切面顯示

橫斷、冠狀、失狀標(biāo)準(zhǔn)切面的顯示為醫(yī)生觀察心臟內(nèi)部組織結(jié)構(gòu)和層次細(xì)節(jié)提供了方便.然而在實(shí)際的診斷中，為了更加準(zhǔn)確詳細(xì)的觀察患處，任意方位的切面也具有極大的研究價(jià)值.本文即在傳統(tǒng)的單方向MRI切片序列基礎(chǔ)之上成功提取了3個(gè)標(biāo)準(zhǔn)方向的心臟切片以及切面序列.不僅如此，更進(jìn)一步利用光線投射算法獲取了任意方位的心臟切面，使得醫(yī)生從任意方位對病變組織進(jìn)行觀察、診治成為現(xiàn)實(shí)，從而大幅度提高了診斷的準(zhǔn)確性，在最大程度上再次利用了圖像信息.

圖6 心臟數(shù)據(jù)任意切面

根據(jù)上述提出的獲取任意方位虛擬切面的方法進(jìn)行心臟任意切面顯示實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果如圖6所示.對比圖4、圖5可以看出圖6中顯示了不同位置、不同方向處的心臟切面.可以通過平移、旋轉(zhuǎn)和縮放等鼠標(biāo)交互操作，觀察心臟內(nèi)部任意感興趣區(qū)域不同方位的形態(tài)特征，全方位的了解病灶區(qū)域特點(diǎn)，突破了傳統(tǒng)的醫(yī)學(xué)影像技術(shù)只能從標(biāo)準(zhǔn)方向觀察組織形態(tài)的局限性，在標(biāo)準(zhǔn)切面顯示的基礎(chǔ)上進(jìn)一步擴(kuò)展觀察方向，全方位剖析心臟組織結(jié)構(gòu)，在最大程度上利用了原始圖像信息，進(jìn)而更有效的輔助醫(yī)學(xué)診斷與治療.

3 結(jié)論

1)實(shí)現(xiàn)了系列羊心臟MRI切片數(shù)據(jù)的三維可視化，直觀還原了心臟原貌，便于整體觀察心臟形態(tài).

2)實(shí)現(xiàn)了心臟標(biāo)準(zhǔn)方向切片及切面的顯示，擴(kuò)展了原始MRI切片序列的方向性并通過切面及對剩余數(shù)據(jù)集的可視化從整體角度剖析心臟內(nèi)部層次信息和組織結(jié)構(gòu).

3)實(shí)現(xiàn)了任意方位切面的顯示，通過對虛擬切面和剩余部分心臟數(shù)據(jù)進(jìn)行縮放、平移、旋轉(zhuǎn)等實(shí)時(shí)交互操作，使觀察感興趣區(qū)域的任意方向、任意位置形態(tài)特征成為可能，突破了傳統(tǒng)的醫(yī)學(xué)影像技術(shù)方向性的局限，更有效的輔助醫(yī)學(xué)診斷，對疾病的防范與治療具有一定積極意義.

［1］DREBIN R A，CARPENTER L，HANRAHAN P.Volume rendering［C］//Proceedings of the 15th ACM SIGGRAPH International Conference on Computer Graphics and Interactive Techniques.Atlanta:ACM，1988:65－74.

［2］CALLAHAN S P，CALLAHAN J H，SCHEIDEGGER C E，et al.Direct volume rendering:A 3D plotting technique for scientific data［J］.Computing in Science and Engineering， 2008，10(1):88－92.

［3］LEVOY M.Display of surface from volume data［J］.IEEE Computer Graphics and Application， 1988，8(3):29－37.

［4］WESTOVER L.Footprint evaluation for volume rendering［C］//Proceedings of the 17th ACM SIGGRAPH International Conference on Computer Graphics and Interactive Techniques.Dallas:ACM，1990:367－376.

［5］LACROUTE P，LEVOY M.Fast volume rendering using a shear-warp factorization of the viewing transformation［C］//Proceedings of the 21st ACM SIGGRAPH International Conference on Computer Graphics and Interactive Techniques.Florida:ACM，1994:451－458.

［6］唐澤圣.三維數(shù)據(jù)場可視化［M］.北京:清華大學(xué)出版社，1999.

［7］SCHROEDER W J.The VTK User’s Guide(Version 4)［M］.New York:Kitware，2001.

［8］ROBB R A，BARILLOT C.Interactive display and analysis of 3 － D medical images［J］.IEEE Transactions on Medical Imaging， 1989，8(3):217－226.

［9］LORENSEN W E，CLINE H E.Marching cubes:A high resolution 3D surface construction algorithm［C］//Proceedings of the 14th ACM SIGGRAPH International Conference on Computer Graphics and Interactive Techniques.Anaheim:ACM，1987:163－169.

［10］趙明昌，田捷，薛健，等.醫(yī)學(xué)影像處理與分析開發(fā)包 MITK的設(shè)計(jì)與實(shí)現(xiàn)［J］.軟件學(xué)報(bào)， 2005，16(4):485－495.

［11］彭延軍，石教英.體繪制技術(shù)在醫(yī)學(xué)可視化中的新發(fā)展［J］.中國圖象圖形學(xué)報(bào)， 2002，7(12):1239－1246.

VTK based interactive visualization of virtual heart

JIA Yan-yan，YANG Fei，ZUO Wang-meng，WANG Kuan-quan

(School of Computer Science and Technology，Harbin Institute of Technology，Harbin 150001，China，wangkq@hit.edu.cn)

To solve the fixed direction problemin traditional medical imaging technologies and satisfy the clinical medicine requirement of observing the organ in term of the whole or sections from different viewpoints，a three dimensional visualization method of the cardiac MRI data to display the whole heart volume and the arbitrary-cut sections is proposed.Using VC6.0 and VTK，the ray casting method is adopted to realize the threedimensional visualization of total and partial cardiac MRI data and the virtual sections from arbitrary viewpoint.Simple interactive operations such as scaling，translation and rotation can be realized in real time.The experimental results show that the presented method can assist doctors to observe the organ tissue and sections from different viewpoints，which is valuable in disease prevention，medical diagnosis，surgical planning and postoperative evaluation.

three-dimensional visualization;volume rendering;Ray-casting;VTK;section

TP391

A

0367－6234(2010)05－0770－05

2009－11－24.

國家自然科學(xué)基金資助項(xiàng)目(60872099);國家高技術(shù)研究與發(fā)展計(jì)劃資助項(xiàng)目(2006AA01Z308).

賈延延(1983—)，女，博士研究生;

王寬全(1964—)，男，教授，博士生導(dǎo)師.

(編輯 張 紅)