張錫英,孟繁平,邱兆文
(東北林業(yè)大學(xué)信息與計(jì)算機(jī)工程學(xué)院,哈爾濱150040)
基于斷層掃描數(shù)據(jù)的心臟三維重建
張錫英,孟繁平,邱兆文
(東北林業(yè)大學(xué)信息與計(jì)算機(jī)工程學(xué)院,哈爾濱150040)
基于CT圖像的心臟三維重建在醫(yī)學(xué)影像分析領(lǐng)域需求大,但難度高。重構(gòu)的3D心臟虛擬模型可有效支持醫(yī)學(xué)研究以及臨床決策。但由于噪聲影響,單使用分割算法往往不能得到理想重建效果。提出了圖像預(yù)處理和分割算法相結(jié)合,采用基于總變差變分去噪模型預(yù)處理CT心臟圖像,通過(guò)OTSU閾值方法分割預(yù)處理的圖像。以VTK工具包為基礎(chǔ),使用Marching cube(MC)算法和光線投影法對(duì)處理后的圖像進(jìn)行三維重建,得到CT心臟圖像的三維虛擬模型。實(shí)驗(yàn)結(jié)果表明:圖像預(yù)處理效果直接影響分割的效果,三維重建是實(shí)現(xiàn)醫(yī)學(xué)圖像的三維可視化的關(guān)鍵。
醫(yī)學(xué)圖像;總變差;OTSU;三維重建;三維可視化
目前,醫(yī)學(xué)圖像的三維可視化是一個(gè)重要的研究熱點(diǎn)。醫(yī)學(xué)圖像的三維可視化是指采用計(jì)算機(jī)斷層掃描圖像(CT)、磁共振圖像(MRI)數(shù)據(jù),通過(guò)計(jì)算機(jī)實(shí)現(xiàn)一系列三維效果的表現(xiàn)。醫(yī)學(xué)圖像的三維可視化的主要任務(wù)是三維可視化顯示、操作及分析為診斷和治療目的而提供的多模醫(yī)學(xué)圖像數(shù)據(jù)[1-2]。醫(yī)學(xué)圖像的三維可視化可以在計(jì)算機(jī)上顯示出人體組織結(jié)構(gòu),有利于醫(yī)生和病患的溝通并實(shí)現(xiàn)虛擬手術(shù),為醫(yī)生和病患帶來(lái)便利。
醫(yī)學(xué)圖像的三維可視化要經(jīng)過(guò)圖像的預(yù)處理、圖像的分割以及圖像的三維重建來(lái)實(shí)現(xiàn)。圖像的預(yù)處理是指將醫(yī)學(xué)圖像DICOM的格式數(shù)據(jù)轉(zhuǎn)換成計(jì)算機(jī)識(shí)別的格式,并對(duì)其進(jìn)行去噪。通常情況,DICOM標(biāo)準(zhǔn)的醫(yī)學(xué)圖像不能被普通的圖像處理軟件識(shí)別并處理,所以需要專(zhuān)門(mén)處理這種標(biāo)準(zhǔn)格式的軟件,將醫(yī)學(xué)圖像轉(zhuǎn)換成一般圖像使用的JPEG、BMP格式。圖像的去噪方法有空域方法和變換域方法兩類(lèi),經(jīng)常用到的是空域方法,其是在二維空間下對(duì)圖像進(jìn)行處理,依據(jù)性質(zhì)的不同,可以分為線性去噪和非線性去噪,其中基于偏微分方程的去噪和雙邊濾波最具代表性。醫(yī)學(xué)圖像的分割是將圖像中感興趣的區(qū)域分割出來(lái),以便于對(duì)器官進(jìn)行分析,為臨床診療提供可靠的數(shù)據(jù)。由于圖像分割的過(guò)程中面對(duì)分割對(duì)象不同,將圖像分割方法分為3類(lèi)[3-5]:第1類(lèi)方法是基于區(qū)域的分割方法;第2類(lèi)方法是基于邊緣的分割方法;第3類(lèi)方法是基于閾值的分割方法。圖像的三維重建是指借助計(jì)算機(jī)圖像處理技術(shù),將分割后得到的人體部分的圖像重建成三維立體模型,醫(yī)生可以對(duì)重建模型進(jìn)行不同角度觀察并對(duì)病灶區(qū)進(jìn)行診斷。三維重建方法分為體繪制和面繪制兩類(lèi)。幾種最常見(jiàn)的面繪制方法有立方塊法(cuberille)、移動(dòng)立方體法(marching cubes)、剖分立方體法(dividing cubes)[6]。而體繪制的常用算法有光線投射法(ray casting)、錯(cuò)切-變形法(shear-warp)、拋雪球法(splatting)和基于紋理映射方法(texture mapping unit)[6]。
當(dāng)今社會(huì),心臟病是造成人類(lèi)意外死亡的一大殺手。由于心臟結(jié)構(gòu)的復(fù)雜性以及心臟CT圖像中心臟結(jié)構(gòu)與周?chē)M織的圖像灰度十分接近且存在粘連,為分割工作帶來(lái)了難度與挑戰(zhàn)。對(duì)于實(shí)現(xiàn)CT心臟圖像分割具有重要研究意義。本文基于心臟的醫(yī)學(xué)圖像序列,利用Matlab實(shí)現(xiàn)其三維重建。再使用Otsu閾值方法分割預(yù)處理的圖像;最后,以VTK工具包為基礎(chǔ),使用Marching cube算法和光線投影法對(duì)處理后的圖像進(jìn)行三維重建,得到CT心臟圖像的三維虛擬模型。心臟圖像三維重建流程如圖1所示。
圖1 心臟圖像三維重建流程
醫(yī)學(xué)圖像的三維重建結(jié)果的質(zhì)量好壞直接受預(yù)處理得到的結(jié)果影響。因此,有必要進(jìn)行數(shù)據(jù)預(yù)處理以更好地將三維甚至四維模型顯示出來(lái)。
1.1 總變差模型
認(rèn)識(shí)各種去噪方法的功能和缺點(diǎn)可以更好地衡量圖像去噪的效果。通常從噪聲衰減的程度、邊緣保持的程度以及區(qū)域的平滑程度3方面來(lái)思考。也就是說(shuō),去噪后的圖像應(yīng)盡可能地減少噪聲,保持圖像邊緣明顯,盡可能平滑。
運(yùn)用偏微分方程方法對(duì)圖像去噪的基本原理是將準(zhǔn)備處理的圖像為方程初始值,用偏微分方程對(duì)初始圖像進(jìn)行求解,方程的解就是想得到的去噪結(jié)果。而均值濾波、高斯濾波[7]是將圖像的噪聲部分假設(shè)為高頻部分,將含噪聲圖像和高斯函數(shù)卷積得到去噪后的圖像,但也會(huì)使圖像變得模糊,失去圖像特征;中值濾波器[8]中因噪聲成分很難選上,所以不會(huì)影響輸出結(jié)果,但速度很慢;雙邊濾波[8]是結(jié)合圖像的空間鄰近度和像素值相似度的一種折衷處理,同時(shí)考慮空域信息和灰度相似性,達(dá)到保邊去噪的目的,具有簡(jiǎn)單、非迭代、局部的特點(diǎn)。
在醫(yī)學(xué)成像過(guò)程中,醫(yī)學(xué)影像設(shè)備因?yàn)樗幁h(huán)境的電磁干擾導(dǎo)致獲取的圖像不可避免地含有噪聲。而含有噪聲的圖像迫使該圖像質(zhì)量也隨之降低,且對(duì)接下來(lái)的分割和重建工作造成影響,所以消除噪聲、提升圖像質(zhì)量是首要任務(wù)。但在現(xiàn)實(shí)應(yīng)用中,在不損失圖像本身信息的前提條件下,對(duì)圖像使用濾波方式去除圖像中全部噪聲很難實(shí)現(xiàn)。因此,要滿(mǎn)足在盡可能不損失圖像本身信息的情況下,盡可能最多地去除圖像的噪聲。本文采用總變差模型進(jìn)行處理。
基于總變差的模型是一個(gè)需要迭代求解的優(yōu)化模型。相比上述算法,總變差模型[8]對(duì)于CT圖像有更好的效果,因此本文采用該模型。公式(1)中,g(x,y)是含有噪聲的CT心臟圖像,n(x,y)是CT心臟圖像的噪聲,f(x,y)為想要恢復(fù)的清晰圖像,公式表示為:
基于式(1),總變差模型可表示為:
其中λ是光滑系數(shù),該值越大,恢復(fù)的清晰圖像f越光滑。優(yōu)化式(2)可采用傳統(tǒng)的梯度下降流算法。
式中:div為散度算子;ε是小正數(shù)用于避免總變差非可微性;t是人工選定時(shí)間步長(zhǎng),該值的選取需滿(mǎn)足守恒率即CFL條件。
1.2 OTSU閾值分割
醫(yī)學(xué)圖像分割的主要目標(biāo)是從醫(yī)學(xué)圖像中獲取感興趣的區(qū)域,以往醫(yī)生是根據(jù)自己的臨床經(jīng)驗(yàn)分割出病灶區(qū)域,盡可能自動(dòng)準(zhǔn)確地將此病灶提取出來(lái)成為分割的重要意義。結(jié)合醫(yī)學(xué)圖像的獨(dú)特性、復(fù)雜性與多樣性等特點(diǎn),出現(xiàn)了適用各種分割目標(biāo)的分割方法。
由于CT心臟圖像中目標(biāo)物體灰度相近,而且部分目標(biāo)相互連接,因此適合使用基于區(qū)域的圖像分割法OTSU[4]閾值算法。OTSU最初是由Nobuyuki于20世紀(jì)70年代末引入圖像處理領(lǐng)域的,用于分析二值圖像[9]。
OTSU具有計(jì)算速度快、定位精準(zhǔn)等優(yōu)點(diǎn),在醫(yī)學(xué)圖像分割方面被廣泛應(yīng)用。但是OTSU算法有一個(gè)嚴(yán)重的缺點(diǎn):該算法易被噪聲影響,從而出現(xiàn)欠分割或過(guò)度分割的現(xiàn)象。
OTSU算法[10]是一種自適應(yīng)閾值分割算法。基于灰度值特征,圖像通??杀环譃榍熬昂捅尘?。如果前景和背景的灰度值相差很大,他們灰度值內(nèi)間方差也很大。這意味著分割誤差概率應(yīng)該最小。
假設(shè)f(x,y)是濾波完后的圖像,大小為M× N。選擇閾值T將f(x,y)分割為前景和背景。前景的像素個(gè)數(shù)為s1,灰度均值為u1。背景的像素個(gè)數(shù)為s2,灰度均值為。前景后背景占圖像大小的比率分別為w1=s1/(M×N)和w2=s2/(M× N),其中w1+w2=1。圖像的總平均灰度大小為u=u1×w1+u2×w2。圖像此時(shí)的內(nèi)間方差為:
遍歷所有的閾值,找到使內(nèi)間方差f(T)最大的T即為最后分割結(jié)果。
醫(yī)學(xué)圖像的三維重建[7]是指借助計(jì)算機(jī)圖像處理技術(shù),將醫(yī)學(xué)影像設(shè)備得到的人體或人體部分的圖像重建成三維立體模型,醫(yī)生可以對(duì)重建模型進(jìn)行不同角度觀察并且可以對(duì)病灶區(qū)更好地進(jìn)行診斷。
醫(yī)學(xué)圖像三維重建的方法分為2種:一種是體繪制方法;另一種是面繪制方法。體繪制技術(shù)是描述一系列的“根據(jù)三維標(biāo)量數(shù)據(jù)產(chǎn)生二維圖片”的技術(shù)[11];面繪制是醫(yī)學(xué)圖像三維重建的重要手段之一,它通過(guò)對(duì)一系列的二維圖像進(jìn)行邊界識(shí)別等分割處理,重新還原出被檢物體的三維模型,并以表面的方式顯示出來(lái)。
關(guān)于三維重建算法,對(duì)于這種計(jì)算機(jī)斷層掃描圖像產(chǎn)生的標(biāo)準(zhǔn)DICOM3.0的數(shù)據(jù),可以使用成熟的算法來(lái)進(jìn)行三維重建,例如以VTK為基礎(chǔ)的MC算法實(shí)現(xiàn)醫(yī)學(xué)圖像的三維重建。
2.1 Marchingcube算法
MC算法是面繪制算法中的經(jīng)典算法,其基本原理是形成等值面[12]。具體來(lái)說(shuō),將一個(gè)體數(shù)據(jù)劃分為多個(gè)小的立方體,每個(gè)立方體有8個(gè)頂點(diǎn),這些頂點(diǎn)可以在物體的內(nèi)部或者外部。遍歷所有的立方體,找出立方體與物體表面的交點(diǎn)。如果一個(gè)立方體有頂點(diǎn)同時(shí)在物體的內(nèi)部和外部,就可確定交點(diǎn)。形成等值面的三角形可以從預(yù)先定義好的儲(chǔ)存所有狀態(tài)的表中查找得到。由于一個(gè)立方體有8個(gè)頂點(diǎn),每個(gè)點(diǎn)只有2種可能(在物體內(nèi)部或者外部),所以一共有28=256種狀態(tài)。然而,考慮反射旋轉(zhuǎn)因素,256種狀態(tài)可以減少為如圖2所示的15種狀態(tài)。根據(jù)圖2確定三角形從而繪制物體等值面。
圖2 MC算法原理
人體內(nèi)的某些組織和人體器官通常具備固定的灰度值,由于這一特點(diǎn)可以渲染出為用戶(hù)提供具有明顯真實(shí)感的組織和人體器官的三維圖像的目標(biāo)對(duì)象。與傳統(tǒng)的醫(yī)學(xué)影像設(shè)備得到的二維圖像相比較,面繪制為用戶(hù)提供更加直接清晰的表面細(xì)節(jié)以及明顯的外部輪廓。人體內(nèi)有許多具有明顯表面的組織和器官,這些表面的CT值和人體組織、人體器官的CT值不相同,也與器官本身的內(nèi)部組織有明顯不同,比如人體肺部、腎部、血管等,某些器官面繪制的實(shí)現(xiàn)相對(duì)容易。
2.2 射線投影算法
體繪制最大的特點(diǎn)是采用光照模型將三維空間的離散數(shù)據(jù)直接轉(zhuǎn)換為最后的立體圖像。因此,保留了三維數(shù)據(jù)場(chǎng)中的許多細(xì)小結(jié)構(gòu),效果更接近實(shí)物。
射線投影算法被廣泛應(yīng)用于3D可視化體數(shù)據(jù)。圖3說(shuō)明該算法原理:從視線處發(fā)出一條射線,它經(jīng)過(guò)2D的圖像平面投影到3D的體數(shù)據(jù)上。射線經(jīng)過(guò)2D圖像的像素值由累加這條射線經(jīng)過(guò)的每個(gè)體單元的顏色值和透明度所決定。該現(xiàn)象可以通過(guò)物理模型來(lái)模擬。
圖3 體繪制原理
VTK(Visualization Tool-kit)是美國(guó)Kitware公司于1998年推出的一套用于可視化的開(kāi)源工具包,其主要功能是圖像處理、計(jì)算機(jī)圖形學(xué)和三維可視化[13]。通過(guò)VTK對(duì)DICOM數(shù)據(jù)進(jìn)行三維重建,從算法以及數(shù)據(jù)結(jié)構(gòu)角度來(lái)看,可以看作是讀取數(shù)據(jù)和圖形顯示2個(gè)問(wèn)題。VTK把三維重建中許多常用的可視化算法封裝成類(lèi),如MC和射線投影法,用戶(hù)可以直接調(diào)用該類(lèi),為用戶(hù)帶來(lái)便利。
為驗(yàn)證該方法的有效性,在Window7操作系統(tǒng)上使用Matlab工具進(jìn)行圖像分割實(shí)驗(yàn)。選取CT心臟圖像數(shù)據(jù)進(jìn)行實(shí)驗(yàn)來(lái)提取心臟部分。
實(shí)驗(yàn)數(shù)據(jù):10歲,主因“主動(dòng)脈狹窄”。本文用的是一組289張CT切片的心臟數(shù)據(jù),讀取其中第2、39、120、240張切片的效果圖。本文模型中參數(shù)為:λ=2,人工選定時(shí)間步長(zhǎng)t=1×0.02。
圖4 原始CT心臟圖像
圖4 為原始噪聲CT心臟圖像。觀察可知:所采集的CT心臟圖像存在大量偽輪廓點(diǎn)并且灰度信息分布不均勻。首先對(duì)其進(jìn)行預(yù)處理,即對(duì)CT心臟圖像進(jìn)行去噪保邊處理,提取實(shí)驗(yàn)需要用到的心臟部位,去除周?chē)恍枰男厍徊课?,得到圖5相對(duì)應(yīng)的圖像結(jié)果??梢悦黠@看出:心臟腔室內(nèi)區(qū)域灰度均勻,組織邊界清晰、平滑。
圖6為采用OSTU對(duì)圖5分割的結(jié)果。可見(jiàn)心臟的主血管以及脊柱骨都被精確的分割出來(lái)。該實(shí)驗(yàn)需使用二次OTSU:第一次將純黑的背景部分與血管(像素值偏亮)及非血管組織(像素值偏暗但高于純黑背景);在第一次分割的結(jié)果上再使用OTSU算法可將血管和非血管組織分離。
最后使用自主研發(fā)的基于VTK類(lèi)庫(kù)的醫(yī)學(xué)影像系統(tǒng)(TM_M(jìn)IS 1.0)對(duì)CT心臟圖像分別進(jìn)行體繪制與面繪制三維重建。圖7是系統(tǒng)首界面,圖8、9是三維重建結(jié)果??梢钥闯觯好胬L制的交互性能和算法效率優(yōu)于體繪制,從圖像角度看,體繪制優(yōu)于面繪制。
圖5 圖像去噪后結(jié)果圖
圖6 OSTU算法分割結(jié)果圖
圖7 體繪制結(jié)果
圖8 面繪制結(jié)果
圖9 體繪制結(jié)果
三維可視化目前是計(jì)算機(jī)技術(shù)和圖形圖像學(xué)的研究熱點(diǎn),已經(jīng)應(yīng)用于很多領(lǐng)域,它可以將數(shù)據(jù)直觀地展示出來(lái)。只使用一種傳統(tǒng)的分割算法,不能得到理想的分割效果。本文使用預(yù)處理方法和分割方法相結(jié)合,在預(yù)處理過(guò)程中,得到理想的圖像效果,然后對(duì)此圖像進(jìn)行分割,得到理想分割結(jié)果,最后使用經(jīng)典重建算法進(jìn)一步得出三維重建模型。三維重建結(jié)果有利于病情診斷、手術(shù)方案規(guī)劃和醫(yī)患溝通。
[1] 秦斌杰,陳旭,莊天戈.醫(yī)學(xué)圖像三維可視化[J].航天醫(yī)學(xué)與醫(yī)學(xué)工程,2001,14(6):452-455.
[2] 王文文,王惠群,陸惠玲,等.基于壓縮感知和NSCTPCNN的PET/CT醫(yī)學(xué)圖像融合算法[J].重慶理工大學(xué)學(xué)報(bào)(自然科學(xué)),2016,30(2):101-108.
[3] 何毅,葛延治.螢火蟲(chóng)群優(yōu)化算法多閾值的腦CT圖像分割[J].激光雜志,2014(12):64-67.
[4] 陳強(qiáng)強(qiáng),佟惠軍,王海濤.基于Matlab7.0的電視導(dǎo)引頭圖像分割處理算法[J].四川兵工學(xué)報(bào),2015,36(8):133-135.
[5] 黃建燈.改進(jìn)自組織特征網(wǎng)絡(luò)的醫(yī)學(xué)圖像分割算法[J].激光雜志,2015(1):53-56.
[6] 朱俊杰,杜小平,范湘濤,等.三種圖像分割算法的對(duì)比及圖像分割方法的改進(jìn)[J].計(jì)算機(jī)應(yīng)用與軟件,2014,31(1):194-196.
[7] 戚曉偉,陳秀宏.改進(jìn)的Otsu方法的雙邊濾波邊緣檢測(cè)算法[J].計(jì)算機(jī)工程與應(yīng)用,2012,48(31):150-155.
[8] RUDIN L I,OSHER S,F(xiàn)ATEMIE.Nonlinear total variation based noise removal algorithms[J].Physica D:Nonlinear Phenomena,1992,60(1):189-191.
[9] 付增良,陳曉軍,叫銘,等.心臟CT圖像分割方法[J].計(jì)算機(jī)工程,2009,35(12):189-191.
[10]張文娟,馮象初.基于非局部總變差的圖像分割活動(dòng)輪廓模型[J].計(jì)算機(jī)應(yīng)用研究,2010,27(6):2373-2376.
[11]安新偉,張曉兵,尹涵春.醫(yī)學(xué)圖像三維重建的研究[J].電子器件,2001,24(3):207-212.
[12]王正山,呂理偉,顧耀林,等.基于改進(jìn)MC算法的三維表面重建[J].微電子學(xué)與計(jì)算機(jī),2005,22(9):3-6.
[13]祁俐娜,羅述謙.基于VTK的醫(yī)學(xué)圖像的三維重建[J].北京生物醫(yī)學(xué)工程,2006,25(1):1-5.
(責(zé)任編輯陳 艷)
Three-Dimensional Reconstruction on CT Heart Im ages
ZHANG Xi-ying,MENG Fan-ping,QIU Zhao-wen
(College of Information and Computer Science,Northeast Forestry University,Harbin 150040,China)
Three-dimensional(3D)reconstruction on medical CT heart images is a demanding but tough area in medical image analysis.The reconstructed 3D model can be very useful to support medical research or clinical decision marking.However,due to the inherent noise existing in CT images,it is hard to obtain satisfactory reconstruction results by using segmentation methods alone.In this paper,we propose to combine the preprocessing and segmentation methods.Specifically,the classical total variation model is first employed to remove noise from images.These noise free images are then segmented via the efficient OTSU thresholding method.Based on the visualization toolkit(VTK),the marching cube and ray casting algorithms are applied to the processed images so as to generate the 3D virtual model.Numerical experimental results validate the effectiveness and performance of the methods on the real medical CT heart images.
medical images;total variation;OTSU thresholding;3D reconstruction;3D visualization
TP391.4
A
1674-8425(2016)12-0102-06
10.3969/j.issn.1674-8425(z).2016.12.016
2016-07-02
黑龍江省留學(xué)歸國(guó)基金資助項(xiàng)目“個(gè)性化web圖像檢索技術(shù)研究”(LC2012C06)
張錫英(1971—),女,副教授,主要從事現(xiàn)代信息技術(shù)及網(wǎng)絡(luò)應(yīng)用、圖像處理研究;孟繁平(1991—),女,碩士研究生,主要從事圖像處理研究,E-mail:289519513@qq.com。
張錫英,孟繁平,邱兆文.基于斷層掃描數(shù)據(jù)的心臟三維重建[J].重慶理工大學(xué)學(xué)報(bào)(自然科學(xué)),2016(12):102-107.
format:ZHANG Xi-ying,MENG Fan-ping,QIU Zhao-wen.Three-Dimensional Reconstruction on CTHeart Images[J].Journal of Chongqing University of Technology(Natural Science),2016(12):102-107.