廖劍平蔣雪晴朱偉芳金 超陳新建
1(南寧學院信息工程學院 南寧 530200)
2(蘇州大學電子信息學院 醫(yī)學影像處理與分析實驗室 蘇州 215006)
醫(yī)學影像技術發(fā)展及分割特點
廖劍平1蔣雪晴2朱偉芳2金 超2陳新建2
1(南寧學院信息工程學院 南寧 530200)
2(蘇州大學電子信息學院 醫(yī)學影像處理與分析實驗室 蘇州 215006)
醫(yī)學影像技術發(fā)展到越來越先進成熟,但醫(yī)學圖像分割仍然是個難題。文章著重介紹醫(yī)學影像的發(fā)展歷程和醫(yī)學圖像分割技術的特點:在已有算法中加入新概念或新方法的同時,重視多種分割算法的有效結合。文章最后以主動輪廓模型(Active Shape Mode,ASM)算法、圖割(Graph Cut,GC)算法以及圖割-主動輪廓模型迭代(Iterative Graph-Cut-ASM,IGCASM)算法為例,進一步說明醫(yī)學圖像分割算法的共同特點。
圖像分割;主動輪廓模型;圖割;圖割-主動輪廓模型迭代算法
在古代醫(yī)生只能憑借經(jīng)驗通過望、聞、問、切等給病人診斷,這種定性分析的看病方法常常不能給予準確診斷,也無法直觀清晰地將信息反饋給醫(yī)生和病人,因而常常造成誤診和無效溝通,以至于延誤治療,出現(xiàn)《扁鵲見蔡桓公》等一類著名的歷史悲劇。醫(yī)學影像技術的出現(xiàn)和飛躍發(fā)展,使醫(yī)生和病人可以通過影像清晰地了解病患身體的內(nèi)部情況,從而極大地提高了臨床診斷水平和疾病治療的效率??v觀醫(yī)學影像的發(fā)展歷程,其主要經(jīng)歷了以下幾個階段:
(1)19 世紀至 20 世紀 80 年代,醫(yī)學影像主要以 X-ray 成像(如圖1 所示 X-ray 胸透成像),CT 成像(如圖2 所示 CT 腦部成像),以及簡單的影像處理與分析系統(tǒng)(如圖3 所示圖像處理系統(tǒng))等結構成像為主,這一階段影像的共同特點是可以清晰地看到病人身體器官的病變。
圖1 X-ray 成像Fig.1. X-ray imaging
圖2 CT 成像Fig.2. CT imaging
圖3 圖像處理系統(tǒng)Fig.3. The image processing system
(2)20 世紀 90 年代,隨著科學技術的發(fā)展,醫(yī)學影像有了質(zhì)的飛躍,其成像主要表現(xiàn)為fMRI 功能核磁共振成像(如圖4 所示)[1]、PET正電子斷層成像(如圖5 所示)[1]和 SPECT 單光子發(fā)射斷層成像(如圖6 所示)[2]等功能成像。這一時期的成像促進了醫(yī)學診斷學向功能和形態(tài)相結合的方向發(fā)展。
圖4 fMRI 功能腦部核磁共振成像Fig.4. fMRI functional magnetic resonance imaging of the brain
圖5 PET 正電子斷層成像Fig.5. PET positron emission tomography image
圖6 SPECT 單光電子發(fā)射斷層成像Fig.6. SPECT single photon emission tomography image
(3)進入21世紀,醫(yī)學影像發(fā)展為與分子生物學、化學、物理學、放射醫(yī)學、核醫(yī)學以及計算機科學相結合的分子成像,主要體現(xiàn)為:光學成像、核磁共振成像和核素成像(如圖7 所示)[3],這些成像可以實時地探查細胞和分子水平的變化,將影像學診斷引入分子基因水平。
圖7 分子成像Fig.7. Molecular imaging
由此可見,醫(yī)學影像經(jīng)歷了結構成像、功能成像和分子成像等飛躍發(fā)展,其成像技術越來越先進并趨于成熟,被廣泛應用于臨床醫(yī)學并促進醫(yī)學診斷學的快速發(fā)展。
隨著醫(yī)學影像的發(fā)展及其在臨床醫(yī)學中的成功應用,醫(yī)學影像處理的意義將越來越重大。而圖像分割是醫(yī)學影像處理的關鍵技術之一,其在影像醫(yī)學中發(fā)揮著越來越大的作用[4]。圖像分割,顧名思義指的是將圖像中感興趣區(qū)域提取出來,為后續(xù)的定量、定性分析提供基礎,圖8所示為腎皮質(zhì)圖像的分割。分割后的圖像被廣泛應用于各種場合,如組織的定量分析、疾病診斷、病變組織的定位、解剖結構的學習、治療規(guī)劃、功能成像數(shù)據(jù)的局部體效應校正和計算機指導手術等[5]。
圖8 腎皮質(zhì)圖像分割Fig.8. Renal cortex segmentation
醫(yī)學圖像分割至今仍然沒有獲得圓滿的解決,一個重要的原因是醫(yī)學圖像復雜而多樣。由于醫(yī)學圖像的成像原理和組織本身的特性差異,圖像的形成受到諸如不均勻的組織器官、磁場的作用,常常導致其成像灰度不均勻(如圖9 所示);成像設備局限性而引入的噪聲(如圖10 所示);局部體效應易造成組織邊緣模糊,病變組織致使病變邊緣不明確(如圖11 所示)等等,以至于醫(yī)學圖像與普通圖像相比較,不可避免地出現(xiàn)模糊、不均勻性等特點,從而給醫(yī)學圖像分割帶來了重重困難。因此,我們有必要針對圖像分割方法進行研究。
圖9 灰度不均勻Fig.9. Uneven gray
圖10 噪聲Fig.10. Noise
圖11 邊緣模糊Fig.11. Fuzzy edges
近幾年來,為了解決醫(yī)學圖像的分割問題,很多研究人員做了大量的工作,提出了很多實用的分割算法[5-7]。這些醫(yī)學圖像分割算法常常具有以下幾個共有特點:(1)分割算法面向具體的分割任務,但這些分割任務沒有通用的方法;(2)更加重視多種分割算法的有效結合以彌補單一算法的局限性;(3)需要利用醫(yī)學中大量的領域知識,如人體內(nèi)臟器官結構和相對位置關系等不同對象的灰度分布情況、解剖知識以及不同對象間的空間幾何關系,還有各種成像設備的特點等。下面我們簡單介紹幾種常見算法:主動輪廓模型方法(Active Shape Mode,ASM)、圖割算法(Graph Cut,GC)方法以及兩者有效融合的一種方法,以進一步說明醫(yī)學圖像分割算法的特點。
主動輪廓模型 ASM 方法[8,9,13-15]是一種基于統(tǒng)計模型的特征匹配方法,它以目標物體的輪廓作為訓練樣本構造模型。首先,使用人機交互方式提取目標輪廓的特征點集合,形成訓練集;然后用點分布模型進行描述,構造樣本的統(tǒng)計模型。統(tǒng)計模型建立后,ASM 方法利用局部紋理模型在目標圖像中搜索特征點的最佳位置,同時根據(jù)搜索結果調(diào)整統(tǒng)計模型的參數(shù),使模型與目標物體實際輪廓逐步逼近,從而達到準確定位目標的目的[7]。
3.1 構建樣本全局模型
圖12 標記特征點的腳踝圖像Fig.12. Ankle image with feature points marked
設有 N 張訓練樣本集圖像,給每張圖像標注 k 個特征點,如圖12 為標記了特征點的腳踝圖像。由于每張圖像的獲取可能受到不同角度、距離遠近不一和姿態(tài)變換等外部非形狀因素干擾造成特征點坐標框架不一,出現(xiàn)如圖13 這樣意義不大的散圖,所以有必要對一系列的點分布模型通過適當?shù)钠揭?、旋轉(zhuǎn)和縮放變換等歸一化操作,從而改變數(shù)據(jù)雜亂無章的狀態(tài),減少非形狀因素的影響(如圖14 所示)。從圖14 可以看出,歸一化后的圖像能明顯地體現(xiàn)出腳踝形狀的主輪廓,不同部位的點只在主輪廓相應點的附近“簇擁”分布。常用的歸一化方法為Procrust 方法。
圖13 未歸一化的腳踝樣本輪廓圖Fig.13. The un-aligned ankle contours
圖14 歸一化后的腳踝樣本輪廓圖Fig.14. The aligned ankle contours
歸一化后的形狀向量集記為:
接著通過主成分分析(Principle Component Analysis)處理,獲取 ASM 的全局輪廓模型,具體步驟如下:
(1)計算平均形態(tài)向量:
(2)計算形狀向量協(xié)方差矩陣:
(3)對協(xié)方差矩陣 S 進行特征分解并使其特征值按從大到小排序,即 λjλj+1,λj≠0,j=1, 2,, 2k,選擇前 t 個特征向量 P=(p1, p2,, pt),使得
其中,η 為所選特征占總特征的比例,一般為95%。最終獲取全局形狀模型為:
其中,b 為主分量參數(shù),b=(b1, b2,, bt) ,滿足
3.2 創(chuàng)建局部紋理模型
ASM 方法中另一個重要模型是局部紋理模型,它與每一個特征點一一對應,通過平均紋理和協(xié)方差矩陣兩個參數(shù)來具體刻畫該點的灰度分布情況。該模型的構建過程大致如下:
(1)如圖15 所示,在第 i 幅訓練圖像的第 j個特征點,找到其前后兩個特征點 j—1 和 j+1,并沿著這兩點連線的法線方向,在 j 點的兩側分別找 m 個點,構成 2m+1 長度的向量,這 2m+1的向量包含的像素灰度值即為該點的灰度信息,記為:
求導得到該點的局部紋理特征,記為:
為降低各種非形狀因素的影響,歸一化為:
(2)用類似于公式(2)和(3),求局部紋理特征的平均值和協(xié)方差矩陣,即可作為局部紋理模型。
圖15 法線方向上的灰度信息Fig.15. The gray scale information in the normal direction
3.3 搜索最佳候選點
在搜索某個特征點的最佳候選點時,可在局部紋理模型中,沿法線方向采樣 n 個灰度信息(n>m),這樣搜索就轉(zhuǎn)換為尋找采樣灰度向量與模型向量的匹配位置了,其馬氏距離的計算公式為:
圖割 GC 算法[11-15]也稱為最大流最小割算法,其基本原理是將原始圖像 I(x, y)映射為加權圖 G=(V, E)。其中 V 是像素集 P 和源點 s、匯點 t 的集合,即 V=P∪{s, t}。存在兩個子集 VS 和 VT,滿足條件:VS∪VT=V,VS∩VT=φ,且 s∈VS,t∈VT。當像素 p∈VS 時,給其設置標記 fp=1;當 p∈VT 時,fp=0。令
為一個二值向量,則每一個二值向量都可以唯一對應 G 的一個割集 C,圖像分割(如圖16(a)綠色曲線所示)問題就轉(zhuǎn)化為對圖的切割(如圖16(b)黑色曲線所示)問題。
圖16 3×3 二維圖像圖割示例Fig.16. Illustration of 3 × 3-dimensional graph cut
其中,NP是與像素 p 相鄰的像素的集合,參數(shù)λ0。且
基于圖割理論的分割方法是能量最小化圖像分割的一種,它能很好地把握圖像的全局特征,同時利用了圖像的像素灰度信息和區(qū)域邊緣信息,能較好地處理圖像分割的精度問題,如圖17 所示,其中,圖(a)為原始圖像,圖(b)為利用圖割算法獲取的左肺葉分割圖像。
圖17 圖割算法分割圖像示例Fig.17. Examples for graph cut image segmentation
迭代圖割與主動輪廓模型(Iterative Graph-Cut-ASM,IGCASM)算法是一種有效融合圖割和主動輪廓模型的混合分割算法[13],算法對圖割能量函數(shù)進行了改進,除前面兩項外,加上三維輪廓項 Sp(fp),即將公式(11)改為:
接下來,將 GC 和 ASM 相結合,成為IGCASM 算法[13],該算法有效地將 ASM 中的多統(tǒng)計輪廓信息與 GC 方法中的全局最優(yōu)分割相結合。
最后,IGCASM 方法通過兩個數(shù)據(jù)集測試,分別為 20 個病人中獲取的臨床腹部 CT 掃描圖像。分別測試 4 個組織(肝,左右腎和脾)的分割。
實驗分別包括對多對象單切片和三維圖像使用 ASM 模型的分割和混合 IGCASM 模型的分割,實驗分割結果詳見圖18~21。其中,圖20~21 左列為原始圖像,中列為金標準圖像,右列為使用 IGCASM 模型分割的結果。實驗結果表明所提出的自動解剖分割系統(tǒng)是可行的、有效的,且混合 IGCASM 模型比單獨的 ASM 模型具有更強的魯棒性和更高的精度,詳情可見 Chen等[13]的研究成果。
圖18 多對象單切片 ASM 分割結果(腹部器官 CT 圖像)Fig.18. Multi-object segmentation results of ASM on one slice
圖19 多對象三維 ASM 分割結果Fig.19. Three-dimensional multi-object segmentation results of ASM
圖20 多對象單切片 IGCASM 分割結果Fig.20. Multi-object segmentation results of IGCASM on one slice
圖21 多對象三維 IGCASM 分割結果Fig.21. Three-dimensional multi-object segmentation results of IGCASM
醫(yī)學影像經(jīng)歷了結構成像、功能成像和分子成像等發(fā)展歷程,其成像技術越來越先進成熟。盡管如此,由于醫(yī)學影像的復雜多樣性,醫(yī)學圖像的成像原理和組織本身的特性差異,圖像的形成受到諸如磁場偏移效應、噪音、局部體效應、組織蠕動和病變等的影響,醫(yī)學圖像與普通圖像相比,更加模糊、不均勻,致使醫(yī)學影像分割困難重重,至今依然沒有獲得充分的解決。由于沒有通用方法,研究人員只能通過分割算法解決具體分割任務。為了獲得更滿意的分割結果,常常在算法中加入新的概念或新的方法,同時,更加重視多種分割算法的有效結合。文本以 ASM 算法、GC 算法以及在此基礎上進行改進并結合兩種算法得到新的 IGCASM 算法為例,進一步說明現(xiàn)代醫(yī)學圖像分割算法的共同特點。未來醫(yī)學影像處理還將研究更先進的成像技術和更復雜實用的醫(yī)學圖像分割算法。
[1] 老年癡呆癥的診斷 [OL]. http://www.zhichidai. com/chidai/haimo/114_4.shtml.
[2] Malkevitch J. 數(shù)學與大腦 [OL]. http:// www.mysanco.cn/index.php?action=wenku_ item&class=wenku&id=97&bsh_bid=177865508.
[3] University of Pittsburgh. Molecular Imaging Center [OL]. http://www.rad.pitt.edu/?research/molecularimaging.html.
[4] Duncan JS, Ayache N. Medical image analysis: progress over two decades and the challenges ahead [J]. IEEE Transactions on Patter Analysis and Machine Intelligence, 2000, 22(1): 85-106.
[5] Pham DL, Xu CY, Prince JL. A survey of current methods in medical image segmentation [J]. Annual Review of Biomedical Engineering, 2000, 2: 315-338.
[6] Pal NR, Pal SK. A review on image segmentation techniques [J]. Pattern Recognition, 1993, 26(9): 1277-1294.
[7] Zhang YJ. A survey on evaluation methods for image segmentation [J]. Pattern Recognition, 1996, 29(8): 1335-1346.
[8] Cootes TF, Taylor CJ, Cooper DH, et al. Active shape models - their training and application [J]. Comput Vision and Image Understanding, 1995, 61: 38-59.
[9] Cootes TF, Edwards GJ, Taylor CJ. Active appearance models [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23: 681-685.
[10] 王曄, 吳小俊, 王士同, 等. 基于改進主動形狀模型的人臉表情識別 [J]. 計算機工程與應用, 2009, 45(6): 197-200.
[11] Lombaert H, Sun YY, Grady L, et al. A multilevel banded graph cuts method for fast image segmentation [C] // Proceedings of the 10th IEEE International Conference on Computer Vision, 2005: 259-265.
[12] 韓守東, 趙勇, 陶文兵, 等. 基于高斯超像素的快速 Graph Cuts 圖像分割方法 [J]. 自動化學報, 2011, 37(1): 11-20.
[13] Chen XJ, Bagci U. 3D automatic anatomy segmentation based on iterative graph-cut-ASM [J]. Medical Physics, 2011, 38(8): 4610-4622.
[14] Chen XJ, Udupa JK, Ba?ci U, et al. Medical image segmentation by combining graph cut and oriented active appearance models [J]. IEEE Transactions on Image Processing, 2011, 21(4): 2035-2046.
[15] Chen XJ, Udupa JK, Alavi A, et al. GC-ASM: synergistic integration of graph-cut and active shape model strategies for image segmentation [J]. Computer Vision and Image Understanding, 2013, 117(5): 513-524.
Recent Progress of Medical Image Processing and Analysis
LIAO Jianping1JIANG Xueqing2ZHU Weifang2JIN Chao2CHEN Xinjian2
1( College of Information Engineering, Nanning University, Nanning 530200, China )
2( Medical Image Processing, Analysis and Visualization Lab, School of Electronic and Information Engineering, Soochow University, Suzhou 215006, China )
With the development of medical imaging, its processing and analysis techniques becomes more and more advanced and mature. However, the segmentation of medical image is still a great challenge. In this paper, the recent progress of medical imaging and the characteristics of the recent medical image segmentation techniques were discussed: emphasis on the effective integration of multiple segmentation algorithms. Active shape model (ASM), graph cut (GC) and iterative graph-cut active shape model (IGCASM) methods were used as examples to further illustrate the characteristics of medical image segmentation.
image segmentation; active shape models; graph cuts; graph-cut active shape model
R 445
A
2014-06-19
廖建平,講師,研究方向為圖像處理與分析;蔣雪晴,碩士,研究方向為醫(yī)學影像處理與分析;朱偉芳,副教授,研究方向為醫(yī)學影像處理與分析;金超,碩士,研究方向為醫(yī)學影像處理與分析;陳新建(通訊作者),特聘教授,研究方向為醫(yī)學影像處理與分析,E-mail:xjchen@suda.edu.cn。