基于圖像分割的視網(wǎng)膜血管圖像配準(zhǔn)研究

劉志東, 林江莉, 陳 科*

(1. 四川大學(xué) 材料科學(xué)與工程學(xué)院, 四川 成都 610065; 2. 四川城市職業(yè)學(xué)院 汽車與信息工程學(xué)院, 四川 成都 610010)

基于圖像分割的視網(wǎng)膜血管圖像配準(zhǔn)研究

劉志東1,2, 林江莉1, 陳 科1*

(1. 四川大學(xué) 材料科學(xué)與工程學(xué)院, 四川 成都 610065; 2. 四川城市職業(yè)學(xué)院 汽車與信息工程學(xué)院, 四川 成都 610010)

利用不同波長的視網(wǎng)膜圖像可以對視網(wǎng)膜血管血氧飽和度進(jìn)行計(jì)算,但需進(jìn)行配準(zhǔn)處理.提出一種基于視網(wǎng)膜圖像血管分割的互信息圖像配準(zhǔn)方法.為了充分利用血管的輪廓信息和灰度信息,提高配準(zhǔn)精度,首先對配準(zhǔn)圖像進(jìn)行圖像分割,提取視網(wǎng)膜圖像中的血管輪廓信息；然后對分割后圖像中的血管進(jìn)行相似度計(jì)算,并采用Powell優(yōu)化算法中的黃金分割法一維搜索算法來提升運(yùn)算速度；最后根據(jù)計(jì)算的相似度值來完成不同波長圖像的配準(zhǔn).研究中算法配準(zhǔn)獲得變換參數(shù)(角度、X方向、Y方向)的誤差的均值分別為2.00%、2.53%和2.52%,誤差的方差分別為0.57、2.09和0.34,均優(yōu)于直接互信息配準(zhǔn)方法.實(shí)驗(yàn)表明：算法可以自動、有效地對不同波長的視網(wǎng)膜血管圖像進(jìn)行配準(zhǔn),并具有良好的可重復(fù)性和穩(wěn)定性.

視網(wǎng)膜圖像; 圖像分割; 配準(zhǔn); 互信息

人眼的很多疾病,如青光眼、視網(wǎng)膜病變、血管阻塞等,都會引起視網(wǎng)膜血管血氧飽和度值的變化,因此對視網(wǎng)膜血管中血氧飽和度值的無損測量是目前研究的熱點(diǎn)問題.A. Harris等[1]根據(jù)組織對光譜的吸收特性的研究,提出了基于光譜法的無損視網(wǎng)膜血氧測量方法,該方法根據(jù)含氧血紅蛋白和脫氧血紅蛋白對2個(gè)波長的光吸收差異,同時(shí)獲取2個(gè)不同波長的視網(wǎng)膜圖像,但由于2幅圖像是非共光路引入,因此圖像位置會出現(xiàn)偏差,在計(jì)算血氧值之前,必須對2幅圖像進(jìn)行配準(zhǔn).

到目前為止,圖像配準(zhǔn)的方法很多,按照配準(zhǔn)過程基本上可以分為兩類：基于圖像灰度信息和基于圖像特征[2-3].基于圖像特征的配準(zhǔn)方法有一定的不足之處,在特征提取過程中很多情況需要人工干預(yù),同時(shí)圖像特征的提取本身就是一個(gè)比較困難的問題,而且特征提取的精確度也無法保證,會直接影響配準(zhǔn)的效果[4].基于圖像灰度信息的方法主要利用的是圖像中像素的灰度信息,根據(jù)概率密度計(jì)算公式對2幅圖像之間的相似度進(jìn)行計(jì)算,通過優(yōu)化搜索算法獲得配準(zhǔn)圖像間的變換參數(shù).

基于灰度信息配準(zhǔn)的方法,目前主要有聯(lián)合熵法、相關(guān)熵法、最大互信息法、條件熵法等.與基于圖像特征配準(zhǔn)方法相比,基于灰度信息的配準(zhǔn)方法是一種自動的方法,無需人工干預(yù),依賴于圖像本身信息進(jìn)行配準(zhǔn),同時(shí)可以適用于不同模態(tài)圖像的配準(zhǔn)[5-7],避免了主觀因素的影響.如洪明堅(jiān)等[8]結(jié)合圖像二維信息與互信息對圖像進(jìn)行配準(zhǔn)；翟利志等[9]利用鄰域信息與互信息相結(jié)合處理紅外與可見光圖像配準(zhǔn)的問題.越來越多的研究將灰度信息與圖像目標(biāo)結(jié)構(gòu)信息相結(jié)合,充分利用圖像中存在的紋理、形狀、結(jié)構(gòu)等信息,提高配準(zhǔn)的準(zhǔn)確性是目前研究的熱點(diǎn).

本文針對2幅不同波長視網(wǎng)膜圖像進(jìn)行配準(zhǔn),充分利用圖像中血管輪廓信息,采用基于圖像分割的互信息配準(zhǔn)方法進(jìn)行配準(zhǔn)研究.為了充分利用血管的輪廓信息和減少圖像配準(zhǔn)中無關(guān)信息對配準(zhǔn)結(jié)果的影響,首先對配準(zhǔn)圖像進(jìn)行圖像分割,提取視網(wǎng)膜圖像中的血管信息；對分割后圖像中的血管進(jìn)行相似度計(jì)算,并采用Powell優(yōu)化算法中的黃金分割法一維搜索算法來提升運(yùn)算速度；根據(jù)計(jì)算的相似度值來完成不同波長圖像的配準(zhǔn).本文的算法流程如圖1所示.

1 圖像分割

1.1 圖像預(yù)處理 根據(jù)視網(wǎng)膜血管不同組織結(jié)構(gòu)對光譜的吸收特性不同,血管內(nèi)部和血管壁在圖像中呈現(xiàn)不同的灰度級別,尤其在一些大尺寸的血管中,存在中央反射的問題,為血管分割帶來了一定的困難.本文采用數(shù)學(xué)形態(tài)學(xué)中的開運(yùn)算來對血管進(jìn)行填充,將血管內(nèi)部和血管壁的灰度值調(diào)整到一個(gè)級別上去,可以有效去除中央反射問題.同時(shí),開運(yùn)算還會對圖像起到濾波作用,將圖像中存在的一些椒鹽噪聲濾除.視網(wǎng)膜血管在圖像中的像素值低于周圍眼部其他組織,為了在血管分割過程中提高視網(wǎng)膜血管的可見性,將待處理圖像進(jìn)行圖像反轉(zhuǎn)[10].在灰度圖像中像素灰度值為0～255,而所謂反轉(zhuǎn)就是指將原灰度值為g的像素值轉(zhuǎn)變?yōu)?55-g,即原來像素值為0,反轉(zhuǎn)后就變?yōu)?55,原來為255,反轉(zhuǎn)后就變?yōu)?.通過反轉(zhuǎn),可以將視網(wǎng)膜血管的亮度進(jìn)行很大程度的提升,為后續(xù)處理奠定基礎(chǔ).

1.2 血管增強(qiáng) 視網(wǎng)膜圖像中的視盤和其他相關(guān)組織,在血管分割過程中都會對分割結(jié)果產(chǎn)生一定的影響.,為了避免這些影響,本文采用top-hat變換對血管對比度進(jìn)行增強(qiáng)[11].

top-hat變換定義為

(1)

其中,IA為反轉(zhuǎn)后圖像,O(IA,B)為圖像IA數(shù)學(xué)形態(tài)學(xué)開運(yùn)算后結(jié)果,運(yùn)算的結(jié)構(gòu)元素為B,Itop-hat為top-hat變換后圖像.top-hat變換的實(shí)現(xiàn)原理為反轉(zhuǎn)后圖像的血管的灰度值要大于視盤及周邊組織的灰度值.通過選擇一定尺度的結(jié)構(gòu)元素B對圖像進(jìn)行開運(yùn)算,圖像中的血管信息將被周邊組織的信息所覆蓋,得到血管被模糊掉的圖像,保留了非血管圖像信息,再在原圖像的基礎(chǔ)上減去非血管圖像信息,使得圖像血管信息與周邊其組織信息的對比度進(jìn)一步提高,從而增強(qiáng)了血管信息.在變換中,結(jié)構(gòu)元素B的尺寸選擇就很重要,要保證結(jié)構(gòu)元素B在圖像中做開運(yùn)算時(shí),能夠覆蓋直徑最大的血管,這樣才能將圖像中的血管信息全部去除,提高變換效果.通過測量本文研究中采用的圖像血管最大直徑一般在14像素左右,根據(jù)結(jié)構(gòu)元素直徑要大于血管直徑的原則,本文選擇的結(jié)構(gòu)元素直徑為16像素.血管增強(qiáng)效果如圖2(b)所示.

1.3 多窗口檢測 單窗口檢測首先需要定義一個(gè)寬和高都為H像素的檢測窗口,檢測窗口在被檢測圖像上滑動并遍歷整幅圖像,在遍歷過程中通過獲取最有意義檢測線來獲取圖像血管的特征.單窗口檢測的過程如下：

1) 定義檢測窗口,寬和高同為H像素;

(2)

其中,P(i,j)為檢測窗口覆蓋下圖像像素灰度值,NH為檢測窗口覆蓋的像素個(gè)數(shù)總數(shù);

(3)

其中,P(i,j)為檢測窗口檢測線上的像素灰度值;

(4)

為了使血管特征函數(shù)更好地反映出血管特征,檢測窗口的大小選擇就比較重要,檢測窗口的中心處于血管中心線上時(shí),窗口內(nèi)的血管像素和背景像素?cái)?shù)據(jù)近似,因此窗口H一般為血管寬度的2倍,而檢測線長度一般與血管寬度相當(dāng).但是該方法某些情況下效果不好,如血管緊鄰時(shí),容易將二者合并為一條血管.

針對單窗口檢測對相鄰血管處理效果不好等存在的問題,本文采用多窗口檢測的方法,通過改變窗口的寬度,控制檢測線的長度,構(gòu)建多窗口檢測器.特定檢測窗口長度h下的血管特征響應(yīng)函數(shù)[12]為

(5)

其中,H為最大檢測窗口的寬度,h的范圍為1≤h≤H,表示檢測窗口的寬度.不同寬度的檢測窗口在血管特征提取過程中具有不同的作用,長寬度的檢測窗口可以有效的對大尺寸的血管進(jìn)行特征提取,而短寬度的檢測窗口則可以有效的處理緊鄰的血管,避免了單窗口檢測的相鄰血管合并的問題.采用線性組合的方式,對不同寬度窗口檢測的優(yōu)點(diǎn)進(jìn)行合并,獲得多窗口檢測的最終響應(yīng)函數(shù)

(6)

其中,Nh為不同寬度的檢測窗口的數(shù)量.

1.4 后處理 圖2展示了圖像血管分割過程.

通過多窗口檢測操作,將圖像血管特征進(jìn)行提取,這里所謂提取并不是已經(jīng)對圖像中的血管進(jìn)行了分割,而是通過檢測操作,獲取了圖像每一個(gè)像素點(diǎn)屬于血管或背景的可能性,即檢測后的圖像像素值集中在2個(gè)區(qū)域,即圖像的直方圖集中呈現(xiàn)為2個(gè)分明的峰值,有了這個(gè)基礎(chǔ),就可以很容易利用閾值分割方法對圖像進(jìn)行分割處理.但是分割結(jié)果中存在很多的小的分割區(qū)域,這些小的區(qū)域在后續(xù)配準(zhǔn)中存在一定的影響,必須將其去除,如圖2(c)所示.本文根據(jù)血管的連通性,將連通區(qū)域的面積小于100的連通區(qū)域去除,如圖2(d)所示.

2 圖像配準(zhǔn)

在血管分割的基礎(chǔ)上,獲取分割后的血管圖像,利用血管輪廓信息與灰度信息,采用互信息配準(zhǔn)方法對不同波長下的視網(wǎng)膜圖像進(jìn)行配準(zhǔn)[13].互信息用來描述2個(gè)系統(tǒng)間的信息相關(guān)性,用熵進(jìn)行定量的數(shù)學(xué)描述.

圖像A的熵定義為

(7)

圖像B的熵定義為

(8)

圖像A、B的聯(lián)合熵定義為

3）可以通過搜索引擎，在百度、搜狐上搜索一些熟知的英文新聞網(wǎng)站和英文學(xué)習(xí)網(wǎng)站，了解最新國內(nèi)外大事和與四、六級考試相關(guān)的資訊。

(9)

其中,PA(i)、PB(j)分別表示圖像A、B的灰度概率密度分布,PAB(i,j)表示圖像A、B的聯(lián)合灰度概率分布.

圖像A、B的最大互信息為

(10)

根據(jù)統(tǒng)計(jì)學(xué)分析,如果圖像A和圖像B是完全獨(dú)立的,則

(11)

同時(shí)I(A,B)=0；如果圖像A和圖像B完全依賴,則PAB(i,j)=PA(i)=PB(j),即H(A)=H(B)=H(A,B),則I(A,B)最大.對于圖像A和圖像B,當(dāng)二者的空間位置一樣時(shí),2幅圖像間的聯(lián)合概率密度分布最集中.從2幅圖像之間關(guān)聯(lián)性角度分析,則指2幅圖像間的相關(guān)性最大.而從熵的角度來看,即最終計(jì)算出來的2幅圖像之間的聯(lián)合熵的值最小,表明2幅圖像之間的互信息最大,這個(gè)時(shí)候表明2幅圖像已經(jīng)配準(zhǔn)了.

本研究中互信息配準(zhǔn)流程如圖3所示.

圖像配準(zhǔn)目的就是尋找合適的變換參數(shù),所以其過程就是尋找最優(yōu)變換參數(shù)的過程.所謂最優(yōu)變換參數(shù)就是使得2幅圖像之間的互信息最大.但是,互信息最大值的計(jì)算和搜索是比較慢的,目前應(yīng)用于互信息計(jì)算的優(yōu)化算法很多,Powell優(yōu)化算法就是其中一種[14].本文采用Powell優(yōu)化算法中的一維黃金分割搜索算法.一維黃金分割搜索算法的思路就是,先利用黃金分割法確定一個(gè)較小的包含極小點(diǎn)的不確定區(qū)間,然后利用拋物線法獲得一個(gè)極小點(diǎn),若此極小點(diǎn)落在此不確定區(qū)間,則利用該極小點(diǎn)繼續(xù)進(jìn)行二次插值；否則放棄該點(diǎn),改用黃金分割法繼續(xù)搜索,經(jīng)過多次迭代后便可求得互信息的最大值[15-16].

3 實(shí)驗(yàn)結(jié)果

表1中共列舉了5組實(shí)驗(yàn)數(shù)據(jù).將原圖與旋轉(zhuǎn)后的圖像直接采用直接互信息配準(zhǔn)方法和本文中的配準(zhǔn)方法進(jìn)行配準(zhǔn),并計(jì)算每一組的配準(zhǔn)誤差.將配準(zhǔn)誤差進(jìn)行均值和方差計(jì)算,其中采用直接互信息配準(zhǔn)方法的角度、X方向和Y方向參數(shù)誤差的均值分別為9.68%、9.14%和10.40%,誤差的方差分別為2.56、4.30和15.03.采用本文算法的誤差均值分別為2.00%、2.53%和2.52%,誤差的方差分別為0.57、2.09和0.34.通過對比可以看出,本文算法無論準(zhǔn)確性和算法的魯棒性都優(yōu)于直接互信息配準(zhǔn)方法.

表 1 方式-圖像配準(zhǔn)參數(shù)表

數(shù)據(jù)實(shí)際變換參數(shù)角度/(°)XY直接互信息參數(shù)角度/(°)XY本文算法參數(shù)角度/(°)XY直接方法誤差/%角度/(°)XY本文方法誤差/%角度/(°)XY15．0010．0013．004．5811．0314．235．079．8513．288．4010．309．461．401．502．1029．00-12．00-8．009．72-13．43-9．899．11-11．69-8．158．0011．9111．131．202．581．8836．00-14．007．005．38-13．018．165．83-13．786．8910．307．0716．572．831．571．574-7．0011．0013．00-6．329．9811．87-7．1311．5513．369．719．278．691．865．002．775-8．00-12．00-16．00-8．96-11．14-16．99-8．22-11．76-16．4712．007．176．192．752．002．94

第二種方式采用設(shè)備采集的570nm圖像和600nm圖像作為配準(zhǔn)數(shù)據(jù),但是該組數(shù)據(jù)的旋轉(zhuǎn)和平移的變換參數(shù)無法未知,無法采用方式一中的方法進(jìn)行配準(zhǔn)結(jié)果的定量判斷.基于此,本文采用直觀觀察的方式進(jìn)行效果驗(yàn)證,即通過將570nm圖像分割得到的血管輪廓按照配準(zhǔn)獲得的參數(shù)加載到600nm圖像上,如圖5中的輪廓線,該輪廓線就是570nm圖像中分割獲得的血管輪廓,通過加載到600nm圖像中,觀察600nm圖像中的血管輪廓與輪廓線的重合程度,來判斷配準(zhǔn)結(jié)果的準(zhǔn)確性.

如圖5顯示了直接互信息配準(zhǔn)算法與本文算法在配準(zhǔn)后570 nm圖像中的血管輪廓線疊加到600 nm圖像下的疊加效果.

通過圖5中2幅血管輪廓的效果疊加圖來看,圖5(a)和(b)中分別畫出了3組不同的區(qū)域,通過同種顏色框區(qū)域內(nèi)容的對比,可以看出圖5(b)中各個(gè)方框中的輪廓線和血管輪廓線的重合度要優(yōu)于圖5(a)中的各區(qū)域.通過直觀觀察的方式,可以證明本文配準(zhǔn)方法優(yōu)于直接互信息的配準(zhǔn)方法.

本文方法充分考慮到不同波長視網(wǎng)膜圖像背景的復(fù)雜性和灰度分布的不均勻性,充分利用圖像中血管的輪廓信息和灰度信息,采用多窗口檢測的方法對視網(wǎng)膜圖像血管進(jìn)行分割處理,再利用Powell優(yōu)化算法的黃金分割搜索方法完成圖像的配準(zhǔn).通過實(shí)驗(yàn)驗(yàn)證,本文方法相對于直接互信息的配準(zhǔn)方法,可以很好地提高配準(zhǔn)精確度,證明本文方法在不同波長視網(wǎng)膜圖像的配準(zhǔn)方法是可行的.但是本文還存在一定的問題,如配準(zhǔn)過程中,分割的耗時(shí)相對要長一點(diǎn),因此,在后續(xù)的研究中,分割方法的運(yùn)行效率方面是研究的重點(diǎn)之一.

[1] HARRIS A, DINN R B, KAGEMANN L. A review of methods for human retinal oximetry[J]. Ophthalmic Surgery Lasers & Imaging,2003,34(2):152-164.

[2] 李新勝,劉宇. 基于邊緣特征的虛實(shí)圖像精確配準(zhǔn)[J]. 四川大學(xué)學(xué)報(bào)(工程科學(xué)版),2014,46(5):96-103.

[3] 何敬,李永樹,李歆,等. 基于點(diǎn)特征和邊緣特征的無人機(jī)影像配準(zhǔn)方法[J]. 西南交通大學(xué)學(xué)報(bào)(自然科學(xué)版),2012,46(6):955-961.

[4] 王紅玉,馮筠,崔磊,等. 應(yīng)用顯著紋理特征的醫(yī)學(xué)圖像配準(zhǔn)[J]. 光學(xué)精密工程,2015,23(9):2656-2665.

[5] PLUIM J, MAINTZ J, VIERGEVER M A. Image registration by maximization mutual information and gradient information[J]. IEEE Trans on Medical Imaging,2001,19(8):809-819.

[6] DEEPA M, SARAVANAN T. Automatic image registration using 2D-discrete wavelet transform[J]. Indian J Science & Technology,2016,9(5):1-3.

[7] ARAKI T, IKEDA N, DEY N, et al. A comparative approach of four different image registration techniques for quantitative assessment of coronary artery calcium lesions using intravascular ultrasound[J]. Computer Methods & Programs in Biomedicine,2015,118(2):158-172.

[8] 洪明堅(jiān),呂建斌,楊丹,等. 一種新的基于互信息的圖像配準(zhǔn)方法[J]. 重慶大學(xué)學(xué)報(bào)(自然科學(xué)版),2009,32(6):697-700.

[9] 翟利志,王敬東,李鵬. 基于鄰域信息的紅外與可見光圖像互信息配準(zhǔn)[J]. 計(jì)算機(jī)技術(shù)與發(fā)展,2008,18(10):151-154.

[10] 華梓錚,華澤璽. 結(jié)合NSCT高低頻特征的圖像邊緣檢測算法[J]. 四川師范大學(xué)學(xué)報(bào)(自然科學(xué)版),2014,37(4):612-617.

[11] 高向軍. 基于多尺度線性檢測的視網(wǎng)膜血管分割[J]. 科學(xué)技術(shù)與工程,2013,13(23):6820-6824.

[12] NGNYEN U T V, BHUIYAN A, PARK L A F. An effective retinal blood vessel segmentation method using multi-scale line detection[J]. Pattern Recognition,2013,13(3):703-715.

[13] YAMADA M, SIGAL L, RAPTIS M, et al. Cross-domain matching with squared-loss mutual information[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2015,37(9):1764-76.

[14] 潘婷婷,陸麗婷,顧綺芳. QPSO算法和Powell法結(jié)合的多分辨率醫(yī)學(xué)圖像配準(zhǔn)[J]. 計(jì)算機(jī)應(yīng)用與軟件,2014,31(7):237-240.

[15] 喬玉龍,趙源萌,張存林,等. 基于混合Powell法的太赫茲/可見光雙波段圖像配準(zhǔn)[J]. 光學(xué)學(xué)報(bào),2015,35(2):151-157.

[16] SHAMES R , SADEGHI P, KENNEDY R. Parallel computation of mutual information on the GPU with application to real-time registration of 3D medical images[J]. Computer Methods & Programs in Biomedicine,2010,99(2):133-46.

(編輯 李德華)

Registration of Retinal Vessel Blood Image Based on Image Segmentation

LIU Zhidong1,2, LIN Jiangli1, CHEN Ke1

( 1.CollegeofMaterialsScienceandEngineering,SichuanUniversity,Chengdu610065,Sichuan; 2.DepartmentofAutomobileandInformationEngineering,UrbanVocationalCollegeofSichuan,Chengdu610010,Sichuan)

In order to calculate the blood oxygen saturation of retinal images, different wavelength images should be registered. This paper presents an image registration method based on the segmentation of blood vessel image and mutual information. In the study, in order to reduce the impact of the information on the registration result, the registration of image segmentation, extraction of retinal vessels information in the image; calculating the vascular similarity in the segmented image, and using the Powell optimization algorithm 0.618 one-dimensional search algorithm to improve the speed of operation; the different wavelength of the image registration based on the calculated similarity value. In the study, the error average of parameters (angle,Xdirection,Ydirection) calculated from the registration algorithm is 2.00%, 2.53% and 2.52%, and the variance of the error is 0.57, 2.09 and 0.34, were better than the direct mutual information registration method. Experiments show that the algorithm can automatically and effectively register retinal images with different wavelengths, and has good repeatability and stability.

retinal image; image segmentation; registration; mutual information

2017-02-21

國家自然科學(xué)基金(81301286)和四川省科技支撐項(xiàng)目(2014GZ0005)

TP391.4

A

1001-8395(2017)04-0554-07

10.3969/j.issn.1001-8395.2017.04.020

*通信作者簡介：陳 科(1982—),男,博士,主要從事醫(yī)學(xué)圖像處理的研究,E-mail:chenke@scu.edu.cn