張毅輝,秦品樂,曾建潮
(中北大學(xué) 大數(shù)據(jù)學(xué)院,山西 太原 030051)
腦白質(zhì)疏松癥(LA)是一種腦白質(zhì)區(qū)域病變疾病,重點體現(xiàn)為認(rèn)知功能的紊亂[1],常發(fā)生在老年人群中,關(guān)于該疾病的病因,當(dāng)前理論研究及臨床實踐中尚未明確.但可以肯定的是,該疾病與年齡、高血壓、高血脂等病理有關(guān)系.臨床方面主要運用核磁共振成像(MRI)來鑒定腦白質(zhì)疏松癥,從MRI圖像上可以看出:LA重點在腦室前后角位置以及半卵圓中間部位大小不同的斑狀上凸顯或者片塊在T2圖像上呈高亮顯示[2].在臨床上,這一病癥可能會導(dǎo)致患者走路不穩(wěn)、認(rèn)知功能喪失,甚至是抑郁.諸多醫(yī)學(xué)探究證實,腦白質(zhì)疏松癥引發(fā)的認(rèn)知功能紊亂不僅和腦部疾病產(chǎn)生的具體部位相關(guān),并且和病變區(qū)域的面積大小相關(guān)[3].目前,醫(yī)生對病變區(qū)域面積大小與部位的判斷大多依賴于臨床經(jīng)驗,這種經(jīng)驗預(yù)估過于主觀,會影響對病發(fā)程度的正確判斷,容易造成誤診.隨著圖像處理技術(shù)的發(fā)展,不論是圖像增強(qiáng)和分割技術(shù)或是變化檢測技術(shù)[4-6],都能幫助醫(yī)生對患者病發(fā)區(qū)域定量定性分析,所以,將圖像處理技術(shù)應(yīng)用于腦白質(zhì)疏松癥MRI圖像的醫(yī)學(xué)輔助診斷已逐漸成為LA臨床診斷研究的一大趨勢.
作為當(dāng)前最重要的圖像處理手段之一,圖像變化檢測技術(shù)一直是圖像處理研究中的重點和熱點,其在醫(yī)學(xué)領(lǐng)域的應(yīng)用上為人體器官及病變組織變化區(qū)域的可視化、量化分析提供了重要的輔助作用.醫(yī)學(xué)影像變化檢測方法可以準(zhǔn)確檢測出患者腦部區(qū)域內(nèi)病灶的生長情況,并通過借助計算機(jī)處理技術(shù),對腦部病變區(qū)域進(jìn)行精準(zhǔn)檢測,然后根據(jù)檢測結(jié)果推斷出LA病情的變化趨勢,對協(xié)助鑒定以及預(yù)防有著至關(guān)重要的作用[7].
醫(yī)學(xué)圖像的變化檢測通常分成三個環(huán)節(jié)[8]:預(yù)處理、生成差異圖與解析差異圖.預(yù)處理步驟重點包含了對圖像的配準(zhǔn),歸一化處理以及去噪等,差異圖生成的目的是為了區(qū)別兩張醫(yī)學(xué)圖像中的變化類與非變化類,同時為后續(xù)的差異圖分析過程提供參考.而差異圖生成之后,則需要做更進(jìn)一步的研究和分析,最后會生成一張二值圖,圖像中的每一個像素值都表示發(fā)生變化或者未發(fā)生變化的兩類狀態(tài).
預(yù)處理是醫(yī)學(xué)影像變化檢測的基礎(chǔ),由于醫(yī)學(xué)圖像自身的特點,會在生成圖像時產(chǎn)生同一性質(zhì)組織在灰度上的差異,因此需要進(jìn)行灰度歸一化操作.灰度歸一化操作不但要保存具有鑒定價值的灰度差別,還要減少甚至去除影像中的灰度不一致,進(jìn)而便于電腦自動做出分析與處理.按照灰度轉(zhuǎn)化的依據(jù)能夠把當(dāng)前最常使用的方法劃分成兩種,即基于灰度直方圖的歸一化和基于圖像內(nèi)容特征的灰度歸一化.
醫(yī)學(xué)影像變化檢測領(lǐng)域的傳統(tǒng)方法有閾值法、差值法、變化向量分析法、局部轉(zhuǎn)向核等機(jī)器學(xué)習(xí)算法.閾值法是最常用的方法之一,它最經(jīng)典的算法是無監(jiān)督最優(yōu)閾值選擇法.該方法通過構(gòu)建數(shù)據(jù)模型對沒有發(fā)生變化或者已經(jīng)發(fā)生變化的數(shù)據(jù)進(jìn)行直方圖擬合,并結(jié)合Bayes最小錯誤率準(zhǔn)則,對直方圖中分布數(shù)據(jù)進(jìn)行驗證,從而獲得最優(yōu)閾值.比較典型的算法有期望最大化EM(Expectation Maximization,)算法[9]和KI(Kittler&Illingworth)算法[10].目前使用最多的閾值算法是GKI(Generalized KI)算法[11],它能夠幫助分析者構(gòu)建出高精度的差異圖.但是其計算結(jié)果精確與否還與概率密度分布有關(guān)聯(lián),如果不能建立良好的模型,則效果會不理想,這也是該算法在實際應(yīng)用中存在的不足.差值法是一種最簡單高效的方法,它通過直接把兩個影像的像素值進(jìn)行相減,從而得出差異圖像.這種圖像處理方法的最大優(yōu)勢是計算快,效率高,不足之處是對配準(zhǔn)的要求較高,對噪聲非常敏感.文獻(xiàn)[12]給出了一類新的差值法變化檢測框架,并將其用于腦內(nèi)多發(fā)性硬化檢測,該方法在傳統(tǒng)差值法的基礎(chǔ)上進(jìn)行了改進(jìn),具體分為三個步驟:第一步利用減法計算,對圖像中的像素進(jìn)行標(biāo)準(zhǔn)化處理;第二步是對周圍區(qū)域的像素標(biāo)準(zhǔn)差相除得出計算結(jié)果;第三步通過標(biāo)準(zhǔn)化處理后的圖像進(jìn)行差值計算.其主要思想是加強(qiáng)圖像的配準(zhǔn)過程,以減少差值配準(zhǔn)的誤差.該方法的不足是圖像偏移或校準(zhǔn)很難保證.文獻(xiàn)[13]中采用了局部轉(zhuǎn)向核(LSK)方法,綜合了像素的局部特征,將參照圖像融合到目標(biāo)圖像中,并以此來評估圖像之間的差異性,從而做到剔除差異提高最終的精確度.LSK的計算機(jī)理就是對兩幅圖像之間臨近區(qū)域內(nèi)像素點與中央像素點位置關(guān)系進(jìn)行推導(dǎo),從而確定標(biāo)準(zhǔn)內(nèi)核的大小.而單模態(tài)的變化檢測辦法較易被核磁共振影像中的偽影現(xiàn)象所干擾.因此,文獻(xiàn)[14]在計算局部轉(zhuǎn)向核時加入了一種多模態(tài)的檢測方式,大大降低了偽影所造成的干擾,得到了良好的檢測結(jié)果.文獻(xiàn)[15]提出了一種基于多模態(tài)的核磁共振影像的變化矢量分析方法,其方法的特點是能夠?qū)⒏飨袼啬B(tài)的灰度值轉(zhuǎn)化為灰度矢量,然后再進(jìn)行相減得到變化矢量(CV),該方法用廣義似然比來評定,根據(jù)GLR數(shù)值和變化向量角度來進(jìn)行像素分類,最后用三維形式表現(xiàn)出來.該方法的不足之處是不同的灰度向量相減可能會得到相同的向量,造成的結(jié)果就是CV不唯一.文獻(xiàn)[16]在鄰域比與NSST的圖像變化檢測算法的基礎(chǔ)上,通過復(fù)雜推導(dǎo)計算后,對NSCT時間復(fù)雜度進(jìn)行了計算和優(yōu)化,通過復(fù)雜推導(dǎo)計算后,能夠得出相對準(zhǔn)確的結(jié)果,該方法在時間與精度上均要好于固有的NSST運算方法,擁有良好的檢測性能.把該方法運用在腦白質(zhì)疏松癥的MRI影像變化檢測上,取得了不錯的效果.
在上述的醫(yī)學(xué)影像變化檢測方法中,如何構(gòu)建一幅性能優(yōu)良的DI(差異圖)是其關(guān)鍵所在,只有高質(zhì)量的DI才能為后續(xù)差異圖的分析環(huán)節(jié)提供良好的基礎(chǔ).DI可分離性的好壞也會直接影響到最終的分類效果.可見,產(chǎn)生好的DI是正確檢測的前提.
傳統(tǒng)的機(jī)器學(xué)習(xí)方法通常都要執(zhí)行繁瑣的特征項目工程.首先需要對數(shù)據(jù)執(zhí)行深度的解析,接著再對其執(zhí)行降維操作.而當(dāng)使用深度神經(jīng)網(wǎng)絡(luò)時,一般僅需建立好深度網(wǎng)絡(luò),接著把數(shù)據(jù)傳輸?shù)骄W(wǎng)格中就能夠達(dá)到良好的效果,這就避免了整個操作中最煩瑣而且最有難度的特性工程環(huán)節(jié),極大地簡化了操作流程.
深度學(xué)習(xí)作為新概念被各界關(guān)注[17],尤其是人工智能技術(shù)突飛猛進(jìn)發(fā)展之后,帶動了數(shù)據(jù)處理、自然語言以及視覺處理技術(shù)的全面提升[18].本文將深度學(xué)習(xí)應(yīng)用于醫(yī)學(xué)圖像變化檢測中,突破了傳統(tǒng)的醫(yī)學(xué)圖像變化檢測的基本框架,在不需要經(jīng)過濾波和差異圖構(gòu)造的基礎(chǔ)上,直接將兩個圖像進(jìn)行聯(lián)合分類.整個過程是通過深度置信網(wǎng)絡(luò)(DBN)來實現(xiàn)的,具體操作如下:① 將圖像1和圖像2預(yù)處理后,進(jìn)行聯(lián)合分類得到粗分類的結(jié)果;② 結(jié)合粗分類的結(jié)果對樣本進(jìn)行合理的篩選并用于深度置信網(wǎng)絡(luò)的訓(xùn)練,構(gòu)造出一個性能良好的分類器;③ 利用這個分類器,對圖像1和圖像2進(jìn)行分類處理,得出變化類與未變化類.這一算法結(jié)構(gòu)簡單明了,不僅簡化了變化檢測流程,同時也節(jié)省了大量計算時間,提高了運算效率,是醫(yī)學(xué)圖像變化檢測的一個新突破.
本文給出問題陳述和算法的基本框架,詳細(xì)描述了所提出的方法,并基于真實的腦部MRI影像實驗檢驗了此方法的可行性.
在醫(yī)學(xué)圖像變化檢測中,任何兩幅原始圖像都存在著復(fù)雜關(guān)系,所以想要從中獲得變化檢測結(jié)果是十分困難的,而深度學(xué)習(xí)可以幫助我們學(xué)習(xí)和表達(dá)這些抽象復(fù)雜的關(guān)系,深度結(jié)構(gòu)涵蓋了多層非線性結(jié)構(gòu),如深度神經(jīng)元絡(luò)中就帶有隱層結(jié)構(gòu),層級越高則概念就越抽象.自動無監(jiān)督的學(xué)習(xí)抽象表示的多層特征使得系統(tǒng)能夠?qū)W習(xí)輸入到輸出的直接映射.關(guān)于變化檢測問題,則可以運用深度學(xué)習(xí)算法,得出兩幅圖像變化類與未變化類,這就省去了濾波和差異圖構(gòu)造的過程,極大地提高了效率.
變化檢測技術(shù)通常運用在醫(yī)療與災(zāi)難風(fēng)險評估,而在這些領(lǐng)域中很少會有先驗知識,所以能夠進(jìn)行無監(jiān)督特征學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)就成為了首選.本文提出的無監(jiān)督深度學(xué)習(xí)變化檢測算法分為以下四個步驟:① 構(gòu)建深度神經(jīng)網(wǎng)絡(luò); ② 預(yù)分類構(gòu)造合適樣本; ③ 對網(wǎng)絡(luò)進(jìn)行訓(xùn)練; ④ 使用訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行分類以獲得檢測結(jié)果.算法流程如圖 1 所示.
圖 1基于深度學(xué)習(xí)的變化檢測算法Fig.1 Change detection algorithm based on deep learning
2.1.1 RBM能量模型
對深度神經(jīng)網(wǎng)絡(luò)分類器的訓(xùn)練,是本文研究的重點內(nèi)容之一,訓(xùn)練過程就是對隱層中非線性網(wǎng)絡(luò)進(jìn)行優(yōu)化處理,實現(xiàn)權(quán)值和偏重合理優(yōu)化.若是對權(quán)重數(shù)值隨機(jī)初始化,在復(fù)雜的BP網(wǎng)絡(luò)中無法找到滿意的解.對于接近且滿意度高的解,其初始化權(quán)重能夠確保梯度下降有序進(jìn)行,要想獲取這樣一個權(quán)重數(shù)值,就需要針對每一層進(jìn)行計算和推導(dǎo),而限制性波爾茲曼機(jī)(RBM)能夠?qū)崿F(xiàn)這一計算過程.
RBM能量模型[19]主要是根據(jù)系統(tǒng)能量低穩(wěn)屬性,對神經(jīng)網(wǎng)絡(luò)權(quán)重參數(shù)進(jìn)行初始化處理,通過該模型能夠獲取較合理的權(quán)重、偏移量.其能量模型如圖 2 所示.
圖 2RBM的能量模型Fig.2 Energy model of RBM
圖中,(v1,v2,…,vl)表示可見單元為L個,(h1,h2,…,hm)表示隱藏單元為M個,這兩種類型單元是重疊一體的.Wl×m為可見層與隱藏層上權(quán)重矩陣,b=(b1,b2,…,bl)為可見層的偏移量,c=(c1,c2,…,cm)是隱含層的偏移量.可見層與隱含層之間存在于(v,h)相關(guān)的能量函數(shù)[19]
(1)
系統(tǒng)能量與系統(tǒng)穩(wěn)定性呈負(fù)相關(guān)關(guān)系,其能量越低則穩(wěn)定性越好.通過預(yù)訓(xùn)練后能夠讓能量函數(shù)最小化,從而保證了網(wǎng)絡(luò)系統(tǒng)的穩(wěn)定性.
2.1.2 DBN網(wǎng)絡(luò)的訓(xùn)練
DBN網(wǎng)絡(luò)訓(xùn)練是在多個RBM基礎(chǔ)上實現(xiàn)的,本文研究的DBN網(wǎng)絡(luò)結(jié)構(gòu)[20]如圖 3 所示.圖中W1,W2,W3,W4,W5代表每一層上的權(quán)重值,初始值是通過RBM預(yù)訓(xùn)練得出的權(quán)重數(shù)值,網(wǎng)絡(luò)使用交叉熵作為損失函數(shù)并使用反向傳播策略進(jìn)行微調(diào),具體計算公式[19]為
(2)
如圖 4~圖 7 是本文DBN的訓(xùn)練過程:
1) 輸入每個位置的鄰域特征,將兩幅MRI圖像對應(yīng)位置的鄰域矢量化并連接起來,作為神經(jīng)網(wǎng)絡(luò)的輸入.
圖 4鄰域特征Fig.4 Neighborhood feature
2) 輸入每個位置的鄰域特征后,對RBM作預(yù)訓(xùn)練,得到初始化的權(quán)重和偏移量.
3) 將RBM展開成多層神經(jīng)網(wǎng)絡(luò),即為深度置信網(wǎng)絡(luò).
4) 根據(jù)反向傳播算法,實施優(yōu)化和微調(diào).
在完成訓(xùn)練與微調(diào)后,能夠得到深度神經(jīng)網(wǎng)絡(luò),神經(jīng)網(wǎng)絡(luò)的輸入則是每一個位置像素的鄰域特征,網(wǎng)絡(luò)輸出的則是像素類標(biāo),通過輸出一個邏輯單元來表達(dá)變化情況,輸出標(biāo)簽為0表示變化類,輸出標(biāo)簽為1表示未變化類.
圖 5RBM的預(yù)訓(xùn)練Fig.5 RBM pre-training
圖 6深度置信網(wǎng)絡(luò)的展開Fig.6 Expansion of deep belief network
圖 7網(wǎng)絡(luò)的BP微調(diào)Fig.7 BP fine-tuning of the network
構(gòu)建神經(jīng)網(wǎng)絡(luò)后,需要構(gòu)造合適的樣本集用于網(wǎng)絡(luò)的訓(xùn)練,由于醫(yī)學(xué)圖像的特點,要對原始的MRI圖像進(jìn)行歸一化處理,目的是去除成像因素(參數(shù)設(shè)置、不同設(shè)備等)造成的圖像灰度差異.本文對樣本數(shù)據(jù),即每一幅腦白質(zhì)MRI圖像,選取灰度值范圍中10%和90%的值作為最小值和最大值,利用min—max方法將灰度歸一化為0—255.
在對圖像執(zhí)行歸一化操作后,還需要構(gòu)造合適的樣本集來進(jìn)行深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,本文的算法是一種無監(jiān)督的變化檢測方法,所以需要進(jìn)行粗分類來選取合適的標(biāo)簽.由于要同時處理兩幅圖像,這里提出一種基于GKC的聯(lián)合分類算法.GKC(Gustafson-Kessel clustering)算法是一種經(jīng)典的模糊聚類算法,在變化檢測方面有著良好的效果[21].本文聯(lián)合分類的目的是為了進(jìn)行預(yù)分類來選擇合適的標(biāo)簽,該算法以灰度級作為輸入,首先通過GKC聚類得到初步分類結(jié)果(標(biāo)簽),然后再通過計算差異度算子來決定兩個像素點標(biāo)簽的歸屬,具體流程如圖 8 所示.
圖 8聯(lián)合分類Fig.8 Joint classification
2.2.1 差異度的計算
具體計算步驟是:首先對圖像中對應(yīng)位置上像素灰度值差異度進(jìn)行計算,選定位置(i,j).
(3)
當(dāng)Sij>T時, 可以利用GKC聚類計算方法確定灰度值最終標(biāo)簽,或者使用方差最小原則,對分類參考點實施分類.
2.2.2 方差的計算
在t時間圖像中的位置(i,j)處的方差計算公式為
(4)
其中
(5)
(6)
(7)
根據(jù)式(1)和式(5),可以得到
(8)
(9)
腦白質(zhì)疏松癥在圖像學(xué)上有著鮮明的特點,它的病變區(qū)域在T2加權(quán)影像上LA病變區(qū)域呈現(xiàn)斑塊狀或片狀的高亮信號,根據(jù)這一特點,本文實驗將使用核磁共振圖像的T2加權(quán)影像,圖片的數(shù)據(jù)集來自由山西省腫瘤醫(yī)院提供的腦白質(zhì)疏松癥患者的腦部MRI影像.本次實驗使用Matlab 8.0,在Pentium IV5.0GHz、內(nèi)存2 GB的計算機(jī)上運行,實驗數(shù)據(jù)集抽樣選取了15位病人的樣本,并從中選擇了兩組樣本作為測試集.每一組樣本集都分為三個部分,其中第一部分是治療之前腦部MRI影像,第二部分是治療后的腦部MRI影像,第三部分是專家和醫(yī)生手工標(biāo)注出的兩幅圖像中發(fā)生變化的部分,即人工的檢測結(jié)果.經(jīng)過對比顯示:圖像中白色(灰度級255)代表變化類內(nèi)容;黑色(灰度級0)表示未發(fā)生變化類內(nèi)容.
圖 9 和圖 10 是兩個測試樣本的變化檢測結(jié)果,通過與文獻(xiàn)[16]算法的比較來驗證本文算法的優(yōu)越性.
圖 9樣本集一腦白質(zhì)MRI變化檢測結(jié)果圖Fig.9 Detection results of chang in white matter MRI for sample 1
圖 10樣本集二腦白質(zhì)MRI變化檢測結(jié)果圖Fig.10 Detection results of chang in white matter MRI for sample 2
圖中兩幅圖像分別為治療前與治療后的腦部MRI圖像,時間間隔為2個月.在對圖像的變化檢測結(jié)果評估時,通常是將變化檢測結(jié)果與真實結(jié)果作比較,而在醫(yī)學(xué)圖像變化檢測的實際應(yīng)用中,真實的結(jié)果一般是很難得到的,所以人們常用人工檢測結(jié)果來與計算機(jī)自動檢測結(jié)果來進(jìn)行比較,以此來評估算法的效果,但此方法具有較強(qiáng)的人為因素.V.Chalana等醫(yī)學(xué)專家提出可以采用多位具有豐富經(jīng)驗的醫(yī)生共同對手工變化檢測得到的結(jié)果來作為金標(biāo)準(zhǔn)同計算機(jī)自動檢測結(jié)果進(jìn)行對比,該方法極大地減小了人為因素的影響,在醫(yī)學(xué)領(lǐng)域得到了廣泛認(rèn)可.本文研究邀請了山西省腫瘤醫(yī)院神經(jīng)內(nèi)科的多位臨床醫(yī)師,將他們利用豐富的臨床經(jīng)驗共同制定的手工變化檢測結(jié)果作為本實驗的檢測結(jié)果評判的金標(biāo)準(zhǔn).根據(jù)圖 9 和圖 10 以及表 1 和表 2 可以看出,本文算法在錯檢率和漏檢率有所降低,KAPPA系數(shù)有所提高,得到的圖像也更接近真實圖像,能夠有效找出腦白質(zhì)病變區(qū)域的變化部分,可以為腦白質(zhì)病變疾病的輔助診斷和治療提供參考.
表 1對圖 9 變化檢測結(jié)果的定量分析
表 2對圖 10 變化檢測結(jié)果的定量分析
本文提出了一種基于深度學(xué)習(xí)的腦白質(zhì)病變區(qū)域MRI圖像變化檢測方法,將基于聯(lián)合分類的特征提取與DBN網(wǎng)絡(luò)相結(jié)合,并將該方法應(yīng)用于實際的腦白質(zhì)MRI圖像上,通過與RNSST算法進(jìn)行對比以及臨床專業(yè)醫(yī)師評定,表明該算法在醫(yī)學(xué)圖像變化檢測方面具有良好的效果,能夠較為準(zhǔn)確地檢測出腦白質(zhì)病變區(qū)域中的變化部分,實現(xiàn)對病變區(qū)域的有效診斷,通過檢測結(jié)果能夠記錄病變區(qū)域的變化和發(fā)展趨勢,從而為臨床治療提供更多參考依據(jù),有著巨大的實用價值和理論價值.但本文算法仍存在不足之處,還需要以下方面進(jìn)行改進(jìn):
1) 實驗結(jié)果很明顯可以看出,采用深度學(xué)習(xí)方法的性能優(yōu)于其他方法,但是由于醫(yī)學(xué)影像變化檢測對標(biāo)注要求較高,數(shù)據(jù)樣本很難獲取,因此,所得出的結(jié)論僅是基于稀缺的樣本數(shù)據(jù)獲得的,大量數(shù)據(jù)樣本的實驗有效性需進(jìn)一步考量.
2) 本文是基于二維的醫(yī)學(xué)影像切片進(jìn)行實驗的,切片提供的信息量很難達(dá)到要求的條件.將二維延伸到三維立體影像可能會得到更加精確的檢測效果以及獲得更多的額外信息.
3) 由于實驗訓(xùn)練數(shù)據(jù)較少,深度學(xué)習(xí)方法極易產(chǎn)生過擬合,因此,變化檢測細(xì)節(jié)部分不敏感,可以結(jié)合傳統(tǒng)的變化檢測方法和深度神經(jīng)網(wǎng)絡(luò)進(jìn)行半監(jiān)督或者弱監(jiān)督的醫(yī)學(xué)圖像變化檢測.