局部密度峰聚類(lèi)耦合字典學(xué)習(xí)的圖像融合算法

吳 亮，劉國(guó)英

(1.安陽(yáng)師范學(xué)院 軟件學(xué)院，河南 安陽(yáng) 455000；2.武漢大學(xué) 測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430079)

0 引 言

圖像融合主要是通過(guò)特定的融合技術(shù)，把不同傳感器在相同場(chǎng)景獲得的多個(gè)圖像形成一個(gè)新圖像，以改善圖像視覺(jué)效果[1-3]。如張?chǎng)蔚萚4]提出了一種基于Contourlet變換的圖像融合方法，利用不同的融合準(zhǔn)則對(duì)Contourlet系數(shù)融合，但其缺乏平移不變性，容易產(chǎn)生偽吉布斯現(xiàn)象，形成的融合圖像邊緣光滑性不足。M.Kim等[5]提出了基于k-均值聚類(lèi)耦合PCA方法來(lái)訓(xùn)練多個(gè)局部塊子詞典的多模態(tài)圖像融合，使學(xué)習(xí)字典變得緊湊，信息更加有效。然而，k-均值方法的簇?cái)?shù)需要預(yù)先設(shè)定，很難取得最優(yōu)的融合性能。吳一全等[6]提出了一種基于Shearlet變換和TV模型的醫(yī)學(xué)圖像融合，對(duì)Shearlet變換低頻進(jìn)行區(qū)域方差融合，同時(shí)，對(duì)其高頻子帶，通過(guò)TV進(jìn)行降噪處理，最后通過(guò)改進(jìn)的Laplacian完成融合。

在字典學(xué)習(xí)過(guò)程中，字典中的系數(shù)可以自適應(yīng)地學(xué)習(xí)輸入圖像，而無(wú)需先驗(yàn)知識(shí)。其比現(xiàn)有的方法可以更好實(shí)現(xiàn)降噪、圖像融合和分類(lèi)[7]。目前，基于稀疏表示字典學(xué)習(xí)方法被廣泛應(yīng)用于圖像融合。Liu等[8]提出了一種結(jié)構(gòu)化稀疏編碼方法來(lái)處理異構(gòu)多模態(tài)信息融合，取得了理想的融合質(zhì)量。然而，冗余字典在稀疏表示中會(huì)導(dǎo)致計(jì)算成本增加。因此，一個(gè)高效的字典學(xué)習(xí)在圖像處理中具有重要作用。

為了優(yōu)化稀疏表示的圖像融合方法的性能，本文提出了基于局部密度峰聚類(lèi)耦合字典學(xué)習(xí)的圖像融合算法。通過(guò)信息抽樣、局部密度峰聚類(lèi)，構(gòu)建一個(gè)完整的字典學(xué)習(xí)，對(duì)圖像塊進(jìn)行信息采樣測(cè)量，并只將有用信息的圖像塊被選擇為字典學(xué)習(xí)的對(duì)象?；诰植棵芏确宓木垲?lèi)方法可以在需要設(shè)置聚類(lèi)數(shù)量的前提下，將圖像聚類(lèi)成若干個(gè)簇類(lèi)。通過(guò)利用該字典，可以更好地描述每個(gè)簇類(lèi)的底層結(jié)構(gòu)?；贙-SVD技術(shù)，構(gòu)建字典學(xué)習(xí)機(jī)制，對(duì)每個(gè)圖像塊簇類(lèi)完成訓(xùn)練，輸出每個(gè)簇類(lèi)的稀疏系數(shù)，再利用選擇最大值融合準(zhǔn)則對(duì)稀疏系數(shù)融合，獲取融合圖像。最后，測(cè)試了所提融合算法的融合性能

1 聚類(lèi)算法

聚類(lèi)是通過(guò)樣本間的相似性，將樣本分成不同種族，同一種族中的元素相似度高，不同種族中的元素相似度低[9]?；诿芏鹊木垲?lèi)技術(shù)可較好發(fā)覺(jué)任意形狀，在參數(shù)設(shè)定合適時(shí)能有效發(fā)覺(jué)含噪聲的聚類(lèi)[10]。但是在參數(shù)設(shè)定時(shí)具有一定的難度，無(wú)法使得最優(yōu)的參數(shù)值。近鄰傳播聚類(lèi)方法是對(duì)所有的對(duì)象作為網(wǎng)絡(luò)中的一個(gè)點(diǎn)，利用迭代變換對(duì)數(shù)據(jù)信息聯(lián)絡(luò)，搜索最優(yōu)的代表集[11]。從而使得與最近的對(duì)象的相似度最高。AP具有良好的簇類(lèi)效果，操作簡(jiǎn)單，效率高。其不足之處是對(duì)任意形狀的聚類(lèi)效果不佳。Rodriguez等[12]提出了一種基于密度峰聚類(lèi)(density peaks clustering，DPC)方法。DPC能夠發(fā)覺(jué)不同形狀樣本的密度峰值，同時(shí)對(duì)樣本分配和異常點(diǎn)消除，可用于大量元素的聚類(lèi)計(jì)算。但是DPC具有一些不足之處，主要表現(xiàn)為：沒(méi)有設(shè)定一致的密度衡量標(biāo)準(zhǔn)，其根據(jù)樣本容量使用不同的密度衡量標(biāo)準(zhǔn)。在容量較小時(shí)，截?cái)嗑嚯x對(duì)聚類(lèi)性能影響較大。在對(duì)象分配中，其通過(guò)當(dāng)前對(duì)象與最近對(duì)象密度比較，容易形成連鎖錯(cuò)誤反應(yīng)，從而降低了聚類(lèi)的準(zhǔn)確度。特別是當(dāng)對(duì)象間有重疊時(shí)，聚類(lèi)性能大大降低。DPC的主要過(guò)程如下：

對(duì)于一個(gè)圖像塊i，計(jì)算其局部密度ρi，定義如下

(1)

式中：drij為塊i，j的Euclidean距離。drc為截止距離。如果(drij-drc)<0， 則λ(drij-drc)=0， 反之，則λ(drij-drc)=1。 基本上，ρi等于點(diǎn)drc接近點(diǎn)Xi的數(shù)量。該算法只對(duì)相對(duì)大小不同的圖像塊ρi和強(qiáng)大的drc的集合。對(duì)于塊i，到局部密度大于i的最近快j的距離δi，表示為

(2)

最小距離δi是來(lái)尋找聚類(lèi)中心，δi是通過(guò)計(jì)算圖像塊i和其它高密度塊最小距離。具有最高密度的圖像塊δk和其它圖像塊的距離最大，如式(2)表示。

2 本文圖像融合算法設(shè)計(jì)

為了對(duì)圖像達(dá)到一個(gè)更好的融合效果，對(duì)圖像中的功能信息與解剖信息有效結(jié)合，本文引入一種新的字典學(xué)習(xí)方法。字典學(xué)習(xí)主要包括3部分：①信息采樣；②局部密度峰值聚類(lèi)；③基于K-VSD的字典構(gòu)建。圖1中顯示了提出的字典學(xué)習(xí)的流程，首先，通過(guò)信息采樣選擇圖像的信息區(qū)域。其次，利用提出的局部密度峰的聚類(lèi)算法對(duì)圖像塊聚類(lèi)。最后，根據(jù)K-VSD構(gòu)建了新的字典學(xué)習(xí)方法。每個(gè)部分詳細(xì)描述如下。

圖1 本文圖像融合算法

2.1 信息采樣

對(duì)于多模態(tài)圖像，不同的圖像塊所攜帶的特征具有很大差別，每個(gè)圖像塊所表示的信息有限。因此，在字典學(xué)習(xí)中，利用所有的圖像塊可能會(huì)導(dǎo)致信息冗余，一般不能產(chǎn)生最佳的圖像融合結(jié)果[13]。為選擇有用信息圖像塊，提出了一種信息采樣方法。步驟如下：首先，通過(guò)式(3)構(gòu)建矩陣T，其中包括每個(gè)圖像塊之間的Euclidean距離，表示如下

(3)

設(shè)圖像塊之間的最小距離為Di，定義如下

(4)

式中：Di是由計(jì)算圖像塊Si與其它殘留圖像塊Sk的最小距離。

對(duì)于每個(gè)圖像塊Si，設(shè)置一個(gè)截止閾值τ，定義如下

(5)

如果Di>τ，則Sj=Si，否則Si=0。然后，剔除所有的零圖像塊。因此，通過(guò)提出的信息采樣法，只選擇有用信息的圖像塊，提高了信息的有效表達(dá)，降低了冗余信息。

2.2 局域密度峰聚類(lèi)

對(duì)于不同模態(tài)圖像，圖像塊具有不同的結(jié)構(gòu)。因此，對(duì)于不同的圖像塊，需要將其分為不同的組，并通過(guò)不同的字典進(jìn)行訓(xùn)練[14]。為了將圖像塊按結(jié)構(gòu)相似度劃分為特定的組，本文提出了一種局部密度峰聚類(lèi)(local density peaks based clustering，LDPC)方法。該聚類(lèi)算法的優(yōu)點(diǎn)是圖像塊對(duì)起始點(diǎn)不敏感，聚類(lèi)前不需要知道聚類(lèi)的數(shù)目，能迅速尋找不同形狀元素的密度峰值，并有效對(duì)樣本分配和離群點(diǎn)消除。在DPC算法的基礎(chǔ)上，為了降低截?cái)嗑嚯x對(duì)聚類(lèi)性能的影響，對(duì)于樣本容量小的DPC，利用指數(shù)核[15]測(cè)量密度

(6)

因此，聚類(lèi)中心的δ較大，具有較高的ρ。通過(guò)建立塊距離δ相對(duì)ρ的判斷圖，選取較大的ρ、δ作為聚類(lèi)中心。對(duì)于其它對(duì)象j，通過(guò)與j的密度和距離進(jìn)行判斷。

為了降低噪聲的干擾，在LDPC算法中規(guī)定了聚類(lèi)邊界條件，即通過(guò)屬于該簇類(lèi)但和其它簇類(lèi)距離小于drc組成。設(shè)每個(gè)簇邊界條件中密度最大對(duì)象為ρm，對(duì)于大于ρm的為該簇類(lèi)的核，那么其它對(duì)象為噪聲。

圖2展示基于圖像塊的局部密度峰聚類(lèi)的工作原理。圖2(a)是輸入MRI圖像和圖2(b)為PET圖像。當(dāng)局部密度ρi和距離δi通過(guò)計(jì)算可以構(gòu)造局部密度圖。局部密度圖如圖2(c)所示。在圖2(c)中，垂直軸是局部密度ρi和水平軸的最小距離δi。結(jié)合密度聚類(lèi)和距離的聚類(lèi)，具有較大密度ρi和異常大的最小距離δi的圖像塊被定義為聚類(lèi)中心。較大相對(duì)密度ρi和異常大的最小距離δi標(biāo)記的方塊圖，如圖2(c)右上角。當(dāng)聚類(lèi)中心被選中時(shí)，其余的圖像塊根據(jù)聚類(lèi)中心的距離進(jìn)行分組。

圖2 局部密度峰聚類(lèi)過(guò)程

2.3 基于K-SVD的字典學(xué)習(xí)

在局部密度峰的聚類(lèi)過(guò)程中，圖像塊被分為不同組，為了有效地描述不同組中的圖像塊，通過(guò)K-SVD算法構(gòu)建一個(gè)新的字典學(xué)習(xí)。K-SVD是最受歡迎的統(tǒng)計(jì)學(xué)習(xí)算法，可以最大限度地減少學(xué)習(xí)過(guò)程的重建誤差[16]。通過(guò)2.1部分描述的信息采樣方法得到輸入圖像塊，利用基于K-SVD的子字典訓(xùn)練更加緊湊，但仍然含有圖像的信息成分。此外，由于每個(gè)聚類(lèi)中的圖像塊的結(jié)構(gòu)是相似的，子字典學(xué)習(xí)方案可以得到輸入圖像塊的更準(zhǔn)確的結(jié)構(gòu)描述?；贙-SVD的子字典學(xué)習(xí)表示如下：

就字典學(xué)習(xí)中，設(shè)計(jì)的目標(biāo)函數(shù)滿足以下條件

(7)

式中：Y為信號(hào)；D為字典；X是系數(shù)矩陣。此處中X與Y是列對(duì)應(yīng)的，即字典中通過(guò)Xi完成線性變換，獲得Y。構(gòu)建一個(gè)字典需要通過(guò)稀疏表示和更新來(lái)完成。

對(duì)于稀疏表示，將字典D初始化，再將DX當(dāng)作為D中的列和X中的行相乘。從而，完成DX的分片，表示為

(8)

在字典更新中，通過(guò)K次迭代進(jìn)行更新。通過(guò)剝離K次目錄，式(7)會(huì)導(dǎo)致一個(gè)空洞。因此，需要計(jì)算新的di與xi修復(fù)空洞，使其完成收斂，表示如下

(9)

式中：E為誤差矩陣；將E進(jìn)行SVD分解得到

E=U∧VT

(10)

式中：U,V分別為矢量；∧為對(duì)角矩陣。如果∧中元素按從大到小排布，那么E的能量也是從大到小排布。設(shè)U的開(kāi)始列向量為di，V中開(kāi)始列向量與∧的積為xi，從而進(jìn)行了字典的目錄更新。

X為一個(gè)稀疏矩陣，根據(jù)以上方法獲得的X可能不符合稀疏條件。因此，只需要對(duì)xi的非0列求解。通過(guò)xi的非0元素建立新的矩陣Γ，因此，E與x可分解表示為

(11)

通過(guò)對(duì)E的SVD分解，得到了新字典的目錄。通過(guò)Γ相乘，消除了無(wú)用的向量。

本文提出的圖像融合框架如圖3所示。主要由字典學(xué)習(xí)，稀疏表示和系數(shù)融合部分組成，在稀疏表示中，圖像被劃分為若干個(gè)圖像塊，通過(guò)字典訓(xùn)練進(jìn)行稀疏表示。在系數(shù)融合階段，通過(guò)選擇最大值融合準(zhǔn)則對(duì)稀疏系數(shù)融合，表示如下

(12)

式中：F-1SBk×l表示大小為k×l圖像塊的系數(shù)，通過(guò)最大值融合規(guī)則可較好保留源圖像的細(xì)節(jié)特征。

圖3 字典學(xué)習(xí)結(jié)構(gòu)

3 實(shí)驗(yàn)與分析

為了顯示所提字典學(xué)習(xí)的方法的有效性，利用常見(jiàn)的醫(yī)學(xué)圖像進(jìn)行實(shí)驗(yàn)，并分別與基于Contourlet融合方法[4]、基于k-均值的融合方法[5]，基于Shearlet的融合方法[6]進(jìn)行對(duì)比。實(shí)驗(yàn)環(huán)境為：Intel(R)I3,3.30 GHz，四核CPU，8 GB的RAM，WIN7操作系統(tǒng)，借助MATLAB7.0軟件進(jìn)行仿真分析。

3.1 評(píng)價(jià)指標(biāo)

為了對(duì)提出的融合方法進(jìn)行定量分析，引入了圖像融合中流行的客觀評(píng)價(jià)指標(biāo)：均方根誤差(root mean square error，RMSE)，相關(guān)系數(shù)(correlation coefficient，CC)，平均梯度(average gradient，AG)，邊緣強(qiáng)度(edge strength，ES)。分別表示如下：

均方根誤差(root mean square error，RMSE)衡量融合圖像與參考圖像間的差異[17]。RMSE越小，表示差異值越小，融合圖像質(zhì)量越好，表示為

(13)

CC表示兩圖像相關(guān)關(guān)系的密切程度，CC越逼近1，表示圖像的接近度越好，定義如下[18]

(14)

AG主要反映圖像中細(xì)微特征差異，AG越大，說(shuō)明圖像越清楚，其定義為[19]

(15)

式中： ΔIx(i,j) 與ΔIy(i,j) 分別為圖像x,y上的差分。

ES描述了輸入圖像與融合圖像邊緣信息的相對(duì)量[20]

(16)

式中：QXF(i,j)、QYF(i,j) 分別圖像X,Y的邊緣保持值，wX(i,j)、wY(i,j) 分別為QXF(i,j)、QYF(i,j) 的權(quán)重。ES的值越高，表示融合圖像邊緣質(zhì)量越好。

3.2 實(shí)驗(yàn)結(jié)果

CT圖像對(duì)骨組織成像清楚，但對(duì)病灶表示較模糊。MRI對(duì)軟組織成像清楚，顯示病變部位。PET表示新陳代謝功能，但無(wú)法對(duì)解剖信息表示。單一的圖像無(wú)法準(zhǔn)確提供準(zhǔn)確、完整的信息，通過(guò)將不同圖像融合，進(jìn)行信息互補(bǔ)，提高醫(yī)學(xué)圖像在疾病診斷中的作用。為了驗(yàn)證算法的融合性能，進(jìn)行2組實(shí)驗(yàn)：①CT與MRI融合；②MRI與PET融合。

圖4為CT與MRI融合實(shí)驗(yàn)。圖4(a)、圖4(b)分別是CT、MRI圖像，圖4(c)～圖4(f)分別是基于Contourlet、基于k-均值、基于Shearlet的融合方法與本文算法的融合結(jié)果。依據(jù)圖4(f)中得出，提出的字典學(xué)習(xí)方法得到的CT與MRI融合圖像的細(xì)節(jié)豐富，清晰度良好，很好保留了源CT與MRI中的骨組織與軟組織，融合了CT與MRI中的有效信息。圖4(c)中對(duì)比度降低，部分細(xì)節(jié)特征丟失，并且出現(xiàn)了偽吉布斯現(xiàn)象。圖4(d)中得到的圖像清晰度不足，細(xì)節(jié)區(qū)域表現(xiàn)不佳。圖4(e)中得到的骨組織出現(xiàn)了弱化現(xiàn)象，分別如圖4中方框所示。

圖4 CT與MRI融合實(shí)驗(yàn)結(jié)果

圖5是MRI與PET融合結(jié)果。圖5(a)為MRI圖，圖5(b)為PET圖，圖5(c)～圖5(f)分別為基于Contourlet、基于k-均值、基于Shearlet方法與本文方法的融合結(jié)果。圖5(f)為本文方法得到的融合圖像，從5(f)中可得出，本文算法有效結(jié)合了MRI與PET的有效信息，得到了圖像清晰度良好，較好呈現(xiàn)了解剖細(xì)節(jié)與功能信息。圖5(c)中邊緣連續(xù)性不佳，對(duì)源MRI與PET的表現(xiàn)不足。圖5(d)中產(chǎn)生了邊緣模糊，細(xì)節(jié)保護(hù)不足。圖5(e)中較好保持了MRI與PET中的有效信息，但在一些細(xì)節(jié)區(qū)域表現(xiàn)力還有待加強(qiáng)，不足之處如圖5中方框所示。

為了對(duì)融合算法進(jìn)行定量評(píng)價(jià)，利用當(dāng)前流行的評(píng)價(jià)指標(biāo)RMSE，CC，AG，ES對(duì)CT與MRI和MRI與PET得到的融合圖像定量測(cè)量，結(jié)果見(jiàn)表1與表2。依據(jù)表1與表2中數(shù)據(jù)得出，與基于Contourlet、基于k-均值、基于Shearlet方法比較，本文算法在CT與MRI，MRI與PET融合圖像中的RMSE，CC，AG，ES均具有良好表現(xiàn)，同時(shí)也與圖4、圖5中的實(shí)驗(yàn)結(jié)果相互印證。表明了提出基于字典學(xué)習(xí)的融合算法性能優(yōu)異。能夠有效結(jié)合源圖像有用信息，獲得了細(xì)節(jié)豐富，邊緣清晰，光譜信息良好的融合圖像。

表1 CT與MRI圖像融合實(shí)驗(yàn)結(jié)果對(duì)比

表2 MRI與PET圖像融合實(shí)驗(yàn)結(jié)果對(duì)比

為了進(jìn)一步測(cè)量融合算法的性能，以圖4(a)、圖4(b)中的CT與MRI為對(duì)象，通過(guò)PS加入不同大小高斯噪聲(噪聲大小從0到10，步長(zhǎng)為1)，分別測(cè)量在不同噪聲下的RMSE，CC，AG，ES值，得到的結(jié)果如圖6所示。從圖6可得出，隨著噪聲的增加，RMSE的值逐漸增大，CC，AG，ES的值逐漸降低，說(shuō)明融合性能受到噪聲干擾，曲線下降的越快，算法對(duì)噪聲越敏感。從圖6中得知，基于Contourlet、基于k-均值、基于Shearlet方法受噪聲影響較大，而提出的基于字典學(xué)習(xí)方法的抗噪聲性較強(qiáng)。

圖6 CT與MRI融合抗噪性測(cè)試

從圖4、圖5得到的實(shí)驗(yàn)結(jié)果以及表1、表2的定量測(cè)量數(shù)據(jù)得知，提出的基于局部密度峰聚類(lèi)耦合字典學(xué)習(xí)的圖像融合算法能夠有效完成CT與MRI融合，MRI與PET融合，保留了源圖像的骨組織信息、軟組織細(xì)節(jié)與功能信息，具有更清晰邊緣，符合視覺(jué)效果，能夠?yàn)榧膊≡\斷提供全面、完整的依據(jù)。主要是本文為提高信息的有效表達(dá)，將圖像被劃分為若干個(gè)圖像塊，利用信息采樣法，選擇有用信息的圖像塊，降低冗余信息。并且設(shè)計(jì)了局部密度峰聚類(lèi)方法，對(duì)具有相似結(jié)構(gòu)信息的圖像塊分類(lèi)，得到不同的圖像塊簇類(lèi)。通過(guò)K-SVD構(gòu)建字典學(xué)習(xí)，對(duì)每個(gè)簇類(lèi)訓(xùn)練，得到每個(gè)簇類(lèi)的稀疏表示。為了得到融合圖像，通過(guò)最大值融合準(zhǔn)則融合重構(gòu)。由于本文通過(guò)圖像分塊與字典學(xué)習(xí)，大大降低了信息冗余，從而提高了計(jì)算效率。而基于Contourlet方法無(wú)平移不變性，易導(dǎo)致偽吉布斯，邊緣光滑性不足。

4 結(jié)束語(yǔ)

為了改善圖像的融合質(zhì)量，本文通過(guò)構(gòu)建新的完備字典，提出了一種圖像融合技術(shù)。首先，將輸入圖像被劃分為子塊，引入信息采樣法，從子塊中擇取有用信息的圖像塊；并定義了局部密度峰聚類(lèi)方法，對(duì)具有相似結(jié)構(gòu)信息的圖像塊進(jìn)行分類(lèi)，獲取不同的圖像塊簇類(lèi)；同時(shí)，引入K-SVD技術(shù)，建立字典學(xué)習(xí)機(jī)制，對(duì)子塊簇類(lèi)完成訓(xùn)練，獲取每個(gè)簇類(lèi)的稀疏系數(shù)；引入最大值融合準(zhǔn)則，對(duì)子塊的稀疏系數(shù)進(jìn)行融合，輸出重構(gòu)圖像。測(cè)試數(shù)據(jù)顯示：與當(dāng)前圖像融合技術(shù)相比，本文方法在RMSE，CC，AG，ES的定量評(píng)價(jià)中具有更大的優(yōu)勢(shì)。