基于NSST 和高斯混合模型的醫(yī)學(xué)圖像融合算法

劉帥奇，李會雅，張 濤，胡紹海，孫 偉

(1.河北大學(xué) 電子信息工程學(xué)院，河北 保定071002;2.河北省數(shù)字醫(yī)療工程重點(diǎn)實(shí)驗(yàn)室，河北 保定071002;3.石家莊市中醫(yī)院，河北 石家莊050600;4.北京交通大學(xué) 信息所，北京100044)

圖像融合技術(shù)可以克服單一傳感器圖像的局限性和差異性，獲取更為全面和準(zhǔn)確的場景描述，提高圖像的清晰度和可理解性［1］。醫(yī)學(xué)臨床上需要將不同成像設(shè)備所獲得的圖像信息綜合地呈現(xiàn)在一幅圖像上，即利用圖像融合技術(shù)將不同成像設(shè)備所獲得的圖像進(jìn)行融合，為醫(yī)生的診斷提供更加可靠準(zhǔn)確的病情信息，以便醫(yī)生制定更為科學(xué)和完善的治療方案［2］。

像素級的醫(yī)學(xué)圖像融合算法是目前的研究熱點(diǎn)，學(xué)者們提出了很多醫(yī)學(xué)圖像融合算法。像素級圖像融合算法可以分為兩大類:一類是基于空域的融合算法，例如，文獻(xiàn)［3］和文獻(xiàn)［4］提出的基于主成分分析的融合算法和基于向?qū)V波的融合算法;另一類是基于變換域的融合算法，例如，文獻(xiàn)［5］提出的基于小波變換的醫(yī)學(xué)圖像融合算法，文獻(xiàn)［6］提出的基于輪廓波變換的圖像融合算法，文獻(xiàn)［7］提出的基于非下采樣輪廓波變換的融合算法，文獻(xiàn)［8］提出的基于Ripplet 的圖像融合算法和文獻(xiàn)［9］提出的基于Shearlet 與PCNN 的圖像融合算法等。

雖然變換域融合算法取得了很好的效果，但是在醫(yī)學(xué)圖像融合的過程中這些算法容易引起圖像扭曲和人造紋理。并且，上述的算法很少應(yīng)用到MRI 與PET 或者SPECT 圖像的融合等彩色醫(yī)學(xué)圖像融合中。因此本文針對醫(yī)學(xué)彩色圖像像素級融合進(jìn)行研究，提出一種基于NSST 和高斯混合模型的醫(yī)學(xué)彩色圖像融合算法。

1 基礎(chǔ)理論

1.1 非下采樣剪切波變換

NSST 的離散化包括尺度分解和方向分解兩部分［10－11］。一般通過非下采樣拉普拉斯濾波器進(jìn)行尺度分解，通過剪切濾波器進(jìn)行方向分解。NSST 在進(jìn)行圖像分解和重構(gòu)的過程中不需要下采樣和上采樣環(huán)節(jié)，因此分解得到子帶圖像與源圖像大小相同，這也保證了變換不會產(chǎn)生頻率混疊現(xiàn)象且具有平移不變性。因此，利用NSST 進(jìn)行圖像分解易于分析各子帶之間的對應(yīng)關(guān)系，有效減少配準(zhǔn)誤差的不利影響，提升融合效果。

1.2 HSI 模型

HSI 模型反映了人的視覺系統(tǒng)感知彩色的方式，以色調(diào)H(Hue)、飽和度S(Saturation)和強(qiáng)度I(Intensity)3 種基本特征量來表征顏色。HSI 顏色模型與RGB 顏色模型是彩色圖像的兩種描述方法，它們之間可以通過如式(1)相互轉(zhuǎn)換。

HSI 模型具備強(qiáng)度分量與圖像彩色信息無關(guān)，色調(diào)、飽和度分量與人感受顏色的方式緊密相聯(lián)的兩大特點(diǎn)。與RGB顏色模型相比，HSI 顏色模型更為恰當(dāng)?shù)胤从沉巳祟愐曈X系統(tǒng)對于亮度的敏感度強(qiáng)的特性。因而本文采用HSI 模型進(jìn)行醫(yī)學(xué)彩色圖像融合算法的研究。

1.3 高斯混合模型

醫(yī)學(xué)圖像融合技術(shù)同樣面臨的核心問題之一為如何選取有效的圖像信息作為融合圖像的信息。為了定量地評價圖像的有效性，關(guān)鍵在于如何描述圖像NSST 域系數(shù)的統(tǒng)計特征。高斯混合模型具有更好的統(tǒng)計性質(zhì)，因此本文采用雙成分高斯混合模型進(jìn)行系數(shù)估計，其模型可表示為

其中:w 為分布變量(這里指NSST 系數(shù));α 為混合系數(shù)，每個成分產(chǎn)生一個均值為0，標(biāo)準(zhǔn)差分別為σ1(i，j)和σ2(i，j)的高斯分布，一般假定σ1(i，j)小于σ2(i，j)，模型的這些參數(shù)可通過最大似然估計法獲得。

2 基于NSST 和高斯混合模型的醫(yī)學(xué)圖像融合

2.1 融合步驟

設(shè)經(jīng)過配準(zhǔn)的待融合PET(或SPECT)彩色圖像和MRI圖像分別為P 和M，則本文圖像融合框架如圖2 所示。

圖2 本文算法融合框架

融合步驟為:

1)將PET(或SPECT)彩色圖像P 轉(zhuǎn)換到HSI 顏色空間，分別提取色調(diào)分量圖像PH、飽和度分量圖像PS和強(qiáng)度分量圖像PI。

2)分別對強(qiáng)度I 分量圖像PI和MRI 圖像M 進(jìn)行NSST分解，得到多尺度分解系數(shù)和，其中分別表示強(qiáng)度分量圖像l 尺度k 方向上(i，j)像素處的低頻子帶系數(shù)和高頻子帶系數(shù)和(i，j)分別表示MRI 圖像l 尺度k 方向上(i，j)像素處的低頻子帶系數(shù)和高頻子帶系數(shù)。

3)利用不同的融合規(guī)則融合低頻或高頻子帶系數(shù)，從而獲得融合后的系數(shù)，其中和分別表示融合后的強(qiáng)度分量圖像PIF在l 尺度k方向上的低頻和高頻子帶系數(shù)。

4)利用NSST 逆變換重構(gòu)得到融合后的強(qiáng)度分量圖像PIF。

5)將色調(diào)H 分量圖像PH、飽和度S 分量圖像PS和融合后的強(qiáng)度分量圖像PIF混合得到融合后的HSI 圖像，再將其轉(zhuǎn)換到RGB 顏色空間，即可得到融合后的MRI－PET(或MRISPECT)彩色圖像。

2.2 融合規(guī)則

圖像的融合規(guī)則非常重要，尤其在變換域中高低頻的融合規(guī)則就更為重要。本文對NSST 的高低頻系數(shù)分別采用不同的融合規(guī)則進(jìn)行融合。

1)對于低頻系數(shù)，為避免降低融合圖像的對比度，采用基于區(qū)域系數(shù)SML 加權(quán)的融合規(guī)則。

(1)計算NSST 域低頻系數(shù)在3×3 鄰域的SML 清晰度。

(2)計算系數(shù)權(quán)重。

其中，矩陣I 在點(diǎn)(i，j)處的SML 表示為

其中，ML 表示為

(3)計算融合圖像的低頻系數(shù)。

2)對于高頻系數(shù)的融合主要存在兩個問題:高斯混合模型中的參數(shù)估計和高頻系數(shù)的選擇。首先通過EM 算法［12－13］來估計高斯混合模型中的參數(shù)，然后再利用估計出的參數(shù)選擇高頻子帶系數(shù)。EM 算法是個迭代算法，主要通過期望步和極大化步兩步完成，然后一直迭代直到收斂為止。參數(shù)估計如式(7)～(9)所示。

其中，上標(biāo)n 和n+1 表示迭代指標(biāo)，Ω(i，j)表示以w(i，j)為中心的5×5 的正方形窗口，|Ω(i，j)|表示該窗口中元素的數(shù)量，且

上述迭代過程應(yīng)滿足的收斂條件如式(12)所示。

其中，τ 為用戶自定義的收斂閾值，在本文中τ=10－4。

由于清晰圖像的邊緣信息豐富，故清晰圖像高頻系數(shù)的邊緣分布較寬，因此選擇邊緣分布較寬的NSST 域高頻系數(shù)作為融合圖像的高頻系數(shù)。通過高斯混合模型估計出各個像素點(diǎn)的標(biāo)準(zhǔn)差，對高頻系數(shù)進(jìn)行融合如式(13)所示。

3 實(shí)驗(yàn)結(jié)果對比與分析

為了驗(yàn)證該算法在醫(yī)學(xué)彩色圖像融合中的有效性與可靠性，本文選取2 組醫(yī)學(xué)彩色圖像進(jìn)行融合仿真實(shí)驗(yàn)，并與基于平移不變的小波和PCNN(SIDWT－PCNN)［14］、基于CT 和PCNN(CT－PCNN)［15］、基于尖銳頻率局部化Contourlet 變換和改進(jìn)拉普拉斯能量和(SFLCT－SML)［16］、基于NSCT 和SF 激勵的PCNN(NSCT－SFPCNN)［17］以及基于Shearlet 和改進(jìn)PCNN(ST－PCNN)［18］的方法進(jìn)行對比試驗(yàn)。其中，2 組圖像均來自哈佛大學(xué)的腦圖像集(http://www.med.harvard.edu/AANLIB/home.html);第一組圖像為彩色PET 圖像與其對應(yīng)的MRI 圖像，第二組圖像為彩色SPECT 圖像與其對應(yīng)的MRI圖像;本文的NSST 分解參數(shù)均為2，3，3，4，算法參數(shù)與參考文獻(xiàn)中的相同。

由于對比實(shí)驗(yàn)都是基于灰度圖像融合的方法，故對比實(shí)驗(yàn)均與HSI 模型結(jié)合以進(jìn)行彩色圖像融合。2 組待融合的醫(yī)學(xué)彩色圖像以及彩色圖像所對應(yīng)的強(qiáng)度分量圖像如圖3 所示(彩圖，見121 頁)。

PET 醫(yī)學(xué)圖像與MRI 圖像采用不同的融合方法得到的融合后的彩色圖像如圖4 所示(彩圖，見121 頁)。

仔細(xì)觀察圖4 可以發(fā)現(xiàn):融合結(jié)果(圖4a、4b)清晰度低;圖4c、4d 過多地引入了MRI 圖像的細(xì)節(jié)紋理，缺乏PET 圖像的顏色信息;圖4e、4f 的視覺效果比較接近，它們都將MRI 圖像的細(xì)節(jié)紋理信息和PET 圖像的顏色信息很好地融合到一起，但圖4f 中比圖4e 更好地保存了顏色信息顯著部分，清晰度高，紋理比較光滑，因此圖4f 優(yōu)于其他5 種方法的融合圖像。

圖5 為SPECT 醫(yī)學(xué)圖像與MRI 圖像采用不同的融合方法得到的融合后的彩色圖像(彩圖，見121 頁)。仔細(xì)觀察圖5 可以發(fā)現(xiàn):融合結(jié)果圖5a、5b、5c 和d 視覺效果相似，都過多地引入了MRI 圖像的細(xì)節(jié)紋理，缺乏SPECT 圖像的顏色信息;而圖5e、5f 的視覺效果比較接近，它們都很好地保存了顏色信息顯著部分，并將其與MRI 圖像的細(xì)節(jié)紋理信息融合在一起，但圖5f 中比圖5e 清晰度高，因此圖5f 優(yōu)于其他5 種方法的融合圖像。

從主觀視覺效果來看，本文算法所得的彩色融合圖像更清晰、顏色信息顯著部分保留更豐富，細(xì)節(jié)紋理信息與顏色信息融合得更好。對融合效果的評價，除了定性分析外，還需要進(jìn)行定量分析。目前常用的客觀評價指標(biāo)有:熵(Entropy，EN)［19］、標(biāo)準(zhǔn)差(Standard deviation，STD)［19］、平均梯度(Average Gradient，AVG)［20］、互 信 息 (Mutual Information，MI)［20］、QAB/F度量［20］、空間頻率(Spatial Frequency，SF)［20］。表1 與表2 給出了上述6 種融合方法客觀評價指標(biāo)的對比結(jié)果。由表1 可見，對于MRI 圖像與PET 圖像而言，本文算法的融合結(jié)果在6 種客觀評價指標(biāo)上都是最優(yōu)的。由表2 可見，對于MRI 圖像與SPECT 圖像而言，本文算法的融合結(jié)果在6 種客觀評價指標(biāo)上都是最優(yōu)的。

表1 PET 與MRI 圖像不同融合方法客觀評價指標(biāo)對比

表2 SPECT 與MRI 圖像不同融合方法客觀評價指標(biāo)對比

上述主客觀評價結(jié)果都表明，本文提出的醫(yī)學(xué)彩色圖像融合方法能夠很好地將MRI 的細(xì)節(jié)紋理信息與PET(或SPECT)圖像中的顏色信息融合到一起，用顏色差別來描述紋理，更加清晰直觀，便于醫(yī)生對病情做出正確診斷。因此綜合來看，本文所提的醫(yī)學(xué)彩色融合算法是一種效果良好的彩色圖像融合算法。

4 結(jié)論

本文根據(jù)醫(yī)學(xué)圖像的成像特點(diǎn)結(jié)合HSI 顏色模型和高斯混合模型，提出了基于NSST 和高斯混合模型的醫(yī)學(xué)彩色圖像融合算法，該算法采用基于區(qū)域系數(shù)SML 加權(quán)的低頻融合規(guī)則和高斯混合模型估計參數(shù)值取大的高頻融合規(guī)則。通過與基于SIDWT、基于CT、基于SFLCT、基于NSCT 和基于ST的圖像融合算法的對比實(shí)驗(yàn)，驗(yàn)證了算法的有效性與可靠性。本文算法的圖像融合效果較好，但其運(yùn)算時間不是最優(yōu)的。因此加快程序運(yùn)行速度，使融合算法滿足實(shí)時性的要求，是接下來的研究方向之一。

［1］TAMILSELVAN K S，MURUGESAN G.Survey and analysis of various image fusion techniques for clinical CT and MRI images［J］.International Journal of Imaging Systems and Technology，2014，24(2):193－202.

［2］WANG L，LI B，TIAN L F. Multi－modal medical image fusion using the inter－scale and intra－scale dependencies between image shift－invariant shearlet coefficients［J］. Information Fusion，2014，19:20－28.

［3］PATIL U，MUDENGUDI U. Image fusion using hierarchical PCA［C］//Proc. 2011 International Conference on image Information Processing(ICIIP). Shimla，India:IEEE Press，2011:1－6.

［4］LI S T，KANG X D，HU J W. Image fusion with guided filtering［J］.IEEE Trans. Image Processing，2013，22(7):2864－2875.

［5］ZHANG X，ZHENG Y，PENG Y，et al. Research on multi－mode medical image fusion algorithm based on wavelet transform and the edge characteristics of images［C］//Proc. 2nd International Congress on Image and Signal Processing.Tianjin，China:IEEE Press，2009:1－4.

［6］LIU S Q，ZHAO J，GENG P，et al.Medical image fusion based on nonsubsampled direction complex wavelet transform［J］. International Journal of Applied Mathematics and Machine Learning，2014，1(1):21－34.

［7］DAS S，KUNDU M K. NSCT－based multimodal medical image fusion using pulse－coupled neural network and modified spatial frequency［J］. Medical and Biological Engineering and Computing，2012，50(10):1105－1114.

［8］DAS S，KUNDU M K. Ripplet based multimodality medical image fusion using pulse－coupled neural network and modified spatial frequency［C］// Proc. 2011 International Conference on Recent Trends in Information Systems (ReTIS). Kolkata:IEEE Press，2011:229－234.

［9］GENG P，WANG Z，ZHANG Z，et al. Image fusion by pulse couple neural network with shearlet［J］.Optical Engineering，2012，51(6):1－7.

［10］LIU S Q，HU S H，XIAO Y，et al.Bayesian shearlet shrinkage for SAR image de－noising via sparse representation［J］. Multidimensional Systems and Signal Processing，2014，25(4):683－701.

［11］LIM W Q. The discrete shearlets transform:A new directional transform and compactly supported shearlets frames［J］. IEEE Trans.Image Proc.，2010，19(5):1166－1180.

［12］岳佳，王士同.高斯混合模型聚類中EM 算法及初始化的研究［J］.微計算機(jī)信息，2006，22(11):244－247.

［13］史鵬飛.基于改進(jìn)EM 算法的混合模型參數(shù)估計及聚類分析［D］.西安:西北大學(xué)，2009:23－38.

［14］LI W，ZHU X F.A new algorithm of multi－modality medical image fusion based on pulse－coupled neural networks［C］//Proc. International Conference on Advances in Natural Computation. Changsha，China:Springer，2005:995－1001.

［15］劉盛鵬，方勇.基于Contourlet 變換和IPCNN 的融合算法及其在可見光與紅外線圖像融合中的應(yīng)用［J］. 紅外與毫米波學(xué)報，2007，26(3):217－221.

［16］屈小波，閆敬文，楊貴德.改進(jìn)拉普拉斯能量和的尖銳頻率局部化Contourlet 域多聚焦圖像融合方法［J］. 光學(xué)精密工程，2009，17(5):1203－1212.

［17］DAS S，KUNDU M K.NSCT－based multimodal medical image fusion using pulse－coupled neural network and modified spatial frequency［J］.Medical and Biological Engineering and Computing，2012，50(10):1105－111.

［18］王朝暉，王佳琪，趙德功，等.基于Shearlet 與改進(jìn)PCNN 的圖像融合［J］.激光與紅外，2012，42(2):213－216.

［19］MIAO Q G，SHI C，XU P F，et al.Multi－focus image fusion algorithm based on Shearlets［J］.Chinese Optics Letters，2011，9(4):1－5.

［20］劉帥奇.基于多尺度幾何變換的遙感圖像處理算法研究［D］.北京:北京交通大學(xué)，2014.