基于像素級的圖像融合

趙 娟,孫澎濤,吳粉俠,馮延琴

(1.咸陽師范學(xué)院信息工程學(xué)院,咸陽 712000;2.吉林專用通信局,長春 130021)

0 引言

對于信息融合技術(shù)的研究始于20世紀(jì)70年代的美國國防部,20世紀(jì)80年代后期信息融合技術(shù)逐漸應(yīng)用于遙感圖像的合成中,20世紀(jì)90年代后期,遙感圖像的融合處理便成為圖像融合的研究熱點。圖像融合主要研究如何加工、處理以及協(xié)同利用多源圖像數(shù)據(jù)信息,使得不同形式的信息相互補(bǔ)充,消除信息之間存在的冗余和矛盾。與單源圖像數(shù)據(jù)相比,多源圖像數(shù)據(jù)所提供的信息具有冗余性、互補(bǔ)性及合作性[1—2]。到目前為止,對于圖像融合技術(shù)被廣泛應(yīng)用于可見光圖像處理、江外圖像處理、醫(yī)學(xué)圖像處理等領(lǐng)域。

1 圖像融合

根據(jù)融合處理所處的階段不同,圖像融合通常可以在3個不同層次上進(jìn)行:像素級圖像融合、特征級圖像融合、決策級圖像融合[3]。像素級圖像融合是圖像融合最基礎(chǔ)的層次,它主要處理的是圖像的像素值;特征級圖像融合是中間層次上的融合,其思想主要是對源圖像進(jìn)行特征提取后,對這些特征綜合分析和處理;決策級圖像融合是更高層次上的融合,它主要處理根據(jù)一定準(zhǔn)則以及每一個決策可信度做出最優(yōu)決策的一種融合的方法。圖像融合系統(tǒng)框圖如圖1所示。

圖1 圖像融合系統(tǒng)框圖

簡單的圖像融合的主要思想是對要融合的源圖像不進(jìn)行任何變換,不考慮像素之間的相關(guān)性,直接對源圖像中的各像素分別進(jìn)行選擇、平均或加權(quán)等簡單處理后,得到新的融合的圖像。該方法是一種典型的圖像融合方法,應(yīng)用也十分廣泛。對源圖像進(jìn)行融合處理時要盡量做到[4]:(1)盡可能多地加入圖像互補(bǔ)信息;

(2)應(yīng)盡可能多地包含源圖像中的原有信息,保留源圖像的色彩信息、紋理信息,以便獲得一個既有光譜信息又有空間信息的圖像。

(3)融合圖像時應(yīng)限制引入人為和不相容信息;

(4)所選擇的融合算法對誤差和噪聲具有一定的魯棒性。

1.1 像素灰度值選大法

像素灰度值選大法的主要思想是在融合時,比較源圖像A和源圖像B中對應(yīng)位置處像素灰度值的大小,以其中灰度值大的像素作為融合后圖像在該位置處的像素值。其數(shù)學(xué)表達(dá)式如式(1)為:

1.2 像素灰度值選小法

像素灰度值選小法與像素灰度值選大法的基本思想正好相反,它是在圖像進(jìn)行融合時,比較源圖像A和B中對應(yīng)位置處像素灰度值的大小,以其中灰度值小的像素作為融合后圖像在該位置處的像素值。它的數(shù)學(xué)表達(dá)式如式(2)為:

1.3 加權(quán)平均法

加權(quán)平均法的基本理論是對多幅圖像的對應(yīng)像素值進(jìn)行加權(quán)處理,其數(shù)學(xué)表達(dá)式如式(3)、式(4)、式(5)所示。設(shè)A(m,n)為源圖像A中的一個像素點,B(m,n)為源圖像B中與之對應(yīng)的像素點,則融合圖像F的相應(yīng)像素點值為F(m,n),式中ω1和ω2為加權(quán)系數(shù)。

1.4 客觀評價標(biāo)準(zhǔn)

互信息量(M utual Information)用來評價源圖像與融合圖像之間的相似程度。由于多源圖像的灰度分布具有一定的相似性,互信息由于能夠測度兩幅圖像的灰度統(tǒng)計信息,所以其具有十分廣泛的應(yīng)用[5—7]?；バ畔⒘康闹翟酱?表示融合圖像從源圖像中獲取的信息越豐富,融合效果越好,該度量具有很強(qiáng)的抗干擾性和魯棒性。數(shù)學(xué)模型如式(6)所示:

其中:I(a,f)——指a與 f之間的互信息;

H(a)——代表的是工的信息熵,其計算結(jié)果在[0,1]之間。

2 實驗結(jié)果

本文主要研究的是像素級圖像融合,實驗中用到的圖像有醫(yī)學(xué)圖像和左右聚焦的模糊圖像。

(1)醫(yī)學(xué)圖像融合

圖2和圖3分別給出了源圖像—CT圖像和MR圖像。

圖2 CT圖像

圖3 MRI圖像

圖4為采用不同方法融合后的圖像,表1為3種不同方法的互信息對比。實驗結(jié)果表明,從視覺上觀看,可以看出M axim al pixel方法和Weighted average方法無論從亮度還是細(xì)節(jié)上來說,其效果都較好,其中Minimal pixel方法融合的效果最差。從客觀評價標(biāo)準(zhǔn),可以看出Weighted average方法的效果最好,Maximal pixel方法的效果應(yīng)該是最差的。

圖4 圖像融合結(jié)果

表1 實驗對比

(2)多聚焦模糊圖像

多聚焦圖像融合屬于像素級圖像融合。多聚焦圖像是指對于相同景物,在成像的過程中因各種原因使不同對象呈現(xiàn)出不同的清晰度。如圖5所示,景物中前后有2個目標(biāo),Clock A前面的目標(biāo)清晰,后面的目標(biāo)模糊,而Clock B前面的目標(biāo)模糊,后面的圖像清晰。多聚焦圖像融合的目的就是通過某種融合方法,最終得到一個所有目標(biāo)都清晰的圖像。

圖6 3種不同算法對兩幅圖像融合的結(jié)果,從視覺上觀看,可以看出Minimal pixel融合的效果最好,Maximal pixel與Weighted average方法融合的結(jié)果都有不同程度的模糊。由M I的評價標(biāo)準(zhǔn)可以看出,Minimal pixel方法的效果最好,Weighted average方法的效果應(yīng)該是最差的。實驗對比結(jié)果見表2。

圖6 圖像融合結(jié)果

表2 實驗對比

從以上實驗分析可以看出,不同的融合算法,融合的效果會大大不同,即使是相同的融合算法,對于不同的圖像進(jìn)行融合時,其效果也會不同;其二,視覺效果好的結(jié)果,其客觀評價不一定是最好的。

3 結(jié)語

本文首先介紹了圖像融合的基本概念及發(fā)展?fàn)顩r,基于此進(jìn)行了像素級圖像融合算法的研究,它屬于最基礎(chǔ)層次上的圖像融合。融合時使用了灰度值選大法、灰度值選小法、加權(quán)平均法,并進(jìn)行了實驗仿真。對實驗結(jié)果的分析,不但從視覺感觀上給予了描述,而且用互信息M I值的大小從客觀上給予了評價。

[1]Hui Li,B SManjunath,Sanjit K,etc.Multi-sensor Image Fusion Using the W avelet T ransform[M].IEEE,1994:51-55.

[2]Tao Wan,Nishan Canagarajah,A lin achim.Com pressive Image Fusion[M].ICIP,2008:1308-1311.

[3]潘泉,于聽,程詠梅,等.信息融合理論的基本方法與進(jìn)展[J].自動化黨報.2003,29(4):599-615.

[4]Te-M ing Tu,Shun-Chi Su,Hsuen-Chyun Shyu,etc.A new look at IHS-like image fusionmethods[J].Information Fusion,2001(2):177-186.

[5]Guihong Qu,Dalizhang,Pingfan Yan.In firmationmeasure for performance of image fusion[J].Electronics Letters,2002,38(7):313-315.

[6]G Piella.New qualitymeasures for image fusion[J].Proceedings of The 7th International Conference on Information Fusion,Stockholm,Sweden,2004(5):542-546.

[7]林善明,朱小艷,周建華,等.一種結(jié)合互信息和模板匹配的配準(zhǔn)方法[J].計算機(jī)工程,2010,36(14):198-200.