基于NSCT變換和壓縮感知的圖像融合

吳延海，張 燁，馬孟新

(西安科技大學(xué) 通信與信息工程學(xué)院，陜西 西安 710054)

基于NSCT變換和壓縮感知的圖像融合

吳延海，張 燁，馬孟新

(西安科技大學(xué) 通信與信息工程學(xué)院，陜西 西安 710054)

針對(duì)NSCT變換分解得到的各個(gè)方向子帶稀疏度不同的問題，文中提出了1種基于改進(jìn)的CS_NSCT圖像融合方法。首先對(duì)待融合圖像進(jìn)行NSCT分解，接著對(duì)得到的高頻分量采用自適應(yīng)的壓縮感知方法進(jìn)行壓縮，并在壓縮域融合后重構(gòu)；對(duì)低頻分量采用DCT能量準(zhǔn)則融合，最后對(duì)融合后的高低頻分量進(jìn)行NSCT重構(gòu)。仿真實(shí)驗(yàn)結(jié)果表明，文中方法在減少了數(shù)據(jù)量的同時(shí)有效提高了圖像的熵值、標(biāo)準(zhǔn)偏差、平均梯度等指標(biāo)。

圖像融合；壓縮感知；非下采樣contourlet變換；可見光；紅外

0 引 言

圖像融合是通過某種算法將多個(gè)傳感器對(duì)同一目標(biāo)的多幅圖像信息加以綜合與提取，從而合成出比單一傳感器圖像更加精確、全面、詳細(xì)的圖像。隨著科學(xué)技術(shù)的發(fā)展，圖像融合在目標(biāo)識(shí)別、醫(yī)學(xué)圖像處理、遙感圖像處理、計(jì)算機(jī)視覺等領(lǐng)域都有著廣泛應(yīng)用。

多分辨率圖像分析是目前人們經(jīng)常使用的一種圖像分析方法，但起初使用的多分辨率圖像分析方法仍然存在許多缺陷[1]。直到2002年，Do等提出了輪廓波變換(CT)理論[2]，該理論不僅保留了小波變換的多尺度、局部時(shí)頻特性，而且還能以稀疏表達(dá)的形式表達(dá)圖像，在圖像融合領(lǐng)域取得了較好的效果。但由于CT在圖像分析過程中需要上下采樣，使得其變換不具備平移不變性。為了進(jìn)一步彌補(bǔ)CT存在的這一缺陷，基于非下采樣輪廓波變換(NSCT)的融合理論應(yīng)運(yùn)而生。NSCT不僅可以完成圖像的多尺度多方向分解，而且具有平移不變性，減小了圖像出現(xiàn)Gibbs現(xiàn)象的概率[3-4]，可以較好地表達(dá)出圖像細(xì)節(jié)。

Candès，Tao和Donoho等人在2006年提出壓縮感知理論(CS理論)[5]，該理論突破了奈奎斯特采樣定理的瓶頸，使高分辨率信號(hào)的采集成為可能。其核心思想是如果信號(hào)是稀疏的或可壓縮的，對(duì)其采用遠(yuǎn)低于奈奎斯特采樣定理的方式來采集數(shù)據(jù)，運(yùn)用合適的優(yōu)化算法能夠精準(zhǔn)地重建出原始信號(hào)。對(duì)于圖像融合來說，如果可以用少量的測(cè)量值在壓縮域?qū)ζ溥M(jìn)行融合，并對(duì)融合測(cè)量值重構(gòu)，則可大大減少存儲(chǔ)空間的需求。因此，基于壓縮感知的圖像融合越來越受到人們的關(guān)注。

由于壓縮感知算法的運(yùn)算量會(huì)隨圖像尺度增大而成指數(shù)上升，所以利用圖像中的特征對(duì)其進(jìn)行不同程度的壓縮，并在壓縮域進(jìn)行融合。文中對(duì)現(xiàn)有的基于壓縮感知的圖像融合算法進(jìn)行了改進(jìn)，利用壓縮采樣得到的少量觀測(cè)數(shù)據(jù)進(jìn)行融合，能夠?qū)崿F(xiàn)圖像的有效壓縮并取得了良好的融合效果。

1 NSCT理論

2002年Do和Vetterli提出了1種直接產(chǎn)生于離散域的多尺度、多方向的變換-Contourlet變換[6]。其主要特點(diǎn)是具有較高的方向敏感性和非線性逼近性能，能夠有效表示圖像中的輪廓和邊緣信息，并能夠?qū)D像稀疏表達(dá)。Contourlet變換主要由2部分組成[7]：拉普拉斯金字塔分解(LP)和方向?yàn)V波器組(DFB)。Contourlet變換是由LP和DFB結(jié)合形成的雙層濾波器組結(jié)構(gòu)，即進(jìn)行多尺度、多方向分解。其中LP完成多尺度分解，得到多個(gè)尺度的分解圖像；隨后，經(jīng)LP分解得到的各個(gè)尺度高頻通過DFB進(jìn)行頻域方向分割，即多方向分解，帶通方向子帶數(shù)與分解層數(shù)的關(guān)系為N=2i，i為分解層數(shù)。

NSCT的分解示意圖如圖1(a)所示，由非子采樣金字塔(NSP)結(jié)構(gòu)實(shí)現(xiàn)多分辨率分解，由非子采樣方向?yàn)V波器組(NSDFB)實(shí)現(xiàn)多方向分解。圖1(b)為NSCT的頻域分割圖，NSP取消了原來LP分解中的上下采樣，而是在每一層分解之后，對(duì)該層的所有濾波器進(jìn)行上采樣來作為下一層分解的濾波器組，且每層都滿足完全重構(gòu)條件。NSDFB將高頻部分分解為2的任意次冪個(gè)方向子帶，并且各子帶大小與源圖像相同，因此NSCT變換具有平移不變性。

圖1 NSCT變換示意圖Fig.1 NSCT transformation diagram

2 壓縮感知

2.1 CS原理

壓縮感知理論認(rèn)為只要信號(hào)在某變換域內(nèi)具有稀疏性，就可以通過原始信號(hào)在觀測(cè)域上的少量投影，以非線性迭代的方式大概率的恢復(fù)出原始信號(hào)[8]。若一個(gè)一維離散信號(hào)x(n)長(zhǎng)度為N，在N×1的正交基Ψm下可以表示為

(1)

那么根據(jù)式(1)可認(rèn)為a為信號(hào)x的等價(jià)表示。若信號(hào)x在正交基Ψ上僅有K?N個(gè)非零系數(shù)，則稱信號(hào)x為K階稀疏的。則可通過使用一個(gè)M×N測(cè)量矩陣Φ，對(duì)信號(hào)x進(jìn)行線性映射，得到一組隨機(jī)測(cè)量值ym=，其矩陣的形式為

y=Φx,

(2)

代入式(1)，得

y=Φx=ΦΨa=Aa.

(3)

式中A=ΦΨ被稱為感知矩陣。由于y根據(jù)式(3)重構(gòu)出a的過程是個(gè)NP-hard問題[9]，其有無窮多解，所以我們用最小二乘原理，求解欠定方程組，得到稀疏系數(shù)a，從而得到原始信號(hào)x.其中測(cè)量矩陣需滿足限制性等距條件(RIP準(zhǔn)則)。最后采用最小二乘的方法便可求解該欠定方程組。實(shí)現(xiàn)該過程的方法目前常用的有凸最優(yōu)算法和貪婪算法[10-11]。

2.2 壓縮感知策略及采樣改進(jìn)方法

2.2.1 壓縮感知策略的稀疏表示

將CS理論運(yùn)用到圖像融合領(lǐng)域的前提是首先要完成圖像的稀疏表達(dá)。因此，選擇適當(dāng)?shù)幕鰿S 在圖像融合過程中的基礎(chǔ)，以確保圖像的稀疏表達(dá)和恢復(fù)精度。文獻(xiàn)[12]針對(duì)紅外圖像與可見光圖像，提出1種基于傅里葉稀疏基的星形采樣模式的加權(quán)平均壓縮感知域圖像融合算法，文獻(xiàn)[13]提出了1種傅里葉基的星型采樣模式的壓縮傳感域圖像融合算法，這些算法目前主要是基于DFT作為稀疏基情況下的融合方法，而現(xiàn)實(shí)中大量存在的圖像和視頻信號(hào)則主要采用DCT變換(JPEG)或DWT變換(JPRG2000)進(jìn)行編碼。文中對(duì)圖像的稀疏表示選擇DWT基作為稀疏基。

例如，已知1幅自然圖像其像素值幾乎都是非零的，但是將其變換到小波域時(shí)，大多數(shù)小波系數(shù)的絕對(duì)值都接近于零，并且有限的大系數(shù)能夠表示出原始圖像的絕大部分信息。圖2(a)是大小為256×256 的灰度圖像，其小波系數(shù)如圖2(b)所示(為增強(qiáng)其可視性，系數(shù)的排列是隨機(jī)的)。 圖2(c)是重構(gòu)出的圖像，對(duì)比2幅圖像發(fā)現(xiàn)其差別很小，但卻大大減少了而要保存的信息。

圖2 灰度圖像DWT基稀疏表示Fig.2 DWT sparse representation of gray scale image

2.2.2 自適應(yīng)壓縮感知采樣方法

由上述理論知，圖像的NSCT 變換是將1幅圖像變換為K個(gè)方向子帶像和1個(gè)低通子帶，而融合過程中，由于所涉及的帶通子帶系數(shù)過多，傳統(tǒng)的帶通子帶融合算法多數(shù)存在計(jì)算量過大、運(yùn)算速度過慢以及融合效果不佳等問題。因此，針對(duì)NSCT分解后系數(shù)的特點(diǎn)，文中提出改進(jìn)的CS_NSCT圖像融合方法。根據(jù)NSCT分解得到的每部分高頻系數(shù)的稀疏度K，通過計(jì)算每層各個(gè)方向子帶不同的稀疏度，選擇相應(yīng)部分稀疏度大的K，確定測(cè)量值M≥cKlog(N/K)[14]，通過給常數(shù)c(c為1個(gè)非常小的常數(shù)[15])設(shè)定不同的值來改變采樣率，計(jì)算出每部分的M，分別得到相應(yīng)的大小為M×N的測(cè)量矩陣，N為某一方向高頻系數(shù)的數(shù)量，然后對(duì)高頻系數(shù)進(jìn)行線性測(cè)量得到測(cè)量值。

3 基于改進(jìn)的CS_NSCT圖像融合方法

基于改進(jìn)的CS_NSCT圖像融合方法主要步驟如下

1)分別將NSCT變換作用于可見光圖像和紅外圖像。文中NSCT做3層分解，得到1個(gè)低頻子帶和14個(gè)高頻方向子帶；

2)對(duì)NSCT低頻進(jìn)行融合，由于可見光圖像和紅外圖像對(duì)場(chǎng)景中不同物體的表達(dá)能力不同。紅外圖像在熱目標(biāo)等處有較高的高頻，可見光圖像在背景等處有較高的高頻，所以融合時(shí)需要在圖像熱目標(biāo)處采用紅外圖像系數(shù)，而在背景方面偏重可見光圖像系數(shù)(因?yàn)榧t外圖像在背景處成像效果差)。針對(duì)這一要求，文中對(duì)NSCT低頻采用分塊DCT高頻能量準(zhǔn)則。該準(zhǔn)則利用DCT變換系數(shù)矩陣中低頻系數(shù)集中在左上角，而中高頻系數(shù)向右下角分散的特點(diǎn)，根據(jù)對(duì)比每一分塊的高頻能量選擇融合系數(shù)。如果直接計(jì)算DCT分塊的能量，其中高頻能量容易被低頻能量掩蓋，而分塊中副對(duì)角線右側(cè)系數(shù)基本反映了源圖像塊的高頻信息，于是定義DCT變換矩陣高頻能量為

(4)

其中 N為圖像分塊大??；D(u,v)為DCT系數(shù)矩陣中的系數(shù)。在融合過程中，源圖像會(huì)存在一部分灰度均勻的區(qū)域，此時(shí)僅憑DCT系數(shù)的高頻能量進(jìn)行融合處理容易出現(xiàn)誤判，且該區(qū)域通常為圖像背景。故在融合時(shí)，對(duì)于2幅源圖像的DCT高頻能量差值小于閾值T時(shí)，融合時(shí)偏重可見光圖像系數(shù)，即

XF(i,j)=0.9×XA(i,j)+0.1×XB(i,j) (0≤i,j≤N-1),

(5)

其中XF(i,j)為融合后的系數(shù)；XA(i,j)，XB(i,j)為2幅源圖像的像素。對(duì)于差值大于T的情況，當(dāng)可見光圖像能量較大時(shí)，全部取可見光圖像系數(shù)，當(dāng)紅外圖像能量較大時(shí)，權(quán)值偏重紅外圖像

(6)

其中a，b為2種情況下的權(quán)值，文中a=0.9，b=0.3，EA，EB分別為可見光圖像和紅外圖像的DCT分塊系數(shù)矩陣能量。

3)高頻分量采用自適應(yīng)壓縮感知方法觀測(cè)后，在壓縮域采用絕對(duì)值取大準(zhǔn)則進(jìn)行融合。

YK(i,j)為兩源圖像的測(cè)量值;YF(i,j)為融合后圖像的測(cè)量值，那么高頻系數(shù)的測(cè)量值融合后的計(jì)算公式為

YF(i,j)=YM(i,j)with argmaxK=A,B(|YK(i,j)|).

(7)

4)采用正交匹配算法重構(gòu)壓縮融合的高頻圖像；

5)對(duì)重構(gòu)的高頻融合圖像和低頻融合圖像做NSCT逆變換得到最終融合圖像。

4 仿真結(jié)果及分析

為了驗(yàn)證文中算法的有效性，將文中算法與其他算法從客觀和主觀評(píng)價(jià)2個(gè)角度進(jìn)行對(duì)比。

4.1 客觀評(píng)價(jià)參數(shù)

從客觀評(píng)價(jià)角度，文中采用信息熵、標(biāo)準(zhǔn)差和平均梯度等評(píng)價(jià)標(biāo)準(zhǔn)將文中各算法進(jìn)行對(duì)比。以下為常用評(píng)價(jià)標(biāo)準(zhǔn)[16]

4.1.1 信息熵(information entropy)

圖像的信息熵的大小反映了圖像所包含的平均信息量，融合圖像的熵值越大表示該圖像包含的信息越豐富，則融合質(zhì)量越好。圖像的信息熵定義為

(8)

其中Pi為圖像灰度i的分布概率，n為灰度級(jí)總數(shù)。

通過熵的定義先對(duì)待融合的可見光圖和紅外圖進(jìn)行計(jì)算，可得E可見表=7.130 1，E紅外=6.103 9.可見光圖的熵值大于紅外圖的熵值是由于可見光圖像像素灰度分布范圍較大，由圖3的灰度直方圖可以看出。

圖3 待融合圖像的灰度直方圖Fig.3 Gray histogram of the infrared image and visible light image

4.1.2 標(biāo)準(zhǔn)偏差(Standarn Deviation)

圖像標(biāo)準(zhǔn)偏差反映了圖像相對(duì)于平均灰度值的離散情況。標(biāo)準(zhǔn)偏差越大，圖像的灰度級(jí)分布越分散，說明融合效果越好。圖像標(biāo)準(zhǔn)偏差定義為

(9)

4.1.3 平均梯度(AverageGradient)

平均梯度可以反映融合圖像的清晰情況，它反映了圖像中的微小細(xì)節(jié)反差和紋理變化特征。圖像平均梯度定義為

(10)

4.2 仿真實(shí)驗(yàn)結(jié)果及分析

文中以Matlab7.1為工具，選擇均為256×256灰度級(jí)大小的可見光圖像和紅外圖像進(jìn)行仿真實(shí)驗(yàn)和分析。此外，文中將基于NSCT的融合算法和文獻(xiàn)[13]算法以及文中算法運(yùn)用于該組圖像，并對(duì)融合效果從主觀和客觀參數(shù)2方面進(jìn)行了比較分析。

圖像融合仿真實(shí)驗(yàn)效果圖如圖4所示。對(duì)待融合的可見光圖像和紅外圖像分別作3層NSCT分解，圖4(c)是只做NSCT分解后融合的效果圖，圖4(d)是文獻(xiàn)[13]算法融合后的效果圖，圖(e)是文中算法融合后的效果圖。從主觀角度來看，這幾種方法都能夠從紅外圖像中提取到熱源信息，并能將可見光圖像和紅外圖像的特性體現(xiàn)到融合圖像中。但是圖4(c)和圖4(d)對(duì)比原可見光和紅外圖像來說，亮度過高且背景信息表達(dá)不夠明確，而文中算法不論是在亮度上還是在對(duì)背景信息的細(xì)節(jié)描述以及紅外目標(biāo)的體現(xiàn)上都優(yōu)于其他算法，更利于目標(biāo)的識(shí)別和探測(cè)。

圖4 圖像融合仿真實(shí)驗(yàn)效果圖 Fig.4 Result of image fusion simulation experiment

3種算法的客觀參數(shù)比較見表1.由表1可知：首先，文中算法的融合效果在E，Ag，SD這幾方面指標(biāo)中均表現(xiàn)良好。其次，文中算法的E和AG均高于其他算法，尤其是對(duì)細(xì)節(jié)的表達(dá)非常清楚。最后，從數(shù)據(jù)量上看，采樣點(diǎn)數(shù)越小(即M)，測(cè)量矩陣就越小，從而壓縮后數(shù)據(jù)量越少。NSCT算法和文獻(xiàn)[13]對(duì)子帶是相同程度壓縮，而文中算法是根據(jù)稀疏度對(duì)子帶進(jìn)行壓縮，采樣點(diǎn)數(shù)最大169，最小100.將NSCT算法和文獻(xiàn)[13]的采樣點(diǎn)設(shè)為169，經(jīng)過計(jì)算，文中算法高頻子帶壓縮后的數(shù)據(jù)量為523K，NSCT算法和文獻(xiàn)[13]算法的高頻子帶壓縮后的數(shù)據(jù)量為605K，僅壓縮后的數(shù)據(jù)量就減少13.5%.文中算法不僅在高頻融合時(shí)所需數(shù)據(jù)量減少，同時(shí)在融合圖像重構(gòu)時(shí)所需的數(shù)據(jù)量也隨之減少，而且這種優(yōu)勢(shì)會(huì)隨著圖像尺寸以及分解層數(shù)的增多而更加明顯。綜上所述，文中算法在保證融合圖像質(zhì)量的前提下，有效節(jié)省了傳輸、儲(chǔ)存、重構(gòu)的成本。

表1 3種算法圖像融合客觀參數(shù)比較

5 結(jié) 論

文中根據(jù)壓縮感知的特點(diǎn)，將其有效地應(yīng)用到圖像融合領(lǐng)域，對(duì)待融合的紅外圖像和可見光圖像進(jìn)行NSCT分解，并將改進(jìn)的壓縮感知方法用于可壓縮的高頻圖像，從而優(yōu)化了傳統(tǒng)的壓縮感知方法，仿真結(jié)果表明，文中算法不僅減少了數(shù)據(jù)量，同時(shí)有效縮短了處理時(shí)間，并且取得了較好的融合效果。

References

[1] LI Shu-tao，Bin Yang，HU Jian-wen.Performance comparison of different multi-resolution transforms for image fusion[J].Information Fusion，2011，12(2)：11-13.

[2] Do M N，Vetterli M.The contourlet transform：an efficient directional multiresolution image representation [J].Insititute of Electrical and Electronics Engineers Transactions on Image Processing，2005：14(12):2 091-2 106.

[3] YI Chai，LI Hua-feng，LI Zhao-fei.Multifocus image fusion scheme using focused region detection and multiresolution[J].Optics Communications，2011,284(19)：14-16.

[4] Christoph Stiller，F(xiàn)ernando Puente León，Marco Kruse.Information fusion for automotive applications-Anoverview[J].Information Fusion，2011，12(4)：244-252.

[5] Donoho D L.Compressed sensing[J].Insititute of Electrical and Electronics Engineers Transactions on Information Theory，2006，52(4):1 289-1 306.

[6] Lu Y，Do M N.CRISP-Contourlet：A critically sampled directional multiresolution image representation [J].Proceeding of Society of Photo-Optical Instrumentation Engineers,2003，5 207(2):655-665.

[7] 才 溪.多尺度圖像融合理論與方法[M].北京：電子工業(yè)出版社，2014.

CAI Xi.Multiscale image fusion[M].Beijing：Publishing House of Electronics Industry，2014.

[8] 石光明，劉丹華，高大化，等.壓縮感知理論及其研究進(jìn)展[J].電子學(xué)報(bào),2009,37(5):1 070-1 081.

SHI Guang-ming，LIU Dan-hua，GAO Da-hua，et al.Advances in theory and application of compressed sensing[J].Electronic Journal,2009,37(5):1 070-1 081.

[9] Donoho D L.Compressed Sensing [J].Insititute of Electrical and Electronics Engineers Transactions on Information Theory，2006,52(4)：1 289-1 306.

[10] 馬孟新,吳延海,張 昊,等.圖像分塊的貝葉斯壓縮感知算法研究[J].西安科技大學(xué)學(xué)報(bào)，2014，34(5)：625-628.

MA Meng-xin，WU Yan-hai，ZHANG Hao，et al.Compressive sensing of block images based on Bayesian estimation[J].Journal of Xi’an University of Science and Technology，2014，34(5)：625-628.

[11] 閆 迪.基于壓縮感知理論的圖像重構(gòu)與圖像融合算法研究[D].西安：西安科技大學(xué),2013.

YAN Di.Research on image recovery and fusion based on compressed sensing[D].Xi’an：Xi’an University of Science and Technology,2013.

[12] Li X,Qin S Y.Efficient fusion for infrared and visible images based on compressive sensing principle[J].International Esports Tournament Image Process,2011,5(2):141-147.

[13] 邢亞瓊,王曉丹,畢 凱，等.基于非下輪廓波變換和壓縮感知的圖像融合方法[J].控制與決策,2014 ,29(4):585-591.

XING Ya-qiong，WANG Xiao-dan，BI Kai，et al.Fusion technique for images based on non-subsampled contourlet transform and compressive sensing[J].Control and Decision，2014 ,29(4):585-591.

[14] Riehard Baraniuk，Mark Davenport，Ronald DeVore，et al.A simple proof of the restricted Isometry Property for random matrices[J].Constructive Approximation,2008，28(3)，253-263.

[15] Candès E J ，Tao T.Decoding by linear programming[J].Insititute of Electrical and Electronics Engineers Transactions on Information Theory，2005,51(12)：4 203-4 215.

[16] 楚 恒,朱維樂.基于DCT變換的圖像融合方法研究[J].光學(xué)精密工程,2006，14(2):266-273.

CHU Heng，ZHU Wei-le.Image fusion algorithms using discrete cosine transform[J].Optics and Precision Engineering,2006，14(2):266-273.

Image fusion based on NSCT trasformation and compressive sensing

WU Yan-hai，ZHANG Ye，MA Meng-xin

(CollegeofCommunicationandInformationEngineering,Xi’anUniversityofScienceandTechnology,Xi’an710054,China)

Through NSCT transformation，an image will be decomposed into a low-pass sub-band and K-direction sub-bands，but the sparsity is different for each direction.Therefore，this paper proposes an improved CS_NSCT way for fusion of infrared and visible light images.First，making a NSCT decomposition to the infrared image and visible light image，next doing compression to high frequency sub-bands by adaptive compressive sensing，and after that to fuse them.For the low-pass sub-band，it uses block DCT of high frequency energy rule to fuse them.Finally，it gets fusion image by reconstruction of compressive sensing and inverse NSCT transformation for data which has been fused.The simulation shows that it not only improves parameters，such as entropy，and standard deviation，average gradient，but reduces the amount of data effectively.

image fusion；compressive sensing；Non-subsample contourlet transform；infrared images；visible light images

2015-04-20 責(zé)任編輯：高 佳

國家自然科學(xué)基金資助項(xiàng)目(61302133)；陜西省科技廳科技攻關(guān)計(jì)劃項(xiàng)目(2011K09-36 & 2012K06-16)；陜西省教育廳科學(xué)研究計(jì)劃項(xiàng)目(12JK0528)

吳延海(1957-)，男，山東菏澤人，教授，E-mail：wyh7388@163.com

10.13800/j.cnki.xakjdxxb.2015.0413

1672-9315(2015)04-0480-06

TP 391.41

A