結(jié)合NSST和LC顯著性的紅外與可見光圖像融合

李偉 陳紅斌

（仲愷農(nóng)業(yè)工程學(xué)院自動(dòng)化學(xué)院 廣東省廣州市 510225）

圖像融合是以圖像為研究對(duì)象的信息融合，它通過特定的算法把多幅源圖像的信息進(jìn)行互補(bǔ)處理成為一幅新圖像，得到信息量更豐富的圖像。紅外與可見光圖像的融合算法是其中一類重要算法。紅外圖像普遍存在對(duì)比度較差和邊緣模糊以及細(xì)節(jié)不夠明顯的問題。相比之下，可見光圖像能夠提供更高的對(duì)比度和豐富的細(xì)節(jié)信息，但其圖像質(zhì)量易受到光照亮度、目標(biāo)遮擋和外部環(huán)境的影響。隨著融合技術(shù)的發(fā)展，研究人員提出一些多尺度幾何分析工具如Wavelet 變換、Curvelet 變換和NSCT 變換等?；贜SCT 的圖像融合方法是近年來研究的焦點(diǎn)，它通過非下采樣的拉普拉斯金字塔分解和非下采樣的方向?yàn)V波器組來實(shí)現(xiàn)，NSCT 所有的分解子帶都和源圖像的大小相同，并具有平移不變性，從而具有較好的多方向性、多尺度性和平移不變性。但是NSCT 計(jì)算復(fù)雜度較高運(yùn)行時(shí)間較長(zhǎng)，并且其分解的方向數(shù)有限。2007年，Easley 等人提出了NSST，它由多尺度分解和方向分解構(gòu)成，NSST 的時(shí)域變換和NSCT 是相類似的， 但NSST 由于在方向分解中采用了剪切濾波器，從而解決了NSCT 的非下采樣方向?yàn)V波器所存在的方向數(shù)的限制問題。此外，其可以根據(jù)時(shí)間復(fù)雜度的需要和融合質(zhì)量的要求決定方向數(shù)的多少。因此，NSST 不僅保留了NSCT 變換原有的優(yōu)點(diǎn)，而且比NSCT 更具有靈活性和有效性。

圖像視覺顯著性檢測(cè)的目的在于結(jié)合圖像的局部及全局特性，檢測(cè)能夠描述場(chǎng)景的圖像重要區(qū)域。利用視覺顯著性檢測(cè)結(jié)果指導(dǎo)的系數(shù)加權(quán)融合，可以充分利用源圖像的特征信息，使融合圖像更大程度地保留源圖像的光譜信息，并能突出源圖像中的目標(biāo)區(qū)域。根據(jù)以上分析，本文提出了利用圖像的視覺顯著性特征來指導(dǎo)NSST 系數(shù)，實(shí)現(xiàn)紅外與可見光圖像融合。算法具體步驟如下：首先，利用基于LC 算法的顯著性檢測(cè)方法對(duì)紅外和可見光圖像進(jìn)行顯著特征提??；再利用NSST 變換分別對(duì)紅外和可見光源圖像進(jìn)行多尺度、多方向分解，得到低頻和高頻方向子帶系數(shù)；然后利用圖像顯著性特征和區(qū)域能量分別指導(dǎo)低頻子帶和各高頻子帶系數(shù)融合；最后，將融合后的低頻以及各高頻系數(shù)進(jìn)行NSST 逆變換，得到最后的融合結(jié)果。以上方法能夠使源圖像的視覺顯著性目標(biāo)在融合圖像中得到保持，融合圖像從而更適合于視覺觀察和進(jìn)一步的圖像處理應(yīng)用。實(shí)驗(yàn)結(jié)果驗(yàn)證了算法的優(yōu)越性。

1 NSST

圖1：LC 顯著圖

圖2：融合圖像

NSST 以Shearlet 變換理論為基礎(chǔ)，它是通過合成小波理論把幾何和多尺度分析結(jié)合起來提出的一種新的多分辨率分析工具。NSST 離散化過程首先采用非下采樣金字塔（nonsubsampled pyramid，NSP）濾波組獲得圖像的多尺度分解，然后采用改進(jìn)的剪切波濾波器組（shearlet filter，SF）獲得圖像的多方向和多尺度分解。圖像經(jīng)過NSP 分解后形成大小相同的低頻子帶和高頻子帶。為捕獲圖像的細(xì)節(jié)信號(hào)，可對(duì)低頻子帶反復(fù)進(jìn)行多級(jí)非下采樣金字塔分解，最終形成大小相同的一個(gè)低頻子帶和多個(gè)高頻子帶。

本文首先對(duì)紅外圖像Ii和可見光圖像Iv分別進(jìn)行NSST 分解，表達(dá)式如下：

分解后得到高頻分量H 和低頻分量L。式中，J 表示分解層數(shù)，j 表示尺度大小，r 代表方向。

2 LC顯著性檢測(cè)

LC 算法由Zhai 等2006年提出，它能夠均勻地突出圖像整體的顯著性區(qū)域，較好地定義顯著目標(biāo)的邊界，并能有效忽略來自紋理、噪聲和塊效應(yīng)的高頻成分。它通過計(jì)算某個(gè)像素在整個(gè)圖像上的全局對(duì)比度，即該像素和圖像中其他的所有像素的某個(gè)距離的總和，這個(gè)距離一般使用歐式距離：

表1：不同融合方法的評(píng)價(jià)結(jié)果

式中，I是是圖像像素集，S是與原圖等尺寸的顯著性圖。圖1中，（a）（b）為紅外和可見光原圖，（c）（d）為其相應(yīng)的顯著度圖。

3 低頻子帶融合規(guī)則

原圖像經(jīng)NSST 分解后，低頻部分占據(jù)著圖像的大部分能量，即紅外圖像與可見光圖像的背景信息。由于可見光圖像中背景區(qū)域較為清晰，而紅外圖像中目標(biāo)部分具有較大的能量和灰度值，為了能夠較好地保存紅外目標(biāo)信息和可見光背景圖像，本文采用了以紅外可見光顯著圖為參考的方法進(jìn)行融合，其融合策略可以表示為：

其中Li(x,y)和Lv(x,y)分別為紅外和可見光圖像低頻子帶系數(shù)，LR(x,y)為融合后的低頻子帶系數(shù)，Si(x,y)和Sv(x,y)為紅外顯著圖和可見顯著圖。

4 高頻子帶融合規(guī)則

高頻方向子帶包含了圖像的細(xì)節(jié)信息，如邊緣、線條以及區(qū)域的邊界等。高頻分量中較大的值對(duì)應(yīng)著亮度急劇變化的點(diǎn)，也就是圖像中的顯著特征，其融合的主要目標(biāo)是盡可能獲取圖像的空間細(xì)節(jié)。區(qū)域能量能夠反映圖像區(qū)域內(nèi)信息量的大小，本文采用了基于區(qū)域能量的規(guī)則進(jìn)行融合，首先計(jì)算高頻子帶內(nèi)以像素點(diǎn)（x,y）為中心的區(qū)域大小為3×3 的能量E(x,y)，定義為：

然后對(duì)高頻系數(shù)進(jìn)行融合，規(guī)則如下：

5 融合結(jié)果

為了驗(yàn)證融合方法的正確性和有效性，本文對(duì)紅外與可見光圖像進(jìn)行融合處理，并將本文方法與均值、最大值、小波變換方法進(jìn)行了比較。本文NSST 分解層數(shù)為5，小波變換低頻系數(shù)采用均值融合，高頻系數(shù)采用最大值融合，實(shí)驗(yàn)結(jié)果圖2 所示。

在圖2 中，源圖像是在同一場(chǎng)景中獲得的可見光圖像和紅外圖像，紅外圖像中的行人作為熱源目標(biāo)是清晰可見的，但周圍的背景信息卻非常模糊。而在可見圖像中，可以清楚地觀察到周圍環(huán)境，如道路、灌木叢和柵欄，卻不可能識(shí)別行人。圖2（a）中的紅外和可見信號(hào)均較弱；圖2（b）中除了紅外物體明顯，但道路、房屋等可見光信號(hào)沒能做到較好的保留；圖2（c）中紅外和可見信號(hào)也較弱，且存在小波變換帶來的塊狀效應(yīng)。相比于其他三種融合方法，本文的融合結(jié)果亮度和對(duì)比度較大，人物特征清晰，同時(shí)也很好的保留了道路、房屋和圍欄等可見光信號(hào)，具有較好的視覺效果。

為了更加客觀地對(duì)融合結(jié)果進(jìn)行對(duì)比，本文還利用熵（IE）、邊緣保持度（QAB/F）和標(biāo)準(zhǔn)偏差（STD）對(duì)融合圖像進(jìn)行評(píng)價(jià)，結(jié)果如表1 所示。熵是表示圖像信息豐富程度的重要指標(biāo)，熵值越大越好; 邊緣保持度可以衡量從源圖像轉(zhuǎn)移到融合圖像中的邊緣信息多少，值越大融合結(jié)果越好；標(biāo)準(zhǔn)差反映圖像對(duì)比度的變化，值越大邊緣輪廓越清晰。從表1 中可以看出本文算法融合圖像的熵和標(biāo)準(zhǔn)偏差明顯大于其他三種方法，邊緣保持度相比最大值融合結(jié)果略小。客觀評(píng)價(jià)結(jié)果也說明本文融合結(jié)果包含了較多的信息，具有較高的清晰度和對(duì)比度,保留了更多的圖像特征。

6 結(jié)論

根據(jù)紅外圖像與可見光圖像的特點(diǎn)，利用NSST 變換的特性和圖像視覺顯著性的優(yōu)點(diǎn)，提出了一種基于NSST 的圖像融合算法。該算法在低頻子帶采用以視覺顯著圖為參考的方法進(jìn)行融合，高頻子帶采用基于區(qū)域能量的方法進(jìn)行融合。融合結(jié)果表明，相對(duì)于其他部分算法，本文能夠取得較大的熵、邊緣保持度和標(biāo)準(zhǔn)偏差，可以較好地保留可見光圖像的信息，還能較好地嵌入紅外目標(biāo)，是一種有效的融合方法。