結(jié)合NSST和LSWT的光學(xué)/被動毫米波圖像融合

柳 菁，聶建英

(福州大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，福建 福州 350108)

?

結(jié)合NSST和LSWT的光學(xué)/被動毫米波圖像融合

柳 菁，聶建英

(福州大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，福建 福州 350108)

提出了一種結(jié)合NSST和LSWT的圖像融合算法，并應(yīng)用到安檢中。該方法首先采用NSST對被動毫米波圖和可見光圖進(jìn)行分解得到一組高低頻系數(shù)；接著對分解后得到的低頻系數(shù)進(jìn)行LSWT變換，得到新的一組高低頻系數(shù)，分別對其采用基于區(qū)域方差融合規(guī)則和CS算法進(jìn)行壓縮、融合、重構(gòu)后進(jìn)行LSWT逆變換；再對第一步的高頻系數(shù)采用改進(jìn)的拉普拉斯算子進(jìn)行處理；最后NSST逆變換處理得到融合圖像。實(shí)驗(yàn)仿真結(jié)果表明，所提出的方法融合效果較好，實(shí)現(xiàn)了對隱匿物品的快速識別。

光學(xué)圖像；被動毫米波圖像；NSST；LSWT；圖像融合

隨著科技發(fā)展，現(xiàn)行的安檢開始使用具有更高效率的毫米波掃描儀來檢測居民身上是否有隱匿危險(xiǎn)品。毫米波與可見光具有兩種不一樣形態(tài)的傳感器系統(tǒng)，毫米波被動輻射計(jì)探測是通過場景中目標(biāo)和背景的輻射特性的差異性來探測目標(biāo)，可以顯示隱匿的目標(biāo)，但目標(biāo)物體不僅有自身的輻射，而且會反射其周圍物體、及天空等輻射溫度，且輻射溫度差邊界一般不顯著，因此毫米波被動成像圖像的分辨率并不是很高；可見光傳感器采用極強(qiáng)的光線敏感度，成像具有極高的分辨率和細(xì)節(jié)信息，但不顯示隱匿的目標(biāo)。對二者的不同特點(diǎn)，取長補(bǔ)短，可以為安檢提供更準(zhǔn)確可靠的信息，保護(hù)人們的安全。

近年來，學(xué)者們對于圖像融合技術(shù)有著廣泛的研究，比較典型的融合方法有小波變換、Shearlet變換、NSCT變換等。在此基礎(chǔ)上，又各自取長補(bǔ)短，展開不同方法探討，比如文獻(xiàn)[1]提出Shearlet變換與稀疏表示結(jié)合的圖像融合算法，文獻(xiàn)[2]提出了基于NSST和高斯混合模型的圖像融合算法，這些都是圖像研究的擴(kuò)展，具有較好的融合效果[1-3]。

Shearlet變換具有多方向性和多分辨率的優(yōu)良特點(diǎn)，可以實(shí)現(xiàn)圖像多方面細(xì)節(jié)信息的保留，但其計(jì)算復(fù)雜度較高，且隨著圖像進(jìn)行多層數(shù)分解，其系數(shù)進(jìn)行處理時將加大對硬件和軟件的負(fù)擔(dān)。因此可行的方案是采用提升小波變換LSWT和壓縮感知CS一起配合，雙管齊下，可以提高算法的優(yōu)越性，加快算法的執(zhí)行效率。提升小波是Sweldens教授和Daubechies教授等學(xué)者于20世紀(jì)90年代中期提出的，又稱第二代小波。它具有優(yōu)良的特性：結(jié)構(gòu)簡單，運(yùn)算量低，較之經(jīng)典的Mallat算法，計(jì)算量減少一半；原位運(yùn)算(整個計(jì)算過程不需要申請輔助存儲空間)，可節(jié)省存儲空間。而將壓縮感知(Compressed Sensing，CS)應(yīng)用到圖像融合，能夠?qū)崿F(xiàn)壓縮和高精度重構(gòu)，可以減少圖像的存儲量和計(jì)算復(fù)雜度。

本文通過綜上分析，提出了結(jié)合NSST和LSWT的圖像融合算法，實(shí)驗(yàn)結(jié)果表明該方法可以實(shí)現(xiàn)快速運(yùn)算，并且能夠增加分辨人體隱匿物品的準(zhǔn)確度，提高安檢的安全性。

1 基礎(chǔ)理論

1.1 非下采樣剪切波變換(NSST)

Shearlet變換是為了克服小波變換在方向性上的缺點(diǎn)而提出的[3]，能夠多尺度、多方向地分析圖像數(shù)據(jù)，得到不同的高低頻子帶系數(shù)。非下采樣Shearlet變換(NSST)的實(shí)現(xiàn)主要分為兩個步驟：非下采樣的多尺度剖分和方向的局部化。其中，多尺度剖分采用非下采樣金字塔分解(Non-subsampled Pyramid，NSP)的分解方式，與NSCT在多尺度分解步驟上是一致的；多方向分解式利用剪切波濾波器加以實(shí)現(xiàn)，避免了上采樣和下采樣步驟，保證了平移不變性。NSST的實(shí)現(xiàn)流程圖如圖1所示，更多的詳細(xì)步驟理論見參考文獻(xiàn)[4-6]。

圖1 NSST流程圖

1.2 提升靜態(tài)小波變換(LSWT)

第二代提升小波步驟有3步，即可以采用分解(split)、預(yù)測(predict)和更新(update)三大步驟完成對信號的頻率分解，可以克服之前傳統(tǒng)小波的眾多缺點(diǎn)。 實(shí)際上，小波提升的核心就是更新算法和預(yù)測算法，提升樣式可以實(shí)現(xiàn)原位計(jì)算和整數(shù)提升，極大提高了運(yùn)算速度。提升靜態(tài)小波(LSWT)的實(shí)現(xiàn)流程圖如圖2所示，更多的詳細(xì)步驟理論見參考文獻(xiàn)[7-8]。

圖2 提升靜態(tài)小波分解和重構(gòu)

1.3 壓縮感知(CS)

壓縮感知又稱壓縮采樣，是由E. J. Candes等人在2004提出的[8]，其實(shí)現(xiàn)流程圖如圖3所示，更多的詳細(xì)步驟理論見參考文獻(xiàn)[9-11]。

圖3 壓縮感知模型

2 結(jié)合NSST和LSWT的圖像融合算法

本文采用將NSST和LSWT相結(jié)合的辦法，對光學(xué)和被動毫米波圖像進(jìn)行融合，融合流程圖如圖4所示，融合過程如下：

1)首先采用NSST對被動毫米波圖和可見光圖進(jìn)行分解得到第一組高低頻系數(shù)；

2)對1)中得到的低頻系數(shù)進(jìn)行LSWT變換，得到新的一組高低頻系數(shù)，分別對其采用不同的融合規(guī)則后進(jìn)行LSWT逆變換；

3)對1)中得到的高頻系數(shù)采用基于區(qū)域方差的融合規(guī)則的融合規(guī)則處理；

4)將2)和3)步得到的結(jié)果采用NSST逆變換最后得到所需的融合圖像。

圖4 本文流程圖

2.1 LSWT變換后的高低頻系數(shù)的融合規(guī)則

低頻部分：低頻子帶系數(shù)，主要是原圖像濾掉細(xì)節(jié)后的近似部分，圖像的大部分概貌都集中在低頻分量中。以往的融合算法一般選用簡單的加權(quán)平均方法等，算法簡單但會丟失一些細(xì)節(jié)部分。本文采用基于區(qū)域方差的融合規(guī)則，將區(qū)域方差較大的中心點(diǎn)像素灰度值作為融合后的像素灰度值。本文選取區(qū)域?yàn)?×3，相關(guān)系數(shù)定義為

(1)

其中：CF,l(i,j)代表算法第1)步所得到的低頻成分。

(2)

高頻部分：為了能夠在很少的信息損失情況下保留源圖特性，本文采取CS算法進(jìn)行壓縮處理、重構(gòu)，相關(guān)系數(shù)定義為

(3)

2.2 NSST變換后的高頻系數(shù)的融合規(guī)則

NSST變換得到的高頻系數(shù)具有多方向性，且基本都是零值左右波動，是近似稀疏的，具有較大的稀疏性。本文采用改進(jìn)的拉普拉斯算子(SML算子)來保證大部分信息都能夠采集到。相關(guān)系數(shù)定義為

(4)

其中，CF(i,j)代表算法第2)步所得到的低頻成分；CA(i,j)，CB(i,j)代表算法第1)步中分解出來的兩種不同圖的低頻成分。

(5)

(6)

式中：M,N為鄰域大小(本文選取為3×3)；f(x,y)為(x,y)處的像素值；SML(i,j)為(x,y)處的拉普拉斯能量和。

3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文方法的可行性，將本文算法與其他5種方法進(jìn)行比較。方法1、方法2和方法3分別是用DWT變換、LSWT變換、NSST變換進(jìn)行圖像融合，采用規(guī)則為高頻絕對值取大、低頻取平均。方法4是采用DWT+LSWT變換進(jìn)行圖像融合，方法5是采用NSST變換后，高頻采用CS處理。實(shí)驗(yàn)所用源圖像及由5種不同方法得到的融合圖像如圖5所示。

圖5a是光學(xué)圖像，顯示了全貌信息，圖5b是被動毫米波圖像，提供隱匿物品信息。圖5c～圖5i分別是由方法1到方法4以及本文方法得到的融合結(jié)果，從圖5c、圖5d和圖5e的比較，圖5f和圖5i的比較可以比較直觀地看出，NSST變換可以保留更多的源圖像信息，精確度更高。由圖5e和圖5i的比較可以看出，低頻系數(shù)采用取平均得到的融合圖像質(zhì)量較差，不能有效顯示全部信息。

為了進(jìn)一步驗(yàn)證本文算法的可行性，選取了第二組實(shí)驗(yàn)圖像，結(jié)果圖6所示。

圖5 第一組源圖像及其融合圖像

圖6 第二組源圖像及其融合圖像

可見光/被動毫米波融合的主要目的是希望通過將可見光圖像和被動毫米波圖像融合，辨別出確定人員所攜帶的危險(xiǎn)物品的輪廓和隱藏位置。除主觀評價(jià)外，還可以采用客觀評價(jià)指標(biāo)來對最后的融合圖像進(jìn)行評價(jià)，包括平均梯度(Average Grads，AG)、信息熵(Information Entropy，IE)、空間頻率(Spatial Frequency，SF)、互信息(Mutual Information，MI)。AG代表圖像的相對清晰程度；IE反映的是圖像包含的信息量；SF反映了圖像空間域的變化劇烈程度；MI表示集合間的相關(guān)性。這4個客觀評價(jià)指標(biāo)數(shù)值越大，融合效果越好，結(jié)果如表1。從數(shù)據(jù)顯示可以看出，本文所采用的融合方法具有不可否認(rèn)的優(yōu)越性，融合效果較好。

4 結(jié)論

為實(shí)現(xiàn)安檢中的需求，本文提出一種結(jié)合NSST和LSWT的毫米波被動圖像和可見光圖像的處理方法。該算法利用剪切波多方向多尺度的特點(diǎn)，結(jié)合了LSWT快速運(yùn)算特性，能夠較好地保留源圖像信息，實(shí)現(xiàn)有效運(yùn)算。經(jīng)過試驗(yàn)分析可知，這種方法提高了視覺可見信息，萃集了原始圖像的各自特性，便于安保人員進(jìn)行判別，具有一定的實(shí)際應(yīng)用價(jià)值。

表1 6種算法融合圖像指標(biāo)評價(jià)

[1] 鄭偉，孫雪青，郝冬梅，等. Shearlet變換和稀疏表示相結(jié)合的甲狀腺圖像融合[J].光電工程，2015(1)：77-83.

[2] 劉帥奇，李會雅，張濤，等. 基于NSST和高斯混合模型的醫(yī)學(xué)圖像融合算法[J].電視技術(shù)，2015，39(23)：116-121.

[3] 王惠群，周濤，陸惠玲，等.基于多分辨率變換和壓縮感知的肺癌PET/CT圖像融合方法[J].電視技術(shù)，2016，40(3)：11-16.

[4] EASLEY G R，LABATE D，LIM W Q. Sparse directional image representations using the discrete shearlet transform[J]. Applied and computational harmonicanalysis(S1063-5203)，2008，25(1)：25-46.

[5] 葉東毅，陳昭炯.一個新的差別矩陣及其求核方法[J].電子學(xué)報(bào)，2002，30(7)：1086-1088.

[6] YIN L Z，GUI W H，YANG C H，et al. Core set analysis in inconsistent decision tables[J].Information science，2013，241(20)：138-147.

[7] 蔣薇薇，魯昌華，張玉鈞，等. 基于提升小波改進(jìn)閾值的光譜信號去噪研究[J]. 電子測量與儀器學(xué)報(bào)，2014(12)：1363-1368.

[8] 王麗.結(jié)合提升靜態(tài)小波和灰色關(guān)聯(lián)分析的圖像融合算法[J].電視技術(shù)，2015，39(1)：15-18.

[9] CANDES E J，WAKIN M B. An introduction to compressive sampling[J]. IEEE signal processing magazine， 2008(25)：21-30.

[10] DONOHO D L．Compressed sensing[J]. IEEE transactions on information theory，2006，52(4) ： 1289-1306．

[11] WAN T，NISHAN C，ALIN A．Compressive image fusion[C]//Proc. the 15th IEEE International Conference on Image Processing.[S.l.]：IEEE，2008： 1308-1311．

柳 菁(1993— )，女，碩士生，主研小波分析及其應(yīng)用、毫米波探測與目標(biāo)識別技術(shù)；

聶建英(1958— )，博士后，教授，主要從事光波、毫米波復(fù)合探測與目標(biāo)識別技術(shù)研究。

責(zé)任編輯：閆雯雯

Fusion of visual/PMMW image based on NSST and LSWT

LIU Jing， NIE Jianying

(CollegeofMathematicsandComputerScience，F(xiàn)uzhouUniversity，F(xiàn)uzhou350108，China)

A method to deal with visual image and PMMW image for the security inspection is put forward， basing on Non-subsampled Shearlet Transform(NSST)and Lifting Stationary Wavelet Transform(LSWT). Firstly，two images’ low and high frequency components decomposed with NSST can be got. Next，the low-frequency components are decomposed by the LSWT to get the other componets which are fused based on regional variance and compressed， fused and reconstructed by CS.Then，do the lifiting stationary wavelet inverse transform. Thirdly，the first high-frequency components are dealed with Laplacian. Finally，the inverse NSST is used to get the final fused image.The experiment result indicates that the proposed method has a better result to realize speedy identification of the concealed.

visual image；PMMW image； NSST；LSWT； image fusion

江蘇省資源環(huán)境信息工程重點(diǎn)實(shí)驗(yàn)室基金項(xiàng)目(JS201104)

柳菁，聶建英.結(jié)合NSST和LSWT的光學(xué)/被動毫米波圖像融合[J].電視技術(shù)，2016，40(12)：12-16. LIU J， NIE J Y. Fusion of visual/PMMW image based on NSST and LSWT[J]. Video engineering，2016，40(12)：12-16.

TN911.73

A

10.16280/j.videoe.2016.12.003

2016-04-14