多進制小波與自適應PCNN的可見光/毫米波圖像融合

林晨暉，聶建英

(福州大學 數(shù)學與計算機科學學院，福建 福州 350108)

?

多進制小波與自適應PCNN的可見光/毫米波圖像融合

林晨暉，聶建英

(福州大學 數(shù)學與計算機科學學院，福建 福州 350108)

以安檢中隱匿物品檢測為應用背景，提出一種基于多進制小波與自適應脈沖耦合神經(jīng)網(wǎng)絡的可見光/毫米波圖像融合算法。首先可見光圖與毫米波圖經(jīng)多進制小波分解處理，得到低頻分量與高頻分量。其次，低頻系數(shù)采取改進區(qū)域方差融合處理，高頻系數(shù)則是將子帶改進拉普拉斯能量和作為PCNN中對應神經(jīng)元的鏈接強度β，將子帶八方向邊緣區(qū)域能量作為PCNN的外部激勵輸入，經(jīng)點火處理得到點火映射圖，通過判決算子選取融合圖像的高頻系數(shù)，然后重構得到融合圖。實驗仿真結果分析表明，提出的融合方法在主觀與客觀評價上均優(yōu)于現(xiàn)有文獻中的一些典型融合方法，能獲得更好的融合效果。

多進制小波；自適應PCNN ；隱匿物檢測；毫米波成像；圖像融合

常用的X射線成像、手持掃描儀等安檢手段威脅健康，且只能探測金屬品，對復合材料、液體等違禁品卻檢測不到。新興的攝像式毫米波安檢儀是國內(nèi)首套具有實時成像功能的安檢儀，通過接收人體輻射的毫米波，采用合成孔徑實時成像，迅速探測到人體衣物下、皮膚上的藏匿物，包括金屬、非金屬物品，且對汽油、酒精、凝膠炸藥等具有高靈敏度，未來毫米波安檢門產(chǎn)品前景廣闊。

毫米波具有穿透性，通過接收物體自身輻射的溫度成像，能檢測隱匿物，但受天線衍射孔徑等影響，毫米波輻射圖分辨率低、可讀性差；可見光圖反映的是物體在光波段的反射特性，具有高分辨率、細節(jié)豐富的優(yōu)點，但檢測不到隱匿物；若將可見光與毫米波圖像進行融合，使之優(yōu)勢互補，就能提高安檢的準確率，在此背景下，本文主要研究可見光/毫米波圖像融合。

圖像融合是將多個傳感器在同一時間或不同時間獲取的信息加以處理，綜合生成滿足某種應用需求、具有更多信息的場景解釋過程。可見光/毫米波圖像融合涉及圖像的多分辨率分解，以往的金字塔、Contourlet變換經(jīng)上下采樣導致圖像頻譜混疊，出現(xiàn)偽Gibbs現(xiàn)象；經(jīng)典的小波變換(DWT)有良好的時頻特性，能將圖像分解為低頻、高頻部分，但存在方向有限、分解不徹底等缺陷。在小波變換基礎上發(fā)展而來的多進制小波變換(Multi-band Wavelet)，能把圖像分解到多個頻帶，克服了高頻解不精細的缺點，兼顧對稱性、光滑性、正交性等，適用于圖像分解。對于分解系數(shù)，傳統(tǒng)的平均加權法、像素絕對值取大等無法有效凸顯可見光/毫米波圖像的特性，會導致圖像存在噪聲影響視覺。Eckhom等根據(jù)哺乳動物的視覺原理提出的簡化脈沖耦合神經(jīng)網(wǎng)絡模型(Pulse Coupled Neural Network，PCNN)，具有全局耦合與脈沖同步性，在系數(shù)處理效果上更適合人類視覺。且與BP和Kohonen神經(jīng)網(wǎng)絡不同，PCNN是單層模型，不需訓練就能實現(xiàn)對圖像分割、識別等，廣泛應用于圖像處理，如文獻[7]中，崔天祥等將PCNN用于圖像融中取得了較好的效果。

近年，國內(nèi)外學者對可見光/毫米波圖像融合進行了研究，文獻[1]Yves，Jean Robert等人研制了一種紅外、可見光與毫米波雷達集成的多傳感器系統(tǒng)，分析多傳感器探頭和對獲取的數(shù)據(jù)、信息進行融合；文獻[2]張光峰等提出基于小波變換的分割敏感目標區(qū)域的可見光/毫米波圖像融合算法；文獻[3]胡泰洋等提出基于Contourlet變換的可見光/毫米波圖像融合算法，他們?nèi)〉昧肆己玫男Ч?，但仍有待改進[1-4]。在此基礎上，本文針對傳統(tǒng)可見光/毫米波圖像融合中存在的不足，提出一種基于多進制小波與自適應PCNN的圖像融合算法。

1　多進制小波變換

多進制小波變換能對圖像進行精細劃分，比如八進制小波對圖像分解能得到1個低頻、63個高頻，很大程度上提升了對高頻細節(jié)的分解能力，在信號分析上比二進制更具優(yōu)勢，其雙尺度函數(shù)表示為

(1)

(2)

濾波方程為

(3)

通過多尺度分析，圖像信號可以分解為低頻與高頻兩部分，其分解公式如下

(4)

(5)

重構如下

(6)

2　脈沖耦合神經(jīng)網(wǎng)絡模型(PCNN)

上世紀末Eckhom等人提出的簡化神經(jīng)網(wǎng)絡模型，其處理效果適合人類視覺，廣泛應用于圖像處理中。模型中每個神經(jīng)元包括接收域、調(diào)制域、脈沖發(fā)生器。PCNN的數(shù)字圖像模型由脈沖耦合神經(jīng)元構成二維單層神經(jīng)元陣列組成，神經(jīng)元數(shù)目與圖中像素數(shù)目一致且相對應，實際應用中其數(shù)學模型如下

Fij[n]=Sij

(7)

Lij[n]=e-αLLij[n-1]+VL∑klMijklYkl[n-1]

(8)

Uij[n]=Fij[n](1+βLij[n])

(9)

Eij[n]=e-αEEij[n-1]+VEYij[n-1]

(10)

(11)

tij[n]=tij[n-1]+Yij[n]

(12)

式中：n為迭代次數(shù)；下標(i，j)是神經(jīng)元標號；Fij是神經(jīng)元反饋輸入；Lij是鏈接輸入；Sij是外部激勵輸入(圖像第(i，j)個像素值)；Uij是內(nèi)部活動項；β是神經(jīng)元間的鏈接強度；Eij是變閾值函數(shù)輸出；VL和VE是放大系數(shù)；αL和αE是時間常數(shù)；Yij是脈沖輸出。當Uij>Eij時神經(jīng)元產(chǎn)生一個脈沖，即進行一次點火[7-9]。經(jīng)n次迭代，得到圖像的點火映射圖ti,j，點火次數(shù)表示該處的特征信息。

3　基于多進制小波與自適應PCNN的圖像融合規(guī)則

待融合的可見光圖與毫米波圖已配準，其融合步驟為：

1)對可見光圖和毫米波圖進行多進制小波分解，得到低頻與高頻子帶。

2)對低、高頻子帶采用不同的融合規(guī)則，獲得融合后系數(shù)。

3)對融合后系數(shù)進行重構，得到融合圖。再進行對比度增強處理，以改善圖像效果，得到最終的融合圖像。

3.1低頻系數(shù)融合策略

低頻子帶系數(shù)是圖像的近似部分，包含原圖像大量信息。在以往多聚焦圖像融合中常采用加權平均法，但對于多源傳感器圖像并不合適。圖像方差可以反映其所含信息量大小，方差越大，信息量越豐富，視覺效果越好，因此本文采取改進區(qū)域方差的融合規(guī)則處理低頻系數(shù)，這樣可以保留毫米波探測得到的隱匿物輪廓信息，以及可見光圖的高分辨率。

改進區(qū)域方差定義

s=1，2

(13)

低頻系數(shù)選取步驟如下：

1)逐一掃描兩幅圖像的低頻系數(shù)，并計算其區(qū)域方差V1(i,j)，V2(i,j)。

2)根據(jù)下式確定融合圖像的低頻系數(shù)

(14)

式中：a1,a2,a12分別為可見光、毫米波、融合圖的低頻系數(shù)。

3.2高頻系數(shù)融合策略

高頻子帶系數(shù)反映圖像的細節(jié)部分，包括邊緣，輪廓區(qū)等，是圖像融合的關鍵。本文采用自適應PCNN模型處理高頻系數(shù)。針對PCNN進行的自適應設定如下。

1)鏈接強度：神經(jīng)元鏈接強度β代表像素間的緊密聯(lián)系程度，在傳統(tǒng)PCNN中它是個固定值，但是由于人眼對邊緣信息的敏感，所以β值應隨圖像特征而變化，自適應地做出調(diào)整，才能體現(xiàn)圖像特征。本文中將高頻子帶的改進拉普拉斯能量和SLP(i,j)作為PCNN的連接強度β(i,j)。改進拉普拉斯能量和定義如下

(15)

(16)

(17)

式中：ds(i,j)是可見光圖(或毫米波圖)的某一高頻子帶系數(shù)(其他高頻子帶類似處理)；ω(m，n)是權重矩陣，體現(xiàn)了遠、近像素對能量和的貢獻程度。

2)外部激勵輸入：傳統(tǒng)PCNN中，外部激勵輸入即圖像像素值，考慮到高頻部分代表圖像的邊緣等細節(jié)，本文采用Sobel八方向邊緣區(qū)域能量作為PCNN的外部激勵輸入Sij，其定義如下

Es(i,j)=(S1*ds(i,j))2+(S2*ds(i,j))2+…+

(S8*ds(i,j))2,s=1,2

(18)

即通過Sobel算子八方向模板Sk(k=1,2,…,8)對高頻子帶進行鄰域卷積平方和計算得到圖像的八方向邊緣區(qū)域能量，它能有效地凸顯邊緣細節(jié)：

分別為0，45，90，135，180，225，270，315度的Sobel八方向模板。

高頻系數(shù)選取步驟如下：

1)設d1(i,j)，d2(i,j)分別是可見光、毫米波圖像的某一高頻子帶系數(shù)，通過計算得到其改進拉普拉斯能量和SLP1(i,j)，SLP2(i,j)；得到八方向邊緣區(qū)域能量E1(i,j)，E2(i,j)(其他子帶做同樣處理)。

2)將SLPs(i,j)作為PCNN的鏈接強度β(i,j)；將Es(i,j)作為PCNN的外部激勵輸入Sij，帶入算法得到點火映射圖tS(i,j)。

(19)

式中：θ為閾值，點火次數(shù)差小于該閾值說明兩圖像細節(jié)相當，則取兩子帶的平均值作為融合系數(shù)。

算法流程如圖1所示。

圖1　算法流程圖

4　實驗仿真及結果分析

采用Matlab2010b作為仿真工具，驗證算法的可行性。文中兩組實驗圖像分別來源于文獻[3](室外)、文獻[4](室內(nèi))；實驗參數(shù)設定：迭代次數(shù)n=200，VL=0.2，VE=20，αL=1.0，αE=2.0，W=[0.707，1，0.707；1，0，1；0.707，1，0.707]。實驗一是室外仿真，在圖2中展示了一組暗藏手槍、手雷的可見光圖(圖2a)、毫米波圖(圖2b)?？梢姽鈭D像清晰，但檢測不到暗藏的危險品；毫米波圖成像模糊，但是兩個高亮區(qū)顯示了暗藏在衣物下的手雷與手槍輪廓。圖2c是經(jīng)本文方法得到的融合圖像，可以分辨其中兩個人物身上暗藏的手雷與手槍的位置、輪廓等。從上述分析和圖像可以看出，此方法實現(xiàn)了隱匿物的檢測。

圖2　實驗一(室外)

實驗二進行室內(nèi)仿真，在圖3中顯示了室內(nèi)一組暗藏爆炸物的可見光圖(圖3a)和同一場景的毫米波圖(圖3b)。其前胸有一片高亮區(qū)，是暗藏在衣物下的爆炸物品。

圖3　原始圖像

融合結果如圖4，圖4a是5層拉普拉斯金字塔分解系數(shù)加權融合圖(方法一)；圖4b是二進制小波域內(nèi)系數(shù)絕對值取大的融合圖(方法二)；圖4c是Contourlet域內(nèi)的融合圖(方法三，文獻[3]方法)。分析這3種融合方法得到的效果圖：圖4a細節(jié)模糊不清，爆炸物對比度不明顯；圖4b整體太亮，且圖4b與圖4c存在噪聲影響了視覺；圖4d是本文方法得到的融合圖，圖像清晰，爆炸物細節(jié)明顯，對比度強烈，圖像質(zhì)量提高很多，很好地實現(xiàn)了兩幅圖像有效信息的保留，融合效果最優(yōu)[10-14]。

圖4　實驗二(室內(nèi))

其次，主觀視覺難以區(qū)分圖像的質(zhì)量，本文從定量分析角度來說明融合效果。數(shù)據(jù)從均值、清晰度、信息熵、空間頻率、標準差5個角度分析融合質(zhì)量，其結果如表1所示。

均值反映圖像整體亮度，清晰度反映圖像質(zhì)量，信息熵表示圖像攜帶信息量大小，空間頻率(SF)表示圖像空間域的活躍程度，標準差反映了像素分布。后四者值越大，融合質(zhì)量越高；均值在視覺良好的范圍內(nèi)即可。根據(jù)上表可知，本文方法融合圖像的均值適中、清晰度高，圖像攜帶信息量大，各種指標都很好。所以綜合數(shù)據(jù)與視覺效果，本文融合圖像質(zhì)量最優(yōu)。

表1實驗仿真數(shù)據(jù)

圖片均值清晰度信息熵SF標準差可見光圖147.490.04396.917115.768036.609毫米波圖184.140.02517.23139.001348.168本文融合圖181.560.03377.346515.881056.274方法一167.780.04697.337016.863043.495方法二192.800.02507.09309.573045.630方法三184.400.02607.102010.350047.360

5　結束語

本文以安檢應用為背景，提出一種新的基于多進制小波與自適應PCNN的可見光/毫米波圖像融合算法，經(jīng)實驗仿真證實，算法利用可見光圖的高分辨率彌補了毫米波成像模糊的不足，取得了較好的融合圖像，使得可見光/毫米波圖像融合技術更進一步。因此本文提出的融合方法，在對可見光圖/毫米波圖的融合中，有較好的清晰度、適中的均值、較高的信息熵等指標，肉眼也可分辨其融合圖像質(zhì)量較好，從而說明本文方法有其優(yōu)點，具有一定的實際應用價值。

[1]張培琴.一種紅外、可見光與毫米波雷達集成的多傳感器系統(tǒng)[J].中國雷達，2000(2)：15-21.

[2]張光鋒，張祖蔭，郭偉.一種可見光與毫米波輻射圖像的融合方法[J].激光與紅外，2004，34(5)：386-388.

[3]胡泰洋，肖澤龍，陳磊，等.隱匿違禁物品探測的毫米波輻射圖像融合方法[J].南京理工大學學報，2012，36(1)：106-111.

[4]王楠楠，邱景輝，鄧維波.隱匿物品探測毫米波成像系統(tǒng)發(fā)展現(xiàn)狀[J].紅外技術，2009，31(3)：129-135.

[5]DONG J W，CHEN Y M，MATHEMATICS D O， et al. Introduction of multi-band wavelet and its applications[J]. Science & technology vision，2015(4)：186-187.

[6]董健衛(wèi)，陳艷美.淺析多進制小波及其應用[J]. 科技視界，2015(4)：186-187.

[7]崔天祥，黃向東，譚久彬，等. 基于Contourlet變換和IPCNN的融合算法及其在可見光與紅外線圖像融合中的應用[J]. 紅外與毫米波學報，2007，26(3)：217-221.

[8]陳廣秋，高印寒.基于LNSST與PCNN的紅外與可見光圖像融合[J]. 光電工程，2014(10)：12-20.

[9]王盛年，徐衛(wèi)亞，石崇，等. Numerical simulation of direct shear tests on mechanical properties of talus deposits based on self-adaptive PCNN digital image processing[J]. 中南大學學報(英文版)，2014，21(7)：2904-2914.

[10]郝文超，賈年. NSCT域內(nèi)基于自適應PCNN的紅外與可見光圖像融合方法[J]. 西華大學學報(自然科學版)，2014，33(3)：11-15.

[11]葉銀芳，聶建英.基于拉普拉斯金字塔變換的紅外/被動毫米波圖像融合[J]. 彈箭與制導學報，2014，34(2)：165-167.

[12]YIN M，LIU W，ZHAO X，et al. A novel image fusion algorithm based on nonsubsampled shearlet transform[J]. Optik-international journal for light and electron optics，2014，125(10)：2274-2282.

[13]ROMANAK K，SHERK G W，HOVORKA S，et al. Comprehensive and comparative study of image fusion techniques[J]. Energy procedia，2013，37(1)：4242-4248.

[14]談世磊，張紅民，王艷.基于NSCT和改進型PCNN的紅外與可見光圖像融合算法[J]. 紅外，2015，36(6)：17-20.

林晨暉(1991— )，女，碩士生，主要研究小波分析及其應用、毫米波探測與目標識別技術；

聶建英(1958— )，博士，博士后，教授，主要從事光波、毫米波復合探測與目標識別技術研究。

責任編輯：時雯

Fusion algorithm for visible and PMMW image based on multi-band wavelet and adaptive PCNN

LIN Chenhui，NIE Jianying

(CollegeofMathematicsandComputerScience，F(xiàn)uzhouUniversity，F(xiàn)uzhou350108，China)

A new fusion algorithm which combines multi-band wavelet with adaptive pulse coupled neural network(PCNN) is proposed in this paper. Firstly，the original images were decomposed in the multi-band wavelet domain. Secondly，the fusion ruler for low-frequency coefficients is based on local variance，and the high-frequency coefficients is based on adaptive PCNN. The coefficient improved sum of laplace energy as the PCNN link strength，and the edge-region energy of eight directions as the input of the PCNN.Finally，the fusion image is obtained by taking the inverse of multi-band wavelet transform.Lastly，the experimental results indicate that the method proposed performs better in subjective and objective assessments than a few existing typical fusion techniques in the literatures and obtains better fusion performance.

multi-band wavelet；adaptive PCNN；concealed detection；PMMW；image fusion

TN915

ADOI：10.16280/j.videoe.2016.10.006

江蘇省資源環(huán)境信息工程重點實驗室基金項目(JS201104)

2016-02-29

文獻引用格式：林晨暉，聶建英.多進制小波與自適應PCNN的可見光/毫米波圖像融合[J].電視技術，2016，40(10)：28-32.

LIN C H，NIE J Y.Fusion algorithm for visible and PMMW image based on multi-band wavelet and adaptive PCNN[J].Video engineering，2016,40(10)：28-32.