一種戰(zhàn)場紅外與可見光灰度偵察圖像融合方法?

張 靚

1 引言

隨著空間技術(shù)的快速發(fā)展以及新型傳感器的不斷出現(xiàn)，人們能夠獲取大量的不同空間分辨率、不同時(shí)間分辨率、不同光譜分辨率的圖像。在當(dāng)前復(fù)雜的軍事戰(zhàn)場環(huán)境中可見光成像、紅外成像等是獲取場景圖像并進(jìn)行目標(biāo)探測的常用手段，成像方式成像機(jī)理相差較大，各有特點(diǎn)。

可見光圖像傳感器主要根據(jù)物體的光譜反射特性成像，它只與目標(biāo)場景的反射有關(guān)與其他無關(guān)，所以可見光圖像包含了豐富的地物光譜信息，能夠很好地描述場景中的環(huán)境信息，反映真實(shí)目標(biāo)情況。但是在戰(zhàn)場實(shí)際環(huán)境中，出現(xiàn)煙霧等遮擋時(shí)，就無法觀察出遮擋的目標(biāo)［1］。紅外傳感器主要根據(jù)物體的熱輻射特性成像，它可以提供溫度梯度較大或與背景有較大熱對比的低可視目標(biāo)的紅外圖像，紅外圖像很好地給出了目標(biāo)存在特性和位置特性，具有識別目標(biāo)高溫偽裝的能力，不易受戰(zhàn)場上風(fēng)沙煙霧等復(fù)雜條件的影響。但是目標(biāo)邊緣模糊，并且對場景的亮度變化不敏感［2］。從二者的特點(diǎn)可以看出，紅外與可見光圖像具有很好的信息互補(bǔ)性，將二者進(jìn)行圖像融合，能夠提高系統(tǒng)的探測能力，在戰(zhàn)場偵察中具有重要的應(yīng)用價(jià)值。

目前，紅外圖像與可見光圖像融合的方法主要可以分為兩大類：空域法與頻域法［3］?？沼蛩惴ㄖ饕訖?quán)平均、邏輯濾波器法、數(shù)學(xué)形態(tài)學(xué)法［4］等，頻域法主要包括基于IHS變換法［5］、基于小波變換的方法［6］、基于輪廓波變換的方法［7］等。

同時(shí)，紅外與可見光圖像融合算法的優(yōu)劣還取決于融合規(guī)則的選取。常見的融合規(guī)則主要有像素取最大值法、像素取最小值法、像素平均值法、像素加權(quán)平均法、梯度準(zhǔn)則、局部能量法等，由于基于像素點(diǎn)的圖像融合規(guī)則具有方便快捷等優(yōu)點(diǎn)，本算法的融合規(guī)則采用基于像素點(diǎn)的融合規(guī)則［8］。

紅外圖像與可見光圖像是戰(zhàn)場中常用的兩種目標(biāo)場景圖像，本文針對戰(zhàn)場中這兩種圖像的融合進(jìn)行了研究，首先通過雙三次插值對紅外圖像進(jìn)行超分辨率恢復(fù)得到與可見光圖像分辨率相同的圖像，進(jìn)而利用基于互相關(guān)的圖像配準(zhǔn)算法對源圖像進(jìn)行配準(zhǔn)，最后用基于偽彩色的圖像融合方法對兩種灰度圖像進(jìn)行融合，得到一幅偽彩色融合圖像，提高了視覺效果，同時(shí)保留了二者的有效信息。

2 基于偽彩色的圖像融合過程

本文提出的紅外圖像與可見光灰度圖像融合過程總體流程圖如圖1所示，主要包括紅外圖像的超分辨率重建，得到一幅與可見光圖像分辨率相同的圖像。進(jìn)而選取與可見光圖像中相同的目標(biāo)區(qū)域，進(jìn)行圖像配準(zhǔn)，進(jìn)而對配準(zhǔn)好的圖像利用基于偽彩色的圖像融合方法進(jìn)行融合，得到最終的融合結(jié)果。

2.1 超分辨率重建

紅外圖像往往具有成像質(zhì)量不高、分辨率低的問題，因此首先需要對紅外圖像進(jìn)行超分辨率重建。當(dāng)前，基于插值的方法是超分辨率研究中最為直觀的方法。通過對圖像的多幀進(jìn)行比較估計(jì)，得到它們之間的相對關(guān)系信息，以此獲得高分辨率圖像在非均勻間距采樣點(diǎn)上的像素值，然后通過雙三次插值，就可以得到一幅高分辨率的圖像。

雙三次插值又稱立方卷積插值，是一種比雙線性插值更為復(fù)雜的插值方式，它能創(chuàng)造出比雙線性插值更平滑的圖像邊緣［11］。利用采樣點(diǎn)周圍4×4鄰域內(nèi)的16個(gè)點(diǎn)的灰度值作三次插值，不僅考慮到4個(gè)直接相鄰點(diǎn)的灰度影響，而且考慮到各鄰點(diǎn)灰度值變化率的影響。三次運(yùn)算可以得到更接近高分辨率圖像的放大效果，但也導(dǎo)致了運(yùn)算量的急劇增大，此算法需要選取插值基函數(shù)來擬合數(shù)據(jù)。

如圖2所示為原始紅外圖像，圖像分辨率為278×179，經(jīng)過雙三次插值處理得到與可見光圖像分辨率相同的圖像如圖3所示，插值后分辨率為472×351。由處理后的圖像可見，經(jīng)過雙三次插值后的圖像很好地保留了圖像細(xì)節(jié)部分。

2.2 圖像配準(zhǔn)

從本質(zhì)上看，紅外和可見光圖像的配準(zhǔn)屬于多源圖像配準(zhǔn)的范疇［12］，是指依據(jù)一些相似性度量決定圖像間的變換參數(shù)，使從不同傳感器、不同視角、不同時(shí)間獲取的同一場景的兩幅或多幅圖像，變換到同一坐標(biāo)系下，在像素層上得到最佳匹配的過程。待配準(zhǔn)圖像相對于參考圖像的配準(zhǔn)可定義為兩個(gè)二維數(shù)組，分別用I1(x ，y )和 I2(x ，y )表示。配準(zhǔn)即要將圖像I1中某一點(diǎn)映射到I2中的新位置I2(x ′，y′)，用表達(dá)式描述為

其中 f為二維空間變換，將變換后的像素點(diǎn)插值重采樣。

目前圖像配準(zhǔn)主要可以分為三類：灰度信息分析配準(zhǔn)、變換域分析配準(zhǔn)、特征分析配準(zhǔn)方法?；叶刃畔⒎治雠錅?zhǔn)方法主要是通過直接對灰度信息進(jìn)行處理來求取待配準(zhǔn)圖像和參考圖像之間的坐標(biāo)變換關(guān)系。

在異質(zhì)圖像配準(zhǔn)中，考慮到成像原理的截然不同，比如紅外圖像與可見光圖像中圖像的統(tǒng)計(jì)特性往往描述不同，導(dǎo)致相似性度量準(zhǔn)則的誤匹配率很高，近年來，信息論的快速發(fā)展給基于灰度的圖像配準(zhǔn)在異質(zhì)圖像中的應(yīng)用帶來了新思路，基于互信息分析方法在異質(zhì)圖像配準(zhǔn)中取得了較好的效果［13］。本算法針對紅外圖像與可見光灰度圖像也采用基于互信息分析的配準(zhǔn)方法。

互信息是用于衡量兩個(gè)隨機(jī)變量的統(tǒng)計(jì)相關(guān)度［14］，表示隨機(jī)變量之間相互包含的信息量，如果待配準(zhǔn)圖與參考圖之間完美配準(zhǔn)，那么其對應(yīng)像素點(diǎn)的互信息應(yīng)該達(dá)到峰值，互信息MI( )I1，I2為

式中，H(I1)和H(I2)分別表示I1和I2完全獨(dú)立時(shí)的邊緣概率分布，pI1，I2(a，b)表示兩者的聯(lián)合概率分布。

基于互信息分析的方法是將灰度強(qiáng)度作為隨機(jī)變量，當(dāng)完全對準(zhǔn)時(shí)，可以根據(jù)待配準(zhǔn)圖像的某一坐標(biāo)上的灰度強(qiáng)度來較好地估計(jì)出另外一幅圖上對應(yīng)坐標(biāo)的強(qiáng)度值。圖像的配準(zhǔn)位置即互信息最大時(shí)的位置，計(jì)算配準(zhǔn)參數(shù)的過程就是尋找這個(gè)最大值的過程。通過配準(zhǔn)后的圖像如圖5所示，圖5中可看到配準(zhǔn)后地面更接近水平位置，與可見光圖像視角一致。

2.3 基于Toet的圖像融合

Toet等［9］提出的可見光和紅外偽彩色圖像融合方法，是一種模仿生物學(xué)中顏色對抗機(jī)制的方法，它是較早的進(jìn)行顏色融合輸出的報(bào)道之一，其原理如圖6所示。

該算法分為三個(gè)步驟，首先找出兩個(gè)輸入圖像，即可見光和紅外圖像的相同部分；然后將兩幅輸入圖像分別減去相同部分構(gòu)成的圖像，得到紅外圖像和可見光圖像的特有成分圖像；最后，用紅外圖像減去可見光圖像的特有部分，饋入R通道，用可見光圖像減去紅外圖像的特有部分，饋入G通道，用可見光圖像的特有成分減去紅外圖像的特有成分，饋入B通道，這樣就得到了融合圖像的RGB圖像［10］。

由于在戰(zhàn)場復(fù)雜環(huán)境中使用較多的是灰度可見光與紅外圖像，因此本文提出基于Toet偽彩色理論的圖像融合方法，利用人眼對彩色的分辨率要高于對灰度的分辨率，在融合中用不同的彩色表現(xiàn)細(xì)節(jié)上的差異。

3 試驗(yàn)驗(yàn)證及融合效果分析

本文的試驗(yàn)平臺是一臺CPU主頻為3.60GHz、8G內(nèi)存，英特爾I7-4790處理器的PC，使用的是Visual Studio 2010與QT 5.2的編譯環(huán)境。本節(jié)選取一組同一場景的紅外與可見光圖像進(jìn)行融合仿真實(shí)驗(yàn)。圖7為經(jīng)過插值并且經(jīng)過配準(zhǔn)后的紅外圖像，圖8為可見光圖像，對源圖像進(jìn)行融合算法處理后得到的結(jié)果如圖9所示。

從主觀視覺效果來看，本文方法得到的融合圖像比源圖像邊緣更清晰，細(xì)節(jié)和紋理保留較為完整，同時(shí)彩色圖像比灰度可見光圖像具有更好的視覺效果，有利于辨識圖中敵情。

為了客觀，定量評價(jià)融合圖像的質(zhì)量，判斷融合后的圖像繼承源可見光灰度圖像和紅外圖像的信息量的大小，采用條件交互信息量的方法衡量源圖像融合圖像轉(zhuǎn)移的信息量。融合圖像F和源圖像A、B的條件交互信息量計(jì)算公式為［15］

式中，H(A ，B)表示源可見光圖像和紅外圖像的聯(lián)合熵，定義為

CMI的值越大，表示融合圖像從源圖像中獲取的信息越豐富，融合效果越好，1表示源圖像的全部信息都轉(zhuǎn)移到了融合圖像，這是理想情況。計(jì)算試驗(yàn)中的源圖像和融合圖像的CMI值為0.86658，根據(jù)經(jīng)驗(yàn)，這表明了融合圖像從源圖像繼承的分辨率、對比度等信息量很大，融合圖像滿足戰(zhàn)場分析的需要。

4 結(jié)語

在實(shí)際戰(zhàn)場偵察中，可見光圖像與紅外圖像應(yīng)用居多，本文為了解決戰(zhàn)場上紅外圖像分辨率低、灰度范圍狹窄，可見光受煙霧等遮擋的問題，提出了一種利用偽彩色融合對二者進(jìn)行融合的方法。融合后的結(jié)果圖像不僅保留了紅外圖像中檢測到的隱藏目標(biāo)，還保留了可見光圖像的高分辨率及紋理信息，融合后的彩色圖像更有益于戰(zhàn)場上指揮員對戰(zhàn)場圖像的判讀，能夠更加有效地發(fā)現(xiàn)和識別目標(biāo)，獲取更加豐富和直觀的戰(zhàn)場態(tài)勢感知。

［1］敬忠良，肖剛.圖像融合：理論與應(yīng)用［M］.北京：高等教育出版社，2007.

［2］李慧.遙感圖像融合算法的研究［D］.哈爾濱：哈爾濱理工大學(xué)，2009.

［3］楊帆.數(shù)字圖像處理與分析.第2版［M］.北京：北京航空航天大學(xué)出版社，2010.

［4］金益如.多源遙感圖像融合算法及其效果評價(jià)研究［D］.合肥：合肥工業(yè)大學(xué)，2016

［5］楊斌.基于IHS變換和稀疏表示的遙感圖像融合［C］//2010年全國模式識別學(xué)術(shù)會議，重慶，2010.

［6］Adu J，Gan J，Wang Y，et al.Image fusion based on nonsubsampled contourlet transform for infrared and visible light image［J］.Infrared Physics&Technology，2013，61（5）：94-100.

［7］基于輪廓波變換的圖像融合算法研究［D］.哈爾濱：哈爾濱工業(yè)大學(xué)，2013.

［8］Chen Y，Xue Z，Blum R S.Theoretical analysis of an information-based quality measure for image fusion［M］.Elsevier Science Publishers B.V.2008.

［9］Toet A，Walraven J.New false color mapping for image fusion［J］.Optical Engineering，1996，35（3）：650-658.

［10］黃光華，倪國強(qiáng)，張彬.基于Land實(shí)驗(yàn)的可見紅外偽彩色圖像融合方法［J］. 光學(xué)技術(shù)，2007，33（1）：98-101.

［11］高成敏，陳良，林永和.雙三次卷積模板算法［J］.計(jì)算機(jī)工程與應(yīng)用，2009，45（17）：151-154.

［12］陳煜，田裕鵬，圖像融合中的圖像配準(zhǔn)方法研究［J］.激光與紅外.2004，34（1）：34-36

［13］葉傳奇.基于多尺度分解的多傳感器圖像融合算法研究［D］.西安：西安電子科技大學(xué)，2009.

［14］Zhao J，Zhou Q，Chen Y，et al.Fusion of visible and infrared images using saliency analysis and detail preserving based image decomposition［J］.Infrared Physics&Technology，2013，56（2）：93-99.

［15］War S A P，Malwadkar S.A Review：Image Fusion Techniques for Multisensor Images［J］.2015，04（1）：406-410.