基于目標特性分析的紅外與微光圖像融合算法

楊文彬，張俊舉，許 輝，陸劉兵，韓 博，陶媛媛

(1.南京理工大學電子工程與光電技術(shù)學院，江蘇南京210094;2.總裝駐揚州地區(qū)軍事代表室，江蘇揚州225009;3.中國兵器工業(yè)第205研究所，陜西西安710065)

1 引言

紅外與微光圖像融合是近年來夜視圖像領(lǐng)域研究的熱點。紅外熱像儀對熱目標敏感，能夠穿透煙霧識別隱藏目標，而微光夜視儀工作于可見光及近紅外光譜，所成圖像符合人眼視覺特性，分辨率較高。因此，紅外與微光圖像的融合能夠有效地提取和綜合紅外圖像較好的目標指示特性和微光圖像的清晰場景信息［1－3］。

通常，圖像融合的處理可在三個不同層次上進行:像素級融合、特征級融合和決策級融合。像素級圖像融合是特征級圖像融合和決策級圖像融合的基礎(chǔ)，因此，基于像素級融合方法一直以來是人們研究的重點。像素級融合主要采用加權(quán)平均法、選舉決策法、卡爾曼濾波法、數(shù)理統(tǒng)計法等，大致可分為簡單圖像融合方法、基于塔形分解方法、基于小波變換法三大類［4］。

目前針對目標特性分析的圖像融合算法的研究較少。目標特性分析在目標探測中具有重要地位，也是圖像融合前的必要環(huán)節(jié)。對于紅外、微光等成像探測來說，目標的特性分析更是其主要內(nèi)容。進行目標特征分析研究包括目標(和背景)的輻射特性、輻射的傳輸特性、探測器的成像特性、目標(和背景)在圖像上的表現(xiàn)特征等，這些均是成像探測中目標特征分析涉及的內(nèi)容。各種典型目標在不同波段檢測圖像表現(xiàn)特征不同，其根本原因是由于目標及其背景在不同波段的輻射特性、傳輸特性、成像特性等存在差異［5］。本文針對像素級的圖像融合，提出了一種基于目標特性分析的圖像融合算法。該算法從目標背景輻射和反射對比度特性、探測器光譜匹配特性、輻射大氣傳輸特性、目標距離和尺寸特性出發(fā)，求得基于紅外和微光目標特性分析的相應(yīng)的加權(quán)系數(shù)，由計算得到的加權(quán)系數(shù)可以較好地完成紅外與微光圖像的融合。最后通過仿真實驗分析，驗證了該算法的性能。

2 目標特性分析

2.1 目標背景對比度特性

2.1.1 紅外目標背景對比度特性

物質(zhì)是由原子、分子構(gòu)成的，它們按一定的規(guī)律不停地運動著，其運動狀態(tài)不斷地發(fā)生變化，因而不斷地向外輻射能量，這就是熱輻射現(xiàn)象，紅外輻射的物理本質(zhì)就是熱輻射。普朗克應(yīng)用微觀粒子能量不連續(xù)的假說——量子概念，并借助于空腔和諧振子理論，導出了以波長λ(μm)和溫度T(K)為變量、確定黑體輻射出射度MbλT(W·m－2·μm－1)的公式為:

式中，c1=3.7418×1016W·m2為第一輻射常量;c2=1.4388×10－2m·K為第二輻射常量。普朗克定律描述了黑體輻射的光譜分布規(guī)律，它揭示了紅外輻射的出射度與輻射波長λ和溫度T的關(guān)系。

然而，由于實際物體的紅外輻射與表面狀態(tài)密切相關(guān)，因此在使用上述公式時，需要對表面發(fā)射率進行修正。一般來說，實際物體的表面發(fā)射率也是波長與溫度的函數(shù)，定義其光譜輻射出射度Mλ與黑體輻射出射度MbλT之比為其光譜發(fā)射率ελT:

因此，實際物體的光譜輻射出射度MλT為:

表1給出了常見材料及地面覆蓋物的輻射發(fā)射率［6］。

表1 常見材料及地面覆蓋物的輻射發(fā)射率

對于紅外成像而言，目標能否被探測到取決于目標與背景的輻射差異，因此，定義目標的輻射對比度CIR為:

式中，Mt為目標的輻射出射度;Mb為背景的輻射出射度。

2.1.2 微光環(huán)境下目標背景對比度特性

微光成像系統(tǒng)是根據(jù)目標反射夜天空的輻射能照射到光電陰極上，由光電陰極在其敏感的光譜范圍內(nèi)積分來實現(xiàn)成像。對一定波長間隔dλ內(nèi)的入射輻射能量P0而言，某一分界面在一定溫度下的反射輻射能通量P與P0之比，稱為光譜反射系數(shù)r［8］:

光譜反射系數(shù)與波長、溫度、分界面種類和光潔度及入射角有關(guān)，圖1給出了常見物體的光譜反射系數(shù)［7－8］。

在可見光波段，目標能否被探測到與目標背景的反射對比度有關(guān)，目標的反射對比度CLL定義為:

式中，ρt(λ)和ρb(λ)分別為目標與背景的光譜反射率。

圖1 常見物體的光譜反射系數(shù)

2.2 探測器特性

對光電探測器而言，光譜響應(yīng)率用來描述器件的靈敏程度，它是器件對單色入射輻射的響應(yīng)能力。光譜匹配系數(shù)反映了各種光譜響應(yīng)的光電陰極對不同的輻射源的光譜利用率的高低，它能有效地表征光電陰極的光譜響應(yīng)與輻射源光譜之間的匹配程度，其定義為:

式中，S(λ)為探測器的相對光譜響應(yīng)率，即:

式中，Sλ為探測器的光譜響應(yīng)率;Sm為其峰值響應(yīng)。P(λ)為目標的相對光譜分布，即:

式中，Pλ為目標的光譜分布;Pm為其峰值。對于微光探測器而言，Pλ為目標的反射光譜分布;對于紅外探測器而言，Pλ為目標的輻射光譜分布。

光譜匹配系數(shù)α的范圍為0～1，α越大，則探測器和目標的匹配越好，成像效果就越好;α越小，則匹配越差，成像效果也就越差;當探測器光譜響應(yīng)和輻射源光譜完全不匹配時，α具有最小值0;理想情況下，二者完全重合，則α具有最大值1。

2.3 大氣傳輸特性

大氣本身對輻射有吸收和散射等作用，將造成輻射能的衰減。因此，大氣的傳輸特性直接影響探測器的探測效果。輻射能在大氣中的傳輸能力可以用透射率來表征。透射率定義為輻射穿過大氣未被吸收衰減的能量與總能量之比。透射系數(shù)τ與作用距離R的關(guān)系可以表示為:

式中，V為能見距離，定義為在一定的大氣透明度下，人眼能發(fā)現(xiàn)以地平天空為背景的黑色目標物(視角大于30')的最大距離。

2.4 目標距離和尺寸特性

在目標探測的實際應(yīng)用中，目標距離和尺寸大小對最終的探測效果有著重要影響。因此，我們設(shè)計一個距離因子來描述目標距離和尺寸大小對探測概率的影響。首先，目標對人眼的張角為［9］:

式中，H為目標高度，單位為m;R為目標距離，單位為km。目標距離因子為:

對于不同尺寸大小的目標，距離因子σ與目標距離的關(guān)系如圖2所示。由圖可知，距離因子隨著距離的增加而減小。在相同距離的情況下，目標越大，則距離因子越大。

圖2 距離因子和目標距離的關(guān)系

3 基于目標特性分析的紅外與微光圖像融合算法

對于一定的目標而言，單一探測器的探測結(jié)果是目標背景對比度特性、探測器光譜匹配特性、大氣傳輸特性和目標自身特性聯(lián)合作用的結(jié)果。

對于紅外成像系統(tǒng)，最終圖像中的目標特性指標為:

式中，CIR為目標的輻射對比度，由式(4)計算得到;αIR為微光成像系統(tǒng)與目標的光譜匹配系數(shù)，由式(7)計算得到;τIR為大氣中微光的光譜傳輸系數(shù)，由式(10)計算得到;σ為目標距離因子，由式(12)計算得到。

對于微光成像系統(tǒng)，最終圖像中的目標特性指標為:

式中，CLL為目標的反射對比度，由式(6)計算得到;αLL為微光成像系統(tǒng)與目標的光譜匹配系數(shù)，由式(7)計算得到;τLL為大氣中微光的光譜傳輸系數(shù)，由式(10)計算得到;σ為目標距離因子，由式(12)計算得到。

對于某一目標，KLL和KIR代表著探測器對該目標的探測性能，KLL和KIR的值越大，說明目標被探測到的可能性越大。因此，我們定義融合圖像中加權(quán)系數(shù)的計算方法:

則最終的融合圖像IF(i，j)為:

式中，ILL(i，j)為 微光圖像;IIR(i，j)為紅外圖像?；谀繕颂匦苑治龅募t外與微光圖像融合模型流程圖如圖3所示。

圖3 基于目標特性分析的紅外與微光圖像融合算法模型流程

4 實驗仿真及分析

為了驗證本文提出的加權(quán)系數(shù)計算方法在圖像融合中的實際效果，設(shè)計了一組實驗，分別比較了基于加權(quán)平均法(ω=0.5)、區(qū)域能量確定加權(quán)系數(shù)法和本文提出的基于目標特性分析的圖像融合仿真實驗，并從人眼視覺感受方面定性地對融合效果圖像做了主觀分析。

如圖4所示為同一場景下的紅外和微光源圖像，場景以草地、混凝土為背景，以哨兵為目標，二者的測量數(shù)據(jù)如表2所示。紅外探測器的光譜響應(yīng)范圍為8～14 μm，微光探測器的光譜響應(yīng)范圍為0.25～0.9 μm，紅外探測器和微光探測器的歸一化光譜響應(yīng)率如圖5和圖6所示。目標哨兵和其所在的混凝土工事背景在微光探測器光譜響應(yīng)波段的積分差距較小，且目標在探測器光譜范圍內(nèi)的積分數(shù)值更小，使得目標處于低灰度等級，且二者對比度較差。紅外圖像中，由于二者在溫度上的差異，使得其具有較高的對比度，更容易引起人眼視覺刺激效應(yīng)。

表1 目標、背景參數(shù)

圖6 微光探測器歸一化光譜響應(yīng)率圖

基于加權(quán)平均算法(加權(quán)系數(shù)為0.5)的融合效果圖、區(qū)域能量確定加權(quán)系數(shù)法的融合效果圖和本文提出的基于目標特性分析的融合效果圖如圖7所示。比較三幅融合效果圖，可以很明顯發(fā)現(xiàn)圖7(a)融合效果最差，圖像灰度失真較為嚴重;圖7(b)和圖7(c)融合效果比較接近，不僅能有效地反映出微光圖像的光譜信息，還提取出了紅外圖像中的目標信息，但圖7(c)中與圖7(b)相比，視覺特性更優(yōu)、細節(jié)信息更為豐富，人眼能夠更有效、準確地提取圖像中的目標特征，更有利于探測和識別目標。所以通過人眼視覺主觀評價可以得出結(jié)論:與基于加權(quán)平均和區(qū)域能量確定加權(quán)系數(shù)的圖像融合算法相比，本文算法得到的融合圖像中目標和其所在背景的對比度更容易引起人眼視覺刺激效應(yīng)，更利于潛在目標的觀察。

圖7 紅外和微光圖像融合效果

5 結(jié)論

本文首先對紅外、微光輻射原理進行了分析，研究了目標的紅外輻射對比度特性、微光反射對比度特性;其次，通過對紅外探測器、微光探測器的光譜響應(yīng)率和目標的目標輻射光譜分布、反射光譜分布的匹配程度分析，研究了探測器光譜匹配特性;再次，由大氣的光譜傳輸特性出發(fā)，研究了目標輻射大氣衰減特性;最后，通過目標自身尺寸和探測距離的分析，設(shè)計了目標距離影響因子。在此基礎(chǔ)上，本文提出了基于目標特性分析的加權(quán)系數(shù)的計算方法，并將其引入到圖像融合理論中。在對比實驗中經(jīng)過定性的觀察驗證了該算法在紅外、微光圖像融合中的可行性。

［1］ Zhang Junju，Tian Si，Chang Benkang.Infrared target tracking in real-time video and its implementation［J］.SPIE，2008，6621:66211S －1 －7.

［2］ Zhou Fengfei，Chen Weidong，Li Liangfu.Fusion of IR and visible images using region growing［J］.Journal of Applied Optics，2007，28(6):737 －741.(in Chinese)周鋒飛，陳衛(wèi)東，李良福.一種基于區(qū)域生長的紅外與可見光的圖像融合方法［J］.應(yīng)用光學，2007，28(6):737－741.

［3］ Jin Weiqi，Wang Lingxue，Zhao Yuanmeng.Developments of image processing algorithms for color night vision［J］.Infrared and Laser Engineering，2008，37(1):147 －150.(in Chinese)金偉其，王嶺雪，趙源萌.彩色夜視成像處理算法的新進展［J］.紅外與激光工程，2008，37(1):147 －150.

［4］ Wang Ting.Fusion technology of infrared and LLL images［D］.Nanjing:Nanjing University Of Science And Technology，2007.(in Chinese)王停.紅外與微光圖像融合技術(shù)研究［D］.南京:南京理工大學，2007.

［5］ Li Min，Tan Zheng，Li Xiaoyan.Research and performance evaluation of multisensor image fusion［J］.Computer Engineering and Applications，2006，28(6):39 － 41.(in Chinese)李敏，談?wù)?，李曉?多傳感器圖像融合技術(shù)及評價方法研究［J］.計算機工程與應(yīng)用，2006，28(6):39－41.

［6］ Chen Yongfu.Infrared radiation，infrared device and typical application［M］.Beijing:Electronic Industry Press，2004.(in Chinese)陳永甫.紅外輻射紅外器件與典型應(yīng)用［M］.北京:電子工業(yè)出版社，2004.

［7］ Liu Lei.Visual range evaluation of LLL night vision system with laser illuminator［D］.Nanjing:Nanjing University Of Science And Technology，2005.(in Chinese)劉磊.激光助視/微光夜視系統(tǒng)視距評估研究［D］.南京:南京理工大學，2005.

［8］ Li Wei，Chang Benkang.A study on the characteristics of reflection spectrum of field of view under night-sky radiation［J］.Journal of China Ordnance，2000，21(2):177 －179.(in Chinese)李蔚，常本康.夜天光下景物反射光譜特性的研究［J］.兵工學報，2000，21(2):177 －179.

［9］ Bailey H H.Target detection through visual recognition and a quantitative model［R］.New York:The Rand Corporation，1970.