基于透射圖融合的紅外圖像傳感器信號(hào)增強(qiáng)方法*

顧振飛,袁小燕,張照鋒,張登銀,孔令民,沈 昊

(1.南京信息職業(yè)技術(shù)學(xué)院電子信息學(xué)院,南京 210023;2.南京郵電大學(xué)物聯(lián)網(wǎng)學(xué)院,南京 210003; 3.中國(guó)人民解放軍94826部隊(duì),上海 200020)

紅外圖像傳感器廣泛應(yīng)用于安全監(jiān)控、智能交通、目標(biāo)識(shí)別、軍事偵察等領(lǐng)域。然而,受傳感系統(tǒng)噪聲、背景熱輻射過(guò)高、場(chǎng)景目標(biāo)與背景熱輻射差異過(guò)小等因素影響,紅外傳感器所采集的圖像信號(hào)往往存在動(dòng)態(tài)范圍壓縮的問(wèn)題,從而引起視覺(jué)效果差、對(duì)比度低、信噪比低等缺陷,極大的制約了相關(guān)系統(tǒng)的有效性[1-3]。因此,對(duì)紅外圖像傳感器所采集的信號(hào)進(jìn)行增強(qiáng)處理具有重要的現(xiàn)實(shí)意義與應(yīng)用價(jià)值。

當(dāng)前,空間域紅外圖像信號(hào)增強(qiáng)方法大致可以劃分為直方圖均衡類(lèi)、基于Retinex模型類(lèi)和圖像融合類(lèi)。其中,直方圖均衡類(lèi)方法通過(guò)直接調(diào)節(jié)圖像直方圖的動(dòng)態(tài)范圍來(lái)增強(qiáng)圖像的全局對(duì)比度[4-7],雖然此類(lèi)方法通常具有較高的處理效率,但卻具有顯著的結(jié)構(gòu)盲目性,因此增強(qiáng)結(jié)果中勢(shì)必存在局部過(guò)增強(qiáng)或增強(qiáng)不足等缺陷?；赗etinex模型的紅外圖像增強(qiáng)方法[8-10]通過(guò)直接分離圖像中的場(chǎng)景目標(biāo)分量并對(duì)其進(jìn)行增強(qiáng)處理,可以有效恢復(fù)出圖像中潛藏的部分紋理細(xì)節(jié)。然而,考慮到模型的內(nèi)在缺陷,現(xiàn)有技術(shù)無(wú)法確保準(zhǔn)確、完全估計(jì)出目標(biāo)熱輻射分量,因此在處理降至嚴(yán)重的紅外圖像時(shí)通常缺乏魯棒性?；趫D像融合的增強(qiáng)方法[11]大多需要對(duì)同一場(chǎng)景進(jìn)行多次采樣,進(jìn)而通過(guò)綜合利用多個(gè)圖像間的互補(bǔ)特性來(lái)合成出增強(qiáng)后的圖像。此類(lèi)方法涉及多次采樣,且多個(gè)采樣結(jié)果間需要進(jìn)行精確配準(zhǔn),所以較為耗時(shí)且缺乏通用性。文獻(xiàn)[12]嘗試了一種基于單幅紅外圖像生成多個(gè)融合源并進(jìn)行增強(qiáng)處理的策略。但是,該方法僅簡(jiǎn)單利用了原始圖像來(lái)合成多個(gè)融合源,因而在增強(qiáng)原圖中的信息匱乏區(qū)域時(shí)通常缺乏魯棒性,且具有較高的計(jì)算復(fù)雜度而不具備實(shí)時(shí)處理的可能性。

圖1 所提方法流程示意圖

為克服上述缺陷,提出一個(gè)基于透射圖融合的紅外圖像傳感器信號(hào)增強(qiáng)方法。與現(xiàn)有主流技術(shù)相比,所提方法具有以下優(yōu)勢(shì):①基于散射模型對(duì)紅外圖像建模,將復(fù)雜的增強(qiáng)處理簡(jiǎn)化為了基于圖像子區(qū)域的透射率估計(jì)過(guò)程;②利用單幅紅外圖像分別生成多個(gè)含有不同有效增益的透射圖,克服了圖像融合類(lèi)增強(qiáng)方法需要多次采樣和精確配準(zhǔn)的缺陷;③通過(guò)構(gòu)建融合權(quán)重圖分別提取各透射圖中的有效增益,并基于圖像金字塔模型[13]進(jìn)行逐層融合,克服了現(xiàn)有融合技術(shù)的盲目性缺陷,提高了增強(qiáng)處理的有效性及魯棒性。

1 散射模型

大氣散射模型[14]被廣泛用于對(duì)降質(zhì)圖像進(jìn)行建模,其數(shù)學(xué)表達(dá)形式為:

I(x,y)=L∞ρ(x,y)t(x,y)+L∞[1-t(x,y)]

(1)

式中:I(x,y)是降質(zhì)圖像;L∞是全局大氣光;ρ(x,y)是反照率;t(x,y)是描述像素衰減程度的透射率。然而,基于該模型的圖像增強(qiáng)方法會(huì)使得增強(qiáng)后的圖像偏暗[15],而考慮到紅外圖像整體偏暗的特性,如果直接使用該模型對(duì)紅外圖像進(jìn)行建模,勢(shì)必使得增強(qiáng)后的紅外圖像更加趨于不可見(jiàn)。因此,為將上述模型引入暗圖像增強(qiáng)領(lǐng)域,文獻(xiàn)[16]在式(1)的基礎(chǔ)上提出了適用于暗圖像的散射模型如下:

I(x,y)=V(x,y)ρ(x,y)t(x,y)

(2)

式中:V(x,y)是最佳光照(輻射)量;其余模型參數(shù)的定義與式(1)一致。利用式(2)對(duì)紅外圖像進(jìn)行建模,通過(guò)估計(jì)出各像素點(diǎn)的透射率t(x,y),便可獲得增強(qiáng)后的紅外圖像:

I′(x,y)=V(x,y)ρ(x,y)=I(x,y)/t(x,y)

(3)

為降低計(jì)算開(kāi)銷(xiāo),將紅外圖像聚類(lèi)分割為多個(gè)透射率相近的子區(qū)域,則式(2)中各子區(qū)域內(nèi)像素的透射率可以改記為子區(qū)域透射率,而紅外圖像的增強(qiáng)過(guò)程可以簡(jiǎn)化為對(duì)子區(qū)域的透射率估計(jì)過(guò)程。

2 基于透射圖融合的紅外圖像傳感器信號(hào)增強(qiáng)方法

本文提出一個(gè)基于透射圖融合的紅外圖像傳感器信號(hào)增強(qiáng)方法。首先,基于散射模型對(duì)紅外圖像進(jìn)行建模,利用聚類(lèi)算法在不同尺度下對(duì)圖像分別進(jìn)行欠分割和超分割,并利用圖像純像素先驗(yàn)分別生成兩幅透射圖。然后,利用各透射圖的紋理分量特征和顯著性特征分別獲取融合權(quán)重圖,并進(jìn)而構(gòu)建針對(duì)各透射圖及其融合權(quán)重圖的圖像金字塔結(jié)構(gòu)模型。對(duì)融合源進(jìn)行逐層融合從而獲得融合后的透射圖,并基于變分模型對(duì)融合后的透射圖進(jìn)行保邊平滑處理從而獲得優(yōu)化后的透射圖。最后,將優(yōu)化后的透射圖代入散射模型便可獲得增強(qiáng)后的紅外圖像。所提方法的具體流程如圖1所示。

2.1 基于散射模型的多尺度紅外圖像透射圖估計(jì)

對(duì)紅外圖像中各像素點(diǎn)的衰減程度進(jìn)行估計(jì)并進(jìn)行針對(duì)性的補(bǔ)償,可以有效增強(qiáng)紅外圖像的視覺(jué)效果?，F(xiàn)有的像素衰減程度估計(jì)方式大都需要利用某種圖像先驗(yàn)知識(shí)對(duì)圖像中各點(diǎn)的透射率進(jìn)行逐點(diǎn)計(jì)算[15-17],計(jì)算復(fù)雜度高、開(kāi)銷(xiāo)大。然而,在圖像一定的鄰域范圍內(nèi)的像素衰減程度通常具有較高的相似性,因此可以利用一種基于圖像子區(qū)域的估計(jì)策略來(lái)取代傳統(tǒng)的逐點(diǎn)估計(jì)方法,從而大幅提高算法效率。

上述策略的關(guān)鍵之處在于聚類(lèi)分割時(shí)對(duì)子區(qū)域數(shù)的選擇。選擇一個(gè)較小的子區(qū)域數(shù),其優(yōu)勢(shì)在于分割所得的子區(qū)域內(nèi)的像素總量勢(shì)必較多,可以實(shí)質(zhì)有效的提高子區(qū)域內(nèi)透射率估計(jì)的準(zhǔn)確性;其缺陷在于較大的鄰域范圍勢(shì)必導(dǎo)致像素間衰減程度的相似性下降,從而導(dǎo)致子區(qū)域邊緣的透射率估計(jì)失效。反之,如果選擇一個(gè)較大的子區(qū)域數(shù),雖可提高像素間衰減程度的相似性,但卻會(huì)嚴(yán)重制約透射率的估計(jì)準(zhǔn)確性。因此,考慮到紅外圖像的類(lèi)型多樣性,理論上并不存在針對(duì)所有類(lèi)型紅外圖像的最優(yōu)子區(qū)域數(shù)。

從左至右分別是紅外圖像、子區(qū)域數(shù)分別為3和60時(shí)的聚類(lèi)分割效果、不同聚類(lèi)分割效果所對(duì)應(yīng)的透射圖。圖2 紅外圖像、聚類(lèi)分割效果及對(duì)應(yīng)的透射圖

為克服上述缺陷,首先利用散射模型對(duì)紅外圖像I(x,y)進(jìn)行建模,并對(duì)其進(jìn)行多尺度聚類(lèi)分割[18],具體過(guò)程如下:

式中:k是子區(qū)域數(shù);i∈{1,…,k}是子區(qū)域Ω(i)的索引;i是子區(qū)域Ω(i)的聚類(lèi)中心。上述過(guò)程將迭代執(zhí)行,直至下列中止條件被滿足:

(5)

式中:j是迭代次數(shù)索引;Ij是第j次迭代后的聚類(lèi)結(jié)果;res是圖像分辨率。經(jīng)反復(fù)測(cè)試,分別選擇k=3和k=60對(duì)紅外圖像分別進(jìn)行欠分割和超分割,并將分割效果分別記為I1和I2,I1和I2所對(duì)應(yīng)的子區(qū)域集分別記為Ω1和Ω2。

在此基礎(chǔ)上,利用圖像純像素先驗(yàn)[16]在不同聚類(lèi)結(jié)果的各子區(qū)域內(nèi)分別進(jìn)行獨(dú)立的透射率估計(jì)。圖像純像素先驗(yàn)發(fā)現(xiàn),降質(zhì)嚴(yán)重的暗圖像中的鄰域內(nèi)均具有較高比例的純像素(純白色和純黑色像素),而具有較好可視性的圖像的鄰域中通常僅存在極少比例的純白色和純黑色像素。雖然該先驗(yàn)是針對(duì)彩色暗圖像的,但大量實(shí)驗(yàn)證明該先驗(yàn)同樣適用于紅外圖像。據(jù)此,構(gòu)建針對(duì)各子區(qū)域的透射率估計(jì)函數(shù)如下:

(6)

式中:ξ(·)是純像素比例統(tǒng)計(jì)函數(shù),用于對(duì)增強(qiáng)后的圖像進(jìn)行純像素比例統(tǒng)計(jì)。在I1和I2的各子區(qū)域內(nèi)分別進(jìn)行獨(dú)立的透射率估計(jì),便可得到I1和I2對(duì)應(yīng)的透射圖t1和t2。

選取兩幅紅外圖像,并使用上述方法對(duì)其進(jìn)行聚類(lèi)分割及透射圖估計(jì),結(jié)果如圖2所示。通過(guò)對(duì)圖2的觀察可以發(fā)現(xiàn):透射圖t1能對(duì)圖中的顯著區(qū)域進(jìn)行了較為準(zhǔn)確的保留,避免了增強(qiáng)后圖像中出現(xiàn)顯著的過(guò)增強(qiáng)現(xiàn)象,但是卻顯著缺乏紋理;透射圖t2中含有豐富的紋理信息,卻存在顯著的估計(jì)失誤。

2.2 基于圖像金字塔模型的透射圖融合

為綜合各透射圖中的有效增益,需要對(duì)估計(jì)所得的兩幅透射圖進(jìn)行融合處理。為此,引入兩個(gè)圖像客觀評(píng)價(jià)指標(biāo)[19-20]對(duì)透射圖t1和t2分別進(jìn)行逐像素式的有效成分識(shí)別,并分別構(gòu)建顯著性權(quán)重圖和清晰度差異性權(quán)重圖。進(jìn)而,對(duì)各透射圖及其權(quán)重圖分別建立圖像金字塔模型,通過(guò)進(jìn)行逐層融合獲得融合后的透射圖。具體過(guò)程如下:

①構(gòu)建顯著性權(quán)重圖

透射圖中的紋理對(duì)應(yīng)的是紅外圖像中的邊緣結(jié)構(gòu),直接決定了增強(qiáng)后紅外圖像的視覺(jué)效果。因此,構(gòu)建顯著性權(quán)重圖的主要目的是對(duì)透射圖中所包含的紋理細(xì)節(jié)進(jìn)行篩選,即通過(guò)逐像素識(shí)別顯著程度的方式來(lái)提取紅外圖像中重要邊緣結(jié)構(gòu)。顯著性主要評(píng)價(jià)的是中心像素相對(duì)于鄰域像素的視覺(jué)特殊性,綜合考慮算法有效性和計(jì)算開(kāi)銷(xiāo),利用文獻(xiàn)[19]提出的顯著性權(quán)重圖構(gòu)建算法如下:

圖3 各透射圖所對(duì)應(yīng)的顯著性權(quán)重圖

②構(gòu)建清晰度差異性權(quán)重圖

由散射模型可知,過(guò)高或過(guò)低的透射率會(huì)導(dǎo)致增強(qiáng)后出現(xiàn)顯著的增強(qiáng)不足或過(guò)增強(qiáng)現(xiàn)象。為消除此類(lèi)現(xiàn)象,可以通過(guò)構(gòu)建清晰度差異性權(quán)重圖來(lái)平衡透射圖中各像素點(diǎn)相對(duì)于清晰區(qū)域的差異,從而實(shí)現(xiàn)修正透射圖的目的。據(jù)此,本文依據(jù)文獻(xiàn)[20]中的相似思想,構(gòu)建清晰度差異性權(quán)重圖如下:

圖4 各透射圖所對(duì)應(yīng)的清晰度差異性權(quán)重圖

③基于圖像金字塔模型的透射圖融合

通過(guò)測(cè)試大量紅外圖像,發(fā)現(xiàn)信息量權(quán)重圖和顯著性權(quán)重圖在增強(qiáng)處理中具有相似的重要性。因此,為控制各權(quán)重圖在融合過(guò)程中具有大體一致的重要性,同時(shí)控制權(quán)重值不至溢出,對(duì)各透射圖所對(duì)應(yīng)的權(quán)重圖進(jìn)行正則化處理如下:

(9)

④基于變分模型的透射圖優(yōu)化

上述透射率的估計(jì)過(guò)程本質(zhì)上是基于聚類(lèi)分割的,因此融合后的透射圖中的各分割邊緣處易于存在透射率跳變,這將在增強(qiáng)后的紅外圖像的邊緣處中引入不必要的光暈現(xiàn)象。如果直接進(jìn)行簡(jiǎn)單的平滑操作(如高斯模糊)則會(huì)引起不必要的全局細(xì)節(jié)丟失,因此需要對(duì)其進(jìn)行保邊平滑操作[21],具體優(yōu)化過(guò)程表述如下:

(11)

(12)

融合后的透射圖、優(yōu)化后的透射圖及增強(qiáng)后的紅外圖像分別展示于圖5中,可以看出所提方法可以有效恢復(fù)出紅外信號(hào)中的潛在信息,增強(qiáng)后的圖像紋理細(xì)節(jié)豐富、邊緣清晰且沒(méi)有引入過(guò)增強(qiáng)、光暈效應(yīng)等負(fù)面視覺(jué)效果。

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證所提方法的有效性及對(duì)比優(yōu)勢(shì),重新選取 3幅具有挑戰(zhàn)性的紅外圖像,包括全局低熱輻射的紅外圖像(圖6)、紋理細(xì)節(jié)豐富的紅外圖像(圖7)、缺乏紋理細(xì)節(jié)的紅外圖像(圖8),并與現(xiàn)有的三類(lèi)主流方法(自適應(yīng)直方圖均衡方法AHE[22]、基于Retinex理論的Gu方法[23]和基于融合技術(shù)的Yuan方法[12])分別進(jìn)行主觀和客觀對(duì)比。實(shí)驗(yàn)所用軟件為MATLAB2014a,計(jì)算機(jī)配置為:64位 Windows7、Intel Core i5 2.6 GHz、8GB內(nèi)存。使用所提方法增強(qiáng)圖6～圖8所需時(shí)間分別為:0.23 s、0.81 s、0.44 s。

3.1 主觀比較

從圖6～圖8中可以看出,AHE方法[22]雖可恢復(fù)出一定的場(chǎng)景細(xì)節(jié),卻無(wú)法有效避免局部過(guò)增強(qiáng)或局部增強(qiáng)不足的缺陷,如圖8的背景區(qū)域出現(xiàn)了顯著的過(guò)增強(qiáng)現(xiàn)象,而圖像下部的草地區(qū)域卻因?yàn)樵鰪?qiáng)不足而依舊無(wú)法分辨。Gu方法[23]只能對(duì)圖像中的特定頻率分量進(jìn)行增強(qiáng),因而顯著丟失了大量的低頻分量,如圖6和圖8均出現(xiàn)了一定比例的模糊區(qū)域。Yuan方法[12]對(duì)難以提取原圖信息的區(qū)域(如像素強(qiáng)度極低的區(qū)域)無(wú)法構(gòu)建融合圖,因而存在一定的增強(qiáng)失效情況,如圖6的右上區(qū)域和圖7 的左部區(qū)域均出現(xiàn)了明顯的暗區(qū)。相較而言,所提方法能夠在恢復(fù)出大量紋理細(xì)節(jié)的同時(shí)有效避免負(fù)面效應(yīng)。

圖6 全局低熱輻射的紅外圖像及不同方法的增強(qiáng)效果比較

圖7 紋理細(xì)節(jié)豐富的紅外圖像及不同方法的增強(qiáng)效果比較

圖8 缺乏紋理細(xì)節(jié)的紅外圖像及不同方法的增強(qiáng)效果比較

3.2 客觀比較

基于文獻(xiàn)[24]所提出的新增可見(jiàn)邊比E,平均對(duì)比度增益R和基于人眼視覺(jué)的圖像清晰度指標(biāo)FADE這3個(gè)經(jīng)典的客觀評(píng)價(jià)指標(biāo)來(lái)進(jìn)一步驗(yàn)證所提方法的有效性及對(duì)比優(yōu)勢(shì)。其中,指標(biāo)E可以量化增強(qiáng)后圖像中的新增可見(jiàn)邊比例,指標(biāo)R量化增強(qiáng)后圖像所獲得的平均對(duì)比度增益,較大的E值和R值可以驗(yàn)證對(duì)應(yīng)方法具有較好的紋理細(xì)節(jié)恢復(fù)和視覺(jué)效果增強(qiáng)的能力。依據(jù)文獻(xiàn)[20]可知,指標(biāo)FADE是可以量化增強(qiáng)后圖像的視覺(jué)清晰度,較小的FADE值則可以證明對(duì)應(yīng)的增強(qiáng)結(jié)果具有更好的清晰度。在表1～表3中分別給出了各方法增強(qiáng)效果所對(duì)應(yīng)的指標(biāo)值。

從表1中可以看出,所提方法所取得的新增可見(jiàn)邊比值均高于其他對(duì)比方法,這證明了所提方法在紋理細(xì)節(jié)恢復(fù)、全局邊緣結(jié)構(gòu)增強(qiáng)方面的優(yōu)勢(shì)。雖然對(duì)圖8的新增可見(jiàn)邊比值與Yuan方法相近,但卻取得了顯著較好的視覺(jué)效果,這也可以由表2中給出的平均對(duì)比度增益結(jié)果中得到驗(yàn)證。由表2可以看出,所提方法取得了最高的平均對(duì)比度增益值,這證明了本方法在視覺(jué)效果增強(qiáng)方面的優(yōu)勢(shì)。表3所給出的圖像清晰度對(duì)比結(jié)果可以證明,所提方法能夠較好的提升紅外圖像的清晰度且不會(huì)引入過(guò)量的負(fù)面視覺(jué)效應(yīng)。

表1 新增可見(jiàn)邊比對(duì)比結(jié)果

表2 平均對(duì)比度增益對(duì)比結(jié)果

表3 圖像清晰度對(duì)比結(jié)果

4 結(jié)論

提出了一個(gè)基于透射圖融合的紅外圖像傳感器信號(hào)增強(qiáng)方法,克服了現(xiàn)有圖像融合增強(qiáng)方法需要多次采樣和精確配準(zhǔn)的缺陷。通過(guò)引入散射模型對(duì)紅外圖像建模,將復(fù)雜的紅外圖像增強(qiáng)過(guò)程簡(jiǎn)化為了基于圖像子區(qū)域透射率估計(jì)問(wèn)題。通過(guò)構(gòu)建融合權(quán)重圖并基于圖像金字塔模型進(jìn)行逐層融合的策略,提高了增強(qiáng)處理的有效性及魯棒性。