基于最大檢測(cè)概率的可見光與SAR圖像融合方法?

劉 杰

（中國(guó)電子科技集團(tuán)公司第十研究所 成都 610036）

1 引言

隨著隱身技術(shù)和其它干擾技術(shù)的發(fā)展，單一圖像源獲取的信息往往不足以支撐對(duì)目標(biāo)的有效檢測(cè)和識(shí)別。尤其是在成像偵察和成像制導(dǎo)等領(lǐng)域，無論是無人偵察機(jī)還是有人偵察機(jī)，對(duì)地攻擊導(dǎo)彈還是對(duì)空攻擊導(dǎo)彈，大部分都搭載了兩種及以上的成像載荷［1］，如何充分利用各種圖像的互補(bǔ)信息，使得在對(duì)融合圖像進(jìn)行目標(biāo)檢測(cè)時(shí)，能夠獲得最大的檢測(cè)概率。

異源圖像融合［2］的主要思想是采用一定的算法，把來自多個(gè)傳感器的多幅圖像綜合成一幅新圖像，在這幅融合圖像中能反映多重原始［3］圖像的信息，以達(dá)到對(duì)目標(biāo)和場(chǎng)景的綜合描述，使之更適合視覺感知或計(jì)算機(jī)處理。從屬性分類或者身份估計(jì)層次上劃分，異源圖像融合一般分為像素級(jí)［4］圖像融合、特征級(jí)［5］圖像和決策級(jí)［6］圖像融合三類。常用的異源圖像融合方法有加權(quán)融合法［7］、多尺度分解融合法［8］、基于梯度特征的多尺度融合法［9］、金字塔分解融合法［10］、小波變換融合法［11］、高通濾波融合法［12］、基于模糊邏輯的圖像融合法［13］、基于表決法的決策級(jí)融合法［14］和基于貝葉斯推理的決策級(jí)融合法［15］等。

從像素級(jí)融合到?jīng)Q策級(jí)融合方法，主要的研究工作還是集中在怎樣提高融合圖像的視覺感知，較少涉及對(duì)融合圖像的自動(dòng)目標(biāo)檢測(cè)和識(shí)別等工作。本文研究空天偵察和制導(dǎo)等軍事領(lǐng)域中，利用多源圖像融合實(shí)現(xiàn)對(duì)目標(biāo)的高概率檢測(cè)識(shí)別問題，基于最少信息損失的像素級(jí)加權(quán)融合方法，開創(chuàng)性地使用反饋學(xué)習(xí)的方式，建立融合圖像檢測(cè)概率與各指標(biāo)之間的關(guān)系，從而挖掘出與檢測(cè)概率具有強(qiáng)相關(guān)性的指標(biāo)，并在此基礎(chǔ)上自適應(yīng)獲取在融合圖像具有最大檢測(cè)概率條件下的異源圖像加權(quán)系數(shù)。基于最大檢測(cè)概率的可見光與SAR圖像融合方法是在檢測(cè)度最優(yōu)條件下求取加權(quán)系數(shù)，然后進(jìn)行異源圖像的加權(quán)融合，因此融合圖像能以較大的概率實(shí)現(xiàn)目標(biāo)的檢測(cè)，仿真結(jié)果驗(yàn)證了該方法的有效性。

2 異源圖像加權(quán)融合方法

異源圖像像素級(jí)融合［16］是在基礎(chǔ)數(shù)據(jù)層面上進(jìn)行的信息融合，該層級(jí)上的融合能充分利用不同源圖像的有效信息。加權(quán)融合法是像素級(jí)融合算法的典型代表，該方法提高了融合圖像的信噪比，使目標(biāo)更加突出，便于檢測(cè)識(shí)別，該方法還具有算法簡(jiǎn)單、融合速度快的優(yōu)點(diǎn)，主要的處理方法有像素灰度值取大（?。┦胶蛯?duì)應(yīng)像素灰度值加權(quán)平均。

2.1 像素灰度值取大（?。┑膱D像融合方法

對(duì)于源圖像A和B，融合圖像F，基于像素灰度值選大的圖像融合方法可表示為

基于像素灰度值選小的圖像融合方法可表示為

其中，i和j分別代表圖像中的坐標(biāo)。從上述公式可以看出，這種方法的主要思想就是比較源圖像A、B中對(duì)應(yīng)位置像素灰度值的大小，然后根據(jù)實(shí)際應(yīng)用的具體要求來選取相應(yīng)的滿足要求的像素，作為融合圖像對(duì)應(yīng)位置的像素。

2.2 像素灰度值加權(quán)平均的圖像融合方法

對(duì)于源圖像A、B，融合圖像F，其加權(quán)平均融合過程如下所示：

其中，i和j分別代表圖像中的坐標(biāo)。k1和k2分別為加權(quán)系數(shù)，通常取k1+k2=1?？煽闯鰣D像灰度值的平均是灰度值加權(quán)平均的一個(gè)特例，即k1=k2=0.5。像素灰度值的加權(quán)平均法進(jìn)行圖像融合簡(jiǎn)單直觀，適合實(shí)時(shí)處理系統(tǒng)的應(yīng)用；常用的加權(quán)融合方法都是使用固定的權(quán)值來進(jìn)行異源圖像的融合，固定權(quán)值法不能保證對(duì)所有的圖像融合后都達(dá)到最大的目標(biāo)檢測(cè)概率，故加權(quán)融合法并未在異源圖像融合中得到較大的應(yīng)用。本文著重解決固定權(quán)值帶來的檢測(cè)概率不確定因素，自適應(yīng)的計(jì)算權(quán)值，使融合后的圖像獲得最大的目標(biāo)檢測(cè)概率。

3 基于最大檢測(cè)概率的可見光與SAR圖像融合方法

文中提出的基于最大檢測(cè)概率的可見光與SAR圖像融合方法處理步驟如圖1所示。

圖1 基于最大檢測(cè)概率的可見光與SAR圖像融合方法示意圖

基于最大檢測(cè)概率的可見光與SAR圖像融合方法，該方法主要包括灰度值加權(quán)、指標(biāo)計(jì)算、最優(yōu)權(quán)值計(jì)算和加權(quán)融合等步驟。其中指標(biāo)計(jì)算所選取的指標(biāo)是通過反饋學(xué)習(xí)的方式，尋找出的與融合圖像檢測(cè)概率具有單調(diào)遞增或單調(diào)遞減關(guān)系的指標(biāo)。

3.1 融合圖像質(zhì)量評(píng)價(jià)指標(biāo)

相對(duì)于圖像融合方法研究的多樣性，國(guó)內(nèi)外文獻(xiàn)中對(duì)融合算法或融合圖像進(jìn)行評(píng)價(jià)的研究較少。目前，對(duì)融合圖像進(jìn)行的評(píng)價(jià)主要有兩種。一種是只涉及定性評(píng)價(jià)的主觀評(píng)價(jià)法，這種評(píng)價(jià)由人為做出，極易受主觀因素影響；另一種是對(duì)單因素客觀評(píng)價(jià)指標(biāo)的研究，這些指標(biāo)包括熵和平均梯度等［17］。在基于計(jì)算機(jī)自動(dòng)檢測(cè)的融合應(yīng)用中，融合圖像的客觀評(píng)價(jià)指標(biāo)的研究更有意義，將通過反饋的方式指導(dǎo)各源圖像的融合加權(quán)系數(shù)的擇優(yōu)選取。

3.1.1 融合圖像信息熵

熵是衡量圖像信息豐富程度的一個(gè)重要指標(biāo)。對(duì)于一幅單獨(dú)的圖像，可以認(rèn)為其各元素的灰度值是相互獨(dú)立的樣本，則這幅圖像的灰度分布為P=｛P1，P2，…，Pi，…，PL-1｝，反映了圖像中具有不同灰度值像素的概率分布，即灰度值為i的像素?cái)?shù)Ni與圖像總像素?cái)?shù)N之比，即Pi=Ni/N，L為圖像總的灰度級(jí)。根據(jù)香農(nóng)信息理論，熵定義為

通過對(duì)圖像熵的比較可以對(duì)比出圖像之間的細(xì)節(jié)表現(xiàn)能力，融合圖像的熵越大，說明融合圖像的信息量越豐富，因此可用熵來評(píng)價(jià)融合圖像信息增加程度。

3.1.2 融合圖像平均梯度

平均梯度也稱為清晰度。在圖像中，某一方向的灰度級(jí)變化率大，它的梯度也就越大。通過對(duì)融合圖像平均梯度的比較可以對(duì)比融合圖像的細(xì)節(jié)表現(xiàn)能力，反映圖像質(zhì)量的改進(jìn)及圖像中微小細(xì)節(jié)反差和紋理變化特征，可表征圖像的清晰程度。融合圖像F的平均梯度定義為

其中，ΔFx和ΔFy分別為f（x，y）沿x和y方向的一階差分值。通常情況下，圖像的平均梯度越大，表示圖像層次越豐富，圖像的清晰度越好，因此可以用平均梯度來評(píng)價(jià)融合圖像在微小細(xì)節(jié)表達(dá)能力上的差異。

3.2 加權(quán)系數(shù)反饋學(xué)習(xí)

基于最大檢測(cè)概率的可見光與SAR圖像融合方法，其核心思想是通過反饋學(xué)習(xí)的方式，建立融合圖像評(píng)價(jià)指標(biāo)與目標(biāo)檢測(cè)概率之間的關(guān)系，自適應(yīng)地選擇使融合圖像具有最大檢測(cè)概率的加權(quán)系數(shù)。加權(quán)系數(shù)反饋學(xué)習(xí)分為樣本圖像指標(biāo)訓(xùn)練和測(cè)試圖像加權(quán)系數(shù)自適應(yīng)選取兩部分，其主要流程如圖2和圖3所示。

圖2 樣本圖像指標(biāo)訓(xùn)練流程圖

運(yùn)用樣本圖像進(jìn)行指標(biāo)訓(xùn)練流程中，源圖像1和源圖像2分別表示為X1和X2，在［0，1］區(qū)間等間隔選取源圖像1的加權(quán)系數(shù)a1，a2…，ak，其中k為區(qū)間分成的段數(shù)，源圖像2的加權(quán)系數(shù)則為1-a1，1-a2…，1-ak，則融合圖像可表示為

運(yùn)用恒虛警、類熵之和最大法、方差最大法等檢測(cè)算法對(duì)融合圖像進(jìn)行目標(biāo)檢測(cè)，得到其相應(yīng)的檢測(cè)概率為p（i），熵為e（i），平均梯度為g（i），其中i=1，2，…，k。

圖3 測(cè)試圖像加權(quán)系數(shù)自適應(yīng)選取流程圖

建立p與e和g之間的函數(shù)關(guān)系，f1（p，e）和f2（p，g），分別將兩個(gè)函數(shù)求關(guān)于p的偏導(dǎo)數(shù)，得到

對(duì)測(cè)試圖像加權(quán)系數(shù)自適應(yīng)選取時(shí)，加權(quán)系數(shù)在［0，1］區(qū)間等間隔遍歷一次，進(jìn)行測(cè)試圖像的加權(quán)融合，每次計(jì)算訓(xùn)練階段得到的參考指標(biāo)數(shù)值，自適應(yīng)地找出目標(biāo)最大檢測(cè)概率所對(duì)應(yīng)的參考指標(biāo)最大值或者最小值，并找出相應(yīng)的加權(quán)系數(shù)值，此時(shí)找出的加權(quán)系數(shù)值，則為目標(biāo)最大檢測(cè)概率約束下的最優(yōu)加權(quán)系數(shù)。

3.3 異源圖像加權(quán)融合

通過3.2節(jié)的加權(quán)系數(shù)反饋學(xué)習(xí)方法，可以自適應(yīng)地選擇用于異源圖像X1和X2進(jìn)行融合的加權(quán)系數(shù)a和1-a，由此可得具有最大目標(biāo)檢測(cè)概率的融合圖像如下：

4 仿真及結(jié)果分析

本文的訓(xùn)練樣本圖像和測(cè)試圖像均為400×400像素的同一場(chǎng)景可見光和SAR圖像，每一個(gè)像素以8灰度級(jí)量化，用于訓(xùn)練的融合圖像指標(biāo)有熵和平均梯度，用于訓(xùn)練的目標(biāo)檢測(cè)算法有恒虛警、類熵之和最大法、方差最大法。在Matlab 7.8.0環(huán)境下進(jìn)行仿真分析。

通過對(duì)大量樣本圖像進(jìn)行訓(xùn)練，得到融合圖像評(píng)價(jià)指標(biāo)與檢測(cè)概率的關(guān)系，其部分結(jié)果如圖4和圖5所示。CFAR表示恒虛警檢測(cè)法，最大熵表示類熵之和最大法，OTSU表示方差最大法。

圖4 融合圖像熵與檢測(cè)概率關(guān)系圖

圖5 融合圖像平均梯度與檢測(cè)概率關(guān)系圖

為了驗(yàn)證訓(xùn)練得到的指標(biāo)準(zhǔn)確性，通過測(cè)試圖像進(jìn)行了實(shí)驗(yàn)，其結(jié)果如圖6所示。

圖6 融合圖像熵與檢測(cè)概率關(guān)系圖

從圖4和圖5可以看出，只有在恒虛警檢測(cè)算法條件下，融合圖像熵指標(biāo)隨檢測(cè)概率呈現(xiàn)出遞減的趨勢(shì)，而融合圖像平均梯度在三種檢測(cè)算法條件下均未出現(xiàn)單調(diào)變化的特征。在對(duì)大量樣本圖像對(duì)進(jìn)行指標(biāo)訓(xùn)練的過程中，得到的結(jié)果幾乎與圖4和圖5具有相同的變化趨勢(shì)，故在進(jìn)行測(cè)試時(shí)，選擇熵作為衡量融合圖像檢測(cè)概率的指標(biāo)，檢測(cè)算法被選定為恒虛警檢測(cè)算法。

從圖6的結(jié)果可以看出，通過反饋學(xué)習(xí)，選擇使融合圖像熵最小的加權(quán)系數(shù)進(jìn)行融合，將使得融合圖像獲得最大的檢測(cè)概率。

5 結(jié)語

在情報(bào)偵察和制導(dǎo)等領(lǐng)域中，為了實(shí)現(xiàn)抗干擾和反隱身等功能，多傳感器圖像融合的目標(biāo)檢測(cè)識(shí)別顯得越來越重要，針對(duì)利用多源圖像融合提高目標(biāo)檢測(cè)概率的問題，本文提出了一種基于最大檢測(cè)概率的可見光與SAR圖像融合方法，該方法以獲取最大的檢測(cè)概率為目標(biāo)，挖掘出融合圖像各指標(biāo)與檢測(cè)概率之間的關(guān)系，找出具有隨檢測(cè)概率單調(diào)變化的指標(biāo)作為選取加權(quán)系數(shù)的標(biāo)準(zhǔn)，通過仿真實(shí)驗(yàn)驗(yàn)證了該方法的有效性。

目前研究的大部分圖像融合方法均是以增加目視效果為前提，評(píng)價(jià)多以主觀評(píng)價(jià)為主，對(duì)客觀評(píng)價(jià)指標(biāo)的研究較少，而用檢測(cè)概率來指導(dǎo)圖像融合方法的研究未見報(bào)道，本文做了一些探索性的研究，得到了一些有益的結(jié)果，具有較高的實(shí)用價(jià)值。