基于移不變形態(tài)中點小波的多聚焦圖像融合

沈鄭燕

基于移不變形態(tài)中點小波的多聚焦圖像融合

沈鄭燕

為解決不同聚焦深度下多幅圖像的信息融合問題，提出一種變換域處理方法。首先基于非線性的中點濾波器，以非抽樣方式構(gòu)造出具有移不變性的形態(tài)中點小波變換。然后對形態(tài)中點小波變換進行提升，從而改善算法性能。最后，利用提升后的形態(tài)中點小波分解待融合圖像，選取合適的融合規(guī)則處理變換域系數(shù)，通過反變換重構(gòu)得到融合后的圖像。計算機仿真實驗表明，移不變形態(tài)中點小波多分辨率分析方法能有效融合多聚焦圖像，與傳統(tǒng)線性小波變換或其他較流行的小波變換相比，得到的整個場景更加完整清晰。

圖像融合是圖像處理技術(shù)的研究熱點之一，在刑事偵查、物證檢驗分析等公安工作中發(fā)揮著巨大作用。其中，多聚焦圖像融合的處理對象來自于同一個傳感器，往往以消除圖像中不同聚焦深度下的圖像模糊為目的，因此如何更好地保持多聚焦圖像的細節(jié)成為融合問題的關(guān)鍵。小波分析是一種多分辨率分析方法，具有良好的時頻局部性和稀疏性，能夠捕捉細微的、非平穩(wěn)的信號特征，這有利于實現(xiàn)多聚焦圖像融合。特別是在第二代小波變換出現(xiàn)后，提升框架降低了小波變換的復雜度，使通過構(gòu)造新的小波變換解決圖像處理問題的可行性大大提高。然而，傳統(tǒng)的小波變換從數(shù)學實現(xiàn)上講仍是一種各向同性的線性變換，在保持圖像的邊緣細節(jié)信息方面具有局限性。近年來的許多研究對此進行改進，一部分研究成果集中在小波變換的方向性擴展上，利用各向異性的尺度關(guān)系逼近圖像細節(jié)，實現(xiàn)多方向的二維小波（如曲波、輪廓波等）；另一部分研究成果主要對小波框架進行非線性擴展，其中，Heijmans和Goutsias提出的結(jié)合形態(tài)學濾波器構(gòu)建形態(tài)小波分析方案最具有代表性。這些新的多分辨率分析理論在信號處理領(lǐng)域得到了廣泛的認可，并成功應用于圖像融合。由于形態(tài)小波變換運算簡單高效、分析圖像結(jié)構(gòu)能力強，本文利用其進行多聚焦圖像融合。但是，經(jīng)典的形態(tài)小波分析方法不具有平移不變性，受分解層數(shù)、數(shù)據(jù)量化等的影響，處理后的圖像往往存在明顯的塊狀效應，而常用的形態(tài)Haar小波也不具有普適性，處理效果有時不盡如人意，因此，本文基于中點濾波器，構(gòu)造出一種具有移不變性的形態(tài)中點小波變換，探討其在多聚焦圖像融合中的應用價值。

形態(tài)中點小波的構(gòu)造

移不變形態(tài)中點小波

形態(tài)小波分析是一種極具兼容性的小波分析框架，在考慮數(shù)學形態(tài)學特點的同時，保留了小波變換多分辨率分析的優(yōu)勢，是對傳統(tǒng)小波分析的非線性擴展。在完備重構(gòu)條件的約束下，以灰度圖像f為例，通過非抽樣方式構(gòu)造形態(tài)中點小波。首先定義中點濾波算子如下：

則形態(tài)中點小波的信號分析算子?↑和細節(jié)分析算子ù↑有如式（2）所示的形式，其中ωh，ωv，ωd分別對應水平、垂直和對角方向的細節(jié)信號。圖像f經(jīng)過移不變形態(tài)中點小波分解后，得到一個低頻分量和三個方向上的高頻分量，由于采用非抽樣分解，每個分量的數(shù)據(jù)量與原圖像相同。相應的信號合成算子ψ↓和細節(jié)合成算子ω↓如式（3）所示。

由此，式（1）－（3）就確定了移不變形態(tài)中點小波分析方案。非抽樣方式可以提高形態(tài)中點小波變換的冗余度，使變換具有移不變性，避免圖像處理后出現(xiàn)塊狀效應。為了進一步驗證，分別用抽樣形態(tài)中點小波（MMW）和非抽樣的移不變形態(tài)中點小波（SIMMW）對一幅測試圖像進行分析，不同分解層上尺度信號的重構(gòu)結(jié)果如圖1所示。從圖1可以看出，MMW由于不具有移不變性，尺度信號的重構(gòu)結(jié)果出現(xiàn)塊狀效應，而且隨著分解層數(shù)的增加，粗尺度空間的塊狀效應會越來越明顯；相比之下，SIMMW具有移不變性，不同尺度的信號重構(gòu)都有效避免了塊狀效應的產(chǎn)生，這對于圖像融合處理有重要意義。

移不變形態(tài)中點小波的提升

圖1 形態(tài)中點小波分析的移不變性比較

得到基本的SIMMW后，考慮對其進行提升，通過提升得到新的形態(tài)中點小波分析方案，進一步改善處理性能。形態(tài)小波的提升一般分為兩種方式：預測提升和更新提升。預測提升改變原有形態(tài)小波的細節(jié)分析算子和信號合成算子；而更新提升改變原有小波的信號分析算子和細節(jié)合成算子。本文考慮使用更新提升方法，結(jié)合每一分解層的細節(jié)信息改變尺度信號，從而進一步提高算法的細節(jié)保持能力，改善圖像融合效果，具體的更新算子為：

則基于更新提升格式的信號分析及細節(jié)分析算子表示為：

信號合成及細節(jié)合成算子表示為：

由此，便得到了本文用于多聚焦圖像融合的提升格式移不變形態(tài)中點小波（LSIMMW），經(jīng)過提升后，圖像分解過程中的低頻細節(jié)保持能力得到了一定程度的提高，如圖2所示。

多聚焦圖像融合

利用本文提出的移不變形態(tài)中點小波進行的圖像融合屬于像素級融合，主要步驟基本與傳統(tǒng)線性小波圖像融合相同，具體步驟描述如下：

（1）圖像信號的延拓。由于使用非抽樣方式構(gòu)造形態(tài)小波變換，為了保持信號分解和重構(gòu)過程中的數(shù)據(jù)量，需要對待融合圖像信號進行延拓，在基本的信號延拓方式中，選擇對稱延拓，若分解L層，則延拓2L?1位；

（2）待融合圖像的分解。使用SIMMW或LSIMMW分別對N幅待融合圖像進行L層分解，得到N個低頻分量和3＊L＊N個高頻分量；

圖2 更新提升前后的圖像分解比較

（3）系數(shù)融合處理。選取合適的融合規(guī)則對分解后的形態(tài)小波系數(shù)進行融合處理，其中N個低頻分量的系數(shù)對應取平均，3 ＊ L＊N個高頻分量取對應位置上系數(shù)的最大絕對值，從而得到融合圖像的小波系數(shù)；

（4）融合圖像的重構(gòu)。將融合后的系數(shù)進行L層SIMMW或LSIMMW合成，得到最終的融合結(jié)果。

為了驗證移不變形態(tài)中點小波融合算法的有效性，需要對融合結(jié)果進行評價。通常根據(jù)觀察者的主觀感受即可分辨出融合算法的效果，但結(jié)合客觀指標來評價更有意義，有利于進一步的圖像分析。一般可使用標準差、平均梯度和信息熵對融合結(jié)果進行客觀評價。標準差、平均梯度和信息熵分別反映圖像的對比度、清晰度和攜帶的信息量。這三個指標的數(shù)值越大，融合圖像的對比度和清晰度越高，所含信息量越多，融合效果越好。

實驗結(jié)果與分析

對兩幅典型的多聚焦圖像進行融合實驗，待融合圖像如圖3（a）和圖3（b）所示，圖像大小512′512，由于聚焦深度不同，一幅圖像前景物體清楚，背景物體模糊，另一幅則相反?，F(xiàn)使用sym4線性小波（LW）、二代曲波（SC）、本文提出的SIMMW和LSIMMW分別對這兩幅圖像進行融合處理，從而得到完整清晰的場景。融合過程中，小波分解層數(shù)都為5層，融合規(guī)則都是低頻系數(shù)對應取平均，高頻系數(shù)對應取最大絕對值，四種方法得到的融合結(jié)果分別如圖3（c）－圖3（f）所示。通過觀察對比可知，四種方法都有效融合了兩幅圖像，前景物體和背景物體都清晰可見，其中，本文的SIMMW和LSIMMW融合方法都沒有出現(xiàn)塊狀效應，LSIMMW融合的整體效果最好。四種方法融合結(jié)果的局部放大圖如圖4所示，LW融合后，圖像存在振鈴現(xiàn)象，細節(jié)信息受到干擾，SC和SIMMW融合效果較好，而LSIMMW融合的清晰度和對比度更高。

圖3 圖像融合效果比較

圖4 融合圖像的局部放大效果比較

圖5 標準差、平均梯度和信息熵隨分解層數(shù)的變化

下面分別統(tǒng)計圖3中各圖像的標準差、平均梯度和信息熵，對融合方法進行客觀評價，統(tǒng)計結(jié)果列于表1中。表中數(shù)據(jù)再次證明了四種方法的有效性，融合后圖像的三種指標較待融合圖像都有所提高，從具體數(shù)值上來看，SC融合方法雖然與LW融合方法接近，但其視覺效果更勝一籌，本文的SIMMW和LSIMMW方法則表現(xiàn)更好，由于采用提升格式進行細節(jié)保持，LSIMMW融合方法所得結(jié)果的信息熵尤為突出。另外，考慮到小波分解層數(shù)對融合效果有一定影響，故統(tǒng)計不同分解層數(shù)下，表1中數(shù)據(jù)的變化趨勢并進行比較，得到圖5。圖5中，LW和SW融合方法所得融合結(jié)果的標準差、平均梯度和信息熵都隨著分解層數(shù)的增加而增大，而且逐步趨于平穩(wěn)，融合圖像的效果也逐漸穩(wěn)定，幾乎沒有變化。本文的SIMMW和LSIMMW融合方法所得融合結(jié)果，平均梯度隨分解層數(shù)增加而平穩(wěn)增大，標準差從第6層開始增速提高，而信息熵卻急劇減小，通過觀察融合圖像，第6層之后融合圖像的視覺效果越來越差。因此，本文所提融合算法要注意分解層數(shù)的選擇。

表1 圖像融合效果的客觀比較

結(jié)語

在形態(tài)小波框架下，基于中點濾波器構(gòu)造出具有移不變性的形態(tài)中點小波變換，通過提升改善其信號處理的性能并應用于多聚焦圖像融合，在有效融合整個場景的同時盡可能的保留了圖像細節(jié)，且沒有出現(xiàn)塊狀效應。與傳統(tǒng)線性小波變換和較流行的曲波變換相比，本文提出的移不變形態(tài)中點小波變換在多聚焦圖像融合中更具優(yōu)勢，視覺效果良好。

然而，本文的融合方法還有很大的提升空間，首先，由于采用非抽樣方式獲取移不變性，其代價是信號處理中的數(shù)據(jù)量有所增加，因此，進一步的工作可以嘗試數(shù)據(jù)量的壓縮和算法簡化；在融合規(guī)則和分解層數(shù)的選擇上，可以利用一些自適應的選擇方法；另外，還可以考慮使用其他濾波器或其他提升運算，從而構(gòu)造出性能更好的非線性形態(tài)小波變換。

沈鄭燕

河南警察學院刑事科學技術(shù)系

沈鄭燕，女，博士，河南警察學院講師，主要研究方向為刑事圖像處理和語音信號處理。

河南省教育廳科學技術(shù)研究重點項目（14A620003）資助

10.3969/j.issn.1001-8972.2016.09.024