基于小波變換的像素級圖像融合實(shí)例研究

劉進(jìn)輝 王峰 王宏武 潘觀潮 王曉灑

摘要：迄今為止，圖像融合一直是圖像領(lǐng)域的專家們研究的一個(gè)熱點(diǎn)方向。研究圖像融合在軍事安全領(lǐng)域非常重要。而小波變換是傅立葉變換的升級版，具有實(shí)時(shí)多分辨率的特性，這也為圖像融合帶來新的機(jī)遇。但是現(xiàn)有的實(shí)例研究材料還是很缺乏。該文結(jié)合了兩個(gè)不同角度的實(shí)例來研究小波變換的像素級圖像融合。運(yùn)用matlab語言作為程序?qū)崿F(xiàn)的主體語言，實(shí)現(xiàn)小波分解、圖像融合、小波重構(gòu)等功能。并結(jié)合Opencv3語言對原始圖片進(jìn)行預(yù)處理，得到實(shí)例所需的圖片。通過兩個(gè)實(shí)例結(jié)果表明了小波變換確實(shí)擁有很好的圖片處理能力。最后得到的增強(qiáng)的圖片表明圖像融合的增強(qiáng)效果顯著。這也為圖像融合的研究提供較好參考實(shí)例。

關(guān)鍵詞： 小波變換;Opencv3;matlab;圖像融合;小波分解;小波重構(gòu);傅里葉變換

中圖分類號：TP319? ? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2019）17-0201-03

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

1 緒論

1.1 圖像融合的背景及意義

圖像融合是信息融合范疇領(lǐng)域的一個(gè)重要的研究對象。其目的就是將不同的傳感器或同一傳感器不同的工作模式下獲取的關(guān)于同一場景的圖像信息加以綜合，以獲得更加準(zhǔn)確清晰的圖像信息。并且可以得到圖像增強(qiáng)的效果。在像素級融合、特征級融合、決策級融合三個(gè)層次融合方法中，像素級圖像融合易于初學(xué)者結(jié)合圖像存儲的方式理解，是一個(gè)熱門的選擇。也是本文選擇的融合方式。例如人工勘測信號、許多自然的信號都具有非平穩(wěn)的特性，對這類非平穩(wěn)信號的線性時(shí)頻分析應(yīng)該在時(shí)頻平面不同的位置具有不同的分辨率。而小波變換就是這樣的一種多分辨率分析方法，可以得到復(fù)雜情況下圖形的更準(zhǔn)確的信息。而這點(diǎn)是傅立葉變換不具備的。當(dāng)然小波變換是傅立葉變換的延伸。

圖像融合在軍事安全領(lǐng)域最先被應(yīng)用，為國防事業(yè)發(fā)揮了巨大的作用。而像素級地融合在機(jī)器視覺、圖像處理、和軍事、醫(yī)學(xué)成像、自動駕駛等方面都有廣泛的應(yīng)用。因此研究圖像融合非常有必要，特別本文研究的基于小波變換的像素級圖像融合。

1.2 小波變換的像素級圖像融合的研究意義

小波變換的像素級圖像融合不僅對學(xué)習(xí)圖像方面的人來說是一個(gè)相對容易入門且比較全面的案例。而且在現(xiàn)實(shí)意義中，有著自身特有廣闊的應(yīng)用前景。例如在視頻監(jiān)控犯罪人臉過程中，不同的設(shè)備具有不同特性，空間不一樣也會導(dǎo)致有些誤差，但如果兩者的人臉圖像進(jìn)行融合，那么呈現(xiàn)的人臉圖將會更加清晰。

2 小波變換原理闡述

2.1 小波變換的程序?qū)崿F(xiàn)原理闡述

本文的圖片在載入到matlab中，便以二維數(shù)值矩陣的形式進(jìn)行存儲，然后從matlab的工具箱中調(diào)用wavedec2函數(shù)進(jìn)行小波分解，將圖片分解為高頻和低頻兩個(gè)部分。以下就是小波分解的實(shí)現(xiàn)簡單原理：

假設(shè)數(shù)值矩陣[90，70，100，70]為達(dá)到壓縮分解，采取Haar分解方式。即用（x0+x1）/2表示x0，用（x0-x1）/2表示x1。這樣[90，70]可表示為[80，10]，其中80即平均數(shù)，10是小范圍波動數(shù)。同理[100，70]可表示為[85，15]?？梢韵胂?0和85都是局部的平均值反映大的總體的狀態(tài)，是變化相對緩慢的值，可以認(rèn)為他們是低頻部分的值。而10、15是小范圍波動的值局部變換較快，可以認(rèn)為他們是高頻部分的值。然后將數(shù)值矩陣寫成[80，85，10，15]即把低頻（L）部分寫在一起，高頻（H）部分寫在一起。而[80，85]同理變換成[82.5， -2.5]，這樣82.5表示更低頻（LL）的信息， -2.5則表示了頻率L上的波動. 最后[90，70，100，70] 寫成[82.5， -2.5， 10， 15] 這樣信息就可被壓縮分解了。

第一步運(yùn)算后原圖像縮小至左邊一半了，右邊的是對應(yīng)波動信息，第二步運(yùn)算后圖像又縮小至左邊一半了，對應(yīng)波動信息，對一幅圖像先進(jìn)行行變化，在進(jìn)行列變化，那么就是小波變換了。

2.2 小波變換原理實(shí)現(xiàn)

本文對一幅512*512大小的圖片進(jìn)行處理，被小波2層分解后，分成了7個(gè)高低子頻帶，其中LL2為低頻帶，其余為高頻帶，圖像的低頻部表現(xiàn)的是圖像的概貌和平均特性。圖像的高頻反應(yīng)的是圖像的細(xì)節(jié)特性，如圖像的邊緣、區(qū)域邊界等。

其中，LL表示水平低頻，垂直低頻。LH表示水平低頻，垂直高頻。HL表示水平高頻，垂直低頻。HH表示水平高頻，垂直高頻。下標(biāo)1、2表示一級或二級分解。

3 小波變換的像素級圖像融合實(shí)現(xiàn)

3.1小波變換的像素級圖像融合的實(shí)現(xiàn)原理

小波變換的像素級圖像融合的實(shí)現(xiàn)過程每一步都相當(dāng)關(guān)鍵。下面給出了兩種不同形式的預(yù)處理圖片進(jìn)行研究，這個(gè)在下文介紹。第二步小波分解就是將兩張同樣規(guī)格的圖片進(jìn)行小波haar分解，使之成為上述圖1的形式。然后進(jìn)行第三步圖像融合，兩張經(jīng)過小波分解的圖片具有高頻和低頻兩個(gè)部分。在本文中，對于高頻系數(shù)處理采用算術(shù)平方根的方法，對于低頻系數(shù)處理采用均方根的方法，進(jìn)行融合。第四步小波重構(gòu)就是將融合后的圖片，進(jìn)行小波逆變換還原圖像的信息。最后一步GUI顯示圖片是利用matlab的GUI窗口設(shè)計(jì)，將圖片顯示出來，達(dá)到直觀的效果。這里必須注意，為了顯示圖片，必須將圖片信息進(jìn)行歸一化處理，并且轉(zhuǎn)成灰度值。

3.2 半模糊圖片案例

此圖片是經(jīng)過半模糊預(yù)處理的圖片，這是通過專門的圖片處理的軟件所得。

經(jīng)過小波變換后，圖像融合的結(jié)果為：

根據(jù)本文給出的融合方式，對于兩幅規(guī)格相同，但經(jīng)過不同的模糊部位的同一場景的圖片，得到的結(jié)果顯然融合了兩者主要信息特征，并更加清晰表示出了圖片的特征。使之更加直觀地表示了圖片的全貌，人眼獲取的信息也更多。但是我們可以從圖片中獲知，對于人眼要求來講，圖片的增強(qiáng)效果還是不夠的。為了增強(qiáng)圖片的視覺的效果，使之人眼獲取的信息更加清晰明顯。那么本文在下一例中做出了相應(yīng)的研究。

3.3 全模糊圖片案例

此圖片經(jīng)過Opencv工具對原圖進(jìn)行了不同程度的模糊處理，得到了兩張不同模糊程度的圖片。

原圖經(jīng)過了線性濾波中的中值濾波處理。對于中值濾波具有很好地去噪功能，這也可以適當(dāng)?shù)亟档拖鄼C(jī)質(zhì)量差，使得拍照效果不好的影響。同時(shí)我們也到了圖片的全局的一個(gè)模糊，通過設(shè)置模糊的不同程度，得到了兩種不同模糊程度的圖片。這就是對原圖的預(yù)處理過程。然后經(jīng)過小波變換，融合的結(jié)果為：

從新案例的圖片結(jié)果顯示，圖片有一個(gè)彩色的增強(qiáng)，并且在清晰度上，得到了一個(gè)肉眼比較直觀的圖片。從圖片的紋理細(xì)節(jié)上也更加凸顯信息的全貌。這也很好地彌補(bǔ)了我們上一例的不足，從而達(dá)到了實(shí)驗(yàn)預(yù)期的結(jié)果。

4 結(jié)束語

本實(shí)驗(yàn)主要運(yùn)用了matlab工具來進(jìn)行主要的實(shí)驗(yàn)編程，還運(yùn)用了opencv語言來進(jìn)行圖片的預(yù)處理，這也是實(shí)例二中所提的方法，是很關(guān)鍵的一步。Matlab語言易于掌握，也很好入門，結(jié)構(gòu)也非常清晰，程序?qū)崿F(xiàn)起來相對比較簡單。而opencv作為主要用于圖像處理的語言，有很多專門處理圖片的函數(shù)，使得圖片預(yù)處理更加簡單方便。兩者的有效結(jié)合，很好地為本實(shí)驗(yàn)奠定了語言基礎(chǔ)，并且為實(shí)驗(yàn)進(jìn)行起到了無法替代的作用。

本文通過兩個(gè)實(shí)例來對研究小波變換的圖像融合。更加具有時(shí)效性，也更加通俗易懂。也可以很好地顯示圖像融合的重要性。目前為止，圖像融合具有增強(qiáng)效果的實(shí)例研究相對來講還是比較少。而本文結(jié)合實(shí)例，很好的彌補(bǔ)并擴(kuò)充了這一點(diǎn)。

參考文獻(xiàn)：

[1] 劉衍琦，等.MATLAB計(jì)算機(jī)視覺與深度學(xué)習(xí)實(shí)戰(zhàn)[M].北京：電子工業(yè)出版社，2017：131-139.

[2] 龍燕.基于小波變換的圖像融合研究[D].山東大學(xué)，2008.

[3] 楊波.基于小波的像素級圖像融合算法研究[D].上海交通大學(xué)，2008.

[4] 關(guān)雪梅.小波變換圖像處理技術(shù)研究[J].滄州師范學(xué)院學(xué)報(bào)，2019，35（01）：44-46+73.

[5] 毛星云.Opencv3編程入門[M].北京：電子工業(yè)出版社，2015.

[6] 曹燦云.小波分析在數(shù)字圖像處理中的應(yīng)用[J].信息與電腦，2018，18（7）：114-115.

[7] Guozhang Geng，Hao Chen.Image Fusion Method of 9/7 Wavelet Transform Based on Lifting Scheme[J].IEEE，2008（12）.

[8] VPS Naidu.Multi-resolution image fusion by FFT[J].IEEE，2011（11）.

【通聯(lián)編輯：朱寶貴】