基于高階奇異值分解的多聚焦圖像融合新方法

張翠英，高瑞超

(1.天津大學(xué)仁愛學(xué)院 計算機科學(xué)與技術(shù)系，天津 301636；2.中交第一航務(wù)工程勘察設(shè)計院有限公司 勘察巖土事業(yè)部,天津 300222)

基于高階奇異值分解的多聚焦圖像融合新方法

張翠英1，高瑞超2

(1.天津大學(xué)仁愛學(xué)院 計算機科學(xué)與技術(shù)系，天津 301636；2.中交第一航務(wù)工程勘察設(shè)計院有限公司 勘察巖土事業(yè)部,天津 300222)

針對傳統(tǒng)多聚焦圖像融合方法不能有效度量圖像中聚焦區(qū)域的問題，提出一種基于高階奇異值分解的圖像融合新方法。高階奇異值分解可以精確提取圖像紋理特征，并對源圖像進行分解。充分考慮像素間的區(qū)域相關(guān)性，提取分解系數(shù)的空間頻率、平均梯度和區(qū)域能量等區(qū)域特征，并提出一種新穎的基于區(qū)域特征的多活動測度融合策略，該策略可有效度量圖像中的聚焦區(qū)域。實驗結(jié)果表明，該融合方法能夠更好地保留圖像的邊緣細節(jié)信息。

圖像融合；多聚焦圖像；高階奇異值分解；空間頻率；平均梯度；區(qū)域能量

0 引言

隨著多傳感器技術(shù)的迅猛發(fā)展，圖像融合成為圖像處理領(lǐng)域的研究熱點。圖像融合是把兩個或多個來自不同傳感器的圖像通過一定算法融合到一幅圖像的過程[1]。圖像融合已廣泛應(yīng)用于遙感、軍事、計算機視覺等領(lǐng)域。多聚焦圖像融合是圖像融合的一個重要分支。由于受到光學(xué)成像系統(tǒng)景深的限制，只有在一定距離范圍內(nèi)的物體可以清晰成像，因此需要參考多幅不同聚焦的圖像來對場景進行描述。多聚焦圖像融合的目的是精確提取圖像中的清晰區(qū)域，將這些清晰區(qū)域組成一幅各目標都清晰的圖像。如何精確識別、提取圖像中的清晰區(qū)域直接決定了多聚焦圖像的融合質(zhì)量。傳統(tǒng)的多聚焦圖像融合方法大體可以分為兩類：基于空間域和基于變換域?；诳臻g域的方法如加權(quán)平均、PCA等，該類方法計算簡單，但容易降低圖像對比度；基于變換域的融合方法在融合中占有重要地位。常用的變換工具如拉普拉斯金字塔變換、小波變換[2]、輪廓波變換[3]、剪切波變換[4]等。盡管該類變換的系數(shù)能夠表示圖像特征，但每一種變換都依賴于具體的場景和應(yīng)用，很難選擇一個最優(yōu)的變換基，不能有效度量圖像中的清晰區(qū)域。

高階奇異值分解(Higher Order Singular Value Decomposition,HOSVD)是張量最有效的分解工具之一，具有完全數(shù)據(jù)驅(qū)動的優(yōu)勢，不需要使用者設(shè)置閾值和參數(shù)，其分解的特征系數(shù)能夠提供更豐富的紋理信息，已經(jīng)應(yīng)用于許多領(lǐng)域，如人臉識別、彩色圖像復(fù)原、紋理分析[5]等。本文利用HOSVD這一有效工具對融合源圖像進行分解。

在圖像融合中，除了有效的分解工具外，融合策略的選取也會很大程度影響融合圖像的質(zhì)量。大多數(shù)研究者利用單一的活動測度選取融合系數(shù)：Kong W[6]采用局部方向?qū)Ρ榷茸鳛榛顒訙y度；Yang B[7]利用絕對值作為活動測度。但是單一的活動測度不能很好地保持圖像的邊緣和細節(jié)信息。因此，本文提出一種新穎的基于空間頻率、平均梯度和區(qū)域能量的多活動測度融合策略，采用該融合策略可以綜合考慮區(qū)域特征的貢獻，有效度量圖像中的清晰區(qū)域與模糊區(qū)域。實驗結(jié)果表明，本文方法與傳統(tǒng)方法相比，能更好地保持圖像的邊緣與細節(jié)信息。

1 張量與HOSVD

1.1 張量

在多線性代數(shù)中，張量是一個N維數(shù)組。張量的階數(shù)是指數(shù)組的維數(shù)，一階張量是向量，二階張量是矩陣，三階或更高階的張量是高階張量。張量中使用最多的操作是張量的模n積。給定一個N階張量A∈RI1×I2×…×IN和一個Jn×In的矩陣U，則A與U的模n積A×nU定義為[8]：

(1)

1.2 三階張量圖像

給定待融合的I3個灰度源圖像數(shù)據(jù)集{θ1,θ2,…θI3}，其中每個圖像的大小均為I1×I2，則可以形成一個I1×I2×I3的三階張量A，A的三階分別表示行、列以及標記源圖像。

1.3 HOSVD

HOSVD是矩陣奇異值分解的高階推廣，張量A∈RI1×I2×…×IN的HOSVD可以表示為一個核張量與N個正交矩陣模n積的形式，即：

(2)

其中，S∈RI1×I2×…×IN是核張量，與張量A維數(shù)相同；UN為正交矩陣，維數(shù)分別為I1×I1，I2×I2，…，IN×IN；×n表示張量與矩陣的模n積。

由式(2)可知，三階張量的HOSVD為A=S×1U1×2U2×3U3，圖1是三階張量圖像A∈RI1×I2×I3的HOSVD。

圖1 三階張量A∈RI1×I2×I3的HOSVD

2 基于HOSVD的多聚焦圖像融合

2.1 區(qū)域特征

對于一個M×N的圖像F，其空間頻率、平均梯度和區(qū)域能量如下。其中，F(xiàn)(i,j)是圖像在(i,j)處的灰度值，CA(x,y)、CB(x,y)是源圖像A、B在(x,y)處的分解系數(shù)。

2.1.1 空間頻率

空間頻率反映圖像在空間域的總體活躍程度，包含行頻率和列頻率。其值越大，圖像包含越多的細節(jié)信息。行頻率為：

(3)

列頻率為：

(4)

則空間頻率為：

(5)

基于空間頻率取大的融合規(guī)則為：

(6)

其中，SFA(x,y)、SFB(x,y)分別是源圖像A、B在(x,y)處的空間頻率。

2.1.2 平均梯度

平均梯度反映圖像的整體清晰度，其值越大，圖像越清晰。平均梯度為：

(7)

基于平均梯度取大的融合規(guī)則為：

(8)

其中，GA(x,y)、GB(x,y)分別是源圖像A、B在(x,y)處的平均梯度。

2.1.3 區(qū)域能量

區(qū)域能量能夠測量系數(shù)之間的相關(guān)性，其公式為：

(9)

基于區(qū)域能量取大的融合規(guī)則為：

(10)

其中，EA(x,y)、EB(x,y)分別是源圖像A、B在(x,y)處的區(qū)域能量。

2.2 融合方法

本文方法具體描述如下：

(2)Fori=1,2,…,I。

對Ai進行HOSVD得到分解系數(shù)Si，其公式為：

Ai=Si×1Ui×2Vi×3Wi

(11)

(12)

對于每一個圖像塊Bi(k)，k=1,2，都可用公式表示為：

(13)

根據(jù)融合系數(shù)矩陣Di，融合圖像塊Fi通過如下公式得到：

(14)

(3)根據(jù)圖像塊Fi獲得融合圖像的過程為：①首先初始化矩陣G(M×N)和R(M×N)為兩個零矩陣；②將Fi疊加到G的對應(yīng)塊位置上，用R保存疊加次數(shù)；③疊加的像素值G除以疊加次數(shù)R得到融合圖像。

2.3 融合策略選取

(2) 計算整個圖像的空間頻率SFA、SFB，平均梯度GA、GB，以及區(qū)域能量EA、EB。

(3) 如果SFA≠0，SFB≠0，GA≠0，GB≠0，EA≠0，EB≠0，則計算兩幅源圖像的相對空間頻率、相對平均梯度以及相對區(qū)域能量的比率：

(15)

(16)

(17)

其中，K1(i,j)是源圖像在點(i,j)處相對空間頻率的比率，如果K1(i,j)>1，則圖像A在(i,j)點的相對空間頻率大于圖像B，表明圖像A整體空間活動情況比圖像B更活躍，K2(i,j)、K3(i,j)同理。轉(zhuǎn)到(5)。

(4) 如果全局空間頻率(SFA或SFB)、平均梯度(GA或GB)、區(qū)域能量(EA或EB)任何一個為0，表明對應(yīng)特征的表達能力在3個特征中最弱，則計算另外兩個特征比率，選擇比率最大值對應(yīng)特征的融合規(guī)則；如果兩個不同的特征為0，則融合規(guī)則將由第3個特征確定；如果3個特征都為0，則把該點源圖像分解系數(shù)的最大值作為融合系數(shù)。轉(zhuǎn)到(6)。

(5) 通過比較以下3個比率確定活動測度：

(18)

(19)

(20)

對于任意一點，選取對應(yīng)比率最大值對應(yīng)的融合規(guī)則。例如，對于點(i,j)，如果R1(i,j)比率值最大，則選取基于空間頻率取大的融合規(guī)則。R2(i,j)和R3(i,j)同理。

(6) 對于源圖像中的所有點，重復(fù)(1)～(6)。

3 實驗結(jié)果與分析

對于本文中的融合結(jié)果，采用均值(M)、熵(EN)、互信息(MI)、相關(guān)系數(shù)(COR)、平均交叉熵(OCE)[10]客觀評價指標定量估計。

首先對第一組多聚焦圖像進行融合實驗。圖2(a)是近聚焦圖像，“花豹”的前爪清晰，“頭和身體”模糊；圖2(b)恰好相反；圖2(c)～圖2(g)分別是本文方法和對比方法的融合結(jié)果。從融合結(jié)果中可以看出，本文方法和對比方法都能將“花豹”的前爪部分、“頭和身體”部分融合為一幅兩者均清晰的圖像。為了定量估計融合結(jié)果，表1給出了本文方法和對比方法的客觀評價指標(加粗部分為最優(yōu)指標)。通過表1可以看出，本文方法具有最優(yōu)的均值(M)、相關(guān)系數(shù)(COR)和平均交叉熵(OCE)。表明本文方法的融合圖像具有更好的平均亮度，圖像的相關(guān)性更好，圖像間的差異更小，因而具有更好的融合效果。

圖2 融合源圖像及不同方法的融合結(jié)果

表1 第一組實驗圖像客觀評價指標

融合方法MMIENCOROCE本文方法92．650619．25957．42551．98190．0087DWT92．069219．07547．42701．97870．0103LAP92．059619．10867．42091．98020．0098SR92．279819．31987．42131．97950．0100HOSVD92．282719．25067．42091．97950．0098

第二組實驗源圖像如圖3(a)、3(b)所示。圖3(a)是左聚焦圖像，左側(cè)的熱氣球比較清晰，右側(cè)的熱氣球比較模糊，圖3(b)正好相反。圖3(c)～圖3(g)是本文方法和對比方法的融合結(jié)果。通過觀察融合結(jié)果，本文方法和對比方法都能把源圖像融合成所有熱氣球都清晰的圖像。表2是不同融合結(jié)果的客觀評價指標。通過對比表2中的數(shù)據(jù)可以看出，本文方法具有最優(yōu)的均值(M)、相關(guān)系數(shù)(COR)和平均交叉熵(OCE)。表明本文方法的融合圖像在平均亮度、圖像的相關(guān)性以及圖像間的差異性方面均優(yōu)于對比方法，能獲得最高質(zhì)量的融合圖像。

圖3 融合源圖像及不同方法的融合結(jié)果

表2 第二組實驗圖像客觀評價指標

融合方法MMIENCOROCE本文方法114．060316．32067．47651．97240．0112DWT113．481116．28337．48031．96740．0150LAP113．490216．34017．47641．96960．0162SR113．738716．16507．47251．96910．0126HOSVD113．745316．33677．45631．96920．0169

4 結(jié)語

本文提出了一種基于HOSVD的圖像融合新方法。HOSVD具有高效表示高維數(shù)據(jù)的能力，并能夠精確提取圖像信息。充分考慮圖像的區(qū)域相關(guān)性，利用空間頻率、平均梯度、區(qū)域能量等多個活動測度綜合考量確定融合系數(shù)。實驗結(jié)果表明，本文方法的融合圖像包含了更多細節(jié)信息，證明了該融合方法的有效性。

[1] 郭雷,李暉暉,鮑永生.圖像融合[M].北京:電子工業(yè)出版社,2008.

[2] LI S，YANG B.Multifocus image fusion by combining curvelet and wavelet transform[J].Pattern Recognition Letters,2008,29(9):1295-1301.

[3] ZHANG Q,GUO B.Multifocus image fusion using the nonsubsampled contourlet transform[J].Signal Processing,2009,89(7):1334-1346.

[4] LIU X,ZHOU Y,WANG J.Image fusion based on shearlet transform and regional features[J].AEU-International Journal of Electronics and Communications,2014,68(6): 471-477.

[5] COSTANTINI R,SBAIZ L,SüSSTRUNK S.Higher order SVD analysis for dynamic texture synthesis[J].Image Processing,IEEE Transactions on,2008,17(1): 42-52.

[6] KONG W.Technique for gray-scale visual light and infrared image fusion based on non-subsampled shearlet transform[J].Infrared Physics & Technology,2014(63):110-118.

[7] YANG B,LI S.Multifocus image fusion and restoration with sparse representation[J].Instrumentation and Measurement,IEEE Transactions on,2010,59(4): 884-892.

[8] LIANG J,HE Y,LIU D,et al.Image fusion using higher order singular value decomposition[J].Image Processing,IEEE Transactions on,2012,21(5): 2898-2909.

[9] Image fusion toolbox[EB/OL].http://www.metapix.de/toolbox.htm.

[10] 宋樂.異源圖像融合及其評價方法的研究[D].天津: 天津大學(xué),2008.

(責(zé)任編輯：黃 健)

A New Multi-focus Image Fusion Method Based on Higher Order Singular Value Decomposition

For the problem of traditional multi-focus image fusion methods can not effectively measure the focus regions in images,a new multi-focus image fusion method is proposed based on higher order singular value decomposition.As higher order singular value decomposition (HOSVD) can exactly extract features in images,HOSVD is used as an effective decomposition tool.Considering the regional correlation between pixels,space frequency,average gradient and regional energy are extracted.And a novel fusion strategy on comprehensive consideration of multiple regional features is applied to decomposition coefficients.Experimental results show that the proposed method performs better than traditional image fusion methods.

Image Fusion; Multi-focus Image; Higher Order Singular Value Decomposition; Space Frequency; Average Gradient; Regional Energy

中國博士后科學(xué)基金項目(2013M541601)

張翠英(1988-)，女，河北邢臺人，碩士，天津大學(xué)仁愛學(xué)院計算機科學(xué)與技術(shù)系助理實驗師，研究方向為圖像處理、模式識別；高瑞超(1988-)，男，河北邢臺人，碩士，中交第一航務(wù)工程勘察設(shè)計院有限公司勘察巖土事業(yè)部助理工程師，研究方向為遙感圖像處理。

10.11907/rjdk.162607

TP317.4

A

1672-7800(2017)003-0163-04