基于MDLatLRR和KPCA的光場(chǎng)圖像全聚焦融合

黃澤豐，楊莘，鄧慧萍，李青松

（武漢科技大學(xué) 信息科學(xué)與工程學(xué)院， 武漢 430081）

0 引言

傳統(tǒng)相機(jī)在拍照時(shí)會(huì)丟失光線(xiàn)分布的信息，而光場(chǎng)相機(jī)可以同時(shí)捕獲光線(xiàn)的角度和空間信息，能在不減少光圈的情況下擴(kuò)展相機(jī)的景深，從而縮短曝光時(shí)間并降低圖像噪聲［1］。光場(chǎng)相機(jī)可以在一次拍攝中直接捕獲光線(xiàn)場(chǎng)，但會(huì)犧牲成像的空間分辨率和角度分辨率，因此所成像的空間分辨率低于原生圖像傳感器生成的圖像［2］。為了彌補(bǔ)上述缺點(diǎn)，對(duì)光場(chǎng)進(jìn)行重聚焦從而有效提升光場(chǎng)圖像的空間分辨率。光場(chǎng)數(shù)字重聚焦通過(guò)將光線(xiàn)從主透鏡平面重新投影到新的平面上來(lái)生成重聚焦圖像，經(jīng)過(guò)重聚焦后的圖像其聚焦區(qū)域的清晰度得到提高。多聚焦圖像融合通過(guò)從同一場(chǎng)景多幅部分聚焦的圖像中創(chuàng)建一個(gè)全局聚焦的圖像來(lái)擴(kuò)展光學(xué)透鏡視場(chǎng)深度［3］。光場(chǎng)圖像全聚焦融合通過(guò)結(jié)合多聚焦圖像融合與光場(chǎng)數(shù)字重聚焦，從而獲得全局聚焦的光場(chǎng)圖像。傳統(tǒng)的多聚焦圖像融合算法主要分為空間域和變換域兩類(lèi)。空間域方法基于像素強(qiáng)度來(lái)處理并融合圖像；變換域方法通過(guò)某種變換將源圖像分解成不同的子帶圖像，然后用不同的融合規(guī)則對(duì)各子帶進(jìn)行融合。此外，隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展，基于深度學(xué)習(xí)的圖像融合方法也開(kāi)始嶄露頭角。

近兩年，基于光場(chǎng)數(shù)字重聚焦的全聚焦圖像融合方法逐漸流行。武迎春等［4］使用邊緣增強(qiáng)型引導(dǎo)濾波對(duì)經(jīng)三尺度分解后的重聚焦圖像進(jìn)行優(yōu)化并生成全聚焦圖像，該方法能補(bǔ)償因光場(chǎng)標(biāo)定誤差而丟失的邊緣信息并提高了全聚焦圖像的清晰度。謝穎賢等［5］使用離散小波變換對(duì)重聚圖像進(jìn)行分解，隨后對(duì)各分量采用不同融合規(guī)則來(lái)生成全聚焦圖像，該方法避免了因融合產(chǎn)生的塊效應(yīng)并優(yōu)化了圖像的視覺(jué)效果。蘇博妮［6］將重聚焦圖像按亮度和色度通道分別進(jìn)行處理來(lái)生成全聚焦圖像，該方法能有效提高光場(chǎng)全聚焦圖像的空間分辨率。使用光場(chǎng)數(shù)字重聚焦生成的重聚焦圖像不受由相機(jī)調(diào)焦引起的成像范圍及成像角度的限制，為全聚焦圖像的生成提供了便利。

本文提出了一種基于多尺度潛在低秩分解（Multi-level image Decomposition base on Latent Low-Rank Representation， MDLatLRR）的光場(chǎng)全聚焦融合算法。算法將多尺度潛在低秩分解引入光場(chǎng)全聚焦圖像融合，經(jīng)分解得到的基礎(chǔ)層保留了圖像的結(jié)構(gòu)信息，顯著層保留了圖像的邊緣信息和紋理細(xì)節(jié)。對(duì)各層的特征提取算法進(jìn)行改進(jìn)，基礎(chǔ)層用局部雙區(qū)域窗代替八鄰域窗，使計(jì)算得到的圖像銳度能更加精確；顯著層使用基于引導(dǎo)濾波的多尺度視覺(jué)顯著性提取算法，增強(qiáng)了視覺(jué)顯著性提取能力。引入核主成分分析（Kernal Principal Component Analysis， KPCA）對(duì)各層特征系數(shù)進(jìn)行融合，生成由基礎(chǔ)層圖像銳度和顯著層視覺(jué)顯著性共同決定的聚焦決策圖。

1 光場(chǎng)圖像數(shù)字重聚焦

與傳統(tǒng)圖像不同，光場(chǎng)圖像通常使用四維雙平面參數(shù)化模型L(u，v，s，t)來(lái)進(jìn)行表示，其中，L表示光線(xiàn)的強(qiáng)度；(u，v)為主透鏡平面，用于控制角度分辨率；(s，t)為傳感器平面，用于控制空間分辨率。通過(guò)對(duì)雙平面參數(shù)進(jìn)行積分，可獲得聚焦平面的積分圖像，表示為

通過(guò)對(duì)光場(chǎng)重新投影，使光線(xiàn)由傳感器平面投影到重聚焦平面上，然后對(duì)其進(jìn)行積分便可得到重聚焦圖像，即

式中，ω代表聚焦系數(shù)。通過(guò)調(diào)節(jié)聚焦系數(shù)，能將光場(chǎng)聚焦在不同平面上。光場(chǎng)重聚焦參數(shù)化模型如圖1所示。

圖1 光場(chǎng)圖像數(shù)字重聚焦參數(shù)化模型Fig.1 Digital refocusing parameterization model of light field image

2 基于多尺度潛在低秩分解的光場(chǎng)圖像全聚焦融合原理

基于多尺度潛在低秩分解和核主成分分析的光場(chǎng)圖像全聚焦融合算法流程如圖2 所示。首先通過(guò)對(duì)4D 光場(chǎng)圖像進(jìn)行光場(chǎng)數(shù)字重聚焦得到聚焦于不同深度的重聚焦圖像。為了更為細(xì)致地提取各重聚焦圖像的聚焦特征，采用多尺度潛在低秩分解將重聚焦圖像分解為基礎(chǔ)層和顯著層，隨后針對(duì)基礎(chǔ)層和顯著層各自的特性分別采用不同的算法進(jìn)行特征提?。夯A(chǔ)層包含重聚焦圖像的結(jié)構(gòu)信息，通過(guò)分析局部梯度變化情況能得到聚焦區(qū)域的大致輪廓；顯著層包含重聚焦圖像的紋理細(xì)節(jié)和顯著目標(biāo)，計(jì)算視覺(jué)顯著性能反映聚焦區(qū)域的邊緣信息，使得聚焦區(qū)域的判決更為準(zhǔn)確可靠。聚焦決策圖的生成由各層特征系數(shù)決定，用核主成分分析對(duì)特征系數(shù)進(jìn)行降維融合，融合后的特征系數(shù)綜合了基礎(chǔ)層和顯著層各自的特征。最后由融合特征系數(shù)生成聚焦決策圖，引導(dǎo)重聚焦圖像的融合并得到光場(chǎng)全聚焦圖像。

圖2 基于多尺度潛在低秩分解的光場(chǎng)全聚焦圖像融合算法流程Fig.2 Full-focus image fusion algorithm flow of light field based on multi-scale latent low-rank decomposition

2.1 多尺度潛在低秩分解

對(duì)于一個(gè)數(shù)據(jù)矩陣，可以將其看作在完備字典下的線(xiàn)性組合，具體表示為

式中，X為數(shù)據(jù)矩陣，Z為系數(shù)矩陣，D為完備字典。低秩表示法在式（3）的基礎(chǔ)上通過(guò)使用數(shù)據(jù)矩陣本身作為字典來(lái)實(shí)現(xiàn)數(shù)據(jù)矩陣的子空間分割。該過(guò)程可表示為

式中，||? ||*代表矩陣的核范數(shù)，表示矩陣的奇異值之和。低秩表示法希望系數(shù)矩陣Z的核范數(shù)盡可能地小。當(dāng)數(shù)據(jù)采樣不足時(shí)，系數(shù)矩陣Z只能取單位矩陣作為唯一解從而造成低秩表示失敗，這種現(xiàn)象被稱(chēng)作隱藏效應(yīng)。

潛在低秩表示法在低秩表示法的基礎(chǔ)上將解決隱藏效應(yīng)轉(zhuǎn)換為對(duì)凸優(yōu)化問(wèn)題的求解，具體可以表示為

式中，λ表示大于零的平衡系數(shù)，||?||*和||?||1分別代表核范數(shù)和L1 范數(shù)，H是顯著系數(shù)的投影矩陣，E是系數(shù)噪聲矩陣。一旦得到投影矩陣，就可將其用于提取圖像的顯著信息。

潛在低秩分解首先對(duì)投影矩陣與輸入圖像的乘積進(jìn)行重構(gòu)來(lái)得到圖像的顯著層，然后使用輸入圖像減去顯著圖像得到基礎(chǔ)層。多尺度潛在低秩分解則是對(duì)基礎(chǔ)層繼續(xù)進(jìn)行潛在低秩分解，從而得到更加豐富的顯著信息。經(jīng)過(guò)多尺度潛在低秩分解后，輸入圖像被分解為一個(gè)基礎(chǔ)層和若干個(gè)顯著層，基礎(chǔ)層保留輸入圖像的低頻信息；顯著層實(shí)現(xiàn)對(duì)輸入圖像細(xì)節(jié)紋理和顯著目標(biāo)等高頻信息的提?。浑S著迭代次數(shù)的增加，顯著層對(duì)輸入圖像的特征提取能力得到增強(qiáng)，對(duì)細(xì)節(jié)紋理以及顯著目標(biāo)的提取更為精確。

本文算法使用三尺度潛在低秩分解對(duì)各重聚焦圖像進(jìn)行分解：首先對(duì)輸入圖像進(jìn)行潛在低秩分解得到初始基礎(chǔ)層和顯著層一層，隨后將初始基礎(chǔ)層作為輸入圖像再次進(jìn)行潛在低秩分解，如此往復(fù)直至分解至第三層，最后將第三次分解得到的基礎(chǔ)層作為三尺度潛在低秩分解的基礎(chǔ)層，分解結(jié)果如圖3 所示。其中，基礎(chǔ)層包含源圖像的主要結(jié)構(gòu)，如圖3（b）所示；顯著層隨著分解尺度的迭代顯著細(xì)節(jié)逐漸得到突出，如圖3（c）～（e）所示。

圖3 三尺度潛在低秩分解結(jié)果Fig.3 Results of three-scale latent low-rank decomposition

2.2 基礎(chǔ)層特征系數(shù)矩陣求解

基礎(chǔ)層保留了重聚焦圖像中的結(jié)構(gòu)信息以及因分解產(chǎn)生的偽影。在重聚焦圖像中，聚焦區(qū)域像素灰度值的變化通常大于散焦區(qū)域像素灰度值的變化，而梯度反映了灰度值的變化程度。此外，像素與其相鄰像素之間的梯度差代表了圖像的銳度，計(jì)算圖像的銳度可以擴(kuò)大一個(gè)像素與其相鄰像素之間的差異，將有益于聚焦和散焦區(qū)域的判定。文獻(xiàn)［7］提出了一種基于八鄰域圖像梯度差值的聚焦點(diǎn)檢測(cè)算法，該算法中單像素點(diǎn)圖像銳度值S(i，j)計(jì)算公式為

式中，G(i，j)表示位于坐標(biāo)(i，j)處像素的梯度值。該方法通過(guò)計(jì)算源圖像在梯度域中每個(gè)像素與其八鄰域像素的梯度差值的平方和從而得到源圖像的銳度。該方法具有速度快且高效的優(yōu)點(diǎn)，但是在計(jì)算局部圖像銳度時(shí)因易受水平和垂直方向的能量抵消而導(dǎo)致抗噪性能下降。

在式（6）基礎(chǔ)上對(duì)原有方法加以改進(jìn)，將基于像素點(diǎn)的八鄰域拓展到以像素點(diǎn)為中心向外輻射的5×5局部窗，并根據(jù)與中心的距離將窗內(nèi)像素點(diǎn)劃分為內(nèi)、外兩個(gè)區(qū)域Ω1和Ω2，如圖4（b）所示。對(duì)內(nèi)部區(qū)域Ω1使用梯度差平方和來(lái)擴(kuò)大目標(biāo)像素與其四鄰域像素之間的差異；對(duì)外部區(qū)域Ω2使用受L2 范數(shù)約束的梯度差來(lái)統(tǒng)計(jì)周邊區(qū)域?qū)δ繕?biāo)像素的影響。改進(jìn)后的算法對(duì)噪聲具有更高的魯棒性并能保留更為豐富的梯度信息。局部銳度值Slocal的具體定義為

圖4 局部梯度差值加權(quán)法Fig.4 Local step difference weighting method

式中，SΩp(i，j)代表位于坐標(biāo)(i，j)處的像素值在區(qū)域Ωp中(p∈{1，2})的銳度值；|Ω1|和|Ω2|作為權(quán)重系數(shù)分別取4 和20，代表對(duì)應(yīng)區(qū)域包含的像素?cái)?shù)目；||?||2表示L2 范數(shù)。

基于本文方法和文獻(xiàn)［7］方法的圖像銳度提取結(jié)果分別如圖4（c）和（d）所示。通過(guò)對(duì)比兩算法生成的銳度矩陣可知：基于局部窗的圖像銳度算法具有更強(qiáng)的魯棒性，生成的圖像銳度矩陣受散焦區(qū)域噪聲的影響更小，且能更精確地反映聚焦區(qū)域邊界的梯度變化情況。

2.3 顯著層特征系數(shù)矩陣求解

顯著層保留了源圖像中的細(xì)節(jié)信息和顯著特征。顯著特征在重聚焦圖像中表現(xiàn)為對(duì)聚焦區(qū)域的突出，而細(xì)節(jié)信息的保留很大程度上決定了全聚焦圖像質(zhì)量。通過(guò)對(duì)重聚焦圖像的顯著層進(jìn)行視覺(jué)顯著性檢測(cè)可以得到較為準(zhǔn)確的聚焦區(qū)域。MA J 等［8］提出了一種簡(jiǎn)單有效的圖像視覺(jué)顯著性計(jì)算方法，該算法通過(guò)衡量每個(gè)像素與圖像中其他所有像素的對(duì)比度來(lái)表示該像素的顯著性。對(duì)于灰度級(jí)p，圖像中對(duì)應(yīng)像素的顯著性R(p)可以表示為

式中，η(p)代表圖像中灰度值p對(duì)應(yīng)的像素?cái)?shù)目，τ為灰度值，P為灰度級(jí)數(shù)。該方法雖然可以快速計(jì)算出圖像的視覺(jué)顯著性，但所獲結(jié)果易受源圖像影響進(jìn)而在聚焦區(qū)域之外產(chǎn)生較大權(quán)值，如圖5（b）中間位置處的盆景輪廓和位于右下方的果盤(pán)虛影。

圖5 多尺度迭代顯著性檢測(cè)算法Fig.5 Multi-scale iterative significance detection algorithm

針對(duì)此問(wèn)題提出了一種新的多尺度圖像顯著性提取方法，具體步驟包括：1）將直接對(duì)源圖像進(jìn)行顯著性矩陣計(jì)算改變?yōu)樵谔荻扔蜻M(jìn)行；2）通過(guò)引導(dǎo)濾波對(duì)顯著性矩陣進(jìn)行優(yōu)化；3）將單尺度顯著性檢測(cè)改進(jìn)為基于引導(dǎo)濾波的多尺度迭代顯著性檢測(cè)。

首先，計(jì)算源圖像中每個(gè)像素的梯度值，計(jì)算公式為

用Sobel 算子來(lái)計(jì)算圖像梯度，?x f與?y f分別表示源圖像在水平和豎直方向上的梯度值。

其次，計(jì)算源圖像在梯度域中的顯著性矩陣，公式為

式中，Gkn表示第n張重聚焦圖中第k層顯著層的梯度圖像，N為重聚焦圖像總數(shù)；R(?)表示圖像顯著性矩陣；Vkn，1代表源圖像在單尺度下的梯度域顯著性矩陣。所獲結(jié)果與原方法相比，位于聚焦區(qū)域之外的誤判區(qū)域權(quán)值得到抑制，如圖5（c）所示。

最后，將對(duì)應(yīng)顯著層源圖像作為引導(dǎo)圖像對(duì)單尺度梯度域顯著性矩陣進(jìn)行引導(dǎo)，隨后重復(fù)該過(guò)程并使之與前次結(jié)果進(jìn)行疊加，具體過(guò)程為

式中，F(xiàn)guidedfilter(?)表示引導(dǎo)濾波函數(shù)，fkn表示第n張重聚焦圖中第k層顯著層源圖像，s表示當(dāng)前尺度系數(shù)，M為總迭代次數(shù)，ε為引導(dǎo)濾波正則化系數(shù)，本文設(shè)為0.001。在不同尺度下使用顯著層源圖像作為引導(dǎo)圖像對(duì)顯著性矩陣進(jìn)行引導(dǎo)濾波，可以使顯著性矩陣保留引導(dǎo)圖像的結(jié)構(gòu)且不丟失邊緣信息。在不同迭代次數(shù)下生成的顯著性矩陣結(jié)果如圖5（d）～（h）所示。從圖中可以看出，隨著迭代次數(shù)的增加，聚焦區(qū)域的突出程度也越來(lái)越高，當(dāng)?shù)螖?shù)達(dá)到4 次時(shí)，對(duì)聚焦區(qū)域的提取已相當(dāng)精準(zhǔn)，之后的迭代對(duì)于顯著性提取影響甚微。

為了進(jìn)一步對(duì)比不同尺度下顯著層的特征提取能力，選用方差、信息熵和均方根誤差等指標(biāo)對(duì)1 至6 次迭代下梯度域顯著性提取結(jié)果進(jìn)行對(duì)比，其中：方差和信息熵分別描述顯著性矩陣的細(xì)節(jié)保留以及顯著信息提取的能力，方差越高反映了保留的細(xì)節(jié)和紋理越豐富，信息熵越高則反映顯著性矩陣對(duì)輸入圖像的顯著信息提取能力更強(qiáng)；此外，通過(guò)計(jì)算顯著性矩陣和輸入圖像梯度圖之間的均方根誤差，能反映不同迭代次數(shù)下的顯著目標(biāo)提取準(zhǔn)確度，越小的均方根誤差表示檢測(cè)效果越精確。為統(tǒng)籌考慮各項(xiàng)指標(biāo)，對(duì)各結(jié)果經(jīng)過(guò)歸一化后的三個(gè)指標(biāo)進(jìn)行疊加得到綜合評(píng)定分?jǐn)?shù)，定義為

式中，Vs，s∈{1，...，6}表示在1 至6 次迭代次數(shù)下生成的顯著性矩陣；Qvariance、Qentropy和Qrmse分別計(jì)算顯著性矩陣的方差、信息熵以及與梯度圖像G的均方根誤差，并在計(jì)算完后對(duì)結(jié)果進(jìn)行歸一化。圖6 反映了不同迭代次數(shù)下各顯著性矩陣的得分情況，可以看出隨著迭代次數(shù)增加，顯著性矩陣的性能得到提升，并在第三次達(dá)到拐點(diǎn)隨后增長(zhǎng)緩慢。為了減少計(jì)算量并降低時(shí)間成本，將迭代次數(shù)選定為4 次。

圖6 不同迭代次數(shù)下顯著性矩陣得分情況Fig.6 Score of salient matrix under different iterations

2.4 基于核主成分分析的聚焦決策圖生成及融合

核主成分分析［9］是主成分分析的一種非線(xiàn)性推廣，將輸入數(shù)據(jù)映射到高維特征空間中，然后對(duì)主成分進(jìn)行分析。該方法可將高維數(shù)據(jù)降至低維并保留主要成分以及提取特征信息，且其效果優(yōu)于同類(lèi)其他方法［10］。在本文中，光場(chǎng)重聚焦圖像經(jīng)三尺度潛在低秩分解得到了一個(gè)基礎(chǔ)層和三個(gè)顯著層，算法框架如圖7所示。聚焦決策圖生成詳細(xì)步驟為：

圖7 基于核主成分分析的特征系數(shù)矩陣融合算法框架Fig.7 Framework of eigencoefficient matrix fusion algorithm based on kernel principal component analysis

1）為提高算法運(yùn)行效率，對(duì)基礎(chǔ)層和顯著層的特征系數(shù)矩陣進(jìn)行分割，將特征系數(shù)矩陣分解為M2個(gè)子矩陣，該過(guò)程可表示為

式中，fnij表示子矩陣，i和j為子矩陣在原矩陣中的對(duì)應(yīng)位置。子矩陣的尺寸會(huì)影響降維的時(shí)間成本和降維融合效果，所用源圖像大小為1 024×1 024，在實(shí)驗(yàn)過(guò)程中分別使用32×32、16×16 和8×8 的子矩陣，經(jīng)過(guò)對(duì)比發(fā)現(xiàn)：32×32 子矩陣所需要的時(shí)間成本是其余尺寸的2 倍及以上；8×8 子矩陣時(shí)間成本最低，但由于尺寸過(guò)小導(dǎo)致最終降維融合的效果不如16×16 子矩陣。綜合考慮，將子矩陣大小定為16×16，則M=分割完成后，對(duì)所有子矩陣進(jìn)行向量化重組，在對(duì)其他特征系數(shù)矩陣進(jìn)行同樣操作后將所有向量進(jìn)行組合，即

式中，vnij是對(duì)式（14）中的子矩陣fnij進(jìn)行向量化后的結(jié)果；Y為4，表示特征系數(shù)向量總數(shù)。各分割特征系數(shù)向量經(jīng)過(guò)組合后得到分割特征系數(shù)矩陣Fcombine，將原本三維的數(shù)據(jù)降至二維。

2）使用核主成分分析對(duì)分割特征系數(shù)矩陣進(jìn)行降維處理：先用非線(xiàn)性映射Φ(xi)將輸入的分割特征系數(shù)矩陣Fcombine中的元素xi(i=1，…，Y)映射到高維特征空間中使其線(xiàn)性可分，然后在這個(gè)高維空間中進(jìn)行主成分分析降維。高維特征空間中的協(xié)方差矩陣定義為

由于非線(xiàn)性映射Φ(xi)是未知的，需要通過(guò)選取合適的核函數(shù)k，將對(duì)協(xié)方差矩陣C的操作轉(zhuǎn)化為對(duì)核矩陣K特征值求解的問(wèn)題。核矩陣K表現(xiàn)形式為

采用高斯核函數(shù)，其定義為

σ為標(biāo)準(zhǔn)差?？芍?，Kij=k(xi，xj)=Φ(xi)Φ(xj)。隨后，求解核矩陣K的特征值λ以及經(jīng)過(guò)標(biāo)準(zhǔn)化的特征向量。特征向量υ的標(biāo)準(zhǔn)化定義為

為了實(shí)現(xiàn)非線(xiàn)性映射的中心化，還需要對(duì)核矩陣K進(jìn)行中心化處理。定義OY為Y×Y的全1 矩陣，則經(jīng)過(guò)中心化后的核矩陣表示為

3）分割特征系數(shù)Fcombine經(jīng)過(guò)降維得到了融合特征系數(shù)向量，對(duì)每個(gè)重聚焦圖像的融合特征系數(shù)向量進(jìn)行重塑得到對(duì)應(yīng)的重塑系數(shù)矩陣Fnfused，n∈{1，…，N}，N為重聚焦圖像總數(shù)。采用取最大值規(guī)則對(duì)所有融合特征矩陣中的每個(gè)像素點(diǎn)進(jìn)行判決，得到初始決策圖Iinitial中每個(gè)像素值的表示

由于初始決策圖的構(gòu)建可能受聚焦區(qū)域中存在的一些散焦塊影響從而產(chǎn)生小的誤判區(qū)域，所以要對(duì)初始決策圖執(zhí)行小結(jié)構(gòu)去除來(lái)優(yōu)化決策圖。具體過(guò)程可以表示為

式中，F(xiàn)ssr(?)為小結(jié)構(gòu)去除函數(shù)，ψ為判決閾值，當(dāng)圖像中存在像素?cái)?shù)目小于ψ的區(qū)域時(shí)會(huì)被去除，ψ設(shè)置為各張重聚焦圖像初始決策圖中聚焦區(qū)域像素總數(shù)的5%。

得到最終決策圖后，使用重聚焦圖像作為引導(dǎo)圖像來(lái)對(duì)聚焦決策圖進(jìn)行引導(dǎo)濾波從而削減模糊邊界的影響，全聚焦圖像Iaif可以表示為

式中，N代表光場(chǎng)重聚焦圖像的數(shù)量，rf和εf分別為引導(dǎo)濾波函數(shù)尺度系數(shù)和正則化系數(shù)，I代表光場(chǎng)重聚焦圖像；Iinitial代表最終決策圖。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)使用的硬件配置為：CPU：Intel Core i7-11800H；RAM：32.0 GB；GPU：GeForce RTX 3060，實(shí)驗(yàn)環(huán)境為Matlab R2019a。實(shí)驗(yàn)分為兩部分：1）選用多個(gè)4D 光場(chǎng)子孔徑圖像組進(jìn)行全聚焦融合實(shí)驗(yàn)以驗(yàn)證本文算法的有效性；2）與其他先進(jìn)的多聚焦圖像融合方法從主觀和客觀兩方面進(jìn)行比較以評(píng)估本文算法性能。

3.1 光場(chǎng)全聚焦融合實(shí)驗(yàn)

實(shí)驗(yàn)數(shù)據(jù)選用HCI 數(shù)據(jù)集［11］提供的4D 光場(chǎng)數(shù)據(jù)，每組數(shù)據(jù)均包含10 張重聚焦圖像，實(shí)驗(yàn)所用部分?jǐn)?shù)字重聚焦圖像及對(duì)應(yīng)聚焦決策圖如圖8 所示。圖8 展示了從4 組光場(chǎng)數(shù)據(jù)集中選出的3 張光場(chǎng)數(shù)字重聚焦圖像以及由本文方法生成的聚焦決策圖。圖9 展示了4 組全聚焦融合實(shí)驗(yàn)的總聚焦決策圖以及對(duì)應(yīng)的光場(chǎng)全聚焦圖像，其中，第一、第三列為總聚焦決策圖；第二、第四列為全聚焦圖像。通過(guò)對(duì)比圖8 和圖9 可以發(fā)現(xiàn)，總聚焦決策圖中不同顏色對(duì)應(yīng)各單一聚焦決策圖，此外，本文方法在處理聚焦區(qū)域模糊邊界問(wèn)題上用重聚焦圖像作為引導(dǎo)圖像對(duì)聚焦決策圖進(jìn)行引導(dǎo)濾波，使各聚焦決策圖的銜接更為平滑，表現(xiàn)在總聚焦圖上為不同顏色區(qū)域銜接處具有模糊效果。

圖8 4 組光場(chǎng)重聚焦圖像以及對(duì)應(yīng)聚焦決策圖展示Fig.8 Four groups of light field refocusing images and corresponding focusing decision map

圖9 各重聚焦圖像總聚焦決策圖以及對(duì)應(yīng)全聚焦圖像展示Fig.9 The total focusing decision map of each refocusing image and the corresponding all-in-focus image are displayed

圖9（a）和（b）為Herbs 圖像組的總聚焦決策圖和全聚焦圖像，總聚焦決策圖中10 個(gè)灰度級(jí)對(duì)應(yīng)10 張重聚焦圖像的聚焦區(qū)域，各聚焦區(qū)域囊括了Herbs 圖像的所有要素：背景（墻壁）、物品（桌子上的盆景、花瓶以及果盤(pán)）、各物品間的區(qū)域（果盤(pán)、空碟和盆景三者之間的區(qū)域）以及前景（桌角和桌子外側(cè)）。通過(guò)總聚焦決策圖引導(dǎo)重聚焦圖像進(jìn)行融合便能生成全聚焦圖像，觀察圖9（b）、（d）、（f）及（h）等全聚焦融合結(jié)果可以發(fā)現(xiàn)：各聚焦區(qū)域邊界銜接自然、邊緣信息得到良好保留，果盤(pán)中各水果輪廓以及白色立式花瓶和其左側(cè)的植物相交處；同時(shí)，經(jīng)過(guò)重聚焦后的光場(chǎng)圖像實(shí)現(xiàn)了對(duì)紋理細(xì)節(jié)的增強(qiáng)（植物葉子、花瓶上的花紋以及背景墻上的細(xì)節(jié)），使全聚焦融合結(jié)果具有更好的視覺(jué)效果。此外，本文算法不對(duì)分解后的各層直接進(jìn)行融合，而是通過(guò)生成聚焦決策圖來(lái)引導(dǎo)重聚焦圖像進(jìn)行融合，所獲得的全聚焦圖像不會(huì)因?yàn)楦鲗尤诤袭a(chǎn)生的噪聲而導(dǎo)致圖像質(zhì)量下降。

3.2 多聚焦圖像融合對(duì)比實(shí)驗(yàn)

為了進(jìn)一步評(píng)估本文算法的性能，選取了6 種多聚焦圖像融合算法：RW［12］、f-PCNN［13］、IFCNN［14］、MGFF［15］、MST［16］、CSR［17］來(lái)進(jìn)行比較。對(duì)比實(shí)驗(yàn)采用LFSD［18］數(shù)據(jù)集提供的光場(chǎng)重聚焦圖像，由于大多數(shù)方法僅針對(duì)兩幅重聚焦圖像的融合，所以從每組重聚焦圖像中選出兩張作為輸入圖像，共計(jì)10 組。為了保證實(shí)驗(yàn)結(jié)果客觀公正，所選方法均使用原文提供的源代碼以及最優(yōu)參數(shù)。選取四大類(lèi)共10 種客觀評(píng)價(jià)指標(biāo)［19］：1）基于人類(lèi)視覺(jué)系統(tǒng)的指標(biāo)，包括Qcv[20]、Qcb[21]、Qabf[22]，Qcv考慮局部測(cè)量來(lái)估計(jì)源圖像中重要信息被融合圖像的表示程度，Qcb基于人眼視覺(jué)系統(tǒng)模型對(duì)融合圖像進(jìn)行質(zhì)量評(píng)價(jià)，Qabf利用人眼對(duì)比度靈敏度函數(shù)比較融合圖像與源圖像的視覺(jué)差異；2）基于圖像梯度的指標(biāo)，包括空間頻率（Spatial Frequency，SF）、平均梯度（Average Gradient，AG）以及邊緣強(qiáng)度（Edge Intensity，EI）；3）基于統(tǒng)計(jì)學(xué)的指標(biāo)，包括方差（Variance，Var）；4）基于信息論的指標(biāo)，包括信息熵（Entropy，EN）、交叉熵（Cross Entropy，CE）以及互信息量（Mutual Information，MI）。這四類(lèi)指標(biāo)涵蓋了對(duì)人眼視覺(jué)感知、圖像顯著性、邊緣信息量以及圖像失真程度等因素的考慮，能夠較為全面且客觀地評(píng)價(jià)融合圖像的質(zhì)量。

圖10 反映了實(shí)驗(yàn)中7 種算法在融合LoveLocks 圖像組時(shí)的表現(xiàn)。其中，圖10（a）和（b）均為重聚焦圖像，（c）～（i）為所選算法各自的融合結(jié)果。為進(jìn)行更細(xì)致的對(duì)比，對(duì)融合結(jié)果的細(xì)節(jié)放大處理，紅框和綠框即為局部放大區(qū)域。通過(guò)對(duì)比放大區(qū)域可以發(fā)現(xiàn)，本文算法在對(duì)源圖像的細(xì)節(jié)保留上有較為優(yōu)秀的表現(xiàn)：右下角紅框放大區(qū)域展示了各方法對(duì)鎖面數(shù)字細(xì)節(jié)的保留情況，可以看出本文方法保留的數(shù)字更為清晰，每個(gè)數(shù)字都具有最好的邊緣視覺(jué)效果，更符合人眼的視覺(jué)特性；右上角綠框放大區(qū)域展示了各方法對(duì)右聚焦圖像與左聚焦圖像模糊邊界接壤處復(fù)雜紋理的融合情況，可以發(fā)現(xiàn)CSR 方法在該區(qū)域產(chǎn)生了明顯的偽影，IFCNN 和MGFF 等方法的融合結(jié)果丟失了“L”型鎖的表面細(xì)節(jié)，使得鎖面看起來(lái)非常平滑，本文方法較f-PCNN、MST 和RW 等方法具有最高的對(duì)比度，更能凸顯“L”型表面凹凸不平的細(xì)節(jié)。7 種方法在LoveLocks 圖像組上的融合結(jié)果客觀指標(biāo)如表1 所示，其中，最優(yōu)值以紅色表示，次優(yōu)值以藍(lán)色表示。10 種評(píng)價(jià)指標(biāo)中，除Qcv和交叉熵（CE）為越小越好外，其余均為數(shù)值越大越好。可以看出，本文方法的融合結(jié)果在10 個(gè)指標(biāo)中具有3 個(gè)第一和4 個(gè)第二，在Qcv、互信息量以及交叉熵均取得了第一名，說(shuō)明經(jīng)本文算法生成的融合圖像較好地保留了源圖像的細(xì)節(jié)紋理并具有更優(yōu)的視覺(jué)表現(xiàn)。

表1 LoveLocks 圖像在7 種融合算法上的客觀指標(biāo)對(duì)比Table 1 Objective index comparison of LoveLocks image on seven fusion algorithms

圖10 LoveLocks 圖像融合結(jié)果對(duì)比Fig.10 LoveLocks image fusion results comparison

圖11 與圖10 具有相同的內(nèi)容分布，反映了7 種算法在融合Edelweiss 圖像組時(shí)的表現(xiàn)。紅框放大部分反映了各方法對(duì)啤酒商標(biāo)的細(xì)節(jié)保留情況，可以發(fā)現(xiàn)CSR、IFCNN 和RW 等方法產(chǎn)生了明顯的偽影，MGFF方法未產(chǎn)生偽影但其商標(biāo)清晰度有所下降，f-PCNN、MST 和本文方法在主觀上均有較好表現(xiàn)，但從表2 中的數(shù)據(jù)可以看出本文方法具有最好的互信息量以及信息熵，說(shuō)明本文方法對(duì)源圖像的信息保留程度更高。綠框放大區(qū)域反映了在面對(duì)左右聚焦圖像模糊邊界區(qū)域時(shí)，各方法對(duì)背景（天空等均勻區(qū)域）和顯著目標(biāo)（教堂塔尖）的融合情況，可以看出，除RW 和本文方法外，其余5 種方法在塔尖區(qū)域均有非常明顯的偽影，進(jìn)一步仔細(xì)對(duì)比可以發(fā)現(xiàn)，經(jīng)本文方法融合后的結(jié)果沒(méi)有偽影，塔尖與天空融合后的視覺(jué)效果要好于RW方法。

表2 Edelweiss 圖像在7 種融合算法上的客觀指標(biāo)對(duì)比Table 2 Objective index comparison of Edelweiss images on seven fusion algorithms

圖11 Edelweiss 圖像融合結(jié)果對(duì)比Fig.11 Edelweiss image fusion results comparison

表2 反映了7 種方法在Edelweiss 圖像組上的融合結(jié)果客觀指標(biāo)對(duì)比，本文方法在除Qcv和交叉熵以外的8 種指標(biāo)上均取得較為優(yōu)秀的表現(xiàn)。Qcv反映了源圖像中的重要信息在融合圖像中的表示程度，由表2 可知，RW 方法和CSR 方法的Edelweiss 融合結(jié)果在Qcv指標(biāo)上取得了良好的成績(jī)，但在圖11 中的紅框放大區(qū)域，可以看出RW 方法和CSR 方法的融合結(jié)果具有明顯的偽影，推測(cè)正是因?yàn)檫@些偽影導(dǎo)致Qcv值的異常。

為了使7 種方法融合結(jié)果指標(biāo)對(duì)比更為公正客觀，對(duì)10 組融合結(jié)果的評(píng)價(jià)指標(biāo)求平均值，如表3 所示。由表3 可知，本文算法在4 類(lèi)客觀指標(biāo)中均有較好表現(xiàn)，在空間頻率、Qcb、互信息量、信息熵、邊緣強(qiáng)度和交叉熵這6 個(gè)指標(biāo)中取得了最優(yōu)值，其中空間頻率和互信息量表現(xiàn)尤為突出，說(shuō)明經(jīng)本算法生成的全聚焦圖像具有更清晰的細(xì)節(jié)和紋理且對(duì)重聚焦圖像具有更強(qiáng)的信息保留能力。本文算法在剩下4 個(gè)指標(biāo)中均為次優(yōu)值，其中，MGFF 方法雖然具有最高的方差，但在3 個(gè)視覺(jué)指標(biāo)中的表現(xiàn)較差，這可能是由于MGFF 方法所產(chǎn)生的融合圖像會(huì)在邊界處會(huì)產(chǎn)生偽影，從而導(dǎo)致其方差虛高；兩個(gè)視覺(jué)指標(biāo)Qcv和Qabf與最優(yōu)指標(biāo)非常貼近且遠(yuǎn)高于排名第三的指標(biāo)。綜上所述，經(jīng)本文算法生成的多聚焦圖像與其他6 種方法相比具有清晰度高、視覺(jué)效果優(yōu)秀、圖像對(duì)比度高等特點(diǎn)。

表4 給出了7 種方法在10 組多聚焦融合實(shí)驗(yàn)中所需要的平均時(shí)間成本?？梢钥闯?，MST、MGFF 以及IFCNN 三種方法均具有較低的時(shí)間成本，但在客觀指標(biāo)上的表現(xiàn)卻不佳：MST 方法具有最低的時(shí)間成本，但僅取得了空間頻率次優(yōu)的成績(jī)，MGFF 方法僅在方差上獲得了最優(yōu)值，IFCNN 方法在10 項(xiàng)客觀指標(biāo)中均表現(xiàn)平庸。本文方法的時(shí)間成本低于CSR 方法和f-PCNN 方法，綜合看來(lái)，本文方法取得了良好的融合效果，但是由于引入核主成分分析對(duì)各層特征系數(shù)進(jìn)行融合從而導(dǎo)致了時(shí)間成本較高。

表4 7 種融合算法的平均時(shí)間成本Table 4 Average time cost of seven fusion algorithms

4 結(jié)論

本文提出了一種基于多尺度潛在低秩分解的光場(chǎng)全聚焦圖像融合方法。通過(guò)對(duì)4D 光場(chǎng)圖像進(jìn)行數(shù)字重聚焦，將焦點(diǎn)聚集到圖像中的各個(gè)目標(biāo)上從而得到重聚焦圖像，然后將重聚焦圖像作為輸入圖像來(lái)實(shí)行全聚焦融合。本文引入多尺度潛在低秩分解對(duì)重聚焦圖像進(jìn)行分解，使用局部雙區(qū)域梯度差值加權(quán)平均算法和可迭代引導(dǎo)濾波視覺(jué)顯著性提取算法來(lái)計(jì)算各層特征信息，最后使用基于核主成分分析的特征系數(shù)融合算法生成聚焦決策圖并引導(dǎo)全聚焦圖像的生成。實(shí)驗(yàn)結(jié)果表明，經(jīng)本文方法生成的光場(chǎng)全聚焦圖像具有良好的視覺(jué)效果以及更高的空間分辨率；與近年提出的基于傳統(tǒng)或深度學(xué)習(xí)的多聚焦圖像融合算法相比，本文算法在所選4 類(lèi)客觀評(píng)價(jià)指標(biāo)中均有良好表現(xiàn)，驗(yàn)證了其有效性。實(shí)驗(yàn)過(guò)程中選用灰度圖像作為輸入圖像，目的是為了減少計(jì)算量和時(shí)間成本，本文算法也同樣適用于彩色光場(chǎng)圖像的全聚焦融合。此外，該算法也存在不足之處，在各重聚焦圖像聚焦邊界區(qū)域的處理上，僅采用引導(dǎo)濾波對(duì)其進(jìn)行平滑融合，并未做出進(jìn)一步的優(yōu)化，今后將對(duì)模糊邊界區(qū)域的融合規(guī)則進(jìn)行研究，使生成的全聚焦圖像具有更好的視覺(jué)表現(xiàn)。