環(huán)境感知的立體樹木圖像融合

程銀婷，楊麗錦，葉 陽(yáng)

(浙江工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，杭州 310023)

E-mail：yeyang80@zjut.edu.cn

1 引 言

3D影片讓觀影者有臨其境的體驗(yàn)，從而受到了越來(lái)越多的歡迎.影片中的很多場(chǎng)景可以通過(guò)圖像融合技術(shù)生成，因此，對(duì)圖像融合技術(shù)的研究變得越來(lái)越重要.國(guó)內(nèi)外現(xiàn)在已經(jīng)有很多對(duì)2D圖像融合技術(shù)的研究，這些研究也已經(jīng)比較成熟.但是對(duì)于立體圖像融合的研究還比較少.3D圖像與2D圖像不同，它有兩幅存在視差的圖像構(gòu)成，這兩幅圖像通常被稱為左圖與右圖.因此，相對(duì)于2D圖像融合，3D圖像融合的過(guò)程更復(fù)雜.

一幅圖像通常被分為圖像前景和圖像背景，一般把人們感興趣的區(qū)域，比如圖像中的樹木、人等稱為圖像的前景，圖像前景之外的區(qū)域稱之為圖像的背景.圖像融合技術(shù)就是把從源圖像中獲取到的圖像前景自然地粘貼到目標(biāo)圖像背景中.同時(shí)，為了獲得好的融合結(jié)果，在融合時(shí)通常會(huì)對(duì)圖像前景的顏色、亮度、紋理等參數(shù)進(jìn)行調(diào)整.目前對(duì)于3D圖像融合的研究才剛剛開始，但是，因?yàn)?D圖像融合與3D圖像融合有相似之處，所以，2D圖像融合技術(shù)的發(fā)展也可以有效地促進(jìn)3D融合技術(shù)的研究.現(xiàn)在對(duì)于2D圖像融合技術(shù)的研究主要分為兩大類：基于透明度的圖像融合以及基于梯度域的圖像融合.

基于透明度的融合方法通過(guò)線性混合方程獲得前景及其透明度，然后把前景和目標(biāo)背景圖像進(jìn)行線性組合生成融合圖像.前景的精確摳圖以及透明度值(alpha)的計(jì)算是基于透明度融合的關(guān)鍵.為了獲取精確的摳圖，Chuang等人[1]提出了貝葉斯模型，該模型通過(guò)構(gòu)建給定鄰域的前景以及背景的概率分布來(lái)獲取圖像的摳圖.該方法通過(guò)最大后驗(yàn)技術(shù)(maximum a posteriori，MAP)解決貝葉斯框架中融合參數(shù)的計(jì)算問(wèn)題.當(dāng)源圖像的背景復(fù)雜時(shí)，傳統(tǒng)的基于透明度的方法需要進(jìn)行大量的用戶交互，為了對(duì)該問(wèn)題進(jìn)行優(yōu)化，Zhang等人[2]構(gòu)建了一個(gè)殘差卷積網(wǎng)格網(wǎng)絡(luò)(residual convolutional grid network)利用圖像的高級(jí)語(yǔ)義和上下文信息獲取精確摳圖.

人類視覺(jué)系統(tǒng)對(duì)像素值變化劇烈的區(qū)域很敏感，如物體的邊界，梯度域融合方法就是從該角度出發(fā)，通過(guò)模仿融合區(qū)域像素的變化，生成融合效果自然的圖像.Pérez等人[3]提出的泊松融合方法，就是一種經(jīng)典的基于梯度域融合的方法.該方法主要的目的就是通過(guò)重構(gòu)融合區(qū)域的像素值，獲得融合邊界變化平緩的融合結(jié)果.但是，該方法無(wú)法解決目標(biāo)背景顏色對(duì)融合后圖像前景顏色產(chǎn)生影響的問(wèn)題.當(dāng)使用泊松融合方法進(jìn)行圖像融合時(shí)，如果源圖像的背景顏色與目標(biāo)圖像的背景顏色相差很大或者目標(biāo)圖像的背景過(guò)于復(fù)雜，目標(biāo)圖像的顏色往往會(huì)過(guò)多地滲透到源圖像中，出現(xiàn)染色問(wèn)題.為了對(duì)染色問(wèn)題進(jìn)行改進(jìn)，Zhang 等人[4]的方法提出了一種新穎的泊松混合損失，通過(guò)優(yōu)化該損失以及深度網(wǎng)絡(luò)計(jì)算的風(fēng)格和內(nèi)容損失，指導(dǎo)網(wǎng)絡(luò)生成顏色變化自然的融合結(jié)果.Henz等人[5]提出了一種新的方法來(lái)實(shí)現(xiàn)圖像融合，該方法使用插值參數(shù)與透明度域融合以及泊松融合相結(jié)合的方式，控制融合結(jié)果中前景對(duì)象的顏色保留程度，然而，該方法的參數(shù)需要用戶手動(dòng)進(jìn)行調(diào)節(jié).雖然通過(guò)上述方法，泊松融合的染色問(wèn)題得到了改進(jìn)有，但是，該方法仍存在局限，其涉及到的線性方程規(guī)模較大，需要花費(fèi)大量的時(shí)間求解.為了實(shí)現(xiàn)實(shí)時(shí)的圖像融合，F(xiàn)arbman等人[6]基于均值坐標(biāo)(Mean-Value Coordinate，MVC)提出了一種方法來(lái)實(shí)現(xiàn)圖像融合.它是一種近似于泊松克隆的即時(shí)圖像融合方法，為了避免對(duì)大規(guī)模的線性方程求解，基于均值坐標(biāo)構(gòu)造調(diào)和插值項(xiàng)來(lái)計(jì)算圖像融合的結(jié)果.然而，該方法的約束項(xiàng)很少，所以，融合的結(jié)果可能會(huì)出現(xiàn)色彩不平衡的現(xiàn)象.Fang等人[7]為了解決預(yù)對(duì)準(zhǔn)圖像中出現(xiàn)的所有顏色不一致問(wèn)題，提出了一種顏色混合算法.該方法的首先通過(guò)最佳拼縫上像素的顏色差異，使用加權(quán)均值坐標(biāo)插值算法獲得目標(biāo)圖像中所有像素點(diǎn)顏色的精確變化，然后，將該變化反饋到目標(biāo)圖像中.該方法有效地解決了顏色不一致問(wèn)題.Yuan等人[8]綜合色差、梯度差等因素提出了一種基于超像素的能量函數(shù)，在高相似的連續(xù)區(qū)域?qū)ふ易罴哑纯p，最后利用基于超像素的顏色混合算法對(duì)拼縫進(jìn)行消除，實(shí)現(xiàn)了顏色的自然過(guò)度.

近年來(lái)開始有研究人員對(duì)3D圖像融合進(jìn)行研究.3D圖像與2D圖像不同，它的圖像中包含深度信息，該深度信息可以通過(guò)左圖與右圖之間的視差被人眼感知到.因此，視差這一因素對(duì)立體圖像融合的影響很大.Stereo Pasting[9]通過(guò)對(duì)邊緣感知逐生成融合區(qū)域的視差圖，然后將該視差圖與目標(biāo)背景視差圖融合，保證融合后圖像的深度一致性.同時(shí)該方法對(duì)物體使用能量項(xiàng)優(yōu)化方式進(jìn)行了一定程度的變形，使得前景圖像與背景的融合更逼真.但是Stereo Pasting屬于半自動(dòng)化的分離前景的方法，這類方法需要大量的手動(dòng)交互，所以仍需要進(jìn)行改進(jìn).Fan等人[10]提出的方法為了使融合邊界過(guò)度自然，通過(guò)引入視差約束來(lái)保證融合結(jié)果的視差一致性，然而，該方法只保證了圖像視差的一致性，沒(méi)有考慮圖像融合過(guò)程中發(fā)生的顏色變化，所以，生成的融合結(jié)果視覺(jué)效果較差.

總體來(lái)看，基于透明度域的融合方法對(duì)源圖像的顏色及目標(biāo)圖像的顏色要求很高，只有在源圖像的背景顏色與目標(biāo)背景的顏色相近時(shí)，才能獲得好的融合結(jié)果.該類方法無(wú)法根據(jù)目標(biāo)背景顏色對(duì)融合區(qū)域的顏色、亮度進(jìn)行調(diào)整，所以，當(dāng)顏色相差很大時(shí)，融合的結(jié)果從全局上看并不自然.基于梯度域的融合方法并不要求獲取精確的前景對(duì)象，但這類方法受目標(biāo)圖像顏色影響大，會(huì)出現(xiàn)圖像失色的問(wèn)題.現(xiàn)有的立體圖像融合方法主要使用網(wǎng)格能量變形對(duì)融合對(duì)象的形狀以及大小進(jìn)行調(diào)整，并且主要是實(shí)現(xiàn)3D圖像之間的融合，僅有很少的方法可以實(shí)現(xiàn)將2D融合圖像到3D場(chǎng)景，此外，這些方法在進(jìn)行融合時(shí)也并未考慮立體圖像融合中出現(xiàn)的物體遮擋問(wèn)題.雖然，現(xiàn)在也出現(xiàn)了很多使用深度學(xué)習(xí)實(shí)現(xiàn)的圖像融合方法，但是，這些方法需要花費(fèi)大量的時(shí)間訓(xùn)練網(wǎng)絡(luò)模型.

樹木在立體場(chǎng)景中很常見(jiàn)，它在立體場(chǎng)景中顯示的效果會(huì)對(duì)立體場(chǎng)景的沉浸感產(chǎn)生很大的影響.相較于場(chǎng)景中的其它對(duì)象比如人、車，樹木對(duì)象的結(jié)構(gòu)比較復(fù)雜，因?yàn)闃淙~與樹葉之間，樹枝與樹枝之間可能存在孔隙.這些孔隙中夾雜著圖像背景的信息，因此，用戶僅通過(guò)簡(jiǎn)單的交互很難把樹木對(duì)象分離出來(lái).此外，現(xiàn)有方法實(shí)現(xiàn)立體樹木圖像融合時(shí)，生成的樹木圖像在三維場(chǎng)景中呈“紙片化”，不具有立體感，視覺(jué)效果差.因此，為了提升3D樹木圖像立體顯示效果，本文提出了一種環(huán)境感知的立體樹木圖像融合方法.該方法在融合過(guò)程中通過(guò)對(duì)環(huán)境的顏色、深度、遮擋等信息進(jìn)行感知，對(duì)融合的樹木對(duì)象進(jìn)行調(diào)整，從而可以生成較好的融合結(jié)果.

2 本文方法

本文提出了環(huán)境感知的立體樹木融合方法來(lái)實(shí)現(xiàn)2D樹木圖像與3D場(chǎng)景的自然融合.本方法將透明度摳圖法[11]與K-Means算法[12]結(jié)合，對(duì)樹木圖像夾雜的背景信息進(jìn)行過(guò)濾，實(shí)現(xiàn)對(duì)樹木對(duì)象的精確提取；使用深度模板的深度信息構(gòu)建方法構(gòu)建多層次樹木結(jié)構(gòu)來(lái)避免樹木對(duì)象的“紙片化”；使用基于融合點(diǎn)的深度一致性視差調(diào)整策略對(duì)樹木的深度進(jìn)行調(diào)整，來(lái)保證融合后樹木對(duì)象的深度與目標(biāo)場(chǎng)景深度的一致；使用基于目標(biāo)場(chǎng)景的自適應(yīng)顏色調(diào)整策略調(diào)整樹木對(duì)象的亮度和顏色，來(lái)保證樹木對(duì)象可以與目標(biāo)場(chǎng)景實(shí)現(xiàn)自然地融合，同時(shí)避免出現(xiàn)樹木對(duì)象失色問(wèn)題.同時(shí)，本文方法在進(jìn)行圖像融合時(shí)，對(duì)出現(xiàn)的物體遮擋問(wèn)題進(jìn)行了處理，從而保證了融合后的結(jié)果中不會(huì)出現(xiàn)深度感知異常，圖1為方法的流程圖.

圖1 環(huán)境感知立體樹木圖像融合方法流程Fig.1 Flowchart of stereoscopic tree images blending based on environment perception

2.1 樹木對(duì)象的摳取

樹木的結(jié)構(gòu)復(fù)雜，摳取的樹木對(duì)象中很容易夾雜源圖像的背景信息，因此，要獲取精確的樹木摳圖，需要對(duì)摳取的樹木對(duì)象進(jìn)行處理，去除這些夾雜的背景信息.本文使用采樣摳圖法對(duì)樹木對(duì)象進(jìn)行粗略的摳取，使用K-Means方法對(duì)摳取的樹木對(duì)象進(jìn)行進(jìn)一步的過(guò)濾.

首先，使用采樣摳圖法對(duì)源圖像及其對(duì)應(yīng)的三色圖進(jìn)行處理，粗略地?fù)赋鰳淠緦?duì)象，但僅使用采樣摳圖法摳取的樹木對(duì)象會(huì)夾雜很多背景成分，因此，為了獲取精確的摳圖，本文采用K-Means聚類算法對(duì)使用采樣摳圖方法獲得的樹木對(duì)象進(jìn)行過(guò)濾，優(yōu)化前后的對(duì)比如圖2所示.圖2(a)是僅使用采樣摳圖法獲取的粗略的樹木摳取結(jié)果，圖2(b)是使用K-Means算法優(yōu)化后的樹木的摳取結(jié)果，圖2(c)是僅使用采樣摳圖法獲取的樹木透明度，圖2(d)是經(jīng)過(guò)優(yōu)化后的樹木透明度.

圖2 透明度提取效果圖Fig.2 Rendering of alpha extract

2.2 視差信息構(gòu)建

首先，本文使用深度梯度假設(shè)法[13]來(lái)構(gòu)建樹木圖像的深度信息.Lang等人[14]表明，人們的深度感知很容易受到視差梯度的影響，因此，改變感知的深度結(jié)構(gòu)可以通過(guò)調(diào)整視差梯度來(lái)實(shí)現(xiàn).使用模板假設(shè)方法生成的視差圖，只給出了2D樹木對(duì)象的相對(duì)深度，僅能表明單個(gè)樹木對(duì)象的絕對(duì)視差.所以融合圖像時(shí)，需要依據(jù)目標(biāo)圖像的深度信息調(diào)整樹木的深度信息，否則融合后的立體圖像顯示結(jié)果將會(huì)因前后景深度差異過(guò)大出現(xiàn)深度不一致的問(wèn)題.

為了實(shí)現(xiàn)了實(shí)時(shí)的深度一致性融合.本文基于MVC方法實(shí)現(xiàn)圖像融合.加權(quán)的均值坐標(biāo)融合解法類似于插值問(wèn)題.對(duì)于一個(gè)閉合的多邊形區(qū)域 (逆時(shí)針?lè)较?，x為多邊形內(nèi)部的一個(gè)點(diǎn)，它可以由公式(1)表示：

(1)

(2)

假定定義在邊界的函數(shù)f已經(jīng)存在了，則：

(3)

即，此時(shí)可以利用邊界平滑插值計(jì)算出多邊形內(nèi)部的點(diǎn)的值，尋找未知函數(shù)f就是泊松融合的求解目標(biāo).通過(guò)獲取函數(shù)f使融合區(qū)域邊界的變化最小，也就是目標(biāo)融合區(qū)域的梯度場(chǎng)要盡可能與源圖像o的梯度場(chǎng)接近，因此，可以把泊松融合進(jìn)一步表示成：

(4)

(5)

平滑膜被計(jì)算出后，泊松融合結(jié)果可以表示為f=o+r.

基于MVC的方法在進(jìn)行圖像融合時(shí)，要求融合區(qū)域的邊界要和目標(biāo)圖像保持一致，而本文方法僅需要保證樹木根部和目標(biāo)圖像一致，所以，在進(jìn)行融合時(shí)，修改了該方法中提出的加權(quán)策略[15].本文采用MVC定義設(shè)置融合區(qū)域的頂點(diǎn)，把深度不一致邊界的頂點(diǎn)的值定為0.首先找到樹木對(duì)象融合到目標(biāo)圖像中的位置點(diǎn)，該點(diǎn)在樹根的底部.本文只將圖3中的根部的小圓圈標(biāo)記的邊界作為深度一致性邊界，其余部分都不要求深度一致性.

圖3 改進(jìn)MVC示意圖

對(duì)于樹木圖像，MVC的加權(quán)均值由公式(6)定義：

(6)

其中：

(7)

本文方法避免了在深度不一致性區(qū)域進(jìn)行插值，保證了樹木圖像與目標(biāo)圖像融合后的深度一致性，所以相較于傳統(tǒng)的MVC方法，本文方法生成的視差圖更令人滿意.

樹木對(duì)象在圖像中的成像大小與視差相關(guān).為了更符合人類的視覺(jué)感知，本文與雙目視覺(jué)成像原理[16]保持一致，并通過(guò)平行攝像機(jī)模型來(lái)探究物體成像的大小與視差之間的幾何關(guān)系，圖4為幾何關(guān)系圖.

圖4 物體成像尺寸和視差的幾何關(guān)系Fig.4 Geometric relationship between object imaging size and parallax

如圖4(a)所示，將物體在左右視圖中的橫坐標(biāo)分別表示為xL和xR，則圖像的視差可以表示為d=xL-xR，根據(jù)圖4(a)以及相似三角形定理可推導(dǎo)出z=bf/d，其中，b表示兩個(gè)攝像機(jī)之間的基線距離，f表示相機(jī)的焦距，z景深.根據(jù)相似三角形定理從圖4(b)中可以推導(dǎo)出x=fL/z，其中，x為物體的成像大小，L表示場(chǎng)景物體實(shí)際的大小，由以上兩個(gè)式子可得x=Ld/b.

因此，物體與鏡頭之間的距離越大，它的視差范圍就越小，融合的位置越靠前，物體就會(huì)越有層次感；反之，距離越小，視差越大，物體的層次感越弱，即物體在越靠后的位置，層次感會(huì)越不明顯.

2.3 自適應(yīng)融合

在進(jìn)行梯度融合時(shí)，如果源圖像和目標(biāo)圖像的背景相差較大，融合結(jié)果中會(huì)出現(xiàn)樹木失色的現(xiàn)象，使得融合效果不自然.為了獲得融合效果自然的圖像，本文通過(guò)透明度處理樹木失色問(wèn)題.

2.3.1 顏色調(diào)整

對(duì)融合結(jié)果進(jìn)行評(píng)價(jià)時(shí)，視覺(jué)效果是首要考慮的評(píng)價(jià)標(biāo)準(zhǔn).視覺(jué)效果好的融合結(jié)果融合邊界過(guò)度自然，融合區(qū)域顏色分布均勻.梯度域融合的不足之處在于源圖像顏色和目標(biāo)背景顏色相差過(guò)大時(shí)，融合效果不自然.泊松融合是經(jīng)典的梯度域融合方法，它的融合對(duì)比效果如圖5所示.

圖5 樹木泊松融合效果Fig.5 Tree poisson blending effect

觀察圖5可知，泊松融合在源圖像的顏色與目標(biāo)背景顏色相差較少時(shí)，生成的融合結(jié)果融合效果較好，如樹冠的上部分區(qū)域融合的結(jié)果很自然.但是，在源圖像與背景圖像差異較大時(shí)，融合圖像中會(huì)出現(xiàn)樹木失色問(wèn)題，如圖中矩形框標(biāo)記的區(qū)域.圖5(a)與圖5(b)矩形框標(biāo)記的為樹木的同一區(qū)域，經(jīng)過(guò)泊松處理后該區(qū)域的顏色在灰度圖中顯示為黑色，顏色發(fā)生了很大的改變.為了改善這一問(wèn)題，本文使用透明度融合的方法對(duì)泊松融合的結(jié)果進(jìn)行改進(jìn).

1)梯度域融合與透明度融合結(jié)合的圖像融合算法

透明度方法進(jìn)行圖像融合時(shí)，可以精確的獲取樹木對(duì)象，但是，該方法完整地保留了樹木的顏色，使得樹木與目標(biāo)圖像融合的效果很不自然.梯度融合則因?yàn)槟繕?biāo)背景顏色對(duì)樹木顏色的影響，出現(xiàn)樹木圖像失色問(wèn)題.為了使融合結(jié)果的顏色變化自然，本文將透明度融合方法與梯度域融合方法結(jié)合對(duì)融合的顏色控制，本文選擇的梯度域融合方法為泊松融合.

進(jìn)行圖像融合時(shí)，本文將顏色自適應(yīng)權(quán)重引入到融合區(qū)域?qū)崿F(xiàn)對(duì)樹木顏色的控制.此時(shí)，融合區(qū)域公式為：

Iz=ωzMz+(1-ωz)Pz

(8)

z=(x，y)代表圖像中的任意像素點(diǎn)，Pz為像素點(diǎn)泊松融合的結(jié)果，Mz為透明度融合結(jié)果.ωz代表像素z處的顏色自適應(yīng)權(quán)重，其中，ωz是對(duì)融合效果改進(jìn)的關(guān)鍵.

2)權(quán)值確定

本文受Li等人[17]提出的方法啟發(fā)調(diào)整圖像顏色，主要通過(guò)亮度對(duì)比系數(shù)進(jìn)行調(diào)整，獲取亮度對(duì)比系數(shù)的步驟如下：

在樹木的透明度在0和1之間的區(qū)域分別計(jì)算兩幅圖像的亮度和F及B，然后根據(jù)獲取的值計(jì)算亮度對(duì)比系數(shù)φ.

(9)

由公式(9)可知，亮度對(duì)比系數(shù)的值與源圖像半透明區(qū)域的平均亮度呈正相關(guān).

計(jì)算自適應(yīng)權(quán)值：

(10)

其中，ω1代表融合區(qū)域的方差，ω2代表融合區(qū)域的均值，本文將亮度閾值ε設(shè)置為1.5.當(dāng)φ>ε或者1/φ>ε時(shí)，說(shuō)明目標(biāo)背景的顏色與樹木的原始背景顏色差異大，此時(shí)要使用大的權(quán)值對(duì)顏色進(jìn)行調(diào)整，當(dāng)差異小時(shí)，不需要對(duì)融合區(qū)域的顏色進(jìn)行太大的調(diào)整，所以，可以將顏色自適應(yīng)權(quán)值ω設(shè)置為常數(shù)χ，χ的值在本文中取0.8.

2.3.2 遮擋處理

3D圖像融合與2D圖像融合不同，在融合時(shí)要考慮并處理圖像中物體間常出現(xiàn)的遮擋問(wèn)題，本文采用了Zheng等人[18]提出的方法，通過(guò)深度計(jì)算判定并處理遮擋.在進(jìn)行融合時(shí)，依據(jù)樹木在目標(biāo)圖像中融合的位置，在重構(gòu)出樹木圖像的深度后，將該深度與目標(biāo)圖像的深度進(jìn)行比較來(lái)判斷融合后物體的遮擋關(guān)系.融合后的視差圖通過(guò)公式(11)獲得:

(11)

其中，blend代表融合結(jié)果的視差圖，Dfg(x，y)代表前景圖像(x，y)處像素點(diǎn)的深度值，Dbg(x，y)代表背景圖像(x，y)處像素點(diǎn)的深度值.

在處理遮擋問(wèn)題時(shí)，本文主要依據(jù)的就是融合后的視差圖，當(dāng)樹木對(duì)象的視差值小于目標(biāo)背景的視差值時(shí)，說(shuō)明融合后樹木會(huì)受到遮擋，否則，說(shuō)明樹木在靠前的位置.

3 實(shí)驗(yàn)結(jié)果與分析

3.1 樹木融合顏色效果

本文選取了一張照明比較特殊的圖像作為目標(biāo)背景，來(lái)探究不同方法對(duì)融合結(jié)果中樹木顏色的處理效果.如圖6(a)所示，直接把獲得的粗略的樹木摳圖與目標(biāo)背景融合，生成的結(jié)果會(huì)出現(xiàn)很明顯的邊界.如圖6(b)所示，泊松融合在進(jìn)行圖像融合時(shí)，雖然不需要將樹木對(duì)象精確地?fù)溉〕鰜?lái)，就可以實(shí)現(xiàn)圖像的無(wú)縫融合，但是在夾雜的源圖像的背景區(qū)域以及目標(biāo)背景燈光顏色的共同影響下，融合結(jié)果的顏色空間出現(xiàn)了明顯的平移，樹木灰度與其原始灰度相比加深了很多；同時(shí)，由于梯度平滑處理，樹冠中的孔隙被進(jìn)行了填充，導(dǎo)致融合后樹木對(duì)象的結(jié)構(gòu)發(fā)生改變.為了降低源圖像背景對(duì)融合結(jié)果的影響，實(shí)驗(yàn)使用經(jīng)過(guò)優(yōu)化的透明度圖6(d)對(duì)樹木圖像中無(wú)關(guān)的背景信息進(jìn)行了過(guò)濾.觀察過(guò)濾背景信息后泊松融合的結(jié)果圖6(f)可知，樹木的結(jié)構(gòu)在融合結(jié)果中得到了很好的保留，但是，與樹木原始的顏色相比，融合后的顏色出現(xiàn)了向燈光顏色空間的非線性平移.融合的結(jié)果中樹木與房子邊緣接近的區(qū)域，出現(xiàn)了嚴(yán)重的染色問(wèn)題，該區(qū)域灰度變?yōu)榱撕谏鐖D6(g)所示.將圖6中的融合結(jié)果進(jìn)行比較會(huì)發(fā)現(xiàn)，在泊松融合中引入優(yōu)化的透明度后，融合的結(jié)果中樹木的結(jié)構(gòu)可以得到的更好的保留.但是融合后樹木的顏色依然會(huì)受到背景顏色的影響，出現(xiàn)染色問(wèn)題.

圖6 孔洞去除前后泊松融合的結(jié)果Fig.6 Results of poisson blending before and after removing the holes

本文方法也探究了融合樹木對(duì)象的顏色變化，主要通過(guò)自動(dòng)計(jì)算顏色自適應(yīng)權(quán)值，圖7為使用不同方法生成的融合結(jié)果對(duì)比圖.基于透明度融合的方法生成的融合結(jié)果未對(duì)樹木圖像的顏色進(jìn)行處理，完全保留了樹木對(duì)象原始的顏色，如圖7(b)所示，透明度融合結(jié)果中樹木的灰度與圖7(a)中樹木的原始灰度相比并未發(fā)生改變，與背景融合后不自然，尤其在融合邊界區(qū)域過(guò)度很不自然；泊松融合方法生成的融合結(jié)果中樹木的顏色很容易受到背景圖像顏色的影響，圖7(c)中第2行與第4行的樹木灰度圖顏色，受到過(guò)暗的背景圖像顏色的影響，幾乎變成了黑色，而圖7(c)第1行與第3行的融合結(jié)果，受到過(guò)亮的背景顏色影響，融合后的樹木灰度與樹木原始的灰度相比偏白，圖7(c)展示的結(jié)果中，樹木顏色空間均發(fā)生了明顯的偏移，失色嚴(yán)重，視覺(jué)效果很不自然；而圖7(d)展示的本文方法生成的融合結(jié)果中的樹木總的來(lái)說(shuō)與目標(biāo)場(chǎng)景比較貼合，并且顏色梯度變化平緩，樹木灰度在其它兩種結(jié)果之間，融合效果自然.

圖7 不同方法結(jié)果對(duì)比Fig.7 Comparison of results of different methods

由于融合結(jié)果的好壞很難通過(guò)客觀的比較策略來(lái)進(jìn)行評(píng)估，所以，為了探究不同方法的融合質(zhì)量，本文方法進(jìn)行了主觀實(shí)驗(yàn)對(duì)融合效果進(jìn)行評(píng)估.我們邀請(qǐng)了30名受試者來(lái)進(jìn)行評(píng)估實(shí)驗(yàn).實(shí)驗(yàn)過(guò)程如下：首先將圖7中包含的樹木圖像以及背景圖像依次在屏幕上進(jìn)行展示，然后，將每張泊松融合的圖像、透明度融合的圖像、以及本文方法融合的圖像，在屏幕隨機(jī)顯示10秒，最后，讓30名受試者根據(jù)樹木顏色的保真度以及整體的協(xié)調(diào)性這兩個(gè)因素，分別從所有融合結(jié)果中選出一幅效果最好的圖像.圖8為根據(jù)實(shí)驗(yàn)結(jié)果繪制的柱狀圖.

圖8 各方法選擇人數(shù)結(jié)果柱狀圖Fig.8 Histogram of results

從圖8顯示的結(jié)果可以明顯的看出，與透明度融合方法以及泊松融合方法相比，選擇本文方法的人數(shù)最多，即本文的方法效果最好，感知環(huán)境的能力強(qiáng).

3.2 遮擋處理

遮擋處理前后的融合結(jié)果如圖9所示.觀察圖9(a)虛線框標(biāo)記區(qū)域會(huì)發(fā)現(xiàn)，由于沒(méi)有處理好圓柱與樹干的遮擋關(guān)系，樹干區(qū)域融合后在圓柱的前面，樹干的顯示出現(xiàn)異常.為了避免出現(xiàn)類似于圖9(a)中的異常，本文方法通過(guò)基于深度計(jì)算的遮擋方法對(duì)物體間的遮擋問(wèn)題進(jìn)行了處理，處理結(jié)果如圖9(b)所示，可知本文方法得到的圖像融合效果好，并未出現(xiàn)融合異常.

圖9 遮擋處理前后效果圖Fig.9 Blending effect of occlusion processing

3.3 樹木立體層次感對(duì)比

為了獲取紅藍(lán)立體圖像，本文將參考視圖的R通道，虛擬視圖的G、B通道進(jìn)行了疊加.本文選取的參考視圖為融合圖像，虛擬視圖通過(guò)DIBR變換技術(shù)得到，因?yàn)?，存在遮擋暴露的?wèn)題，因此虛擬視圖中會(huì)有視覺(jué)盲區(qū)即空洞.為了對(duì)虛擬視點(diǎn)圖像進(jìn)行修復(fù)，本文使用線性插值法填補(bǔ)空洞.R、G、B三通道疊加后的生成結(jié)果的灰度圖如圖10(b)與圖10(d)所示.

圖10 樹木多層次對(duì)比Fig.10 Multi-level comparison of trees

同時(shí)，圖10展示了單一層次和多層次立體樹木的對(duì)比圖.觀察圖10可知，單一層次構(gòu)建出的立體樹木圖像層次感不明顯，并不具有立體感；然而，本文方法構(gòu)建出的立體樹木圖像層次感明顯，立體效果較好.圖10(d)圓框標(biāo)記的區(qū)域與圖10(b)中對(duì)應(yīng)區(qū)域相比，樹木的灰度發(fā)生了更多的變化.

圖11展示了更多使用本方法生成的融合結(jié)果，從圖11可以看出，使用本文提出的融合方法生成的立體圖像，樹木的層次感分明，物體間的遮擋得到了正確地的處理，融合邊界過(guò)度平緩，實(shí)現(xiàn)了與環(huán)境的自然融合，融合效果較好.

圖11 立體樹木融合效果Fig.11 Stereoscopic tree blending effect

4 結(jié) 論

本文提出了一種可以感知環(huán)境的立體樹木圖像融合方法，該方法結(jié)合樹木顏色特點(diǎn)，使用采樣摳圖法以及K-Means算法獲得了精確的樹木圖像.此外，該方法將基于透明度的融合以及基于梯度域的融合結(jié)合，對(duì)樹木對(duì)象染色的問(wèn)題進(jìn)行了處理.經(jīng)過(guò)處理后獲得了更加自然的融合結(jié)果.同時(shí)，該方法為了避免融合異常，在融合過(guò)程中，對(duì)圖像物體間出現(xiàn)的遮擋問(wèn)題進(jìn)行了處理.

雖然本文的方法取得了比較好的立體樹木圖像融合效果，但是本文方法還存在一定的局限性.本文方法在采用K-Means聚類算法對(duì)樹葉之間的背景信息進(jìn)行過(guò)濾時(shí)，當(dāng)目標(biāo)背景與樹木本身的顏色相差比較大時(shí)，可以獲得比較好的過(guò)濾效果，但是，當(dāng)顏色相差較小時(shí)，仍需要進(jìn)行大量的用戶交互.因此，我們未來(lái)將對(duì)樹木的摳取算法進(jìn)行進(jìn)一步改進(jìn)和優(yōu)化.