直線約束和不同相機(jī)間距的立體圖像克隆算法

侯春萍，劉 琦，閻維青 ，王致 芃，陳天宇

(1. 天津大學(xué)電氣自動(dòng)化與信息工程學(xué)院，天津 300072；2. 煙臺(tái)大學(xué)計(jì)算機(jī)與控制工程學(xué)院，煙臺(tái) 264005；3. 天津大學(xué)國(guó)際工程師學(xué)院，天津 300072)

隨著3D電影的發(fā)展和3D媒介的推廣，用戶對(duì)3D內(nèi)容產(chǎn)生了濃厚的興趣，并且希望能夠像編輯2D圖像一樣編輯3D圖像．然而，3D圖像相比2D圖像增加了深度信息約束，因此不能將編輯 2D圖像的方法[1-4]直接應(yīng)用到3D圖像．

對(duì)于立體圖像編輯，已有大量的研究人員進(jìn)行了深入的研究．立體圖像的編輯方法中，基于變形的方法是十分有效的．這種方法被廣泛應(yīng)用于立體圖像克隆[5-7]、立體圖像視差調(diào)整[8-9]、立體圖像縮放[10-13]等方向．針對(duì)立體圖像克隆方法，Lo等[5]提出了一種3D復(fù)制和粘貼的方法，該方法要求精確分割指定對(duì)象，不能處理指定對(duì)象和背景之間沒(méi)有明顯邊界的情況．Luo等[6]提出了一種基于透視感知變形的立體圖像克隆方法．但是上述方法都假設(shè)拍攝源立體圖像和拍攝目標(biāo)立體圖像的立體相機(jī)的間距是一樣的，獲得的克隆結(jié)果不準(zhǔn)確．除此之外，上述方法都沒(méi)有考慮優(yōu)化變形中網(wǎng)格邊的方向改變問(wèn)題，因此在立體圖像克隆過(guò)程中，網(wǎng)格線容易發(fā)生彎曲，導(dǎo)致源立體圖像指定區(qū)域的主要對(duì)象產(chǎn)生結(jié)構(gòu)失真．筆者提出了一種基于直線約束和不同相機(jī)間距的立體圖像克隆算法，通過(guò)引入直線約束能量和一種新的縮放因子，在保證源立體圖像指定對(duì)象根據(jù)視差和相機(jī)間距進(jìn)行縮放的同時(shí)，保護(hù)其結(jié)構(gòu)信息不發(fā)生失真．

1 物體縮放及視差調(diào)整

1.1 物體縮放、視差和相機(jī)間距之間的關(guān)系

一般來(lái)說(shuō)，隨著物體到觀看者的距離的增加，物體會(huì)逐漸變小．立體圖像具有深度信息，立體圖像中物體的大小受到感知深度的影響，而立體圖像的感知深度又受到視差的影響．因此，立體圖像中物體的大小取決于物體的視差．本節(jié)介紹物體縮放和視差及相機(jī)間距之間的關(guān)系．

圖1給出了物體大小和視差之間關(guān)系，此處假定立體相機(jī)攝像頭平行設(shè)置，這種設(shè)置是立體相機(jī)的普遍設(shè)置．

圖1 場(chǎng)景物體大小與視差的關(guān)系Fig.1 Relationship between the size of objects and disparity

根據(jù)圖 1(a)中的幾何關(guān)系及相似三角形定理，可以推導(dǎo)出場(chǎng)景物體深度z和相機(jī)間距b之間的關(guān)系為

式中：b表示立體相機(jī)間距；f表示相機(jī)焦距；z表示場(chǎng)景物體的深度；d＝xL-xR表示圖像視差，xL和xR分別表示同一場(chǎng)景物體在左視點(diǎn)圖像和右視點(diǎn)圖像的對(duì)應(yīng)橫坐標(biāo)．

根據(jù)圖 1(b)中的幾何關(guān)系及相似三角形定理，可以推導(dǎo)出場(chǎng)景物體在立體圖像平面上的大小與場(chǎng)景物體深度之間的關(guān)系為

式中：L表示場(chǎng)景物體的大?。粁表示場(chǎng)景物體在立體圖像平面上的大?。?/p>

將式(1)中的場(chǎng)景物體深度z代入式(2)中，可得場(chǎng)景物體在立體圖像平面上的大小x與圖像視差d之間的關(guān)系為

由式(3)可知，場(chǎng)景物體L在立體圖像上的大小x與圖像視差d及立體相機(jī)間距b有關(guān)．

對(duì)于同一場(chǎng)景物體L1，其在源立體圖像上和目標(biāo)立體圖像上的大小分別為x1和x2，視差分別為d1和d2．假設(shè)拍攝源立體圖像的相機(jī)間距b1，拍攝目標(biāo)立體圖像的相機(jī)間距為b2，由式(3)可得

由式(4)和式(5)可得，相機(jī)間距不一致時(shí)，同一場(chǎng)景物體在源立體圖像和目標(biāo)立體圖像上的縮放關(guān)系為

由式(6)可知，在立體圖像克隆過(guò)程中，不僅需要考慮源立體圖像指定區(qū)域的視差和目標(biāo)立體圖像的視差之間的關(guān)系，還需要考慮拍攝源立體圖像和拍攝目標(biāo)立體圖像的相機(jī)間距之間的關(guān)系．

1.2 視差調(diào)整

由于源立體圖像指定區(qū)域的視差與目標(biāo)立體圖像的視差之間存在差異，為了避免克隆后發(fā)生視差突變現(xiàn)象，需要對(duì)源立體圖像指定區(qū)域的視差進(jìn)行調(diào)整．Luo等[6]采用加權(quán)泊松等式對(duì)源立體圖像指定區(qū)域的視差和目標(biāo)立體圖像的視差進(jìn)行融合，以保證融合后的立體圖像視差的連續(xù)性．通過(guò)求解下述加權(quán)泊松等式的最小值獲得調(diào)整后的源立體圖像指定區(qū)域的視差

2 立體圖像克隆算法

筆者提出了一種基于直線約束和不同相機(jī)間距的立體圖像克隆算法，并采用四邊形網(wǎng)格來(lái)指導(dǎo)圖像變形．算法流程如圖2所示．首先采用Sun等[14]提出的方法計(jì)算源立體圖像的視差圖DS和目標(biāo)立體圖像的視差圖DT，之后為源立體圖像的左視點(diǎn)圖像繪制均勻網(wǎng)格，為了立體圖像匹配[15-16]，根據(jù)源立體圖像的視差圖DS獲得對(duì)應(yīng)的右視點(diǎn)圖像網(wǎng)格．在用戶為源立體圖像繪制輪廓之后，采用提出的輪廓線確定方法獲得適合進(jìn)行優(yōu)化變形的矩形輪廓，之后通過(guò)視差調(diào)整和優(yōu)化變形的迭代過(guò)程獲得源立體圖像指定區(qū)域的優(yōu)化網(wǎng)格，并通過(guò)雙線性插值的方法獲得源立體圖像指定區(qū)域的優(yōu)化變形結(jié)果．最后采用泊松融合算法獲得最終克隆結(jié)果．

2.1 基于視差調(diào)整的源圖像迭代優(yōu)化變形過(guò)程

2.1.1 輪廓線的確定

筆者允許用戶為源立體圖像的左視點(diǎn)圖像繪制任意的輪廓?ΩL．為了對(duì)源立體圖像指定區(qū)域進(jìn)行無(wú)縫克隆，需要對(duì)源立體圖像的輪廓?ΩL進(jìn)行調(diào)整，將其調(diào)整成一個(gè)矩形輪廓，以便對(duì)源立體圖像指定區(qū)域進(jìn)行四邊形網(wǎng)格變形操作．

具體輪廓擴(kuò)張方式如下：首先確定用戶繪制輪廓線?ΩL與左視點(diǎn)圖像網(wǎng)格邊EL的所有交點(diǎn)坐標(biāo)分別表示交點(diǎn)坐標(biāo)分量．之后求得 4條輪廓線Lleft、Lright、Lup和Ldown，計(jì)算公式為

式中：運(yùn)算符 floor和 ceil分別表示向下取整和向上取整．

4條輪廓線Lleft、Lright、Lup和Ldown組成一個(gè)矩形輪廓矩形輪廓的 4個(gè)頂點(diǎn)為(Lleft，Lup)、(Lleft，在獲得新的左視點(diǎn)圖像輪廓之后，根據(jù)源立體圖像的視差圖DS確定右視點(diǎn)圖像的輪廓輪廓擴(kuò)張示意可見(jiàn)圖2算法流程的“確定輪廓線”部分，為了更好地展示效果，對(duì)源立體圖像進(jìn)行了裁剪，僅對(duì)指定對(duì)象進(jìn)行展示．其中紅色線表示網(wǎng)格線黃色線表示用戶任意繪制的輪廓藍(lán)色線表示擴(kuò)張后的輪廓左視點(diǎn)圖像擴(kuò)張輪廓和右視點(diǎn)圖像擴(kuò)張輪廓包圍起來(lái)的圖像區(qū)域即為源立體圖像指定區(qū)域筆者提出的立體圖像克隆算法，只需對(duì)輪廓內(nèi)部的圖像進(jìn)行優(yōu)化變形，因此只需保留輪廓內(nèi)部的網(wǎng)格

2.1.2 圖像網(wǎng)格變形

筆者采用第 1.2節(jié)介紹的方法調(diào)整源立體圖像指定區(qū)域的視差．為了避免克隆后的圖像發(fā)生結(jié)構(gòu)失真，保證視差的一致性，采用透視縮放函數(shù)、直線約束函數(shù)、視差約束函數(shù)和位置固定函數(shù)來(lái)指導(dǎo)網(wǎng)格變形．其中，分別表示變形后的左視點(diǎn)圖像網(wǎng)格頂點(diǎn)和右視點(diǎn)圖像網(wǎng)格頂點(diǎn)，分別表示變形前的左視點(diǎn)圖像網(wǎng)格頂點(diǎn)和右視點(diǎn)圖像網(wǎng)格頂點(diǎn)．

(1) 透視縮放函數(shù)．由于源立體圖像指定區(qū)域的視差和目標(biāo)立體圖像的視差不一致，且拍攝源立體圖像和拍攝目標(biāo)立體圖像的相機(jī)間距不一致．根據(jù)第1.1節(jié)介紹，需要對(duì)源立體圖像指定區(qū)域進(jìn)行縮放．提出的基于視差和相機(jī)間距的縮放因子為

透視縮放函數(shù)定義為

(2) 直線約束函數(shù)．源立體圖像指定區(qū)域的主要對(duì)象通常會(huì)覆蓋多個(gè)相連的網(wǎng)格四邊形，為了防止其結(jié)構(gòu)發(fā)生失真，在變形過(guò)程中應(yīng)保持網(wǎng)格邊的方向不變．左視點(diǎn)圖像的網(wǎng)格和右視點(diǎn)圖像的網(wǎng)格分別定義為變形后與變形前的長(zhǎng)度比直線約束函數(shù)定義為

(3) 視差約束函數(shù)．為了保證克隆后的立體圖像的視差的一致性，對(duì)視差進(jìn)行約束．視差約束函數(shù)包括水平視差約束函數(shù)和垂直視差約束函數(shù)．

垂直視差會(huì)影響觀看者的視覺(jué)效果，因此用垂直視差約束函數(shù)保證左、右視點(diǎn)圖像對(duì)應(yīng)網(wǎng)格點(diǎn)垂直對(duì)齊．垂直視差約束函數(shù)定義為

(4) 位置固定函數(shù)．位置固定函數(shù)用于約束網(wǎng)格的中心位置，筆者固定左視點(diǎn)圖像網(wǎng)格的中心位置，令CL表示初始左視點(diǎn)圖像網(wǎng)格的中心位置，，位置固定函數(shù)定義為

優(yōu)化變形的總能量函數(shù)定義為上述 5個(gè)能量子函數(shù)的權(quán)重加和，即

通過(guò)求解該能量函數(shù)的最小值獲得優(yōu)化變形的網(wǎng)格．采用的權(quán)重系數(shù)分別為ωS＝50，ωL＝50，ωH＝50，ωV＝100和ωP＝1．總能量ψ是一個(gè)二次優(yōu)化函數(shù)，可以通過(guò)線性解碼器求解，并基于 Matlab R2013b編程得到最后的解．

2.2 圖像融合

3 結(jié)果與分析

為了檢驗(yàn)提出的立體圖像克隆算法的性能，展示了幾組立體圖像克隆的結(jié)果．源立體圖像和目標(biāo)立體圖像均由FUJIFILM REAL 3D W1相機(jī)(相機(jī)間距77,mm)和 JVC Everio 3D(相機(jī)間距 35,mm)高清攝像機(jī)拍攝．

圖3展示了假設(shè)相機(jī)間距一致時(shí)，采用提出的立體圖像克隆算法獲得的場(chǎng)景 1的克隆圖像的視差圖和采用直接粘貼的方法獲得的視差圖的對(duì)比結(jié)果．采用直接粘貼的方法獲得的視差圖會(huì)發(fā)生視差突變現(xiàn)象，如圖 3(e)所示．而提出的算法沒(méi)有發(fā)生視差突變現(xiàn)象，如圖 3(f)所示．因此，提出的立體圖像克隆算法能夠保證克隆結(jié)果視差的一致性．

圖3 場(chǎng)景1的視差圖比較Fig.3 Comparison of disparity maps of scene 1

由于已有的算法都是在基于相機(jī)間距一致的情況下，對(duì)立體圖像進(jìn)行克隆處理，因此，用圖4和圖5來(lái)展示提出的算法與其他算法的比較結(jié)果．圖 4和圖 5展示了拍攝源立體圖像的相機(jī)間距和拍攝目標(biāo)立體圖像的相機(jī)間距一致時(shí)，提出的算法與文獻(xiàn)[6]所述算法的比較結(jié)果．在圖4(a)、(b)中的放大區(qū)域，源立體圖像中的指定對(duì)象“盒子”的右邊緣是垂直的．文獻(xiàn)[6]所述算法未考慮直線約束，圖4(e)、(f)中“盒子”的右邊緣傾斜，產(chǎn)生了明顯的結(jié)構(gòu)失真．而本文提出的算法通過(guò)引入直線約束能量來(lái)避免網(wǎng)格線彎曲，保護(hù)了主要對(duì)象的結(jié)構(gòu)特征，在圖4(g)、(h)中“盒子”的右邊緣沒(méi)有發(fā)生結(jié)構(gòu)失真．在圖 5中，源立體圖像和目標(biāo)立體圖像使用同一對(duì)立體圖像，在圖 5(a)、(b)中的放大區(qū)域，源立體圖像中的指定對(duì)象“手機(jī)盒”的左邊緣保持直線，文獻(xiàn)[6]所述方法未考慮優(yōu)化變形中的直線約束，因此圖 5(e)和(f)中“手機(jī)盒”的左邊緣在變形的過(guò)程中產(chǎn)生了較為明顯的弧形失真．而提出的算法僅在左視點(diǎn)圖像圖5(g)中產(chǎn)生了輕微的弧形失真，右視點(diǎn)圖像圖 5(h)中“手機(jī)盒”的左邊緣仍保持直線，沒(méi)有發(fā)生結(jié)構(gòu)失真．

圖4 場(chǎng)景2基于直線約束的克隆結(jié)果比較Fig.4 Comparison of clone results of scene 2 based on linear constraint

圖5 場(chǎng)景3基于直線約束的克隆結(jié)果比較Fig.5 Comparison of clone results of scene 3 based on linear constraint

結(jié)構(gòu)失真會(huì)影響用戶的觀看效果，因此提出用結(jié)構(gòu)失真度(SDS)來(lái)評(píng)價(jià)提出的方法．首先提取源圖像指定區(qū)域主要對(duì)象的輪廓，并根據(jù)其結(jié)構(gòu)將該輪廓?jiǎng)澐譃槿舾上蛄?，如圖 6(a)所示．并用相同的方法處理該主要對(duì)象克隆后的結(jié)果，如圖6(b)所示．通過(guò)計(jì)算對(duì)應(yīng)向量之間的夾角來(lái)評(píng)測(cè)失真量．

圖6 輪廓分割示意Fig.6 Contour segmentation maps

結(jié)構(gòu)失真度定義為

式中：Ai表示源立體圖像指定區(qū)域主要對(duì)象的結(jié)構(gòu)向量；Bi表示克隆結(jié)果中相對(duì)應(yīng)的主要對(duì)象的結(jié)構(gòu)向量；N表示結(jié)構(gòu)向量的數(shù)目，由主要對(duì)象的復(fù)雜度決定．SDS數(shù)值越大，表示結(jié)構(gòu)失真量越大．

表 1展示了本文提出的算法與文獻(xiàn)[6]所述算法的結(jié)構(gòu)失真度比較．兩組圖像結(jié)構(gòu)失真度的比較結(jié)果表明，提出的算法通過(guò)考慮直線約束，使得結(jié)構(gòu)失真度更小，顯示效果更佳．

表1 結(jié)構(gòu)失真度比較Tab.1 Comparison of structure distortion scores

圖 7和圖 8展示了提出的算法在相機(jī)間距不一致時(shí)獲得的立體克隆圖像結(jié)果，均用紅藍(lán)立體圖表示．為了更好地對(duì)比，圖7和圖8也展示了假設(shè)相機(jī)間距一致時(shí)立體圖像克隆的結(jié)果．其中，拍攝源立體圖像的相機(jī)間距為 77,mm，拍攝目標(biāo)立體圖像的相機(jī)間距為 35,mm．在假設(shè)相機(jī)間距一致時(shí)，即僅考慮視差的影響時(shí)，圖7和圖8的源立體圖像指定區(qū)域主要對(duì)象分別約放大為原來(lái)的 1.3倍和 1.2倍，均和對(duì)應(yīng)的目標(biāo)立體圖像中的場(chǎng)景物體的尺寸不匹配，視覺(jué)觀看效果較差，如圖 7(c)和 8(c)所示．而相機(jī)間距不一致時(shí)，受視差和相機(jī)間距的綜合影響，圖 7和圖8的源立體圖像指定區(qū)域主要對(duì)象均約縮小為原來(lái)的 1/2，具有更好的視覺(jué)觀看效果，如圖 7(d)和圖8(d)所示．通過(guò)對(duì)比，提出的算法能夠?qū)崿F(xiàn)精確的立體圖像克?。?/p>

圖7 場(chǎng)景4基于相機(jī)間距的克隆結(jié)果比較Fig.7 Comparison of clone results of scene 4 based on camera spacing

圖8 場(chǎng)景1基于相機(jī)間距的克隆結(jié)果比較Fig.8 Comparison of clone results of scene 1 based on camera spacing

4 結(jié) 論

(1) 筆者提出了一種基于直線約束和不同相機(jī)間距的立體圖像克隆算法．相比已有算法，提出的算法能夠?qū)崿F(xiàn)精確的立體圖像克隆，顯示效果更佳．

(2) 為了增加用戶操作的便利性，同時(shí)為了更好地進(jìn)行優(yōu)化變形，提出了一種基于四邊形網(wǎng)格的輪廓擴(kuò)張方案，并基于擴(kuò)張后的輪廓實(shí)現(xiàn)了立體圖像無(wú)縫克?。?/p>

(3) 在優(yōu)化變形方面，通過(guò)引入直線約束能量，在變形過(guò)程中，更好地保護(hù)了指定對(duì)象的結(jié)構(gòu)信息．通過(guò)引入相機(jī)間距，實(shí)現(xiàn)了指定對(duì)象的精確縮放．

(4) 實(shí)驗(yàn)結(jié)果表明，在立體圖像無(wú)縫克隆的過(guò)程中，提出的算法在實(shí)現(xiàn)源立體圖像的指定區(qū)域根據(jù)視差及相機(jī)間距進(jìn)行縮放的同時(shí)，保證了克隆區(qū)域邊緣視差的一致性，避免了指定對(duì)象的結(jié)構(gòu)失真，具有更好的顯示效果．

［1］ Feng X，Liang X，Zhang Z.A Cluster Sampling Method for Image Matting via Sparse Coding[M]. Germany：Springer International Publishing，2016.

［2］ Pérez P，Gangnet M，Blake A. Poisson image editing[J].ACM Transactions on Graphics，2003，22(3)：313-318.

［3］ Hua M，Bie X，Zhang M，et al. Edge-aware gradient domain optimization framework for image filtering by local propagation[C]//IEEE Conference on Computer Visionand Pattern Recognition. Columbus，Ohio，USA，2014：2838-2845.

［4］ Shahrian E，Rajan D，Price B，et al. Improving image matting using comprehensive sampling sets[C]//IEEE Conference on Computer Visionand Pattern Recognition.Oregon，Portland，2013：636-643.

［5］ Lo W Y，van Baar J，Knaus C，et al. Stereoscopic 3D copy & paste[J].ACM Transactions on Graphics，2010，29(6)：1-10.

［6］ Luo S J，Shen I C，Chen B Y，et al. Perspective-aware warping for seamless stereoscopic image cloning[J].ACM Transactions on Graphics，2012，31(6)：439-445.

［7］ Tong R F，Zhang Y，Cheng K L. Stereopasting：Interactive composition in stereoscopic images[J].IEEE Transations on Visualization & Computer Graphics，2013，19(8)：1375-1385.

［8］ Lang M，Hornung A，Wang O，et al. Nonlinear disparity mapping for stereoscopic 3D[J].ACM Transactions on Graphics，2010，29(4)：157-166.

［9］ Yan W，Hou C，Wang B，et al. Content-aware dispar-ity adjustment for different stereo displays[J].Multimedia Tools & Applications，2017，76(8)：10465-10479.

［10］ Chang C H，Liang C K，Chuang Y Y. Content-aware display adaptation and editing for stereoscopic images[C]//International Conference on Computer Graphics and Interactive Techniques. Vancouver，Canada，2011：30.

［11］ Kopf S，Guthier B，Hipp C，et al. Warping-based video retargeting for stereoscopic video[C]//IEEE International Conference on Image Processing. Paris，F(xiàn)rance，2014：2898-2902.

［12］ Li B，Duan L，Lin C W，et al. Region-based depthpreserving stereoscopic image retargeting[C]//IEEE International Conference on Image Processing. Paris，F(xiàn)rance，2014：2903-2907.

［13］ Yan W，Hou C，Zhou Y，et al. Content-and disparity adaptive stereoscopic image retargeting[J].Journal of Modern Optics，2016，63(3)：207-218.

［14］ Sun D，Roth S，Black M J. Secrets of optical flow estmation and their principles[C]//IEEE Conference on Computer Vision and Pattern Recognition. San Francisco，USA，2010：2432-2439.

［15］ Smith B M，Zhang L，Jin H. Stereo matching with nonparametric smoothness priors in feature space[C]//IEEE Conference on Computer Visionand Pattern Recognition. San Francisco，USA，2009：485-492.

［16］ Jeon H G，Lee J Y，Im S，et al. Stereo matching with color and monochrome cameras in low-light conditions[C]//IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas，USA，2016：4086-4094.