一種基于梯度和與一致性組合策略的無縫紋理映射方法研究

王 一,胡 莘,周 瑜,陳巍然

(1.長安大學(xué)，陜西 西安 710054;2.航天星圖科技(北京)有限公司，北京 100083;3.西安測繪研究所，陜西 西安 710054;4.西安航天天繪數(shù)據(jù)技術(shù)有限公司，陜西 西安 710061)

一種基于梯度和與一致性組合策略的無縫紋理映射方法研究

王 一1，2,胡 莘3,周 瑜3,陳巍然4

(1.長安大學(xué)，陜西 西安 710054;2.航天星圖科技(北京)有限公司，北京 100083;3.西安測繪研究所，陜西 西安 710054;4.西安航天天繪數(shù)據(jù)技術(shù)有限公司，陜西 西安 710061)

針對三維紋理映射中存在接縫、顏色差異大等問題，采用基于梯度值之和的選片算法，結(jié)合一致性檢查、全局顏色校正和局部顏色校正等策略，消除影像的模糊、重影與色差，實(shí)現(xiàn)無縫紋理映射，同時(shí)避免影像失焦和障礙物的影響，試驗(yàn)結(jié)果表明，該方法紋理映射效果較好。

梯度值之和;一致性檢查;全局顏色校正;局部顏色校正;無縫紋理映射

目前，隨著“互聯(lián)網(wǎng)+”趨勢不斷深化，三維重建技術(shù)已廣泛應(yīng)用于無人機(jī)測繪、街景地圖、無人駕駛等領(lǐng)域中。紋理映射作為三維重建的重要部分，主要是利用相機(jī)參數(shù)等相關(guān)信息，將二維紋理圖像映射到三維模型的表面[1]，從而生成三維實(shí)景模型。由于紋理圖像來自不同的影像，存在視角、亮度、相機(jī)參數(shù)和幾何變形等差異，會造成重建的紋理不連續(xù)、色差大，這是目前紋理映射研究的主要問題。針對以上問題，Bernardini等采用加權(quán)融合多個(gè)紋理影像塊的方法，獲得連續(xù)的紋理[2-5]。但這種方法容易造成影像模糊和重影，并且無法解決參考影像分辨率不一致[6]。Velho和Sossai提出只選擇一幅“最佳”紋理影像，并在紋理區(qū)域間進(jìn)行平滑的方法[7]，可以一定程度上解決上述問題。Lempitsky和Ivanovt提出了基于法向量夾角的選片方法和全局顏色校正方法[6]，進(jìn)一步提升了紋理映射效果，但無法避免影像失焦影響，同時(shí)存在明顯的影像色差。Gal等和Waechter等都基于該方法進(jìn)行了改進(jìn)，Gal提出了梯度值之和代替法向量夾角作為選片的基本測度，同時(shí)在顏色校正方面使用了局部Poisson混合算法[8]。Waechter提出了一致性檢查的選片策略，并同時(shí)結(jié)合全局校正和局部校正優(yōu)化映射效果[11-16]。本文主要基于Lempitsky和Ivanovt的方法，結(jié)合Gal和Waechter的研究成果，從選片和顏色校正兩方面進(jìn)行改進(jìn)，實(shí)現(xiàn)無縫紋理映射。

1 算法原理

目前，三維紋理映射主要實(shí)現(xiàn)兩個(gè)目標(biāo)：第一是為每一個(gè)三角面元選擇合適的紋理貼圖；第二是進(jìn)行顏色校正消除三角面元間的色差和接縫，使這個(gè)紋理模型過度自然、真實(shí)和美觀。

1.1 參考影像選擇

選擇參考影像應(yīng)同時(shí)考慮兩方面的問題：①單個(gè)三角面元的紋理影像塊具備高分辨率、高對比度、低各向異性等特點(diǎn)，得到最佳紋理效果；②各相鄰三角面元的紋理影像塊應(yīng)保證顏色相同或相近，盡量減少色差。

針對以上兩個(gè)問題，構(gòu)建能量方程[6]，用來量化計(jì)算選片對整體紋理映射效果的影響：

(1)

式中：EQ(M)為單個(gè)三角面元選取參考影像的能量值，ES(M)為相鄰面元的能量值，二者相加的總能量值E(M)越小，則表示紋理映射效果越好。

EQ(M)由下式計(jì)算得到

(2)

ES(M)由下式計(jì)算得到

(3)

E(M)的最小化問題實(shí)際上就是一個(gè)馬爾科夫隨機(jī)場問題，本文采用Graph Cuts[6,8-10]方法來優(yōu)化模型，得到最優(yōu)化的選片結(jié)果。

1.2 顏色校正

選片將參考影像相同且相互連通的三角面元組成一個(gè)區(qū)域，不同區(qū)域的紋理存在顏色差異，需要進(jìn)行全局顏色校正與局部顏色校正獲得更好的紋理效果。Lempitsky和Ivanov構(gòu)造了leveling函數(shù)[6]g進(jìn)行全局校正。對于三維模型而言，leveling函數(shù)g表示各頂點(diǎn)的顏色改正值。Leveling函數(shù)應(yīng)滿足以下兩個(gè)約束條件：

1)同一區(qū)域內(nèi)的頂點(diǎn)改正值應(yīng)相同，

(4)

2)同一個(gè)頂點(diǎn)在各相鄰區(qū)域中經(jīng)改正后，顏色值應(yīng)相同，

(5)

根據(jù)這兩個(gè)條件可得到下式：

(6)

利用最小二乘法迭代求解，即可得到每個(gè)頂點(diǎn)的顏色改正值g。再利用g進(jìn)行內(nèi)插，就可以對整個(gè)紋理影像塊進(jìn)行顏色校正。

全局校正后，區(qū)域間的顏色差異會得到顯著的減弱，但是無法完全消除區(qū)域相鄰邊的接縫，因此需要進(jìn)一步進(jìn)行局部校正。本文采用Poisson編輯[8,11]的方法進(jìn)行局部校正，取得很好結(jié)果。

1.3 本文紋理映射方法

依據(jù)上述算法原理，本文采用的紋理映射方法流程如圖1所示。

圖1 紋理映射流程

算法具體說明如下：

1)檢查影像可視性。通過三維模型和原始影像的變換關(guān)系，確定每個(gè)三角面元在哪幾幅影像上可視。

2)參考影像選擇。利用三維紋理選片方法，使得單個(gè)三角面元的紋理映射效果和相鄰三角面元的紋理差異同時(shí)達(dá)到最優(yōu)。但是該方法在實(shí)際應(yīng)用中還存在以下問題：①不能排除失焦影像的影響。該方法采用法向量夾角最小的策略，在實(shí)際應(yīng)用可能會選取失焦模糊的影像作為參考影像，影響紋理映射效果。②易受未被建模物體(行人或者障礙物)的影響。

Gal的方法并沒有解決第二個(gè)問題，相反，由于采用的梯度值和的策略，會加劇這個(gè)問題(有行人或障礙物的影像梯度會更大)。因此本文在選片前采用Waechter提出的一致性檢查方法剔除這些影像，影像一致性檢查的步驟如下：計(jì)算三角面元在對應(yīng)的每個(gè)參考影像投影區(qū)域上的顏色均值ci；計(jì)算所有ci的均值μ和協(xié)方差矩陣∑；對每幅參考影像計(jì)算高斯函數(shù)值：

(7)

剔除高斯函數(shù)值大于一定閾值的參考影像；重復(fù)2～4步直至滿足一定閾值即可。

通過一致性檢查，可以剔除顏色顯著不同的參考影像，因此避免了以上問題的影像。

3)三角面元合并。利用區(qū)域生長的方法，將參考影像相同且相互連通的三角面元合并，生成若干區(qū)域。

5)進(jìn)行紋理映射生成三維紋理模型。

2 試驗(yàn)與分析

為了驗(yàn)證上述算法的有效性，對lionHanau和derass兩組數(shù)據(jù)進(jìn)行紋理映射試驗(yàn)。兩組數(shù)據(jù)概況見表1。

表1 試驗(yàn)數(shù)據(jù)概況

兩組數(shù)據(jù)的三角網(wǎng)格模型如圖2所示。

圖2 lionHanau數(shù)據(jù)和derass數(shù)據(jù)格網(wǎng)模型

經(jīng)過本文方法處理后，得到的三維紋理模型如圖3所示。

本文在選擇參考影像時(shí)，使用了基于投影區(qū)域梯度值之和的策略，為了證明該策略可以有效地剔除失焦模糊影像的影像，將derass數(shù)據(jù)的一幅影像進(jìn)行模糊處理，如圖4所示。

在處理過程中如果選取了上圖作為參考影像，會嚴(yán)重影響最終結(jié)果。圖5左為使用Lempitsky和Ivanov方法進(jìn)行紋理映射后的結(jié)果，可以看出圖中黑圈內(nèi)的區(qū)域選取了模糊紋理。右為使用梯度值之和作為選片策略的結(jié)果，可以看出該方法并沒有受到模糊影像的影響。

圖3 lionHanau數(shù)據(jù)和derass數(shù)據(jù)紋理映射結(jié)果

圖4 影像模糊處理

圖5 兩種選片策略對比

本文還采用了一致性檢查的策略，用以消除原始影像中未建模物體的影響，對lionHanau數(shù)據(jù)中的一幅影像做如下處理(見圖6)，模擬這種情況。

圖6 圖像上設(shè)置障礙

對該數(shù)據(jù)進(jìn)行紋理映射試驗(yàn)，得到結(jié)果如圖7所示，左側(cè)是未進(jìn)行一致性檢查的結(jié)果，右側(cè)是進(jìn)行了一致性檢查的結(jié)果。由圖7可見，一致性檢查可以有效的剔除存在未建模物體的影像，從而消除了這種情況的影像。

下面驗(yàn)證顏色校正部分，如圖8所示，從左到右依次是未進(jìn)行顏色校正、全局校正、全局校正+局部校正的結(jié)果?？梢钥闯觯催M(jìn)行顏色校正兩相鄰區(qū)域有明顯的色差，全局校正后顏色大致相同，但是區(qū)域相接處還存在明顯的接縫(如黑框內(nèi)所示)，局部校正后接縫已經(jīng)全部消除，并且整體無色差。

圖7 一致性檢查對比結(jié)果

3 結(jié) 論

針對三維網(wǎng)格模型，采用結(jié)合梯度值之和、一致性檢查、全局顏色校正和局部顏色校正等策略的紋理映射方法，實(shí)現(xiàn)三維模型的真實(shí)紋理映射。并進(jìn)行試驗(yàn)驗(yàn)證，該方法可解決紋理映射中存在接縫、顏色差異大、受失焦影像和障礙物影響的問題，提高了紋理映射效果和實(shí)用性。

下一步將對如何加快運(yùn)算速度進(jìn)行研究，使其適用于大數(shù)據(jù)量無人機(jī)影像的處理。

[1] 萬燕，王慧潔，魯俊.基于三角網(wǎng)格模型的紋理映射研究[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2016， 33(4)：160-163.

[2] BERNARDINI F，MARTIN I，RUSHMEIER H.High Quality Texture Reconstruction from Multiple Scans[C].IEEE Transactions on Visualization and Computer Graphics，2001，7(4).

[3] DEBEVEC P，TAYLOR C，MALIK J.Modeling and rendering architecture from photographs: A hybrid geometry and image-based approach[C].SIGGRAPH，1996.

[4] OFEK E，SHILAT E，WERMAN M.Multiresolution Textures from Image Sequences[J].Computer Graphics & Applications，1997，17(2)：18-29.

[5] PIGHIN F，HECKER J，LISCHINSKI D，et al.Synthesizing realistic facial expressions from photographs[C].Proc.of the 25th annual conference on Computer Graphics，1998.

[6] LEMPITSKY V, IVANOV D. Seamless mosaicking of image-based texture maps[J] .Computer Vision and PatternRecognition. 2007：1-6.

[7] VELHO L，SOSSAI Jr J. Projective texture atlas construction for 3D photography[J] . The Visual Computer，2007.

[8] GAL R，WEXLER Y，OFEK E，et al. Seamless montage for texturing models[J]. Computer Graphics Forum，2010，29(2).

[9] KOLMOGOROV V，ZABIH R，ENERGY W.Functions Can Be Minimized via Graph Cuts?[C].IEEE Transactions on Pattern Analysis and Machine Intelligence,2004,26(2)：147-159.

[10] BOYKOV Y，VEKSLER O，ZABIH R.Efficient Approximate Energy Minimization via Graph Cuts[C]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，20(12)：1222-1239.

[11] PEREZ P，GANGNET M，BLAKE A.Poisson image editing[C]. ACM Transactions on Graphics，2003，22(3):313-318.

[12] 馬利莊.紋理生成與紋理映射[J]. 浙江大學(xué)學(xué)報(bào)(自然科學(xué)版),1989(5)：202-207.

[13] 王卿.多角度傾斜攝影技術(shù)在自動紋理映射上的應(yīng)用[J].測繪與空間地理信息,2016,39(10):198-200.

[14] 劉軍，許志華，劉小陽，等. 基于無人機(jī)遙感影像拓?fù)浞治龅娜S重建[J].測繪工程,2014，23(8):32-36.

[15] 張萬強(qiáng)，趙俊三，唐敏. 無人機(jī)影像構(gòu)建三維地形研究[J].測繪工程,2014，23(3)：43-46.

[16] 吳靜,靳奉祥,王健. 基于三維激光掃描數(shù)據(jù)的建筑物三維建模 [J]. 測繪工程,2007，16(5)：38-44.

[責(zé)任編輯：李銘娜]

Seamless texture mapping method based on gradient value summation combined with consistency strategy

WANG Yi1，2，HU Xin3，ZHOU Yu3，CHEN Weiran4

(1.Chang’an University, Xi’an 710054, China;2.Xi’an Aerospace Data Technology(Beijing) Co., Ltd., Beijing 710054, China;3.Xi’an Institute of Surveying and Mapping, Xi’an 710054, China;4.Xi’an Space Mapping Date Technology Co.,Ltd,Xi’an 710061,China)

Aiming at the joint and big difference color in the three-dimensional texture mapping, this paper adopts an image selection algorithm based on gradient value summation. Combined with the consistency check, such as global color correction and local color correction strategy, eliminate the image blur, ghosting and color difference, realize the seamless texture mapping, and avoid the influence of image out-of-focus and obstacles at the same time. The result shows that the method of texture mapping effect is better.

gradient value summation; consistency check; global color correction; local color correction; seamless texture mapping

著錄：王一,胡莘,周瑜，等.一種基于梯度和與一致性組合策略的無縫紋理映射方法研究[J].測繪工程，2017，26(11)：6-11.

10.19349/j.cnki.issn1006-7949.2017.11.002

2016-09-27

國家自然科學(xué)基金資助項(xiàng)目(4157012140)

王 一(1987-)，男，工程師，博士研究生.

P231

A

1006-7949(2017)11-0006-06