一種用于三維人臉重建的快速稠密視差圖生成方法

谷　天，陳江龍，李　科*，曾　東

(1.四川大學(xué)華西口腔醫(yī)學(xué)院，四川 成都 610041；2.電子科技大學(xué)生命科學(xué)與技術(shù)學(xué)院，四川 成都 610054)

?

一種用于三維人臉重建的快速稠密視差圖生成方法

谷天1，陳江龍2，李科2*，曾東2

(1.四川大學(xué)華西口腔醫(yī)學(xué)院，四川 成都 610041；2.電子科技大學(xué)生命科學(xué)與技術(shù)學(xué)院，四川 成都 610054)

摘要：口腔數(shù)字化是口腔臨床發(fā)展的重要方向，三維顱頜面部結(jié)構(gòu)數(shù)字化重建是其重點(diǎn)環(huán)節(jié)。為此，文章提出一種用于三維人臉重建的稠密視差快速求解的方法。該方法對(duì)校準(zhǔn)后的圖像進(jìn)行初始匹配，構(gòu)建強(qiáng)對(duì)應(yīng)點(diǎn)點(diǎn)集，再對(duì)點(diǎn)集內(nèi)的點(diǎn)進(jìn)行三角剖分，并分配初始視差，逐步求精生成稠密視差。該方法加入強(qiáng)匹配對(duì)應(yīng)點(diǎn)，減少了匹配二義性的產(chǎn)生，同時(shí)有效克服了因使用全局能量函數(shù)優(yōu)化方法而易陷于局部最小值的缺點(diǎn)。實(shí)驗(yàn)結(jié)果顯示，該方法匹配速度快、精度高，能滿足三維人臉重建的實(shí)際應(yīng)用需求。

關(guān)鍵詞：人臉重建；立體視覺；稠密視差；三角剖分

口腔醫(yī)學(xué)診療數(shù)字化是口腔醫(yī)學(xué)發(fā)展的必然趨勢(shì)。近年來隨著三維成像技術(shù)的發(fā)展，三維重建技術(shù)也受到了越來越廣泛的研究。稠密視差在三維重建、智能交通、隱私加密等領(lǐng)域受到越來越多的重視[1]。在立體視覺的應(yīng)用領(lǐng)域，視差遮擋和匹配二義性普遍存在，然而傳統(tǒng)的視差求解方法主要從圖像分割和全局能量的角度進(jìn)行優(yōu)化求解，在時(shí)間和效率上難以實(shí)現(xiàn)完美統(tǒng)一；因此，視差圖精細(xì)求解一直是個(gè)NP難題[1-2]。本文提出了一種用于三維人臉重建的基于概率模型的立體匹配新方法。其實(shí)驗(yàn)結(jié)果表明，與SAD[3](sum of absolute defferences，絕對(duì)值和)、區(qū)域生長(zhǎng)算法[4]相比，本文算法在精度與效率上都有明顯提高，有效減少了視差的搜索范圍，提高了稠密視差的求解速度。

1稠密視差生成

1.1　控制點(diǎn)

把具有高可靠性的左右圖像匹配點(diǎn)對(duì)定義為控制點(diǎn)。這些穩(wěn)定相關(guān)的對(duì)應(yīng)點(diǎn)可以采用Harris角點(diǎn)、SIFT特征向量等方法獲得。大量實(shí)驗(yàn)結(jié)果表明，特征點(diǎn)集合可使用索貝爾濾波器快速求出，同時(shí)也可以使用第三方開源庫(例如Opencv)提供的函數(shù)接口求解。

使用索貝爾濾波器時(shí)，應(yīng)在求解過程中設(shè)定自適應(yīng)搜索窗口，即搜索窗口的長(zhǎng)度由輸入的圖像高度和寬度來靈活設(shè)置，并且可通過增加對(duì)控制點(diǎn)的甄別和約束，以確保初始匹配集的獲得達(dá)到最大程度。在進(jìn)行匹配時(shí)，只有在某一像素點(diǎn)滿足最大匹配值的條件下，同時(shí)該像素點(diǎn)的次大匹配值超過固定的某個(gè)閾值時(shí)，該點(diǎn)才被納入控制點(diǎn)點(diǎn)集。在紋理不明顯區(qū)域內(nèi)，這樣的甄別和約束可使誤匹配減少[5]。此外，由于圖像邊緣的像素點(diǎn)在采用該方法時(shí)被放棄，可將該范圍區(qū)域的像素均值插入輸入圖像邊緣，以確保圖像匹配的完整性，因?yàn)椴迦氲南袼攸c(diǎn)并不存在實(shí)際的視差空間，不必對(duì)視差空間求解。

1.2　三角剖分

視差估計(jì)的核心步驟是對(duì)控制點(diǎn)所在的像素平面三角劃分后進(jìn)行擬合插值。如圖1所示，三角剖分是指把一系列離散點(diǎn)集劃分成不均勻的三角形網(wǎng)格，這在圖形網(wǎng)格分析中是重要的一環(huán)。對(duì)此引入Delaunay三角劃分[5]。

Delaunay邊：設(shè)E中的一條邊為e，a、b為e的2個(gè)端點(diǎn)，若e滿足下列條件，則稱e為Delaunay邊。即存在一個(gè)圓經(jīng)過a、b2點(diǎn)，且圓內(nèi)不含點(diǎn)集V中任何一個(gè)其他的點(diǎn)。這一特性又稱空?qǐng)A特性。

Delaunay三角剖分：指只包含Delaunay邊的點(diǎn)集V的一個(gè)三角剖分T。

圖1　三角剖分

三角剖分要滿足Delaunay三角剖分的定義，就必須符合2個(gè)重要原則：空?qǐng)A特性和最大化最小角特性。

2立體匹配模型

對(duì)于一個(gè)給定的參考圖像和控制點(diǎn)的點(diǎn)集，可通過采樣從另一幅圖像中獲得?，F(xiàn)假定：S={s1,…,sM}為控制點(diǎn)點(diǎn)集，對(duì)于任一控制點(diǎn)sm=(um,vm,dm)T為圖像坐標(biāo)(um,vm)∈N2和視差dm∈N的聯(lián)合。定義O={o1,…,oN}為圖像的觀察值集合，對(duì)于其中的每個(gè)觀察值on=(un,vn,fn)T表示圖像的像素坐標(biāo)(un,vn)∈N2和一個(gè)特征向量fn∈RQ，而該特征向量既可以是某個(gè)鄰域小窗口范圍的描述值也可以是像素的灰度值。同時(shí)假定on(l)，on(r)分別表示左、右圖像的觀察值。通常情況下，左圖作為參考圖像。

這里認(rèn)為觀察值{on(l),on(r)}與控制點(diǎn)S是條件獨(dú)立的，給定視差dn，它們的聯(lián)合分布為

(1)

式中:p(dn|S,on(l))表征先驗(yàn)信息；p(on(r)|on(l),dn)表征圖像擬然。

對(duì)于式(1)中的p(dn|S,on(l))，認(rèn)為它服從均勻分布和高斯分布的組合分布，即：

(2)

(3)

對(duì)于式(1)中的p(on(r)|on(l),dn)，認(rèn)為其服從一個(gè)被約束的拉普拉斯分布，即

(4)

因此，在該匹配模型基礎(chǔ)上進(jìn)行采樣。在給定參考圖像的控制點(diǎn)點(diǎn)集和觀察值的情況下，可按如下步驟進(jìn)行匹配圖像觀察值的采樣。

1)給定觀察值on(l)和控制點(diǎn)集S根據(jù)p(dn|S,on(l))求得視差dn；

2)給定觀察值on(l)和視差dn根據(jù)p(on(r)|on(l),dn)求得采樣值on(r)。

3視差估計(jì)

視差估計(jì)是立體匹配的核心環(huán)節(jié)。參考圖像和匹配圖像的概率對(duì)應(yīng)關(guān)系可以通過已獲得的立體匹配模型求得；視差估計(jì)可通過求解求得的對(duì)應(yīng)關(guān)系的視差值獲得；視差可采用最大后驗(yàn)概率估計(jì)方法進(jìn)行計(jì)算，為

(5)

(6)

(7)

將式(2)和式(4)代入式(6)，定義能量函數(shù)，為

E(d)=β‖f(l)-f(r)(d)‖l-

(8)

稠密視差估計(jì)可按式(8)求解最小化完成[7-11]。

4實(shí)驗(yàn)結(jié)果

筆者通過實(shí)驗(yàn)對(duì)常量系數(shù)進(jìn)行選擇，實(shí)驗(yàn)證明當(dāng)σ=3、γ=15時(shí)，本算法結(jié)果誤匹配率最小。在編程實(shí)現(xiàn)過程，非常感謝Jonathan Richard提供的三角劃分優(yōu)化及處理方法。利用本文所述視差估計(jì)方法，完成對(duì)原始圖像校正后，通過本算法對(duì)人臉重建，其結(jié)果如圖2所示，圖像的分辨率為720×480。

圖2　人臉重建結(jié)果圖

同時(shí)，以Tsukuba和Venus 2組圖片[12]作為研究對(duì)象進(jìn)行計(jì)算分析，以驗(yàn)證本稠密視差求解算法和其他經(jīng)典算法在速度和精度上的優(yōu)勢(shì)。計(jì)算采用的設(shè)備是CPU為Pentiun(R) Dual-Core 2.62GHz，內(nèi)存為2G，Windows XP操作系統(tǒng)的計(jì)算機(jī)。在實(shí)驗(yàn)視差圖中，將經(jīng)典的SAD算法[3]、區(qū)域生長(zhǎng)算法[4]、Global GCP算法[6]及Adapt GCP算法[7]，就所有區(qū)域(all)、非遮擋區(qū)域(nonocc)、視差非連續(xù)區(qū)域(disc)的誤匹配率(與真實(shí)視差值之差大于1的像素百分率)進(jìn)行了比較，其結(jié)果如表1所示?？芍?，本算法在誤匹配率上優(yōu)于其他算法。同時(shí)，對(duì)比了本文算法、SAD算法和區(qū)域生長(zhǎng)算法在運(yùn)行時(shí)間和匹配圖像像素大小的關(guān)系，其結(jié)果如圖3所示?？芍?，本算法在各種圖像大小的圖像匹配上速率均優(yōu)于其他2種算法。

表1　本文算法與其他算法誤匹配率對(duì)比表

圖3　匹配算法運(yùn)行時(shí)間與圖像大小關(guān)系

由此可知，本文提出的快速稠密視差圖生成方法應(yīng)用于人臉圖像的匹配過程中具有高精度和高效率的優(yōu)點(diǎn)。

5結(jié)論

本文對(duì)稠密視差圖像的視差分配過程進(jìn)行了分析，使用三角剖分的方法進(jìn)行視差的初始分配，大大提高立體匹配的求解時(shí)間和精度；但是就立體視覺中的遮擋和閉塞問題，本文并未進(jìn)行深入討論，因在單一模型的三維重建應(yīng)用中，出現(xiàn)遮擋的可能性較小。在后續(xù)的工作中，將考慮點(diǎn)云插值以及三角剖分后的網(wǎng)格匹配方法等算法，并對(duì)精度進(jìn)一步優(yōu)化。

參考文獻(xiàn)

[1]徐成華,王蘊(yùn)紅,譚鐵牛.三維人臉建模與應(yīng)用[J].中國(guó)圖象圖形學(xué)報(bào),2004,9(8): 893.

[2]王成章,尹寶才,孫艷豐,等.改進(jìn)的基于形變模型的三維人臉建模方法[J].自動(dòng)化學(xué)報(bào),2007,33(3):232.

[3]Wang H, Mersereau R. Fast Algorithms for the Estrmation of Mothion Vectors[J]. IEEE Transactions on Image Procession, 1999, 8(3):435.

[4]Wan S Y, Higgins W E. Symmetric Region Growing[J]. Image Processiong， 2003, 12(9):1007.

[5]高鵬東,彭翔,田勁東，等.三維人臉建模中面部特征輪廓線的提取[J].系統(tǒng)仿真學(xué)報(bào),2006,18(8):2105.

[6]Lee S W, Wang P S P, Yanushkevich S N, et al. Noniterative 3D Face Reconstruction Based on Photometric Stereo[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2008, 22(3): 389.

[7]Jiang Dalong,Hu Yuxiao,Yan Shuicheng,et al.Efficient 3d Reconstruction for Face Recognition[J].Pattern Recognit,2004,38(6):787.

[8]方恒,吳懷宇.基于MRF和顏色空間的立體圖像匹配算法[J].計(jì)算機(jī)技術(shù)與發(fā)展, 2008,18(12):28.

[9]賈貝貝.基于雙目立體視覺的三維人臉重建[D].北京:北京交通大學(xué),2009.

[10]傅有成.基于雙目立體視覺技術(shù)的三維人臉掃描系統(tǒng)研究[D].南京:東南大學(xué),2009.

[11]侯軍燕,胡迎春,李尚平.有限元法在人臉三維建模及表情動(dòng)畫中的應(yīng)用研究[J].計(jì)算機(jī)工程與設(shè)計(jì),2010,31(19):4272.

[12]梅麗,鮑虎軍,鄭文庭,等.基于實(shí)拍圖像的人臉真實(shí)感重建[J].計(jì)算機(jī)學(xué)報(bào),2000,23(9):996.

[13]2003 Stereo datasets with ground truth[EB/OL].[2014-08-05].http://vision.middlebury.edu/stereo /data/scenes2003/.

(編校：饒莉)

A Method of Fast Generating Dense Disparity Map for 3D Facial Reconstruction

GU Tian1, CHEN Jianglong2, LI Ke2*, ZENG Dong2

(1.WestChinaSchoolofStomatology,SichuanUniversity,Chengdu610041China;

2.SchoolofLifeScienceandTechnology,UniversityofElectronicScienceandTechnologyofChina,Chengdu610054China)

Abstract:The craniofacial and oral digitalization is an important area in the dental clinical practice. And the method of craniofacial and oral reconstruction is very important. This paper focuses on the stereo matching of 3D face reconstruction, and a triangulation-based fast dense disparity map generation method is proposed according to the smooth and low texture features. Firstly, we matched images calibrated and obtained a set of strong corresponding points . Then we triangulated the points in the point set in order to build a linear system and gradually minimized the energy function in the polar direction and refined to yield a dense disparity by assigning the initial disparity. This method can reduce the match ambiguity through adding strong matched corresponding points, and at the same time avoid the disadvantage of easily getting trapped in local minimum due to the global energy optimization. The result shows that this method is fast and highly precise and can meet the need of practical application.

Keywords:facial reconstruction；stereo；dense disparity；triangulation

doi:10.3969/j.issn.1673-159X.2016.01.016

中圖分類號(hào)：TP391.41

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1673-159X(2016)01-0077-03

*通信作者：李科(1970—)，男，博士，副教授，主要研究方向?yàn)獒t(yī)學(xué)圖像處理和醫(yī)學(xué)信息。E-mail:colinlike@163.com

基金項(xiàng)目：四川省科技支撐計(jì)劃項(xiàng)目(2013GZ0117，12ZC0220)；2012年四川大學(xué)創(chuàng)新訓(xùn)練計(jì)劃(20120193)。

收稿日期：2015-01-11

·計(jì)算機(jī)軟件理論、技術(shù)與應(yīng)用·