基于ICP的非剛性曲面擬合方法

陳林偉

（四川大學(xué)計算機學(xué)院，成都 610000）

基于ICP的非剛性曲面擬合方法

陳林偉

（四川大學(xué)計算機學(xué)院，成都 610000）

高真實感三維人臉模型重建是三維人臉動畫合成技術(shù)的關(guān)鍵技術(shù)，可應(yīng)用于虛擬現(xiàn)實、三維動畫制作等多個領(lǐng)域。為此，提出一種快速生成高精度、高真實感三維人臉模型的方法。該方法是一種基于最近點迭代的非剛性曲面擬合方法，通過對待擬合點云孔洞、邊界等進行約束，可快速擬合出目標(biāo)點云局部特性，最終獲得高真實感三維人臉模型。實驗結(jié)果表明，該方法可有效地擬合出目標(biāo)點云獲得高真實感三維人臉模型。

三維人臉；曲面擬合；最近點迭代

0 引言

近年來，基于三維人臉計算機視覺研究得到廣泛重視，特別地，隨著虛擬社交等虛擬現(xiàn)實技術(shù)的發(fā)展對高真實感三維人臉模型提出了較高要求。因而，如何獲取高精度高真實感三維人臉模型成為了一個較為重要的研究方向。為獲得高真實感三維人臉模型，研究方法主要可分為基于主成分分析（Principal Component Analysis，PCA）模型的方法[1-4]和基于三維配準的方法[5-8]。Blanz[1]最早開始研究基于PCA統(tǒng)計模型三維人臉重建，其研究思路為首先使用高精度三維掃描儀掃描出幾百張具有不同特征（包括年齡、性別、地區(qū)等）的人臉，并將它們轉(zhuǎn)化三維點云數(shù)據(jù)格式，然后將這些人臉點云化數(shù)據(jù)做成PCA模型，最終將人臉空間轉(zhuǎn)化為一個維數(shù)較低的有限維空間，三維人臉建模問題轉(zhuǎn)化為求解線性方程問題，這樣通過降低計算復(fù)雜度，縮短了建模時間，但這也使得基于PCA模型的方法獲得的人臉模型缺乏真實感與精度。相比之下，基于三維點云配準的方法可獲得較高真實感三維人臉模型，但其缺點也較為突出，包括計算復(fù)雜度高，對模板網(wǎng)格與待匹配點云的初始位置、尺度等依賴性強。基于最近點迭代方法（Iterative Closet Point，ICP）是最常用的三維點云配準方法[6，8]。ICP方法較依賴目標(biāo)點云中的點與模板網(wǎng)格中點之間一一對應(yīng)關(guān)系，對應(yīng)關(guān)系的好壞往往決定最終配準的效果。此外，傳統(tǒng)ICP算法存在收斂速度慢、易陷入局部最優(yōu)等缺點。

高精度、低噪聲、密度大的初始人臉點云數(shù)據(jù)對獲取高真實感三維人臉模型十分有利，然而，一般情況下，可滿足該需求的設(shè)備價格貴，操作技術(shù)性較強（如三維激光掃描儀），不適用虛擬社交等VR場景。相對而言，通過采集人臉不同角度視頻或圖片再通過三維重建方法生成或使用價格便宜的深度相機獲取初始三維人臉點云數(shù)據(jù)更具可行性。但這些方法獲得的初始點云數(shù)據(jù)一般存在噪聲較大，存在孔洞，點云邊界不齊整等問題。為此，本文提出了一種基于ICP的曲面非剛性曲面擬合方法，能很好適應(yīng)初始點云數(shù)據(jù)噪聲大，孔洞填補，邊界約束等問題，最終生成高真實感的三維人臉模型。

1 問題描述與建模

曲面擬合問題，涉及一個模板網(wǎng)格S=（ν，ε），其中ν={νi|i=1，…，n}表示n個網(wǎng)格點的集合，ε={ek=（νi，νj）| νi∈ν，νj∈ν，k=1，…，m}表示m條網(wǎng)格邊的集合；一個待擬合目標(biāo)點云τ={ui|i=1，…，t}，該目標(biāo)點云可以是一切可以搜索最鄰近點的3D點云數(shù)據(jù)，Nτ（νi）={uj|uj∈τ∧‖νi-uj‖＜σ}表示任意點νi的σ鄰域內(nèi)屬于目標(biāo)點云τ的點的集合。非剛性曲面擬合問題可表述為：對模板網(wǎng)格S中的任意網(wǎng)格點νi，計算其三維變換矩陣X= {Xi|i=1，…，n}，使得變換后的模板網(wǎng)格S'=（ν'，ε）中所有點vi'到目標(biāo)點云τ的距離之和最小，其中ν'={vi'=Xiνi| νi∈ν}是由變換后的網(wǎng)格點組成的集合。非剛性曲面擬合保持模板網(wǎng)格的拓撲結(jié)構(gòu)不變，即模板網(wǎng)格邊的關(guān)系保持不變。

為了便于求解變換矩陣Χ，構(gòu)建關(guān)于X的能量方程：

其中，Ed（X）為距離懲罰項，Es（X）為平滑懲罰項，α為其權(quán)重系數(shù)，El（X）為標(biāo)記點懲罰項，β為其權(quán)重系數(shù)。

距離懲罰項:為了使非剛性變換后的模板網(wǎng)格能有效擬合目標(biāo)點云，要求模板網(wǎng)格中網(wǎng)格點與目標(biāo)點云之間距離之和盡可能小，受到文獻[9]的啟發(fā)，將變換后模板網(wǎng)格中各個網(wǎng)格點到目標(biāo)點云之間的距離之和作為距離懲罰項，當(dāng)距離之和越小則表示變換后的模板網(wǎng)格與目標(biāo)點云之間的擬合程度越高，反之亦然。同時考慮到目標(biāo)點云孔洞的存在以及目標(biāo)點云可能不是一個完整三維物體外表面，因此模板網(wǎng)格中必將存在在目標(biāo)點云中沒有合適匹配點的網(wǎng)格點（對網(wǎng)格點vi存在合適匹配點uj是指存在uj∈T，使得‖νi-uj‖2＜ρ，其中ρ為給定閾值），對這些網(wǎng)格點希望它盡量保持原模板網(wǎng)格中的位置，因此有如下方程：

其中dist（·，·）表示三維空間中歐氏距離函數(shù)，dist（v，τ）=minu∈Nτ（v）dist（ν，u）表示τ中距離ν最近的點u到v的距離作為ν到τ的距離；wi的取值為1，當(dāng)且僅當(dāng)網(wǎng)格點νi在目標(biāo)點云τ中存在合適對應(yīng)點且對應(yīng)點不為邊界點時，wi的取值為0.5，當(dāng)且經(jīng)當(dāng)網(wǎng)格點vi在目標(biāo)點云τ中存在合適對應(yīng)點且對應(yīng)點為邊界點時，否則，wi的取值為0。根據(jù)wi的取值不同，可處理初始點云的孔洞以及邊界問題。

平滑懲罰項：目標(biāo)點云是真實物體外表面的三維點云表達，真實物體外表面通常是平滑的，因此，希望變換后的三維網(wǎng)格模型也具有平滑性。同時，變換前的模板網(wǎng)格模型是平滑的，所以，為了能使得模板網(wǎng)格模型在變換后能保證最大限度擬合目標(biāo)點云的同時保證網(wǎng)格的平滑性，希望相鄰網(wǎng)格點的變換矩陣盡可能相同，轉(zhuǎn)化為方程如下：

其中，‖·‖F(xiàn)為矩陣的F范數(shù)，用來量化相鄰網(wǎng)格點變換矩陣的差異大小，其中系數(shù)矩陣W=diag（1，1，1，λ），用來權(quán)衡變換矩陣中平移項與其他項之間的比重。

標(biāo)記點懲罰項：通常情況下，模板網(wǎng)格數(shù)據(jù)與初始目標(biāo)點云具有不同尺度，為了使的變換后的模板網(wǎng)格具有與初始點云具有相同尺度，需要給定一些在模板網(wǎng)格數(shù)據(jù)與初始點云數(shù)據(jù)對應(yīng)的標(biāo)記點，標(biāo)記點的集合記為L={（νl1，l1），…，（νls，ls）}，為了量化變換后模板網(wǎng)格與目標(biāo)點云尺度的相似度，給出如下方程：

2 算法實現(xiàn)

算法包括以下幾個步驟：

第一步：給定初始變換矩陣Xi=X0，平滑懲罰項系數(shù)αj=α1，標(biāo)記點懲罰項權(quán)重系數(shù)β，執(zhí)行第二步；

第二步：判斷αj＜αmin，如成立，則結(jié)束算法，否則，執(zhí)行第三步；

第三步：在變換矩陣為Xi情況下，確定模板網(wǎng)格中網(wǎng)格點在目標(biāo)點云中的對應(yīng)點，執(zhí)行第四步；

第四步：利用Levenberg-Marquardt算法求解方程（1），解得變換矩陣Xi+1，執(zhí)行第五步；

第五步：判斷‖Xi+1-Xi‖＜ε是否成立，若成立，減小αj為αj+1，再執(zhí)行第二步，否則，執(zhí)行第三步。

本算法包含兩層循環(huán)，第一層循環(huán)（外循環(huán)）為第二步到第五步，是由平滑懲罰系數(shù)α引起的，第二層循環(huán)（內(nèi)循環(huán)）為第三步到第五步是由變換矩陣X引起的。執(zhí)行外循環(huán)時，當(dāng)αi取值較大時，算法局部剛性約束較強，允許的局部非剛性變換程度較低，此時，內(nèi)循環(huán)效果近似剛性ICP。隨著αi取值的不斷減小，內(nèi)循環(huán)剛性約束變?nèi)?，允許的局部非剛性變換程度變大，可更好地擬合目標(biāo)點云的局部特性。

算法流程如圖1所示。

圖1 算法流程圖

圖2 目標(biāo)點云

圖3 模板網(wǎng)格

圖4 擬合結(jié)果

3 實驗結(jié)果分析

實驗結(jié)果如圖4所示，圖2所示為待擬合目標(biāo)點云，圖3所示為模板網(wǎng)格。

4 結(jié)語

本文提出了一種基于ICP非剛性曲面擬合算法，該算法能有效適應(yīng)初始目標(biāo)點云噪聲大、存在孔洞、邊界不平滑等缺點，通過分別對噪聲、孔洞、邊界添加約束統(tǒng)一優(yōu)化，最終可獲得高真實感的曲面擬合結(jié)果，可廣泛應(yīng)用于三維動畫制作、網(wǎng)絡(luò)會議、虛擬現(xiàn)實等領(lǐng)域。本文算法本質(zhì)上是迭代優(yōu)化算法，雖然運行時間較短，但還不能滿足實時建模的需求。因此，在不改變算法執(zhí)行效果的前提下，進一步縮短算法時間復(fù)雜度將是我們今后工作的主要方向。

參考文獻：

[1]Blanz，Vetter V，Thomas.A Morphable Model for the Synthesis of 3D Faces[J].Computer Graphics Proceedings Siggraph'，1999:187-194.

[2]Zhao W，Chellappa R，Phillips P J，et al.Face Recognition:A Literature Survey[J].Acm Computing Surveys，2003，35（4）:399-458.

[3]Zhang L，Snavely N，Curless B，et al.Spacetime Faces:High Resolution Capture for Modeling and Animation[J].Acm Transactions on Graphics，2008，23（3）:546-556.

[4]Blanz V.A Morphable Model for the Synthesis of 3D Faces[C].Conference on Computer Graphics and Interactive Techniques.ACM Press/Addison-Wesley Publishing Co.2002:187-194.

[5]Ichim A E，Bouaziz S，Pauly M.Dynamic 3D Avatar Creation from Hand-Held Video Input[J].ACM Transactions on Graphics，2015，34（4）:1-14

[6]郭俊輝.基于KDTree改進的ICP算法在點云配準中的應(yīng)用研究[J].微型機與應(yīng)用，2015，34（14）:81-83.

[7]蓋赟.基于曲面形變的三維人臉樣本配準[J].計算機科學(xué)，2014，41（s2）:116-118.

[8]林源，梁舒，王生進.基于非剛性ICP的三維人臉數(shù)據(jù)配準算法[J].清華大學(xué)學(xué)報自然科學(xué)版，2014（3）:334-340.

[9]Allen B，Curless B，Popovi，et al.The Space of Human Body Shapes:Reconstruction and Parameterization from Range Scans[J].Acm Transactions on Graphics，2003，22（3）:587-594.

[10]Zhang X J，Zhong-Ke L I，Wang X Z，et al.Research of 3D Point Cloud Data Registration Algorithms Based on Feature Points and Improved ICP[J].Transducer&Microsystem Technologies，2012，31（9）:116-248.

Non-Rigid Surface Fitting Method Based on ICP

CHEN Lin-wei
（College of Computer Science,Sichuan University，Chengdu 610000）

High realistic of 3D facial reconstruction is a key technology of facial animation and it can be applied in a wide range of fields such as virtual reality,3D animation and so on.Proposes a rapidly reconstruction method which can gain a high-accuracy and high realistic 3D facial model.This method can gain a high realistic model since it take both the hole and border of target point cloud as constraint condition and can rapidly fitting the local features of target point cloud.The experimental results also show that this method can get a realistic 3D facial model by fitting target point cloud.

3D Face;Surface Fitting;ICP

1007-1423（2017）08-0070-04

10.3969/j.issn.1007-1423.2017.08.015

陳林偉（1991-），男，安徽蕪湖人，碩士研究生，研究方向為三維重建

2016-12-20

2017-03-10