三維人臉姿態(tài)校正研究

王金偉 戴飛銘

摘 要：提出一種鼻尖點(diǎn)提取方法：根據(jù)鼻尖點(diǎn)在人臉上的對(duì)稱性，提取人臉對(duì)稱軸上的特征點(diǎn)，并構(gòu)建人臉的對(duì)稱平面，對(duì)稱平面與人臉網(wǎng)格的交線為人臉的中心側(cè)影線，依據(jù)中心側(cè)影線，提取鼻尖點(diǎn)。根據(jù)鼻尖點(diǎn)法向量、人臉對(duì)稱平面法向量以及鼻尖點(diǎn)和鼻基點(diǎn)之間的方向向量進(jìn)行姿態(tài)校正。該方法計(jì)算量小、魯棒性強(qiáng)。

關(guān)鍵詞：鼻尖點(diǎn) 人臉區(qū)域分割 三維人臉表情

中圖分類號(hào)：TP391.4 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-3791（2018）08（b）-0038-04

近年來，三維人臉識(shí)別方法開始逐漸取代二維人臉識(shí)別方法，二維人臉圖像易受姿態(tài)的影響，當(dāng)人臉發(fā)生偏轉(zhuǎn)時(shí)，二維人臉圖像就會(huì)丟失一些信息，而三維人臉圖像可以在三維空間任意的旋轉(zhuǎn)、平移，可以彌補(bǔ)在不同視覺角度所觀察三維人臉表情圖像的差異，因此三維人臉圖像具有更好的魯棒性。雖然三維人臉數(shù)據(jù)不受姿態(tài)的影響，但三維人臉出現(xiàn)不同姿態(tài)的偏轉(zhuǎn)，都會(huì)造成三維幾何信息的變化，對(duì)特征點(diǎn)的提取容易造成影響，為了更好地提取準(zhǔn)確的特征點(diǎn)，必須對(duì)三維人臉表情進(jìn)行姿態(tài)的校正。文獻(xiàn)[1]在進(jìn)行三維人臉姿態(tài)校正之前，先對(duì)人臉進(jìn)行曲面擬合，對(duì)于三維巨大的點(diǎn)云數(shù)據(jù)來說，計(jì)算量變得非常大。文獻(xiàn)[2]通過高斯曲率獲取人臉3個(gè)特征點(diǎn)，在將這3個(gè)特征點(diǎn)組建平面，在通過法向量進(jìn)行人臉姿態(tài)校正，雖然計(jì)算量較少，但在特征點(diǎn)提取的準(zhǔn)確性也會(huì)影響到人臉姿態(tài)的校正。文獻(xiàn)[3]通過聚類算法獲取三維人臉鼻子區(qū)域，根據(jù)參考鼻子區(qū)域，使用三維空間仿射變換進(jìn)行人臉姿態(tài)的校正，再利用迭代最近點(diǎn)進(jìn)一步校正，該方法對(duì)三維數(shù)據(jù)的缺失、噪聲不敏感，具有較高的魯棒性，但在運(yùn)算時(shí)間上會(huì)比較長(zhǎng)。本文提出了基于一種改進(jìn)鼻尖點(diǎn)提取的三維人臉姿態(tài)校正算法研究：根據(jù)鼻尖點(diǎn)法向量、人臉對(duì)稱平面法向量以及鼻尖點(diǎn)和鼻基點(diǎn)之間的方向向量進(jìn)行姿態(tài)校正。該方法計(jì)算量小、魯棒性強(qiáng)。本文方法流程，如圖1所示。

1 鼻尖點(diǎn)提取

鼻尖點(diǎn)是人臉區(qū)域重要的特征點(diǎn)，在人臉表情變化及姿態(tài)的變動(dòng)的情況下，對(duì)鼻尖點(diǎn)的影響都比較小。目前，三維人臉表情識(shí)別對(duì)鼻尖點(diǎn)提取的研究還不夠深入，主要的方法有：（1）通過深度圖像提取人臉距離參考面最近的點(diǎn)[4-5]，這一假設(shè)使得多數(shù)算法回避了提取鼻尖點(diǎn)這一關(guān)鍵步驟；（2）通過中心側(cè)影線提取鼻尖點(diǎn)，而中心側(cè)影線對(duì)鼻尖的提取都是基于三維人臉模型先驗(yàn)對(duì)稱的前提。Yueming Wang等[6]人通過三維人臉的鏡像模型后，采用迭代最近點(diǎn)法（ICP，Iterative Closest Point）進(jìn)行配準(zhǔn)，通過人臉的對(duì)稱點(diǎn)找出人臉的對(duì)稱平面，取對(duì)稱平面與三維人臉曲面的交線作為中心側(cè)影線。當(dāng)三維人臉的位置發(fā)生偏轉(zhuǎn)后，尤其是繞軸旋轉(zhuǎn)時(shí)，受人臉自身的旋轉(zhuǎn)造成信息的遮擋，采集到的三維人臉數(shù)據(jù)丟失最為嚴(yán)重，這時(shí)候人臉的點(diǎn)云數(shù)據(jù)基本上不是對(duì)稱的，因此采用鏡像模型的中心側(cè)影線提取鼻尖點(diǎn)的精確度不高。

因此，本文借鑒XU等人提取鼻尖點(diǎn)算法思路[7-8]，提出一種改進(jìn)的鼻尖點(diǎn)提?。∟ose Tip Feature Extraction，NTFE）方法。該方法根據(jù)鼻尖的幾何形狀提取符合形狀參數(shù)的候選點(diǎn)；其次，在這些候選點(diǎn)中，根據(jù)鼻尖點(diǎn)在人臉上的對(duì)稱性，提取人臉對(duì)稱軸上的特征點(diǎn)，并構(gòu)建人臉的對(duì)稱平面，對(duì)稱平面與人臉網(wǎng)格的交線為人臉的中心側(cè)影線，依據(jù)中心側(cè)影線，提取鼻尖點(diǎn)。

1.1 鼻尖點(diǎn)的幾何形狀

1.2 計(jì)算三維人臉的對(duì)稱性

提取候選特征點(diǎn)后，還要通過人臉的對(duì)稱性進(jìn)一步對(duì)候選特征點(diǎn)進(jìn)行篩選，每個(gè)候選點(diǎn)對(duì)應(yīng)的曲面有可能有多個(gè)對(duì)稱平面與曲面相交，組成多條的對(duì)稱軸。

1.3 中心側(cè)影線

提取三維人臉對(duì)稱軸上的點(diǎn)后，根據(jù)對(duì)稱軸上的點(diǎn)，構(gòu)建人臉的對(duì)稱平面，對(duì)稱平面與人臉網(wǎng)格的交線為人臉的中心側(cè)影線，如圖2所示。

1.4 提取鼻尖點(diǎn)和鼻基點(diǎn)

將所提取到的中心側(cè)影線放到一個(gè)統(tǒng)一的坐標(biāo)上，如圖3所示，中心側(cè)影線上的點(diǎn)到軸上最大的距離為鼻尖點(diǎn)，計(jì)算額頭到鼻尖點(diǎn)這段距離的最小極值點(diǎn)為鼻基點(diǎn)。

2 三維人臉姿態(tài)校正

通過NTFE算法提取鼻尖點(diǎn)和鼻基點(diǎn)后，便可對(duì)三維人臉姿態(tài)進(jìn)行校正。首先建立正面的三維人臉坐標(biāo)系：x軸方向?yàn)樗较蛴?、y軸方向?yàn)樨Q直向上、z軸方向?yàn)榇怪庇诩埫嫦蛲狻⑸鲜鏊崛〉娜S人臉放在一個(gè)統(tǒng)一的坐標(biāo)系中，根據(jù)計(jì)算機(jī)圖形學(xué)知識(shí)[9]，以θx、θy、θz分別作為三維人臉模型繞x旋轉(zhuǎn)、繞y旋轉(zhuǎn)、繞z旋轉(zhuǎn)的角度，得到一個(gè)旋轉(zhuǎn)矩陣R，最后完成姿態(tài)的校正。

根據(jù)上述三維人臉的對(duì)稱性，篩選出在人臉對(duì)稱軸上的點(diǎn)云，建立一個(gè)對(duì)稱平面，法向量為nx；將鼻尖點(diǎn)及其鄰域內(nèi)的點(diǎn)云擬合成二次曲面，計(jì)算鼻尖點(diǎn)的法向量nz。

根據(jù)旋轉(zhuǎn)矩陣R完成三維人臉表情姿態(tài)的校正，如圖4所示。

3 實(shí)驗(yàn)結(jié)果比較與分析

為了驗(yàn)證本文提出方法的有效性，在三維人臉表情BU-3DFE數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn)。從數(shù)據(jù)庫中任意選擇20張三維人臉表情圖像，并將其20個(gè)對(duì)象分為兩組：一組為訓(xùn)練集，另一組為測(cè)試集，每組各10個(gè)對(duì)象。最后，將平均值作為最終的實(shí)驗(yàn)結(jié)果。

3.1 鼻尖點(diǎn)提取實(shí)驗(yàn)結(jié)果及分析

其中N為人臉表情圖像數(shù)。按姿態(tài)校正前后進(jìn)行實(shí)驗(yàn)：第一種方法為姿態(tài)校正前方案，采用基于雙模態(tài)和基于局部曲率方法對(duì)8個(gè)特征點(diǎn)進(jìn)行提取，如圖5所示；第二方法為姿態(tài)校正后方案，如圖6所示。誤差值如表2和表3所示。實(shí)驗(yàn)結(jié)果可以看出，本文方法在提取準(zhǔn)確性更高，誤差值更小。

參考文獻(xiàn)

[1] Colombo A， Cusano C.，Schettini RD. 3D face detection using curvature analysis[J].Pattern Recognition， 2006，39（13）：444-455.