基于ASM的改進(jìn)型人臉特征點定位方法

王 洋，李 俊,2

(1.桂林電子科技大學(xué) 電子工程與自動化學(xué)院，廣西 桂林 541004；2.桂林電子科技大學(xué) 廣西信息科學(xué)實驗中心，廣西 桂林 541004)

基于ASM的改進(jìn)型人臉特征點定位方法

王 洋1，李 俊1,2

(1.桂林電子科技大學(xué) 電子工程與自動化學(xué)院，廣西 桂林 541004；2.桂林電子科技大學(xué) 廣西信息科學(xué)實驗中心，廣西 桂林 541004)

針對主動形狀模型中局部灰度模型結(jié)構(gòu)簡單、初始搜索位置偏移較大的問題，提出一種基于ASM的改進(jìn)型人臉特征點定位方法。利用左右瞳孔和嘴巴中心的坐標(biāo)，調(diào)整模型的初始搜索位置，在以特征點為中心的一定矩形區(qū)域，建立二維局部加權(quán)灰度模型和局部紋理模型，并采用新的模型匹配方法定位目標(biāo)特征點。實驗結(jié)果表明，基于ASM的人臉特征點定位改進(jìn)方法相比傳統(tǒng)ASM方法，定位精度提高了26.15%。

主動形狀模型；局部灰度模型；灰度共生矩陣；局部紋理模型；模型匹配

人臉特征點定位在人臉識別及三維人臉重建中扮演著重要的角色，是計算機視覺和模式識別等領(lǐng)域的關(guān)鍵技術(shù)。在人臉三維模型重建中，面部特征點的定位精確極為重要，其直接關(guān)系到重建模型的逼真度和穩(wěn)定性[1-2]。主動形狀模型[3-5](active shape model，簡稱ASM)是在Snakes[6]的基礎(chǔ)上提出的一種基于統(tǒng)計學(xué)習(xí)的特征點自動定位方法，具有很強的適應(yīng)性和廣泛的有效性。對ASM方法，許多學(xué)者進(jìn)行了深入研究。針對彩色圖像中人臉特征點定位問題，Mahoor等[7]利用顏色模型建立了新的局部灰度模型，提高了彩色圖像中特征點的定位精度。范玉華等[8]利用左右瞳孔坐標(biāo)調(diào)整模型初始位置，提出了基于Log-Gabor小波系數(shù)的局部紋理模型，提高了方法的精度和魯棒性。李皓等[9]對文獻(xiàn)[8]的初始位置調(diào)整方案進(jìn)行優(yōu)化，提出了多模板的匹配方法，解決了紋理平滑區(qū)域特征點定位精確低的問題，但當(dāng)被搜索目標(biāo)有一定傾斜角度時，初始位置優(yōu)化方案將變得更復(fù)雜。

在ASM方法中，特征點的定位精度很大程度上依賴于特征點局部灰度模型的結(jié)構(gòu)，但其僅僅利用了特征點法線兩側(cè)的若干灰度信息，不僅限制了特征點的搜索范圍，而且可能引起錯誤的定位。另外，ASM方法對模型的初始搜索位置要求較高，雖然可配合Adboost人臉檢測算法[10-11]得到粗略的正確位置，但這個位置并不能保證絕對滿足ASM搜索算法的要求，這就可能出現(xiàn)因初始位置不達(dá)標(biāo)而造成錯誤的定位。為此，提出一種基于ASM的改進(jìn)型人臉特征點定位方法，通過簡單快速的模型初始化，建立局部灰度模型結(jié)構(gòu)和局部紋理模型。

1 傳統(tǒng)主動形狀模型

1.1 形狀統(tǒng)計模型

在主動形狀模型中，一個物體的形狀特性通過特征點有序排列成向量的形式來表征。這些特征點通常分布在圖像中較特殊的位置，如目標(biāo)輪廓邊緣、拐角點等，并且特征點的數(shù)量必須足以覆蓋目標(biāo)的整體形狀和內(nèi)部細(xì)節(jié)。面部特征點分布如圖1所示。

圖1 面部特征點分布Fig.1 The distribution of facial features

將訓(xùn)練集中N幅人臉圖像按圖1所示進(jìn)行手工標(biāo)定，對于標(biāo)定的第i張人臉圖像，其形狀向量可表示為：

其中：(xij,yij)為第i幅圖像中第j個特征點的坐標(biāo)；n為特征點的數(shù)量；N為樣本數(shù)。采用Procrustes分析法[12]對齊所有訓(xùn)練樣本，并運用主成分分析法[13](principal component analysis，簡稱PCA)得到其均值和協(xié)方差矩陣：

(2)

(3)

計算協(xié)方差矩陣C的特征值λζ及其對應(yīng)的特征向量pζ，選取前t個較大特征值對應(yīng)的特征向量組成特征矩陣P，P=(p1,p2,…,pt)，任意人臉形狀X都可表示為：

(4)

為了防止形狀產(chǎn)生新的畸變，形狀參數(shù)向量b被約束在一個可變范圍內(nèi)：

(5)

1.2 局部灰度模型

局部灰度模型直接影響特征點的定位精度。對第j個特征點，其構(gòu)建的局部灰度模型如圖2所示。步驟為：在訓(xùn)練集第i幅圖像中，以第j個特征點為中心，在標(biāo)定點輪廓法線兩側(cè)分別選取k個像素構(gòu)造成一個長度為2k+1的灰度向量hij，

圖2 局部灰度模型Fig.2 Local gray model

(6)

hij的導(dǎo)數(shù)為：

(7)

(8)

局部灰度模型以局部灰度平均值和協(xié)方差矩陣表示為：

；

(9)

(10)

1.3 模板匹配

(11)

馬氏距離越小，則該候選點與真正的匹配點相似度越高。選擇馬氏距離最小值Dξ,min對應(yīng)的候選點為最佳定位點。

圖3 ASM的搜索空間Fig.3 Searching space of ASM

2 基于ASM的改進(jìn)型人臉特征點定位方法

2.1 模型初始搜索位置的調(diào)整

圖4 瞳孔、嘴巴3點定位Fig.4 Three points location of pupils and mouth

計算左右瞳孔在x方向的距離Dx及兩瞳孔和嘴巴中心在y方向的平均距離Dy：

(12)

(13)

(14)

2.2 二維局部加權(quán)灰度模型的構(gòu)建

為了充分利用特征點周圍局部灰度信息，同時擴大特征點的搜索范圍，提出二維局部加權(quán)灰度模型。對第j個特征點，其二維局部加權(quán)灰度模型如圖5所示。具體的構(gòu)建步驟如下：

圖5 二維局部加權(quán)灰度模型Fig.5 Two-dimension local weighted gray model

在訓(xùn)練集的每幅圖像i中，以特征點j為中心，選取一個a×b的矩形區(qū)域，用3×3的矩形模板T對該區(qū)域進(jìn)行卷積運算，

(15)

(16)

(17)

(18)

(19)

2.3 基于灰度共生矩陣的局部紋理模型

基于灰度共生矩陣的14個紋理特征中，二階距、對比度、相關(guān)性、熵4個特征量是不相關(guān)的，具有較高的分類精度[15]?；谶@4個特征量，提出特征點的局部紋理特征，以進(jìn)一步提高特征點在復(fù)雜環(huán)境條件下的定位精度。特征點j處的局部紋理模型建立過程如下：

為了避免灰度共生矩陣維度過高，將圖5中以特征點j為中心的a×b矩形區(qū)域內(nèi)像素灰度級壓縮為L，然后以像素距離d=1，分別在θ=0°、45°、90°、135°四個方向計算該區(qū)域的灰度共生矩陣，得到4個大小均為L×L的矩陣m1、m2、m3、m4。分別提取這4個灰度共生矩陣的二階距、對比度、相關(guān)性、熵4個特征量，組成一個包含16個特征分量的向量tij：

tij=(m11,m12,m13,m14,m21,…,m24,…,m44)T。

(20)

其中：m1、m2、m3、m4分別為矩陣mi中的二階距、對比度、相關(guān)性、熵。對訓(xùn)練集上特征點j的所有特征向量進(jìn)行統(tǒng)計分析，可得到特征點j的局部紋理模型：

(21)

(22)

3 搜索策略的改進(jìn)

針對改進(jìn)的局部灰度模型和局部紋理模型，將特征點的搜索空間從1D拓展到2D，可得到改進(jìn)后的搜索空間，如圖6所示。搜索過程為：以第j個特征點為中心，選取A×B(A>a,B>b)的矩形區(qū)域，并以a×b的2D局部加權(quán)灰度模型為模板在該區(qū)域滑動，得到(A-a+1)×(B-b+1)個候選點。

圖6 改進(jìn)后的搜索空間Fig.6 The improved searching space

求得調(diào)整后的初始模型中每個特征點的最佳匹配位置，然后利用建立的形狀統(tǒng)計模型進(jìn)行全局?jǐn)M合，得到定位后的人臉形狀。

4 實驗結(jié)果與分析

采用ABERDEEN人臉數(shù)據(jù)庫的圖像驗證改進(jìn)方法的有效性。ABERDEEN人臉庫共包含100多個人在不同背景、光照和表情下的629張人臉圖片，每個人擁有的圖片數(shù)量不等，且部分存在遮擋情況，如眼鏡、頭發(fā)等。挑選該人臉庫中50個人，每個人4張圖像構(gòu)成一個包含200張圖像的訓(xùn)練集，以這50個人剩下圖像作為測試集。實驗采用的硬件平臺為Intel(R) Core(TM) i3-2100 CPU的臺式電腦，內(nèi)存為4 GB，軟件平臺為Matlab 2014a。在實驗過程中，分別采用傳統(tǒng)ASM方法和改進(jìn)型方法在測試集上進(jìn)行特征點定位，部分圖像的特征點定位效果對比如圖7所示。

圖7 特征點定位效果對比Fig.7 Comparison of feature points location effect

為了更好地比較傳統(tǒng)ASM方法和改進(jìn)方法的定位性能，同時兼顧算法的定位精度和時間消耗等性能因素，在搜索過程中，具體參數(shù)設(shè)置為：傳統(tǒng)ASM方法中局部灰度模型的參數(shù)k=7，模型匹配時的參數(shù)l=11；二維局部灰度模型的參數(shù)設(shè)置為a=3,b=7，模型匹配時的參數(shù)設(shè)置為A=5,B=11。局部紋理模型中參數(shù)L=16。此時在傳統(tǒng)ASM方法中，每定位一個特征點需計算9個候選點的馬氏距離，而改進(jìn)方法需要計算15個候選點的馬氏距離。

以定位精度和時間復(fù)雜度2個指標(biāo)來衡量算法的性能。定位精度采用均方根誤差ERMS,j評定：

傳統(tǒng)ASM方法和改進(jìn)方法在測試集上的定位偏移量統(tǒng)計如圖8所示。從圖8可看出，傳統(tǒng)ASM方法的定位偏移誤差分布在2～5個像素間，約占整體比重的77.95%，集中在3～4個像素間的占了50.33%，而改進(jìn)方法的偏移量主要集中在1～4個像素間，約占整體比重的79.13%，且集中于1～3個像素間的定位點占了64.34%。

圖8 定位偏移量統(tǒng)計Fig.8 Statistics of positioning offset

表1為2種定位方法的平均定位像素誤差、時間及定位失敗率。實驗結(jié)果表明，改進(jìn)方法相比傳統(tǒng)ASM方法對光照、背景及表情的變化更為穩(wěn)定，提高了像素的定位精度η，

表1 定位性能

5 結(jié)束語

為了進(jìn)一步提高人臉特征點的定位精度和魯棒性，提出了基于ASM方法的改進(jìn)方法?；谕缀妥彀?點的坐標(biāo)信息，快速調(diào)整了模型初始搜索位置，并提出了特征點二維局部區(qū)域的加權(quán)灰度模型及局部紋理模型。實驗結(jié)果表明，改進(jìn)方法相比傳統(tǒng)ASM方法在定位精度上有了明顯的提高，但與此同時也增加了定位所需時間。雖然通過調(diào)整模型初始位置在一定程度上減少了循環(huán)迭代次數(shù)，但改進(jìn)方法將局部灰度模型從一維擴展到二維，使得運算量也隨之增加。隨著研究的進(jìn)一步深入，可采用GPU并行計算等進(jìn)行優(yōu)化。

[1] PARK S W,HEO J,SAVVIDES M.3D face reconstruction from a single 2D face image[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops,2008:1-8.

[2] BLANZ V,VETTER T.Face recognition based on fitting a 3D morphable model[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(9):1063-1074.

[3] COOTES T F,TAYLOR C J.Active shape models:‘smart snakes’[M]//BMVC92.London:Springer-Verlag,1992:266-275.

[4] COOTES T F,TAYLOR C J,COOPER D H,et al.Active shape models-their training and application[J].Computer Vision and Image Understanding,1995,61(1):38-59.

[5] COOTES T F,TAYLOR C J.A mixture model for representing shape variation[J].Image and Vision Computing,1999,17(8):567-573.

[6] KASS M,WITKIN A,TERZOPOULOS D.Snakes:active contour models[J].International Journal of Computer Vision,1988,1(4):321-331.

[7] MAHOOR M H,ABDEL-MOTTALEB M.Facial features extraction in color images using enhanced active shape model[C]//7th International Conference on Automatic Face and Gesture Recognition,2006:137-148.

[8] 范玉華，馬建偉.ASM及其改進(jìn)的人臉面部特征定位算法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報，2007，19(11):1411-1415.

[9] 李皓，謝琛，唐朝京.改進(jìn)的多模板ASM人臉面部特征定位算法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報，2010(10):1762-1768.

[10] VIOLA P,JONES M.Robust real-time object detection[J].International Journal of Computer Vision,2001,4:51-52.

[11] VIOLA P,JONES M.Rapid object detection using a boosted cascade of simple features[C]//Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2001:I-511-I-518.

[12] ROSS A.Procrustes analysis[R].South Carolina:Department of Computer Science and Engineering,University of South Carolina,2004:128-136.

[13] ABDI H,WILLIAMS L J.Principal component analysis[J].Wiley Interdisciplinary Reviews:Computational Statistics,2010,2(4):433-459.

[14] HSU R L,ABDEL-MOTTALEB M,JAIN A K.Face detection in color images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):696-706.

[15] 薄華，馬縛龍，焦李成.圖像紋理的灰度共生矩陣計算問題的分析[J].電子學(xué)報，2006,34(1):155-158.

編輯：翁史振

An improved facial feature points localization method based on ASM

WANG Yang1, LI Jun1,2

(1.School of Electronic Engineering and Automation, Guilin University of Electronic Technology, Guilin 541004, China；2.Guangxi Information Science Laboratory Center, Guilin University of Electronic Technology, Guilin 541004, China)

In order to solve those problems that the structure of local gray model in active shape model algorithm is too simple, and initial model position has a misregistration, an improved facial feature points localization method based on ASM is proposed. Using the coordinates of pupils and mouth to adjust the initial search location, and then establishing a 2D local weighted gray model and local texture model in an expanded rectangular area around the center of the feature point, finally the feature points can be located with the new matching algorithm. Experimental results show that our method improves 26.15% on the positioning accuracy than the traditional ASM algorithm.

active shape model; local gray model; gray level co-occurrence matrix; local texture model; model matching

2016-03-05

國家自然科學(xué)基金(61367002)

李俊(1977-)，男，湖北紅安人，研究員，博士，研究方向為光電檢測系統(tǒng)、圖像處理、GPGPU。E-mail:55832269@qq.com

王洋，李俊.基于ASM的改進(jìn)型人臉特征點定位方法[J].桂林電子科技大學(xué)學(xué)報，2016,36(6):477-482.

TP391.4

A

1673-808X(2016)06-0477-06