改進(jìn)級(jí)聯(lián)回歸模型的人臉特征點(diǎn)定位*

賈項(xiàng)南， 于鳳芹， 楊慧中， 陳 瑩

(江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無(wú)錫 214122)

0 引 言

近年來(lái)，級(jí)聯(lián)形狀回歸模型在人臉特征點(diǎn)定位[1～5]領(lǐng)域取得了重大突破。Dollar P于2012年首次提出了級(jí)聯(lián)姿態(tài)回歸(cascaded pose regression，CPR)模型[6]預(yù)測(cè)物體的形狀。Cao X等人在CPR的基礎(chǔ)上提出了顯性形狀回歸算法(explicit shape regression，ESR)[7]，并用于人臉特征點(diǎn)定位，模型總體計(jì)算量大且未考慮物體的遮擋問(wèn)題。對(duì)此，Burgos-Artizzu X P等人提出了魯棒性級(jí)聯(lián)回歸方法(robust cascaded pose regression，RCPR)[8]，采用智能重啟的初始化方法，并將遮擋信息引入到模型當(dāng)中，實(shí)現(xiàn)了有遮擋的特征點(diǎn)定位，但模型仍然復(fù)雜。Ren S等人對(duì)級(jí)聯(lián)回歸進(jìn)行了改進(jìn)，提出了局部二值化特征(local binary features，LBF)回歸算法[9]，采用平均形狀作為初始形狀，引入隨機(jī)森林作為局部學(xué)習(xí)器，但隨機(jī)森林結(jié)構(gòu)復(fù)雜不利于構(gòu)造，雖然提高了速度，但精度未改善。

本文針對(duì)以上問(wèn)題，對(duì)級(jí)聯(lián)回歸模型進(jìn)行改進(jìn)研究:對(duì)模型的初始化方法進(jìn)行改進(jìn)，充分利用圖像的紋理信息，并提取特征點(diǎn)局部區(qū)域的方向梯度直方圖(histogram of oriented gradient,HOG)特征，采用普氏分析法得到最初人臉形狀與真實(shí)人臉形狀間的最佳仿射變換參數(shù)，建立圖像特征與仿射參數(shù)之間的映射關(guān)系，通過(guò)變換得到更接近真實(shí)人臉形狀的初始形狀提高模型的收斂速度和精度；在各個(gè)特征點(diǎn)局部區(qū)域構(gòu)造隨機(jī)蕨局部學(xué)習(xí)器代替全局回歸器，并學(xué)習(xí)得到計(jì)算簡(jiǎn)單且高度稀疏的局部二值化特征以提高模型的速度；采用全局線性回歸對(duì)局部學(xué)習(xí)得到的二值化特征進(jìn)行計(jì)算得到形狀增量，更新每一級(jí)的預(yù)測(cè)形狀，實(shí)現(xiàn)人臉特征點(diǎn)定位。

1 改進(jìn)的級(jí)聯(lián)回歸模型的人臉特征點(diǎn)定位原理

人臉特征點(diǎn)定位是由初始形狀通過(guò)加上一系列回歸得到的形狀增量一步一步收斂于真實(shí)人臉形狀的過(guò)程。假設(shè)一幅人臉圖像有L個(gè)人臉特征點(diǎn)，人臉形狀可以表示為S=[x1,y1;x2,y2;…;xL,yL]，S為2L維的矩陣，用于存儲(chǔ)人臉形狀在整幅圖像中的位置信息。給定人臉圖像I和初始人臉形狀S0，S的更新迭代過(guò)程如下

St=St-1+WtΨt(I,St-1),t=1,2,…,T

(1)

式中St為第t次迭代后的人臉形狀;Wt為線性回歸矩陣；Ψt(I,St-1)為特征映射函數(shù)，與人臉特征和上一級(jí)估計(jì)的形狀有關(guān)。

本文從初始化和模型回歸器的構(gòu)造方式入手，對(duì)級(jí)聯(lián)回歸模型進(jìn)行改進(jìn)，使初始人臉形狀逐步收斂于真實(shí)人臉形狀，實(shí)現(xiàn)人臉特征點(diǎn)的定位。

1.1 基于仿射變換參數(shù)回歸的人臉形狀初始化

二維仿射變換用于改變?nèi)四樞螤畹男D(zhuǎn)角度、尺度和位置。整個(gè)仿射變換過(guò)程可以表示[10]

(2)

式中 (x0,y0)為原始坐標(biāo)；(xn,yn)為變換后的新坐標(biāo)；(xr,yr)為旋轉(zhuǎn)中心；θ為旋轉(zhuǎn)角度；txr,tyr為根據(jù)旋轉(zhuǎn)中心得到的水平和垂直方向偏移量；sx,sy分別為水平和垂直方向縮放尺度。通過(guò)普氏分析[11]得到最佳的仿射變換參數(shù)β1～β6，從初始人臉形狀每個(gè)特征點(diǎn)的3×3局部區(qū)域塊抽取HOG特征，通過(guò)學(xué)習(xí)6個(gè)線性回歸器建立從HOG特征到仿射變換參數(shù)β1～β2間的映射。訓(xùn)練過(guò)程中，β1～β6表示如下

y1=β1,y2=β2,y3=β3+β1xr+β2yr

(3)

y4=β4,y5=β5,y6=β6+β4xr+β5yr

(4)

通過(guò)式(5)學(xué)習(xí)線性回歸模型

(5)

式中i為訓(xùn)練樣本的圖片數(shù)量；φi為從最初的人臉特征點(diǎn)局部區(qū)域抽取的HOG特征；rk為權(quán)重向量；bk為偏移量。式(5)為線性最小方差問(wèn)題。通過(guò)線性回歸模型的求解過(guò)程可以從訓(xùn)練集中得到rk，bk。對(duì)于輸入的任意圖片，只需計(jì)算特征點(diǎn)局部區(qū)域的HOG特征，用訓(xùn)練得到的回歸參數(shù)，即可求出仿射變換參數(shù)，進(jìn)而求得變換后的初始形狀。

1.2 基于隨機(jī)蕨學(xué)習(xí)局部二值化特征

(6)

1.3 全局線性回歸

由于對(duì)各個(gè)特征點(diǎn)進(jìn)行局部學(xué)習(xí)存在彼此之間相互獨(dú)立缺乏全局性約束且學(xué)習(xí)得到的二值化特征高度自由的情況。因此，采用全局線性回歸，聯(lián)合所有特征點(diǎn)的二值化特征，對(duì)其進(jìn)行計(jì)算并求得形狀增量。將式(1)的求解過(guò)程轉(zhuǎn)化為目標(biāo)函數(shù)式(7)的求最優(yōu)值的過(guò)程

(7)

在學(xué)習(xí)過(guò)程中引入L2范數(shù)的正則項(xiàng)，λ控制正則化力度防止模型過(guò)擬合。通過(guò)式(7)學(xué)習(xí)得到全局回歸矩陣，回歸矩陣相乘得到形狀增量ΔSt=Ψt*Wt，結(jié)合上一級(jí)估計(jì)的形狀，即可得到本次迭代預(yù)測(cè)的形狀St=St-1+ΔSt，進(jìn)入下一次迭代，直到預(yù)測(cè)的形狀收斂于真實(shí)人臉形狀，結(jié)束回歸過(guò)程。

2 算法實(shí)現(xiàn)步驟

改進(jìn)的級(jí)聯(lián)回歸模型人臉特征點(diǎn)定位具體步驟為：

1)輸入人臉圖片I和人臉形狀S，計(jì)算仿射變換參數(shù)，提取HOG特征，建立映射關(guān)系，求出6個(gè)回歸器，計(jì)算變換后的初始形狀S0;

2)在人臉特征點(diǎn)周圍隨機(jī)選取P個(gè)像素，產(chǎn)生P2個(gè)像素差值特征，從中選出與回歸目標(biāo)相關(guān)的F對(duì)像素差值特征和F個(gè)閾值;

3)根據(jù)步驟(2)選取的像素差值特征和閾值構(gòu)造隨機(jī)蕨，對(duì)每一個(gè)特征點(diǎn)生成M個(gè)隨機(jī)蕨構(gòu)成隨機(jī)蕨叢林，通過(guò)隨機(jī)蕨叢林對(duì)特征點(diǎn)周圍的紋理進(jìn)行學(xué)習(xí)，得到二值化特征;

4)對(duì)于所有訓(xùn)練樣本得到的二值化特征，采用全局線性回歸學(xué)習(xí)得到全局回歸矩陣，計(jì)算得到全局形狀增量ΔSt=Ψt*Wt，更新當(dāng)前階段預(yù)測(cè)的形狀St=St-1+ΔSt;

6)輸入測(cè)試樣本I，隨機(jī)選擇S0，初始化S0，加載訓(xùn)練集當(dāng)前階段構(gòu)造好的隨機(jī)蕨，對(duì)特征點(diǎn)局部區(qū)域的紋理進(jìn)行編碼，得到二值化特征,加載在訓(xùn)練過(guò)程中學(xué)習(xí)的全局回歸矩陣Wt，計(jì)算全局形狀增量，更新當(dāng)前預(yù)測(cè)的形狀;

7)進(jìn)入下一級(jí)回歸，重復(fù)步驟(6)，直到初始人臉形狀收斂于真實(shí)人臉形狀，測(cè)試結(jié)束。

3 仿真實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)運(yùn)行環(huán)境為Windows7 64位，Intel Core i3—2310M CPU處理器，6GB內(nèi)存，MATLAB R2016a仿真系統(tǒng)。采用公認(rèn)的主流測(cè)試數(shù)據(jù)庫(kù)LFPW[12],HELEN[13],AFW[14]進(jìn)行仿真實(shí)驗(yàn)。LFPW包含了811張訓(xùn)練圖像，224張測(cè)試圖像；HELEN庫(kù)包含了2 000張訓(xùn)練圖像，330張測(cè)試圖像；AFW包含330張圖像，300張用于訓(xùn)練，30張用于測(cè)試。3個(gè)數(shù)據(jù)集包含了大量遮擋，表情姿態(tài)豐富和光照變化的圖像，且數(shù)據(jù)集中均已給定了68個(gè)特征點(diǎn)作為真實(shí)人臉形狀，無(wú)需重新標(biāo)定。由于數(shù)據(jù)庫(kù)中的圖像大小不一，本文通過(guò)人臉檢測(cè)框?qū)颖静眉舫?20×120大小。

3.1 實(shí)驗(yàn)參數(shù)設(shè)置

設(shè)置人臉特征數(shù)L為68，最大的迭代次數(shù)T為7，隨機(jī)蕨叢林包含的蕨數(shù)M為10，每一株蕨的深度F為5，半徑r為距離特征點(diǎn)的偏移量，每一級(jí)最佳特征提取的區(qū)域半徑和每一級(jí)隨機(jī)選取的像素特征個(gè)數(shù)P如表1設(shè)置。

表1 參數(shù)設(shè)置

3.2 定量對(duì)比分析

為了從定量的角度驗(yàn)證本文算法的有效性，在數(shù)據(jù)庫(kù)LFPW，HELEN，F(xiàn)W上分別與文獻(xiàn)[7～9]，3種算法進(jìn)行了對(duì)比。以樣本測(cè)試時(shí)定位速度作為時(shí)間的評(píng)價(jià)標(biāo)準(zhǔn)，均一化誤差[7]作為人臉形狀預(yù)測(cè)誤差的衡量標(biāo)準(zhǔn)

(8)

式中Si為預(yù)測(cè)的人臉形狀；i為真實(shí)人臉形狀；di為每個(gè)樣本瞳孔間的歐氏距離，用于對(duì)樣本誤差進(jìn)行歸一化，以公平對(duì)比樣本之間的誤差。從表2可知，3個(gè)庫(kù)上，本文算法較文獻(xiàn)[7]定位誤差分別降低了25 %，15 %，13 %，較文獻(xiàn)[8]定位誤差分別降低了14 %，7 %，6 %。由于文獻(xiàn)[7，8]采用100級(jí)以上的回歸，所以，造成模型速度慢不能滿足實(shí)時(shí)性要求。3個(gè)庫(kù)中，本文算法與現(xiàn)公認(rèn)定位效果較好的文獻(xiàn)[9]相比，誤差分別降低了15 %，7 %，12 %，時(shí)間分別減少了18 %，7 %，17 %。本文算法明顯優(yōu)于其他3種算法。

表2 4種算法在3數(shù)據(jù)庫(kù)中誤差與時(shí)間對(duì)比

為了更直觀地評(píng)價(jià)本文算法的正確性和有效性，采用文獻(xiàn)[15]的評(píng)價(jià)標(biāo)準(zhǔn)，畫(huà)出積分誤差分布(cumulative error distribution，CED)曲線，如圖1所示，縱坐標(biāo)為定位誤差小于均一化誤差的測(cè)試樣本數(shù)量占總的測(cè)試樣本數(shù)量的比率，CED曲線更能直觀展現(xiàn)在某一誤差上本文算法和其他3種算法特征點(diǎn)定位的正確率。圖1(a)為在數(shù)據(jù)庫(kù)LFPW上的CED曲線，圖1(b)為在數(shù)據(jù)庫(kù)HELEN上的CED曲線。從圖1(a)可以看出:本文算法總體上都優(yōu)于其他3種算法，當(dāng)樣本誤差為0.1時(shí)，本文算法實(shí)現(xiàn)了98 %的定位精度，而文獻(xiàn)[7～9]分別實(shí)現(xiàn)了89 %，94 %，97 %的定位精度。從圖1(b)可以看出:當(dāng)樣本誤差為0.1時(shí)，本文算法實(shí)現(xiàn)了93 %的定位精度，而文獻(xiàn)[7～9]分別實(shí)現(xiàn)了88 %，91 %，93 %的定位精度。

圖1 2種數(shù)據(jù)庫(kù)上CED曲線

3.3 定性對(duì)比分析

從定性的角度進(jìn)一步分析實(shí)驗(yàn)效果。圖2為在數(shù)據(jù)庫(kù)LFPW上的最終定位效果，第一行姿態(tài)偏轉(zhuǎn)較大，本文定位效果良好，由于姿態(tài)偏轉(zhuǎn)，導(dǎo)致文獻(xiàn)[7]嘴角定位失敗，文獻(xiàn)[8]左邊的顴骨定位失敗；第二行為表情豐富的圖像，由于本文充分利用紋理信息并在局部區(qū)域選擇具有判別性的特征，定位效果好于其他幾種算法；第三行分辨率較低，幾種方法對(duì)于兩頰的定位效果均不理想，文獻(xiàn)[7，8]對(duì)鼻孔定位失敗，文獻(xiàn)[9]對(duì)眉毛定位失敗；第四行光照變化，由于本文使用了像素差值特征對(duì)于光照有很好的魯棒性，較其他幾種算法實(shí)現(xiàn)了更好的定位效果；第五行右眼有遮擋，由于人臉未發(fā)生偏轉(zhuǎn)，幾種算法均實(shí)現(xiàn)了良好的定位效果。

圖2 LFPW庫(kù)上最終定位效果對(duì)比

4 結(jié)束語(yǔ)

提出了一種改進(jìn)的級(jí)聯(lián)回歸模型人臉特征點(diǎn)定位方法，在多個(gè)具有挑戰(zhàn)性的數(shù)據(jù)庫(kù)上進(jìn)行了仿真實(shí)驗(yàn)，通過(guò)仿真實(shí)驗(yàn)將本文算法與其他幾種算法進(jìn)行了對(duì)比。實(shí)驗(yàn)證明：本文算法具有模型規(guī)模小、運(yùn)算速度快、定位精度高、實(shí)時(shí)性強(qiáng)等優(yōu)點(diǎn)。但本文算法對(duì)于具有背景干擾的人臉圖像上特征點(diǎn)定位仍然存在不足，為今后主要研究的內(nèi)容。

參考文獻(xiàn):

[1] 孫君頂,劉曉惠,陳鵬鵬.基于改進(jìn)局部方向模式的人臉識(shí)別[J].傳感器與微系統(tǒng),2016,35(6):52-55.

[2] 李月龍,靳 彥,汪建鳴,等.人臉特征點(diǎn)提取方法綜述[J].計(jì)算機(jī)學(xué)報(bào),2016,39(7):1356-1374.

[3] Ningbo H,Haibin L,Yiming Q,et al.Face super-resolution reconstruction and recognition using non-local similarity dictionary learning based algorithm[J].IEEE Journal of Automatica Sinica,2016,3(2):213-224.

[4] 黃 進(jìn),冬奇,陳毅能,等.混合現(xiàn)實(shí)中的人際交互綜述[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2016,28(6):869-880.

[5] Meng Y,Lei Z,Jian Y,et al.Regularized robust coding for face recognition[J].IEEE Transactions on Image Processing,2013,22(5):1753-1766.

[6] Dollar P,Welinder P,Perona P.Cascaded pose regression[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2010:1078-1085.

[7] Cao X,Wei Y,Sun J.Face alignment by explicit shape regres-sion[C]∥IEEE Conference on Computer Vision and Pattern Recognition,2012:2887-2894.

[8] Burgos-Artzzu X P,Perona P,Dollar P.Robust face landmark estimation under occlusion[C]∥IEEE International Conference on Computer Vision,2013:1-8.

[9] Ren S,Cao X,Wei Y,et al.Face alignment at 3 000 fps via regressing local binary features[C]∥IEEE Conference on Computer Vision and Pattern Recognition,2014:1685-1692.

[10] Xuan L,Yidan X,Qi L,et al.Affine-transformation parameters regression for face alignment[C]∥IEEE Signal Processing Letters,2016:55-59.

[11] Gower J C.Generalized procrustes analysis[M].Vienna,Austria:Springer-Verlag,1975:33-51.

[12] Belhumeur P N,Jacobs D W,Kriegman D J,et al.Localizing parts of faces using a consensus of exemplars[C]∥IEEE Conference on Computer Vision and Pattern Recognition,2011:545-552.

[13] Brandt V L,Lin Z,Bourdev L,et al.Interative facial feature localization[C]∥The 12th European Conference on Computer Vision,2012:679-692.

[14] Zhu X,Ramanan D.Face detection,pose estimation,and landmark localization in the wild[C]∥IEEE Conference on Computer Vision and Pattern Recognition,2012:2879-2886.

[15] Shizhan Z,Cheng L,Chen C L,et al.Face alignment by coarse-to-fine shape searching[C]∥IEEE Conference on Computer Vision and Pattern Recognition,2015:4998-5005.