改進(jìn)RCPR的人臉對(duì)齊方法

莫建文，彭　倜，袁　華，張　彤

(桂林電子科技大學(xué) a.信息與通信學(xué)院；b.機(jī)電工程學(xué)院，廣西 桂林 541004)

?

改進(jìn)RCPR的人臉對(duì)齊方法

莫建文a，彭倜a，袁華a，張彤b

(桂林電子科技大學(xué) a.信息與通信學(xué)院；b.機(jī)電工程學(xué)院，廣西 桂林 541004)

在魯棒級(jí)聯(lián)位置回歸(RCPR)方法中，逐級(jí)迭代決策樹的結(jié)構(gòu)單一，而且初始化形狀機(jī)制效率低和不精準(zhǔn)。因而提出了一種改進(jìn)RCPR的人臉對(duì)齊方法，采用隨機(jī)森林的級(jí)聯(lián)回歸，由逐級(jí)迭代決策樹轉(zhuǎn)成結(jié)構(gòu)穩(wěn)定的并行決策樹；同時(shí)在測(cè)試階段，采用直方圖統(tǒng)計(jì)的人臉形狀初始化機(jī)制，高效地實(shí)現(xiàn)了粗定位。改進(jìn)的方法在多個(gè)數(shù)據(jù)庫中驗(yàn)證了可行性，結(jié)果表明提出的算法在光照、表情變化、遮擋等情況下能夠保持很好的魯棒性，并且在精度、失敗率上都有較大的提高。

決策樹；人臉對(duì)齊；隨機(jī)森林；直方圖統(tǒng)計(jì)

(1)

式中：S=[x1,y1,…,xP,yP]T。P表示人臉關(guān)鍵點(diǎn)個(gè)數(shù)。最早Hill[1]等提出了主動(dòng)形狀模型 (Active Shape Model，ASM )，文獻(xiàn)[1]能夠提取正面人臉的輪廓特征，達(dá)到很好的識(shí)別效果，但是該算法提取臉部特征時(shí)容易產(chǎn)生偏差，使得定位不準(zhǔn)確，且迭代尋找最優(yōu)解的度量函數(shù)單一，搜索范圍受到限制。隨著深度學(xué)習(xí)的發(fā)展，采用卷積神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行人臉對(duì)齊也出現(xiàn)了，比如Sun[2]和Zhang[3]的人臉對(duì)齊方法，可以達(dá)到很好的對(duì)齊效果，

但是計(jì)算成本較大，模型參數(shù)過多。而Dollar[4]提出的雙層級(jí)聯(lián)位置回歸的人臉對(duì)齊算法，該方法采用級(jí)聯(lián)形式，進(jìn)行位置擬合。緊接著Cao[5]提出了基于顯式形狀回歸(Explicit Shape Regression，ESR)的人臉對(duì)齊算法，該算法直接學(xué)習(xí)一個(gè)向量回歸函數(shù)從而代替整個(gè)人臉模型，有效克服了參數(shù)模型復(fù)雜的問題，具有很強(qiáng)的靈活性，但是該算法在表情變化、遮擋方面等情況下性能較低。針對(duì)遮擋問題，Dollar[6]提出魯棒的級(jí)聯(lián)姿態(tài)回歸(Robust Cascaded Pose Regression，RCPR)，該算法在文獻(xiàn)[4]的基礎(chǔ)上增加了對(duì)遮擋變化的處理以及特征的選擇等方面，增強(qiáng)了遮擋情況下人臉對(duì)齊方面的魯棒性，同時(shí)提出了一種技巧重置(Smart Restart)的初始化機(jī)制，這種雙層級(jí)聯(lián)回歸框架，第二層與第一層的訓(xùn)練過程類似，均采用逐級(jí)迭代方式，其結(jié)構(gòu)較為單一，同時(shí)Smart Restart機(jī)制效率較低。Vahid Kazemi[7]也采用了這種級(jí)聯(lián)回歸樹進(jìn)行人臉對(duì)齊。

在魯棒級(jí)聯(lián)位置回歸(RCPR)方法中，逐級(jí)迭代決策樹的結(jié)構(gòu)單一，而且初始化形狀機(jī)制效率低和不精準(zhǔn)。本文提出了一種基于隨機(jī)森林[8]的級(jí)聯(lián)回歸器人臉對(duì)齊算法，隨機(jī)森林可以很好地解決多類多分類的問題，其基本思想是將很多弱分類器集成為一個(gè)強(qiáng)分類器，也容易實(shí)現(xiàn)并行計(jì)算，結(jié)構(gòu)很穩(wěn)定；同時(shí)結(jié)合了直方圖統(tǒng)計(jì)方法[9]以獲得最接近人臉目標(biāo)形狀的初始化形狀，直方圖統(tǒng)計(jì)高效且實(shí)用。在LFPW[10]、COFW[6]自然場(chǎng)景數(shù)據(jù)庫上驗(yàn)證了本文方法的配準(zhǔn)效果。本算法在較大姿態(tài)、表情、遮擋條件下取得了優(yōu)于傳統(tǒng)級(jí)聯(lián)回歸方法的對(duì)齊效果。

1　RCPR訓(xùn)練框架以及初始化機(jī)制

Dollar[6]采用雙層級(jí)聯(lián)回歸方法應(yīng)用于人臉對(duì)齊，級(jí)聯(lián)回歸器由T個(gè)回歸器(R1,…，Rt,…，RT)組成，給定一個(gè)初始化形狀S0，通過不斷迭代估計(jì)形狀，輸出最終的人臉形狀。人臉形狀S表示P個(gè)關(guān)鍵點(diǎn)坐標(biāo)向量，其中Sp=[xp,yp]，p∈1，2,…，P。在每個(gè)回歸器Rt產(chǎn)生一個(gè)形狀增量δS，結(jié)合之前的估計(jì)形狀St-1，產(chǎn)生一個(gè)新的形狀St。

δS=Rt(xt)

(2)

進(jìn)行人臉形狀的更新

St=St-1+δS

(3)

迭代T次后輸出最終的人臉形狀ST。

在測(cè)試階段，因?yàn)榛谀Ｐ偷娜四槍?duì)齊方法對(duì)初始化人臉形狀較為敏感?，F(xiàn)有的級(jí)聯(lián)回歸人臉對(duì)齊方法中對(duì)初始化有不同的機(jī)制，Cao[11]等平均形狀作為初始化形狀，而RCPR采用了Smart Restart機(jī)制，該機(jī)制在測(cè)試階段，同時(shí)給定M個(gè)初始化形狀，送入回歸器，執(zhí)行級(jí)聯(lián)回歸過程的10%后，計(jì)算該M個(gè)形狀對(duì)應(yīng)關(guān)鍵點(diǎn)坐標(biāo)的方差var。將閾值記為Th，當(dāng)var>Th時(shí)，則重新初始M個(gè)初始化形狀，重復(fù)以上過程；否則當(dāng)var

RCPR采用的雙層級(jí)聯(lián)回歸結(jié)構(gòu)對(duì)形狀進(jìn)行從粗定位到細(xì)定位的逐級(jí)過程，同時(shí)所采用的Smart Restart形狀初始化機(jī)制，能減少失敗率。但是因第二層結(jié)構(gòu)采用的是逐級(jí)迭代決策樹，其結(jié)構(gòu)單一，同時(shí)初始化機(jī)制類似與“傻瓜式”的重復(fù)。存在效率低和不精準(zhǔn)的問題。

Smart Restart機(jī)制流程(偽代碼)如下：

For t=1 to maxIter do

記Md={(mdx0,mdy0),…,(mdxP,mdyP)}

var=Mean(conf)//均值

Ifvar

Break；

End

End

輸出：Md //通過smart restart機(jī)制得到的形狀

2　改進(jìn)的人臉對(duì)齊方法

針對(duì)第1節(jié)中RCPR的缺陷，本文從兩方面對(duì)RCPR進(jìn)行相關(guān)改進(jìn)。

第一，針對(duì)RCPR的結(jié)構(gòu)單一導(dǎo)致的魯棒性不夠，在第二層回歸器中將逐級(jí)迭代的決策樹改成隨機(jī)森林。采用隨機(jī)森林的回歸器，具有無可比擬的分類精度和更強(qiáng)的魯棒性。

第二，針對(duì)測(cè)試階段所采用的Smart Restart初始化機(jī)制效率低和不精準(zhǔn)的問題，本節(jié)基于隨機(jī)森林的回歸框架以及直方圖統(tǒng)計(jì)提出了一種新的初始化形狀機(jī)制。該機(jī)制能抑制異常點(diǎn)，同時(shí)能很好地對(duì)關(guān)鍵點(diǎn)進(jìn)行粗定位。

2.1基于隨機(jī)森林的回歸框架

(4)

(5)

該級(jí)聯(lián)回歸算法(偽代碼)如下：

輸入：回歸器R1,…,T，初始形狀S0，圖像I，位置索引特征h1,…,T

For t=1 to T do

xt=ht(St-1,I) //計(jì)算索引特征

δScj=Rt(xt) //回歸器的輸出

的輸出(形狀增量δSk)

St=St-1+δSt//更新形狀

End

輸出：最后的估計(jì)形狀ST

2.2基于直方圖統(tǒng)計(jì)的初始化機(jī)制

1)對(duì)輸入的M個(gè)初始化形狀送入模型中，執(zhí)行級(jí)聯(lián)回歸過程的10%。

3)對(duì)P個(gè)關(guān)鍵點(diǎn)，重復(fù)步驟2)。

本節(jié)改進(jìn)的RCPR人臉對(duì)齊方法，結(jié)合隨機(jī)森林的級(jí)聯(lián)回歸結(jié)構(gòu)，具有很強(qiáng)分類精度和魯棒性，同時(shí)采用的并行決策樹，提高了效率。在測(cè)試階段，結(jié)合直方圖統(tǒng)計(jì)的初始化機(jī)制，對(duì)噪聲具備魯棒性，同時(shí)能很好地對(duì)關(guān)鍵點(diǎn)進(jìn)行粗定位。

3　實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)1：本實(shí)驗(yàn)在原始RCPR模型中僅改進(jìn)了第二層級(jí)聯(lián)結(jié)構(gòu)，實(shí)驗(yàn)首先在COFW人臉庫中選取1 345幅人臉圖像作為訓(xùn)練集，在COFW中選取剩下的507幅人臉圖像作為測(cè)試集，得到實(shí)驗(yàn)結(jié)果如圖。對(duì)級(jí)聯(lián)回歸器的級(jí)數(shù)(T)以及每個(gè)森林所包含的決策樹數(shù)目(L)進(jìn)行了分析，統(tǒng)計(jì)其對(duì)誤差的影響，其結(jié)果由表1所示。同時(shí)對(duì)平均誤差、失敗率、幀率進(jìn)行了對(duì)比，結(jié)果見表2。

表1級(jí)聯(lián)回歸框架選擇對(duì)比

第一層級(jí)數(shù)(T)15102005002000并行決策樹數(shù)目(L)201210842平均誤差0.250.210.180.070.180.23

表2結(jié)合隨機(jī)森林的級(jí)聯(lián)回歸對(duì)平均誤差、失敗率、幀率對(duì)比

方法平均誤差失敗率/%幀率/(f·s-1)ESR0.1145.363RCPR0.0827.427本文0.0727.5310

由表1可知，并行決策樹個(gè)數(shù)太少，結(jié)構(gòu)較弱。當(dāng)T取200、L取8時(shí)，結(jié)構(gòu)最優(yōu)，平均誤差最小。觀測(cè)表2，采用隨機(jī)森林結(jié)構(gòu)，可以明顯增強(qiáng)回歸器的性能，但失敗率較大，因COFW數(shù)據(jù)集姿態(tài)、遮擋情況較多，對(duì)初始化形狀很敏感。

實(shí)驗(yàn)2：本實(shí)驗(yàn)在原始RCPR模型中僅改進(jìn)了其初始化機(jī)制，測(cè)試數(shù)據(jù)集為COFW。得到實(shí)驗(yàn)結(jié)果如圖1所示。

圖1　直方圖統(tǒng)計(jì)初始化機(jī)制示意圖

測(cè)試階段，給定M(本實(shí)驗(yàn)為20)個(gè)初始化形狀，左圖僅顯示一個(gè)關(guān)鍵點(diǎn)(鼻尖處)，圓點(diǎn)為執(zhí)行級(jí)聯(lián)回歸過程的10%后M個(gè)點(diǎn)的分布情況，通過本方法提出的直方圖統(tǒng)計(jì)初始化機(jī)制后，得到右邊圓點(diǎn)，作為后期鼻尖關(guān)鍵點(diǎn)處的坐標(biāo)位置。由圖可知，本文初始化機(jī)制，能抑制異常點(diǎn)，同時(shí)能很好地對(duì)關(guān)鍵點(diǎn)進(jìn)行粗定位。本文也對(duì)平均誤差、失敗率、幀率進(jìn)行了對(duì)比，結(jié)果如表3所示。

表3平均誤差、失敗率、幀率對(duì)比

方法平均誤差失敗率/%幀率/(f·s-1)ESR0.1145.363RCPR0.0827.427本文0.0617.368

由表可知，本文初始化機(jī)制在失敗率上明顯優(yōu)于RCPR的初始化機(jī)制，同時(shí)減少了平均誤差。因采用直方圖統(tǒng)計(jì)的初始化機(jī)制，去除了“傻瓜式”重復(fù)機(jī)制，從而提高了幀率。

實(shí)驗(yàn)3：改進(jìn)的RCPR人臉對(duì)齊方法，測(cè)試數(shù)據(jù)集為COFW和LFPW。其中LFPW，首先利用Opencv自帶的人臉檢測(cè)方法(Viola-Jones檢測(cè)器)[12]對(duì)LFPW進(jìn)行人臉檢測(cè)，最終只得到772張訓(xùn)練圖片，217張測(cè)試圖片。

圖2和圖3(突顯關(guān)鍵點(diǎn)位置)標(biāo)注點(diǎn)均為人臉對(duì)齊測(cè)試效果點(diǎn)。實(shí)驗(yàn)挑選了遮擋、光照、姿態(tài)等情況的圖片，由圖可知，本文改進(jìn)模型在光照、表情變化、遮擋等情況下對(duì)齊精度比ESR和RCPR模型高，驗(yàn)證了本文所提出的改進(jìn)模型更具普遍性，魯棒性更強(qiáng)。為了驗(yàn)證提取算法的整體性能以及魯棒性，對(duì)平均誤差、失敗率、幀率進(jìn)行了對(duì)比，如表4和表5所示。

圖2　COFW數(shù)據(jù)集測(cè)試效果圖

圖3　LFPW數(shù)據(jù)集測(cè)試效果圖

由表4～5可知，本文算法平均誤差得到很大的抑制，驗(yàn)證該算法級(jí)聯(lián)框架的可行性。同時(shí)本文算法的失敗率大大降低，幀率和RCPR相比也有所增加，證明了初始化形狀機(jī)制的可行性。

表4在COFW上性能對(duì)比

方法平均誤差失敗率/%幀率/(f·s-1)ESR0.1145.363RCPR0.0827.427本文0.0614.7811

表5在LFPW上性能對(duì)比

方法平均誤差失敗率/%幀率/(f·s-1)ESR0.1465.905RCPR0.1141.4713本文0.0924.8815

最后，對(duì)累積誤差曲線也進(jìn)行了對(duì)比，如圖4所示。

圖4　累計(jì)誤差曲線圖

觀察圖4可知，在關(guān)鍵點(diǎn)誤差值同樣的條件下，關(guān)鍵集分值明顯高于ESR和RCPR，證明改進(jìn)的RCPR在人臉關(guān)鍵點(diǎn)檢測(cè)方面性能更佳。

改進(jìn)的RCPR方法已經(jīng)成功地為人臉提取特征點(diǎn)，通過實(shí)驗(yàn)可以看到，改進(jìn)的RCPR方法從定位特征點(diǎn)的精度和運(yùn)算成本上都有所提高。

5　結(jié)束語

本文針對(duì)RCPR算法的不足，提出了一種新的回歸器結(jié)構(gòu)，同時(shí)對(duì)初始化機(jī)制進(jìn)行了改進(jìn)。本文在第一層采用迭代級(jí)聯(lián)的形式，每個(gè)回歸器訓(xùn)練若干個(gè)并行的決策樹(隨機(jī)森林)，該回歸結(jié)構(gòu)，具備很強(qiáng)的魯棒性和性能。測(cè)試階段，采用一種結(jié)合直方圖統(tǒng)計(jì)的初始化機(jī)制，提高了初始化效率和精度，同時(shí)減少人臉對(duì)齊的失敗率。后面在LFPW、COFW數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，驗(yàn)證提出的算法在對(duì)齊精度和效率方面的性能。結(jié)果表明，所提算法在平均誤差性能有較大改善的同時(shí)，大大減少了失敗率，提高了幀率。

[1]HILLA，COOTESTF，TAYLORCJ.Activeshapemodelsandtheshapeapproximationproblem[J].Imageandvisioncomputing，1996，14(8)：601-607.

[2]SUNY，WANGX，TANGX.Deepconvolutionalnetworkcascadeforfacialpointdetection[C]//2013IEEEConferenceonComputerVisionandPatternRecognition(CVPR). [S.l.]:IEEE，2013：3476-3483.

[3]ZHANGZ，LUOP，LOYCC，etal.Faciallandmarkdetectionbydeepmulti-tasklearning[M]. [S.l.]:SpringerInternationalPublishing，2014.

[4]DOLLARP，WELINDERP，PERONAP.Cascadedposeregression[C]//CVPR2010.[S.l.]：IEEE，2010：16-27.

[5]CAOX，WEIY，WENF，etal.Facealignmentbyexplicitshaperegression[J].Internationaljournalofcomputervision，2014，107(2)：177-190.

[6]BURGOS-ARTIZZUXP，PERONAP，DOLLARP.Robustfacelandmarkestimationunderocclusion[C]//IEEEInternationalConferenceonComputerVision(ICCV) 2013. [S.l.]：IEEE，2013：1513-1520.

[7]KAZEMIV，SULLIVANJ.Onemillisecondfacealignmentwithanensembleofregressiontrees[C]//IEEEConferenceonComputerVisionandPatternRecognition(CVPR) 2014. [S.l.]：IEEE，2014：1867-1874.

[8]LEOB.Randomforests[J].MaCHINElearning，2001(1)：56-60.

[9]GONZALEZRC.Digitalimageprocessing[M]. [S.l.]：PearsonEducationIndia， 2009.

[10]BELHUMEURPN，JACOBSDW，KRIEGMANDJ，etal.Localizingpartsoffacesusingaconsensusofexemplars[J].IEEEtransactionsonpatternanalysisandmachineintelligence，2013，35(12)：2930-2940.

[11]RENS，CAOX，WEIY，etal.Facealignmentat3000fpsviaregressinglocalbinaryfeatures[C]//IEEEConferenceonComputerVisionandPatternRecognition(CVPR) 2014. [S.l.]：IEEE，2014：1685-1692.

[12]VIOLAP，JONESM.Rapidobjectdetectionusingaboostedcascadeofsimplefeatures[C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition2001. [S.l.]：IEEE，2001：511-518.

責(zé)任編輯：時(shí)雯

Improved RCPR for face alignment method

MO Jianwena，PENG Tia，YUAN Huaa，ZHANG Tongb

(a.SchoolofInformationandCommunication；b.ElectromechanicalEngineeringCollege，GuilinUniversityofElectronicTechnology，GuangxiGuilin541004,China)

In the robust cascade position regression (RCPR) method， the structure of the decision tree is single， and the efficiency of the initial shape mechanism is low and not accurate.This paper proposes an improved RCPR face alignment method.By using the cascade regression of random forests， the decision tree is transformed into a stable parallel decision tree. At the same time， face shape initialization mechanism with histogram statistics is adopted in the testing stage，so as to achieve efficient coarse positioning. Improved method in multiple database verifies the feasibility. The results show that proposed algorithm can keep good robustness in the light， expression and occlusion. The accuracy and the failure rate are greatly improved.

decision tree； face alignment； random forest；histogram statistics

TN911.73

A

10.16280/j.videoe.2016.09.006

國家自然科學(xué)基金項(xiàng)目(61362021);廣西自然科學(xué)基金項(xiàng)目(2013GXNSFDA019030;2014GXNSFDA118035);廣西科技創(chuàng)新能力與條件建設(shè)計(jì)劃項(xiàng)目(桂科能1598025-21)；桂林科技開發(fā)項(xiàng)目(20150103-6)；桂林電子科技大學(xué)研究生教育創(chuàng)新計(jì)劃項(xiàng)目(YJCXS201531)

2016-02-03

文獻(xiàn)引用格式：莫建文，彭倜，袁華，等.改進(jìn)RCPR的人臉對(duì)齊方法[J].電視技術(shù)，2016，40(9)：31-35.

MO J W，PENG T，YUAN H，et al.Improved RCPR for face alignment method[J].Video engineering，2016,40(9)：31-35.