基于形狀索引的DoG特征結(jié)合GPRT的人臉關(guān)鍵點(diǎn)檢測(cè)算法

(商丘職業(yè)技術(shù)學(xué)院，河南 商丘 476100)

0 引言

人臉關(guān)鍵點(diǎn)檢測(cè)就是對(duì)面部特征進(jìn)行精確定位，如面部圖像中的眼角、鼻尖、嘴角和下巴。準(zhǔn)確且魯棒地人臉對(duì)齊有利于實(shí)現(xiàn)各種涉及人臉的目標(biāo)應(yīng)用，如人臉識(shí)別[1-2]、面部表情識(shí)別[3-4]等。但是由于人臉形狀本身具有多變性，以及光照、姿態(tài)、遮擋等因素的影響，準(zhǔn)確且魯棒的人臉關(guān)鍵點(diǎn)檢測(cè)還具有相當(dāng)?shù)碾y度。

近年來(lái)，級(jí)聯(lián)形狀回歸模型在特征點(diǎn)定位上取得了重大突破。形狀回歸是一種人臉對(duì)齊框架[5]，其具有準(zhǔn)確性、魯棒性及快速性等特點(diǎn)。在形狀回歸中，臉部形狀是一個(gè)連接的面部基準(zhǔn)坐標(biāo)，其通過(guò)一連串分類與回歸樹(Classification and Regression Tree，CRT)實(shí)現(xiàn)原始迭代更新。每一個(gè)樹基于當(dāng)前的形狀評(píng)估對(duì)形狀增量進(jìn)行估量，最終的形狀評(píng)估由原始評(píng)估的輸出樹累計(jì)加和而來(lái)。目前，已經(jīng)在形狀回歸中考慮了不同種的正則化方法以便降低過(guò)度擬合，獲取更好的泛化性能。文獻(xiàn)[7]通過(guò)對(duì)一個(gè)人臉圖像生成多個(gè)初始形狀估計(jì)來(lái)增強(qiáng)訓(xùn)練數(shù)據(jù)，這一數(shù)據(jù)加強(qiáng)的方法已經(jīng)在后續(xù)的研究中應(yīng)用。文獻(xiàn)[8]將收縮和平均作為正則化方法，在梯度推進(jìn)學(xué)習(xí)過(guò)程中，學(xué)習(xí)率參數(shù)乘以每一個(gè)回歸樹或獨(dú)立學(xué)習(xí)和平均樹。文獻(xiàn)[9]將學(xué)習(xí)過(guò)程分為兩個(gè)步驟：(1)學(xué)習(xí)二進(jìn)制映射函數(shù)(2)學(xué)習(xí)現(xiàn)行回歸矩陣。二進(jìn)制映射函數(shù)包括一組局部的二進(jìn)制映射函數(shù)，該函數(shù)由單面部基準(zhǔn)點(diǎn)的方法從獨(dú)立學(xué)習(xí)樹中誘導(dǎo)。接著通過(guò)平方損失最小化函數(shù)，獲取線性回歸矩陣。然而這些算法易陷入局部極值并且魯棒性不強(qiáng)。

本文使用高斯過(guò)程回歸樹(Gaussian Process Regression Tree，GPRT)來(lái)代替梯度推進(jìn)。GPRT通過(guò)一種特殊的內(nèi)核簡(jiǎn)化預(yù)測(cè)過(guò)程中的計(jì)算，在相同的預(yù)測(cè)時(shí)間內(nèi)比CRT的泛化性能高。GPRT的預(yù)測(cè)平均值為樹輸出的總和，這一方法的預(yù)測(cè)時(shí)間相同但是提高了泛化性能。此處將GPRT的預(yù)測(cè)平均值設(shè)計(jì)成正比于預(yù)測(cè)變量(來(lái)自于GPRT集合)的值，由此引出GPRT的貪婪分布式學(xué)習(xí)方法。在參考形狀評(píng)估的局部視網(wǎng)膜模式中，計(jì)算高斯函數(shù)的差分(Difference of Gaussian，DoG)特征來(lái)確定GPRT的輸入特征。提取DoG特征，首先，在不同尺度條件下使用高斯濾波器平滑面部圖像從而降低噪音敏感性。然后從高斯光滑面部圖像中提取像素值，利用局部視網(wǎng)膜抽樣模式、形狀評(píng)估和光滑尺度把圖像編入索引內(nèi)。最后計(jì)算提取像素值的差異。每一個(gè)局部視網(wǎng)膜抽樣點(diǎn)的光滑尺度與采樣點(diǎn)和中心點(diǎn)之間的距離呈正比。因此，遠(yuǎn)距離采樣點(diǎn)比附近的采樣點(diǎn)涉及的區(qū)域面積大，對(duì)形狀評(píng)估誤差的穩(wěn)定性也較好，識(shí)別能力也更強(qiáng)。

1 高斯過(guò)程回歸樹

1.1 回歸樹模型

CRT中考慮了一組樹，并將形狀回歸看作成一種加法級(jí)聯(lián)形式的樹，如下所示：

(1)

(2)

(3)

其中:Nt,b是葉子b上下降的訓(xùn)練數(shù)據(jù)點(diǎn)。用分割函數(shù)和回歸函數(shù)改進(jìn)的公式(1)為：

1.2 GPRT的過(guò)程

GPRT由許多GPRT組成，每一個(gè)GPRT都有一個(gè)由樹組定義的內(nèi)核。在GPRT中，輸出和輸入之間的關(guān)系由回歸函數(shù)f(x)表示，該回歸函數(shù)是一個(gè)有獨(dú)立加性噪音εi的高斯過(guò)程：

si=f(xi)+εi,i=1,...,N

(4)

f(x)～GP(0,k(x,xt))

(5)

(6)

給定一個(gè)測(cè)試輸入x，在預(yù)測(cè)變量f*上的分布為：

(7)

(8)

(9)

(10)

(11)

(12)

(13)

(14)

(15)

(16)

其中的逆運(yùn)算為O((BM)3)，Kr=QTQ+σr2IBM是BM×BM矩陣。

(17)

在GPRT中，輸入量f*的預(yù)測(cè)變量x*是高斯隨機(jī)變量，其預(yù)測(cè)均值和變量分別由公式(10)和(9)提供。公式(10)的計(jì)算參考函數(shù)O(N)。但是下述方法更高效：

(18)

通過(guò)公式(18)，在O(MlogB)中計(jì)算預(yù)測(cè)平均值，該值的計(jì)算框架與CRT中的預(yù)測(cè)相同。級(jí)聯(lián)GPRT包含T個(gè)GPRT，并結(jié)合GPRT：

(19)

(20)

(21)

2 形狀索引的DoG特征的提取與學(xué)習(xí)

提取DoG特征的過(guò)程如下：

1)對(duì)目標(biāo)圖像進(jìn)行高斯過(guò)濾[11-12]，得到模糊的光滑圖像如圖1所示。

2)計(jì)算相似性變換，將平均形狀映射給形狀評(píng)估。

3)將相似性變換應(yīng)用到局部視網(wǎng)膜采樣模式，如圖2所示。

4)使用變換后的局部視網(wǎng)膜抽樣模式并參考形狀評(píng)估來(lái)計(jì)算全局坐標(biāo)。

5)在高斯光滑圖像的全局坐標(biāo)中提取像素值，從而對(duì)應(yīng)于每一個(gè)采樣點(diǎn)的尺度參數(shù)，提取高斯濾波器響應(yīng)。

圖1 高斯模糊效果

圖2 局部視網(wǎng)膜采集模式過(guò)程

提取出來(lái)的兩個(gè)高斯濾波器響應(yīng)之間的差異體現(xiàn)在形狀索引的DoG特征上，然后計(jì)算預(yù)定義的DoG過(guò)濾的響應(yīng)。將相似性轉(zhuǎn)換應(yīng)用到局部視網(wǎng)膜采樣模式，形狀索引的DoG特征計(jì)算并不包含整個(gè)圖像的轉(zhuǎn)換，只轉(zhuǎn)換稀疏的坐標(biāo)[5]。另外，獲取高斯光滑圖像的計(jì)算復(fù)雜性并不高，因?yàn)楣饣^(guò)程只有一次，且在學(xué)習(xí)過(guò)程之前。

用單一的面部坐標(biāo)來(lái)學(xué)習(xí)GPRT樹，由隨機(jī)采樣閾值和參考第l面部坐標(biāo)的DoG特征獲取樹的分割函數(shù)。為了獲取更有識(shí)別力的分割函數(shù)，測(cè)試了一些分割函數(shù)并選取了性能最佳者。而分割函數(shù)的性能由第l面部坐標(biāo)的平方損失來(lái)衡量。這一過(guò)程僅學(xué)習(xí)了樹的分割函數(shù)，而回歸輸出由GPRT學(xué)習(xí)。每一個(gè)樹基于當(dāng)前的形狀評(píng)估對(duì)形狀增量進(jìn)行估量，最終的形狀評(píng)估由原始評(píng)估的輸出樹累計(jì)加和而來(lái)。形狀回歸中影響預(yù)測(cè)性能的兩個(gè)關(guān)鍵因素，分別是學(xué)習(xí)CRT的梯度推進(jìn)和形狀檢索特征。從梯度推進(jìn)得來(lái)的GPRT通常過(guò)度擬合。在梯度推進(jìn)中，每一個(gè)階段以貪婪分步實(shí)施方式，迭代性地?cái)M合訓(xùn)練數(shù)據(jù)，該過(guò)程減少了回歸殘差，這些殘差的定義由地面真實(shí)形狀與形狀評(píng)估之間的差異來(lái)完成。在學(xué)習(xí)和預(yù)測(cè)的過(guò)程中存在擬合率之間的差異時(shí)，便會(huì)出現(xiàn)過(guò)度擬合，在一些階段中擬合訓(xùn)練數(shù)據(jù)的速度太快，可能會(huì)導(dǎo)致較差的泛化性能，在預(yù)測(cè)過(guò)程中也會(huì)出現(xiàn)不精準(zhǔn)的形狀評(píng)估。

最初階段的學(xué)習(xí)樹傾向于使用形狀索引的DoG特征，這些特征由距離較遠(yuǎn)的采樣點(diǎn)計(jì)算得來(lái)，而處于后期的樹傾向于使用從附近的采樣點(diǎn)計(jì)算得來(lái)的特征。這是因?yàn)檩^遠(yuǎn)的采樣點(diǎn)設(shè)計(jì)更大的區(qū)域，對(duì)于形狀評(píng)估誤差來(lái)說(shuō)更穩(wěn)定。附近的采樣點(diǎn)穩(wěn)定性差一點(diǎn)，但是當(dāng)形狀評(píng)估準(zhǔn)確時(shí)識(shí)別力高。因此，在學(xué)習(xí)階段，形狀索引的DoG特征允許每一個(gè)樹根據(jù)實(shí)際需要自由選擇更穩(wěn)定的特征。

3 實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)的目的有：(1)將使用了形狀索引的DoG特征的GPRT與最先進(jìn)的方法進(jìn)行比較。(2)證實(shí)本文方法的關(guān)鍵因素：GPRT和形狀索引DoG特征。

3.1 LFPW數(shù)據(jù)庫(kù)

本文大部分實(shí)驗(yàn)結(jié)果都基于LFPW數(shù)據(jù)庫(kù)[10]，它是知名的目前最先進(jìn)最具挑戰(zhàn)性的數(shù)據(jù)庫(kù)。LFPW數(shù)據(jù)庫(kù)包含1132個(gè)訓(xùn)練圖像和300個(gè)測(cè)試圖像，其能提供鏈接到圖像的URL。本文收集了778個(gè)訓(xùn)練圖像和216個(gè)測(cè)試圖像。LFPW人臉數(shù)據(jù)庫(kù)部分截圖如圖3所示。

圖3 LFPW人臉數(shù)據(jù)庫(kù)部分截圖

將形狀評(píng)估誤差看作是內(nèi)目鏡距離的一部分，該距離是經(jīng)瞳孔距離標(biāo)準(zhǔn)化后的地面實(shí)際情況和形狀評(píng)估間距離。所有的實(shí)驗(yàn)結(jié)果都選取平均值(超過(guò)10次的實(shí)驗(yàn))以便降低隨機(jī)性的影響。

3.2 實(shí)驗(yàn)設(shè)置

為了獲取訓(xùn)練數(shù)據(jù)，首先使用面部檢測(cè)邊界框來(lái)裁剪人臉圖像。接著，形狀評(píng)估初始化成隨機(jī)采樣的真實(shí)形狀，該形狀來(lái)自其他訓(xùn)練數(shù)據(jù)點(diǎn)。在訓(xùn)練階段，每一個(gè)面部圖像的初始化過(guò)程要重復(fù)二十次。預(yù)測(cè)過(guò)程中使用來(lái)自訓(xùn)練數(shù)據(jù)點(diǎn)的平均形狀進(jìn)行初始化。

本文考慮兩種構(gòu)型配置：(1)“GPRT”配置，具有較低的平均誤差但是預(yù)測(cè)也較慢；(2)“GPRTfast”配置，預(yù)測(cè)較快但是平均誤差大。在GPRT配置中，每一個(gè)GPRT的樹數(shù)量和GPRT的數(shù)量分別為M=10和T=500。GPRT由兩種層次的級(jí)聯(lián)GPRT組成，第一層級(jí)的階段數(shù)和第二層級(jí)的階段數(shù)分別為100和5。在GPRTfast配置中，每個(gè)GPRT的樹數(shù)量和GPRT的數(shù)量分別設(shè)置為M=10，T=100。第一層次的級(jí)聯(lián)階段數(shù)和第二層次的級(jí)聯(lián)階段數(shù)都設(shè)為10。對(duì)兩個(gè)配置而言，樹的深度設(shè)為5。每一個(gè)分割函數(shù)都要經(jīng)過(guò)200次試驗(yàn)，光滑尺度設(shè)為8。每一個(gè)光滑尺度中視網(wǎng)膜采樣點(diǎn)數(shù)為6，因此每一個(gè)面部坐標(biāo)的采樣點(diǎn)數(shù)為6×7+1=43。所以試驗(yàn)的操作系統(tǒng)為：配備單核i5-3570、3.40 Hz CPU的PC機(jī)。

3.3 與先進(jìn)算法之間的比較

在這一節(jié)，將使用了形狀索引的DoG特征的GPRT與以下最先進(jìn)的方法進(jìn)行比較：形狀回歸(ESR)[13]，魯棒的級(jí)聯(lián)構(gòu)成回歸[14]、堿度下降法(SDM)[15-16]。其中文獻(xiàn)[13]提出一種形狀到形狀的顯式形狀回歸方法，利用豐富的幾何形狀先驗(yàn)定位人臉特征點(diǎn)。并且引入一種射影不變量—特征數(shù)(CN)去描述和刻畫人臉固有的幾何形狀結(jié)構(gòu)。提出一種魯棒、有效的特征點(diǎn)檢測(cè)器。通過(guò)構(gòu)建特征數(shù)與形狀之間的映射關(guān)系，建立從局部到全局的形狀回歸模型。LFPW人臉關(guān)鍵點(diǎn)部分檢測(cè)結(jié)果如圖4所示。文獻(xiàn)[14]重點(diǎn)對(duì)魯棒關(guān)鍵點(diǎn)定位技術(shù)進(jìn)行了對(duì)比研究，并設(shè)計(jì)實(shí)現(xiàn)了一個(gè)綜合魯棒表情關(guān)鍵點(diǎn)定位演示系統(tǒng)。文獻(xiàn)[15]提出了基于人眼拓?fù)浣Y(jié)構(gòu)的人眼特征點(diǎn)跟蹤。在LFPW人臉數(shù)據(jù)集進(jìn)行試驗(yàn)，對(duì)比幾種方法，結(jié)果如表1所示。

圖4 LFPW人臉關(guān)鍵點(diǎn)檢測(cè)

方法準(zhǔn)確率(100%)形狀回歸(ESR)77.64魯棒的級(jí)聯(lián)構(gòu)成回歸74.46堿度下降法(SDM)68.68本文方法84.93

從表1可以看出，本文方法取得了84.93%的準(zhǔn)確率，而其他幾種方法均低于80%。LFPW數(shù)據(jù)庫(kù)的實(shí)驗(yàn)結(jié)果表明GPRT的性能明顯優(yōu)于其他方法。當(dāng)使用形狀檢索特征時(shí)，過(guò)度擬合會(huì)更重要。形狀檢索特征與形狀評(píng)估緊密相關(guān)：形狀檢索特征決定了形狀評(píng)估，而形狀檢索特征又是從基于圖像評(píng)估的像素坐標(biāo)中提取出來(lái)。擬合率之間的差異導(dǎo)致預(yù)測(cè)過(guò)程中提取出來(lái)的形狀檢索特征都不相關(guān)，進(jìn)而導(dǎo)致提取出的特征更不相關(guān)。其中文獻(xiàn)[13]提出的基于形狀回歸(ESR)的方法以及文獻(xiàn)[15]提出的基于堿度下降法(SDM)的方法均依賴于建立模型，對(duì)于存在遮擋或者模糊狀態(tài)下的面部圖像往往難以建立準(zhǔn)確的模型，制約了方法的使用。而文獻(xiàn)[14]提出的基于魯棒的級(jí)聯(lián)構(gòu)成回歸的方法，在定位魯棒關(guān)鍵點(diǎn)時(shí)，易受到算法本身計(jì)算成本過(guò)高的干擾，對(duì)于復(fù)雜場(chǎng)景中的面部圖像準(zhǔn)確率還有待進(jìn)一步提升。

4 結(jié)論

本文提出了一種基于形狀索引的DoG特征與GPRT相結(jié)合的人臉關(guān)鍵點(diǎn)檢測(cè)算法。GPRT由GPRT集合組成，并以一種貪婪分布式方法學(xué)習(xí)。GPRT的預(yù)測(cè)均值可在CRT框架中計(jì)算，泛化性能更佳。而且，本文也描述了形狀索引DoG特征。參考形狀評(píng)估，在局部視網(wǎng)膜模式上計(jì)算高斯濾波響應(yīng)差異，并由此來(lái)設(shè)計(jì)上述的形狀索引DoG特征。使用該特征的GPRT在LFPW數(shù)據(jù)庫(kù)獲得最佳性能。為了驗(yàn)證本文方法的有效性，將其與現(xiàn)有的幾種方法進(jìn)行比較，實(shí)驗(yàn)結(jié)果證明了本文方法的有效性。未來(lái)希望對(duì)該算法做出進(jìn)一步完善。