一種基于特征匹配的人臉配準(zhǔn)判斷方法

阮曉虎, 李衛(wèi)軍, 覃鴻, 董肖莉, 張麗萍

（中國科學(xué)院半導(dǎo)體研究所 高速電路與神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)室，北京 100083）

?

一種基于特征匹配的人臉配準(zhǔn)判斷方法

阮曉虎, 李衛(wèi)軍, 覃鴻, 董肖莉, 張麗萍

（中國科學(xué)院半導(dǎo)體研究所 高速電路與神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)室，北京 100083）

現(xiàn)有的人臉識別應(yīng)用系統(tǒng)大都忽略了人臉配準(zhǔn)的檢查，造成“誤配準(zhǔn)災(zāi)難”，導(dǎo)致識別性能下降。因此，對規(guī)格化后的人臉圖像進(jìn)行判斷篩選，以保證只有正確配準(zhǔn)的人臉圖像才能用于后續(xù)識別。選用一定數(shù)量正確配準(zhǔn)的規(guī)格化人臉圖像平均值作為標(biāo)準(zhǔn)人臉，用SIFT關(guān)鍵點(diǎn)定位方法得到標(biāo)準(zhǔn)人臉的多個(gè)關(guān)鍵點(diǎn)，采用分塊的梯度方向直方圖統(tǒng)計(jì)方法提取關(guān)鍵點(diǎn)的鄰域圖像特征；然后，將標(biāo)準(zhǔn)人臉的關(guān)鍵點(diǎn)位置作為待檢測人臉的定位點(diǎn)，用同樣的方法提取定位點(diǎn)的鄰域圖像特征；計(jì)算待檢圖像與標(biāo)準(zhǔn)人臉圖像對應(yīng)關(guān)鍵點(diǎn)的特征矢量相似度，設(shè)定合理閾值判斷待檢測圖像是否配準(zhǔn)。實(shí)驗(yàn)證明，該方法能有效去除誤配準(zhǔn)人臉圖像，有利于提高人臉識別系統(tǒng)的可靠性。

人臉識別；圖像規(guī)格化；配準(zhǔn)判斷；圖像特征；SIFT描述子；梯度方向直方圖；關(guān)鍵點(diǎn)定位；圖像匹配

人臉識別是利用計(jì)算機(jī)技術(shù)通過人臉的圖像信息辨別不同身份的技術(shù)，迄今已有近50年的歷史。人臉識別的一般步驟是采集圖像數(shù)據(jù)、圖像預(yù)處理、人臉定位、人臉圖像規(guī)格化、人臉特征提取、特征匹配。在單人臉識別或者人臉注冊等過程中，為了保證人臉特征庫和用于識別的人臉圖像特征的統(tǒng)一性，必須保證規(guī)格化后的人臉圖像在眼睛、鼻子、嘴巴等部位的相對位置與標(biāo)準(zhǔn)人臉精確配準(zhǔn)。人臉配準(zhǔn)問題首先是由山世光等提出[1]，是指在人臉識別過程中，測試圖片與訓(xùn)練圖片的關(guān)鍵部位的位置是否匹配。文獻(xiàn)[1]指出：大多數(shù)被錯(cuò)誤識別的樣本完全可以通過精確調(diào)整眼睛的位置得到正確的識別結(jié)果，也就是說，識別性能的下降很大程度上是由于自動定位的眼睛位置不夠準(zhǔn)確造成的。在實(shí)際應(yīng)用中，由人臉誤配準(zhǔn)問題引起的識別率的下降時(shí)有發(fā)生。因此，在人臉識別系統(tǒng)中，保證規(guī)格化后用于識別的人臉圖像的正確配準(zhǔn)變得越來越重要。

1 相關(guān)工作

誤配準(zhǔn)對于人臉識別系統(tǒng)的不同階段有著不同的影響，對于人臉特征庫建模階段，誤配準(zhǔn)將導(dǎo)致人臉特征庫的信息不準(zhǔn)確，直接造成系統(tǒng)拒絕識別或者識別為他人，對于識別階段，誤配準(zhǔn)將導(dǎo)致識別率嚴(yán)重下降。文獻(xiàn)[2]討論了DAGR對誤配準(zhǔn)程度的魯棒性雖比Fisher face方法強(qiáng)，但還是一定程度的造成了“誤配準(zhǔn)災(zāi)難”。

解決“誤配準(zhǔn)災(zāi)難”問題有2條技術(shù)途徑：1）提高人臉圖像配準(zhǔn)的精確度及采用魯棒性強(qiáng)的特征，文獻(xiàn)[3-5]從精確人臉定位的方法入手，很大程度地改善了人臉配準(zhǔn)，文獻(xiàn)[6]通過構(gòu)建多層次人臉配準(zhǔn)算法，矯正了人臉圖像，文獻(xiàn)[7]比較分析了3種不同的技術(shù)ASM（active shape model）、CLM（constrained local model）、 AAM（active appearance model）用于自動高密集度標(biāo)記的人臉配準(zhǔn)方法，得到了較好的配準(zhǔn)效果，盡管如此，人臉定位仍然存在一定概率的錯(cuò)誤，目前還不存在理想的人臉定位算法；2）在人臉識別系統(tǒng)的“特征提取”步驟之前，對規(guī)格化人臉圖像進(jìn)行配準(zhǔn)判斷，去除錯(cuò)誤配準(zhǔn)的圖像，防止誤配準(zhǔn)圖像進(jìn)入后續(xù)流程而造成識別性能的下降。

本文從消除誤配準(zhǔn)的思路出發(fā)，提出一種人臉配準(zhǔn)的判斷方法，根據(jù)SIFT的關(guān)鍵點(diǎn)定位理論[9,14-16]，使用一種基于關(guān)鍵點(diǎn)鄰域分塊梯度方向直方圖統(tǒng)計(jì)的圖像特征提取方法提取待檢測圖像和標(biāo)準(zhǔn)人臉的特征，依據(jù)待檢測圖像與標(biāo)準(zhǔn)人臉圖像的特征匹配相似度來判斷人臉圖像是否正確配準(zhǔn)。

2 算法流程

2.1 算法框架

針對人臉識別中規(guī)格化完成后的人臉圖像，本算法通過比較待測圖像與標(biāo)準(zhǔn)人臉的特征相似度來實(shí)現(xiàn)配準(zhǔn)判斷，以篩選用于識別的定位正確的人臉圖像。算法步驟為：1）通過現(xiàn)有的人臉定位程序，對人臉庫中圖像進(jìn)行定位，經(jīng)過圖像分割規(guī)格化后選出500張正確配準(zhǔn)的人臉圖片，求平均人臉圖像作為標(biāo)準(zhǔn)人臉（此處選取定位正確的圖片是在統(tǒng)一光照條件下，去除了表情等因素影響的圖片，作為算法的先驗(yàn)知識）；2）用SIFT關(guān)鍵點(diǎn)定位算法在標(biāo)準(zhǔn)人臉上確定關(guān)鍵點(diǎn)K（K的信息包含位置KL，個(gè)數(shù)P），并用本文基于關(guān)鍵點(diǎn)鄰域梯度方向直方圖統(tǒng)計(jì)的方法提取標(biāo)準(zhǔn)人臉圖像特征，將該特征作為標(biāo)準(zhǔn)矢量模板（記為ST）；3）將標(biāo)準(zhǔn)人臉的關(guān)鍵點(diǎn)應(yīng)用為待測試人臉圖像的定位點(diǎn)，同樣由本文基于關(guān)鍵點(diǎn)鄰域梯度方向直方圖統(tǒng)計(jì)的方法提取待測試人臉定位點(diǎn)的圖像特征（記為MT）；4）求標(biāo)準(zhǔn)人臉特征ST與待測試人臉特征MT的余弦相似度，標(biāo)記大于設(shè)定閾值的圖像為正確配準(zhǔn)的圖像，否則，標(biāo)記為錯(cuò)誤配準(zhǔn)的圖像。算法流程如圖1所示。

圖1 本文算法流程

2.2 標(biāo)準(zhǔn)矢量模板的產(chǎn)生

2.2.1 標(biāo)準(zhǔn)人臉的產(chǎn)生

本算法中用到的標(biāo)準(zhǔn)人臉是定位正確人臉圖像的參考圖像，這決定了本算法的操作對象是預(yù)處理完成后與標(biāo)準(zhǔn)人臉具有相同規(guī)格的規(guī)格化人臉圖像。下面介紹一種人臉識別中關(guān)于人臉定位、切割及規(guī)格化的實(shí)現(xiàn)方法，也是本文實(shí)驗(yàn)部分所使用的人臉預(yù)處理方法。

對于初步預(yù)處理完成的人臉圖像，采用文獻(xiàn)[17]中給出的基于圖像幾何復(fù)雜度的方法進(jìn)行人臉定位，獲得人臉的雙眼坐標(biāo)位置和臉部區(qū)域如圖2（a）所示。根據(jù)兩眼連線與圖像水平線的角度θ確定人臉是否為正面人臉，并旋轉(zhuǎn)有偏斜的人臉圖像使之成為正面人臉。根據(jù)文獻(xiàn)[5]中的人臉切分尺寸結(jié)合實(shí)驗(yàn)修正，對旋轉(zhuǎn)完成后的人臉圖像按圖2（b）所示的尺寸對圖像做切割，其中d為眼矩（即雙眼之間的距離），圖像左右邊緣到眼睛的距離均為0.7d，上邊緣到兩眼中間距離為0.8d，下邊緣到兩眼中間距離為1.6d，切割完成的圖像如圖2（c）。對切割完成的人臉圖像規(guī)格化為40×40，如圖2（d）所示。

圖2 人臉切割

應(yīng)用上述方法，選擇500張定位正確的規(guī)格化后的圖像求得平均人臉，將該平均人臉設(shè)定為標(biāo)準(zhǔn)人臉。需要注意的是，當(dāng)使用不同的定位、切割及規(guī)格化方法時(shí)，標(biāo)準(zhǔn)人臉需要使用新的規(guī)格化圖像重新產(chǎn)生。

2.2.2 選取關(guān)鍵點(diǎn)

本文人臉定位配準(zhǔn)檢測的關(guān)鍵點(diǎn)采用標(biāo)準(zhǔn)人臉圖像的SIFT關(guān)鍵點(diǎn)。圖像的SIFT關(guān)鍵點(diǎn)由如下步驟得到，對圖像I，1）由式（1）構(gòu)建圖像的尺度空間L，即

L（x,y,σ）=G（x,y,σ）×I（x,y）

（1）

G（x,y,σ）=exp（-（x2+y2）/2σ2）/2πσ2

式中：I（x,y）為點(diǎn)（x,y）像素值，σ為尺度因子。2）建立圖像的高斯金字塔（difference of Gaussian, DOG），記為D（x,y,σ），在DOG空間中檢測局部極值。D（x,y,σ）由式（2）得到

D（x,y,σ）=（D（x,y,kσ）-D（x,y,σ））×I（x,y）=

L（x,y,kσ）-L（x,y,σ）

（2）

式中：k表示在尺度空間L中不同尺度級的索引，此處，kσ與σ表示差分的圖像尺度空間為2個(gè)相鄰的尺度級。在DOG空間中，如果檢測到某像素值在本層及相鄰層中是局部極值，即認(rèn)為該點(diǎn)是圖像的一個(gè)關(guān)鍵點(diǎn)。局部極值檢測如圖3所示。

圖3 DOG空間極值點(diǎn)檢測

用2.2.1節(jié)得到的標(biāo)準(zhǔn)人臉經(jīng)過以上SIFT關(guān)鍵點(diǎn)提取得到關(guān)鍵點(diǎn)K，表示為

關(guān)鍵點(diǎn)的選取基于這樣一個(gè)事實(shí)：對于定位正確的人臉，按統(tǒng)一的人臉切割方法得到的人臉圖像在眼睛、鼻子、嘴巴等關(guān)鍵部位必定有著相同的相對位置，相應(yīng)地，如果人臉定位超過一定偏差，剪切后的人臉圖像在上述關(guān)鍵部位與標(biāo)準(zhǔn)人臉必定無法配準(zhǔn)。需要注意的是，在不同的算法應(yīng)用中，標(biāo)準(zhǔn)人臉的SIFT關(guān)鍵點(diǎn)位置和數(shù)目可能不同。但是，選取標(biāo)準(zhǔn)人臉的SIFT關(guān)鍵點(diǎn)作為產(chǎn)生標(biāo)準(zhǔn)矢量模板的關(guān)鍵點(diǎn)，并對所有被檢測人臉圖像統(tǒng)一使用該關(guān)鍵點(diǎn)，在配準(zhǔn)判斷中具有統(tǒng)一性和可比性。同時(shí)，這種關(guān)鍵點(diǎn)的選擇具有SIFT關(guān)鍵點(diǎn)定位的理論依據(jù)，也符合一定的觀察經(jīng)驗(yàn)。對于定位正確的人臉圖像，這些關(guān)鍵點(diǎn)位置總是特征信息最豐富的點(diǎn)。

2.2.3 提取特征向量

本文采用基于關(guān)鍵點(diǎn)鄰域梯度方向直方圖統(tǒng)計(jì)的特征提取方法提取人臉圖像特征。對圖像I和某一個(gè)關(guān)鍵點(diǎn)Kp，以關(guān)鍵點(diǎn)為中心取w×w的窗口（記為W）作為一個(gè)塊（Block），再將該窗口W劃分為m×m個(gè)單元（Cell），如圖4所示。

圖4 關(guān)鍵點(diǎn)塊和單元劃分

在圖像F中，像素點(diǎn)L（x,y）的梯度幅值和方向的計(jì)算公式為

A（x,y）=|L（x+1,y）-L（x-1,y）|+

計(jì)算各單元中像素點(diǎn)的梯度幅值A(chǔ)和方向O，將方向值量化到n個(gè)方向：

式中：n為方向個(gè)數(shù)劃分。然后，由中心點(diǎn)與關(guān)鍵點(diǎn)KP重合的高斯窗口函數(shù)Gw對窗口W內(nèi)梯度幅值A(chǔ)進(jìn)行加權(quán)：

Gw（x,y）=exp（-（x2+y2）/2σ）/2πσ2

AW（x,y）=A×G=A（x,y）exp（-（x′2+y′2）/2σ）

式中：σ為加權(quán)因子，取值σ=w/2， AW為加權(quán)后梯度幅值，（x,y）∈W，x′,y′∈[-w,w]。

對單元c，統(tǒng)計(jì)n個(gè)方向的加權(quán)梯度幅值A(chǔ)W形成方向梯度直方圖Tc。在單元c中掃描每個(gè)像素點(diǎn)梯度方向，則Tc為

The weather in Kunming is warmer than that in Beijing.（昆明的天氣比北京的暖和。）此句中介詞短語表示地點(diǎn)。

式中：k=0,1,···,n-1,i∈c，n為方向個(gè)數(shù)，i為單元c中像素點(diǎn)索引。將所有單元格Tc（c=1,2,···,m×m）組合起來即構(gòu)成了該關(guān)鍵點(diǎn)Kp的特征向量T（p）：

最后，將所有關(guān)鍵點(diǎn)的特征向量組合起來即得到標(biāo)準(zhǔn)矢量模板ST：

考慮算法不同的應(yīng)用，可以根據(jù)圖像的復(fù)雜程度和處理目標(biāo)的要求選取窗口大小w和方向個(gè)數(shù)n，需要突出細(xì)節(jié)信息時(shí)，選取較小的窗口w和較大的方向個(gè)數(shù)n，一般來說，塊、單元及方向劃分個(gè)數(shù)可以分別選擇w=16,m=4,n=8。

2.3 人臉圖像配準(zhǔn)判斷

對待測試圖像，配準(zhǔn)判斷是通過待檢測圖像特征矢量MT與標(biāo)準(zhǔn)矢量模板ST的匹配相似度來度量，該相似度也表示了待測試圖像與標(biāo)準(zhǔn)人臉圖像的相似性（文中圖像間的相似度均由對應(yīng)圖像的特征矢量間的相似度來表示），判斷時(shí)，該相似度達(dá)到設(shè)定閾值即判定為正確配準(zhǔn)人臉圖像，否則，即是誤配準(zhǔn)人臉圖像。待檢測圖像特征矢量MT的求取統(tǒng)一采用2.2節(jié)中產(chǎn)生標(biāo)準(zhǔn)矢量模板時(shí)用到的關(guān)鍵點(diǎn)K和特征向量的求取方法，得到P個(gè)關(guān)鍵點(diǎn)的特征向量Ttest，表示為

求出待檢測圖像特征矢量MT與標(biāo)準(zhǔn)矢量模板ST中各關(guān)鍵點(diǎn)對應(yīng)特征向量的余弦相似度Sp：

再根據(jù)各關(guān)鍵點(diǎn)對最終判決的貢獻(xiàn)大小γ對各相似度加權(quán)，得到待檢測圖像特征矢量MT與標(biāo)準(zhǔn)矢量模板ST的匹配相似度S：

在試驗(yàn)中，可以發(fā)現(xiàn)對P個(gè)關(guān)鍵點(diǎn)的相似度求平均作為總體相似性時(shí)，S的值可以很好的實(shí)現(xiàn)分類，即對γ取值為γp=1/P（式中,p=1,2,···,P）。設(shè)判定閾值為Sthreshold，對于S≥Sthreshold的待測試圖像，判斷其為正確配準(zhǔn)人臉圖像，否則判斷為定位錯(cuò)誤人臉圖像，實(shí)驗(yàn)中，Sthreshold取值范圍為0.68～0.74。

2.4 算法分析和討論

人臉配準(zhǔn)判斷應(yīng)該引起足夠的重視，但是，該步驟的算法復(fù)雜度不應(yīng)大于人臉特征提取和識別等更重要的步驟，這一點(diǎn)限定了配準(zhǔn)判斷算法所允許的復(fù)雜度。

SIFT特征提取在圖像匹配方面表現(xiàn)出了優(yōu)良的性質(zhì)，例如：對旋轉(zhuǎn)、尺度、亮度變化的穩(wěn)定性、圖像特征描述的準(zhǔn)確性等。但是，關(guān)鍵點(diǎn)的尋找和方向的分配需要很大的計(jì)算開銷，很難進(jìn)行實(shí)時(shí)應(yīng)用。本文要解決的人臉配準(zhǔn)判斷，是針對正常人臉圖像通過定位剪切并規(guī)格化后的人臉圖片，通常規(guī)格為40×40。這些圖片的匹配有一些特點(diǎn)：對實(shí)時(shí)性有較高要求，需要高效的特征描述，圖像相對固定，不需要考慮旋轉(zhuǎn)、尺度和亮度等因子的變化。因此，本文算法基于SIFT關(guān)鍵點(diǎn)定位理論，對所有圖像都采用標(biāo)準(zhǔn)人臉的關(guān)鍵點(diǎn)，使用標(biāo)準(zhǔn)人臉特征作為比較模板，方便圖像的配準(zhǔn)判斷。圖像匹配過程中關(guān)鍵點(diǎn)位置的先驗(yàn)性，大大降低了算法復(fù)雜度。在不存在旋轉(zhuǎn)和尺度變化而又有較高實(shí)時(shí)性要求的圖像匹配應(yīng)用中，這種改進(jìn)表現(xiàn)出了良好應(yīng)用效果。

圖像特征提取方法運(yùn)用了SIFT在關(guān)鍵點(diǎn)選擇上的合理性，汲取方向梯度直方圖（histogram of oriented gradient, HOG）描述子的優(yōu)點(diǎn)[18]，將關(guān)鍵點(diǎn)的位置信息轉(zhuǎn)換成先驗(yàn)知識，采用關(guān)鍵點(diǎn)鄰域梯度方向直方圖統(tǒng)計(jì)的圖像特征進(jìn)行配準(zhǔn)檢測，很好地實(shí)現(xiàn)了配準(zhǔn)判斷，這是本文算法應(yīng)用上的創(chuàng)新和特色。同時(shí)，舍棄SIFT尺度空間的建立和關(guān)鍵點(diǎn)方向的分配，極大降低了算法的復(fù)雜度，該復(fù)雜度可以表示為O（nwP），其中， n為方向個(gè)數(shù)，w為窗口大小，P為關(guān)鍵點(diǎn)個(gè)數(shù)，本文算法中n=8,w=16,P=10。

實(shí)驗(yàn)證明，該算法花費(fèi)了很小的計(jì)算開銷（約為一張人臉圖像識別過程總時(shí)間的1%，此處，一張人臉圖像的識別時(shí)間為圖像預(yù)處理，圖像特征提取及特征匹配和識別的總時(shí)間，實(shí)驗(yàn)采用的相關(guān)算法是Local Gobar和主成分分析法（principal components analysis, PCA）結(jié)合的方法），保證了用于人臉注冊和識別的人臉圖像的配準(zhǔn)正確性。

3 實(shí)驗(yàn)分析

3.1 人臉配準(zhǔn)判斷

實(shí)驗(yàn)采用的人臉數(shù)據(jù)庫來自于我國深圳地區(qū)采集的不同人的正面人臉照片總共1 863張，人群為普通亞洲人，年齡段為16～80周歲。該數(shù)據(jù)庫圖片采用單色位圖格式，圖片尺寸為292×336，人臉面部細(xì)節(jié)清晰，姿態(tài)、表情單一，固定光照條件，示例如圖5。

圖5 實(shí)驗(yàn)用人臉數(shù)據(jù)庫樣本

在實(shí)際人臉識別系統(tǒng)中，人臉經(jīng)過定位以后，需要進(jìn)行人臉剪切使得用于識別的圖片只包含人臉信息，如圖6（a）所示。但是由于定位算法的缺陷，人臉可能被錯(cuò)誤定位，使剪切后的圖片與正確定位的人臉圖像存在偏離，出現(xiàn)錯(cuò)誤配準(zhǔn)現(xiàn)象，如圖6（b）所示，因此，需要對定位剪切后的人臉圖像進(jìn)行配準(zhǔn)判斷和篩選。本實(shí)驗(yàn)的目的是判斷人臉圖像是否配準(zhǔn)。實(shí)驗(yàn)采用文獻(xiàn)[17]中給出的基于圖像幾何復(fù)雜度的方法定位人臉和眼睛，經(jīng)過統(tǒng)一的圖像分割和規(guī)格化處理，定位正確的圖像可以生成正確配準(zhǔn)圖像，否則，生成的圖像為錯(cuò)誤配準(zhǔn)圖像。選取500張正確配準(zhǔn)圖像用于生成標(biāo)準(zhǔn)人臉，如圖6（c）所示，由2.2.2節(jié)方法得到的關(guān)鍵點(diǎn)位置和個(gè)數(shù)如圖6（d）所示。

圖6 規(guī)格化后的圖像

用數(shù)據(jù)庫中剩下的圖像重復(fù)試驗(yàn)得到1 175張正確配準(zhǔn)人臉圖像和約170張錯(cuò)誤配準(zhǔn)人臉圖像，并對圖像做標(biāo)準(zhǔn)人臉同樣的規(guī)格化和剪切處理。為了更全面地考慮錯(cuò)誤配準(zhǔn)的情況，試驗(yàn)中使用的錯(cuò)誤配準(zhǔn)的人臉圖像除了程序自動定位時(shí)產(chǎn)生的錯(cuò)誤配準(zhǔn)圖像，還加入了正確定位的圖像通過人為制造各個(gè)方向偏移、旋轉(zhuǎn)后的圖片，甚至包含少量不含人臉的圖片，并對實(shí)驗(yàn)圖片做相同的亮度和尺寸規(guī)格化。最終錯(cuò)誤配準(zhǔn)人臉圖像數(shù)量為350張。用第2節(jié)的方法提取標(biāo)準(zhǔn)矢量模板和各待測試圖像特征向量，計(jì)算1 175張正確配準(zhǔn)的人臉圖像特征向量與標(biāo)準(zhǔn)矢量模板的相似度，以及350張錯(cuò)誤配準(zhǔn)的人臉圖像特征向量與標(biāo)準(zhǔn)矢量模板的相似度，用該相似度表示待測試圖像和標(biāo)準(zhǔn)人臉圖像的相似度。此處，定位正確（即正確配準(zhǔn)）的人臉圖像是指定位臉和眼睛位置偏差不大于圖片尺寸的5%，臉部區(qū)域偏轉(zhuǎn)角度小于5°的圖片，否則，就是定位錯(cuò)誤的圖像。分析實(shí)驗(yàn)數(shù)據(jù)，得到的結(jié)果如圖7所示，圖中縱坐標(biāo)表示相似度，對于正確配準(zhǔn)圖像與標(biāo)準(zhǔn)人臉圖像相似度曲線，橫坐標(biāo)表示大于曲線表示的相似度的圖像占所有正確配準(zhǔn)圖像的百分比，對于錯(cuò)誤配準(zhǔn)圖像與標(biāo)準(zhǔn)人臉圖像相似度曲線，橫坐標(biāo)表示小于曲線表示的相似度的圖像占所有錯(cuò)誤配準(zhǔn)圖像的百分比。

圖7 關(guān)鍵點(diǎn)平均相似性曲線

從圖中可以看出，采用關(guān)鍵點(diǎn)相似度平均值作為總體相似性，應(yīng)用于人臉數(shù)據(jù)庫的建模階段時(shí)，在全部排除錯(cuò)誤配準(zhǔn)人臉圖片的情況下（對應(yīng)閾值為0.74），對正確配準(zhǔn)的人臉圖片的篩選率為 95.5%，即幾乎可以保留全部的正確配準(zhǔn)圖片。若應(yīng)用于人臉識別階段，在保證正確配準(zhǔn)圖像全部通過的情況下（對應(yīng)閾值為0.68），對錯(cuò)誤配準(zhǔn)圖像的排除率為95.7%，即可以排除絕大部分錯(cuò)誤配準(zhǔn)圖像。對圖7中處于曲線末端的數(shù)據(jù)（即與標(biāo)準(zhǔn)人臉相似度較低的正確配準(zhǔn)的人臉圖像和與標(biāo)準(zhǔn)人臉相似度較高的錯(cuò)誤配準(zhǔn)的人臉圖像）進(jìn)行邊緣情況分析，發(fā)現(xiàn)在正確配準(zhǔn)的圖像中存在如圖8（a）所示的圖片，在錯(cuò)誤配準(zhǔn)的人臉圖像中存在如圖8（b）所示的圖像。

圖8 邊緣情況分析

圖8（a）中的圖像雖然根據(jù)眼睛和臉判別為正確配準(zhǔn)圖像，但定位還是存在少量偏差，導(dǎo)致其相似度相對較低，只是這種偏差在允許的范圍之內(nèi)；相應(yīng)地，圖8（b）為定位偏差超出設(shè)定閾值的圖像，但是，由于偏差接近閾值，這些圖像與標(biāo)準(zhǔn)人臉的相似度相對較高。同時(shí)，一些圖像中的噪聲也可能導(dǎo)致其與標(biāo)準(zhǔn)人臉相似度的下降（例如：圖8（a）和圖8（b）中第3幅圖像），所以，該方法還可以排除被噪聲污染的圖像。

實(shí)驗(yàn)中，正確配準(zhǔn)的人臉圖像與標(biāo)準(zhǔn)人臉的高相似性及錯(cuò)誤配準(zhǔn)的人臉圖像與標(biāo)準(zhǔn)人臉的低相似性表明了該人臉配準(zhǔn)判斷方法的有效性。

同時(shí)，實(shí)驗(yàn)在特征提取的速度方面也進(jìn)行了測試，對相同大小的人臉圖片，分別用SIFT特征提取方法和本文算法提取圖像特征，在選用同樣的關(guān)鍵點(diǎn)時(shí)，SIFT算法和本文算法的耗時(shí)情況如表1。

表1 算法的耗時(shí)比較Table 1 Time-consuming comparison

從以上結(jié)果看出，本文提取算法相對于SIFT來說，極大地降低了耗時(shí)，由此驗(yàn)證了本文特征提取算法的高效性。

3.2 判別辨識度分析

實(shí)驗(yàn)得到正確配準(zhǔn)的人臉圖像與標(biāo)準(zhǔn)人臉圖像的相似度（記為SR），可接受的最大定位偏移或最大偏轉(zhuǎn)角度下的人臉圖像與標(biāo)準(zhǔn)人臉圖像的相似度（記為SM），則定義人臉配準(zhǔn)判斷的辨識度（記為SD）為

SD=SR-SM

辨識度越大表明越容易判別出錯(cuò)誤配準(zhǔn)的圖像。人臉定位偏移距離和偏轉(zhuǎn)角度定義為理論上正確人臉定位的位置和方向與實(shí)際人臉定位位置和方向間的距離和角度，可以接受的最大定位偏移和偏轉(zhuǎn)角度的圖像是指在不影響后續(xù)識別的情況下允許的最大定位偏差（偏移距離和偏轉(zhuǎn)角度），通常情況下，該偏移距離不大于圖像尺寸的5%[1]，而偏轉(zhuǎn)角度不大于5°。為了研究該人臉配準(zhǔn)判別方法的辨識度，該實(shí)驗(yàn)分別將人臉定位偏移距離和圖像旋轉(zhuǎn)角度作為自變量，人為地偏移正確配準(zhǔn)的人臉圖像，如圖9所示，其中，圖9（a）為正確配準(zhǔn)的人臉圖像，圖9（b）～ （e）各組圖像中，第一張圖像均為最大允許偏移量，即偏移為2個(gè)像素，后續(xù)圖像偏移量分別為5個(gè)像素、10個(gè)像素；圖9（f）～ （g）各組圖像中，第一張均為最大允許偏轉(zhuǎn)角度，即偏轉(zhuǎn)5°，其余圖像偏轉(zhuǎn)量分別為30°、55°。

圖9 各偏移量對應(yīng)的圖像

分析各偏移量下圖像與標(biāo)準(zhǔn)人臉圖像的相似度變化，得到曲線如圖10所示。

圖10 各偏移量下的相似度

對各定位偏移的最大允許偏移量進(jìn)行討論，得到各定位偏移下的人臉配準(zhǔn)判斷辨識度如表2。

通過以上各偏移距離和偏轉(zhuǎn)角度下的相似度走勢及表2數(shù)據(jù)，可以看出，該方法的辨識度對每種偏移量均在0.1以上，可以很好地實(shí)現(xiàn)配準(zhǔn)判斷。從各相似度與偏移量的變化趨勢也可以看出本文方法判斷人臉配準(zhǔn)的有效性。

3.3 實(shí)驗(yàn)結(jié)果分析

對人臉定位切分歸一化后的人臉圖像進(jìn)行分析，沒有加入本文方法的判斷篩選之前，這些圖像中包含一些錯(cuò)誤配準(zhǔn)的圖像如圖11所示。用本文的算法進(jìn)行篩選，在選定合適閾值時(shí)，這些錯(cuò)誤配準(zhǔn)的圖像均被剔除。通過實(shí)驗(yàn)驗(yàn)證，可以采用Local Gobar和主成分分析法相結(jié)合的算法，在3.1節(jié)用到的人臉數(shù)據(jù)庫上測試，加入該人臉篩選判斷后，識別率由96.5%提高到98.5%。

表2 各偏移量下辨識度Table 2 Resolution of the offsets

圖11 排除的錯(cuò)誤配準(zhǔn)人臉圖像

以上試驗(yàn)驗(yàn)證了本文提出的判斷人臉配準(zhǔn)方法的有效性，同時(shí)，運(yùn)用基于梯度方向直方圖統(tǒng)計(jì)的圖像特征提取及匹配方法也是一種新的嘗試。在圖像匹配中，這種特征提取方法得到的圖像特征能準(zhǔn)確地表達(dá)圖像信息，以向量相似性作為度量工具，可以在保持高匹配準(zhǔn)確性的同時(shí)極大地提高算法的效率。

4 結(jié)論

本文主要做了兩方面的工作：1）通過待檢測圖像與正確配準(zhǔn)的標(biāo)準(zhǔn)人臉的比較，解決了人臉配準(zhǔn)的判斷問題，這有利于提高人臉識別的識別率，增強(qiáng)算法的魯棒性；2）運(yùn)用基于關(guān)鍵點(diǎn)鄰域梯度方向直方圖統(tǒng)計(jì)的圖像特征提取方法，分別提取待測試圖像和標(biāo)準(zhǔn)人臉特征，在該特征空間進(jìn)行相似度計(jì)算，提出了一種新的圖像匹配思路。

考慮算法的應(yīng)用條件，本文方法有以下有待改進(jìn)的方面：1）本文的方法需要一定數(shù)量正確配準(zhǔn)人臉圖像做訓(xùn)練樣本（得到標(biāo)準(zhǔn)人臉）才能進(jìn)行后續(xù)的人臉配準(zhǔn)判斷；2）圖像匹配選取的關(guān)鍵點(diǎn)為標(biāo)準(zhǔn)圖像的SIFT關(guān)鍵點(diǎn)，這決定了本算法只適用于人臉識別步驟中經(jīng)過人臉定位、剪切、規(guī)格化后的圖像，篩選正面人臉圖像，而對于多姿態(tài)多表情的人臉圖像配準(zhǔn)判斷，算法還需要做一定改進(jìn)。此外，對于人臉識別中人臉的“誤配準(zhǔn)災(zāi)難問題”，除了對規(guī)格化后的人臉圖像進(jìn)行判斷篩選操作外，研究能夠克服配準(zhǔn)偏差的識別算法是另一個(gè)途徑。

[1]山世光,高文,唱軼鉦,等. 人臉識別中的“誤配準(zhǔn)災(zāi)難”問題研究[J]. 計(jì)算機(jī)學(xué)報(bào)， 2005， 28（5）： 782-791. SHAN Shiguang, GAO Wen, CHANG Yizheng, et al. "Curse of mis-alignment" problem in face recognition[J]. Chinese Journal of Computers, 2005, 28 （5）: 782-791.

[2]唱軼鉦，山世光，高文，等. Gabor 特征判別分析人臉識別方法的誤配準(zhǔn)魯棒性分析[J]. 計(jì)算機(jī)工程與運(yùn)用，2005（5）：56-59. CHANG Yizheng, SHAN Shiguang, GAO Wen, et al. Evaluation of gabor features for face recognition from the angle of robustness to mis-alignment[J]. Computer Engineering and Applications, 2005 （5）:56-59.

[3]JUNG C, SUN Tian, JIAO Licheng, et al. Eye detection under varying illumination using the retinex theory[J]. Elsevier Science, 2013, 113: 130-137.

[4]GU Jiayu, LIU Chengjun. Feature local binary patterns with application to eye detection[J]. Neurocomputing, 2013, 113: 138-152.

[5]WANG Shangfei, LIU Zhilei, SHEN Peijia, et al. Eye localization from thermal infrared images[J]. Pattern Recognition, 2013, 46:2613-2621.

[6]翟倩茹. 不同姿態(tài)人臉配準(zhǔn)方法研究[D]. 大連：大連海事大學(xué)， 2012： 1-12. ZHAI Qianru. Research on various poses face image registration[D]. Dalian:Dalian Maritime University, 2012:1-12.

[7]SETHURAM A, SARAGIH J, RICANEK K, et al. Extremely dense face registration: comparing automatic landmarking algorithms for general and ethno-gender models[C]//IEEE Fifth International Conference. Arlington VA, 2012： 135-142.

[8]LIN H, LIANG L, DU P, et al. Image registration based on Fourier-Mellin transform[J]. Geomatics and Information Science of Wuhan University, 2012, 37（6）: 649-652.

[9]劉小軍，楊杰，孫堅(jiān)偉，等. 基于SIFT的圖像配準(zhǔn)方法[J]. 紅外與激光工程， 2008， 37（1）： 156-160. LIU Xiaojun, YANG Jie, SUN Jianwei, et al. Image registration approach based on SIFT[J]. Infrared and Laser Engineering, 2008, 37（1）: 156-160.

[10]FUMIHIKO S. Image matching based on relation between pixels located on the maximum and minimum gray-levels in local area[J]. IEEE Transactions on Electrical and Electronic Engineering, 2007, 12（2）: 169-178.

[11]TRAJKOCIC M, HEDLEY M. Fast corner detection[J]. Image and Vision Computing, 1998, 16（2）: 75-87.

[12]蘇延超,艾海舟,勞世竑,等. 基于非線性Boosting回歸的多視角人臉配準(zhǔn)[J]. 自動化學(xué)報(bào), 2010, 36（4）: 522-527. SU Yanchao, AI Haizhou, LAO Shihong, et al. Non-linear boosting regression for multi-view face alignment[J]. Acta Automatica Sinica, 2010, 36（4）: 522-527.

[13]彭地.圖像配準(zhǔn)技術(shù)與優(yōu)化算法研究[D]. 上海：復(fù)旦大學(xué), 2011： 8-25. PENG Di. Image alignment technology and optimization algorithm research[D]. Shanghai:Fudan University, 2011: 8-25.

[14]LOWE D. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60（2）: 91-110.

[15]LOWE D. Object recognition from local scale invariant features[C]//International Conference on Computer Vision. Corfu, Greece, 1999: 1150-1157.

[16]LINDEBERG T. Scale-space theory: A basic tool for analysing structures at different scales[J]. Journal of Applied Statistics, 1994, 21（2）: 224-270.

[17]LI Weijun, XU Jian, WANG Shoujue. A fast eye location algorithm based on geometric complexity[C]//Proceedings of the 5th World Congress on Intelligent Control and Automation. Hangzhou, China, 2004: 4105-4107.

[18]DALAL N, TRIGGS B. Histograms of oriented gradients for human detection[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego, CA, USA, 2005, 1: 886-893.

阮曉虎，男，1986年生，碩士研究生，主要研究方向?yàn)閳D像、視頻處理與模式識別。參與國家自然科學(xué)基金重大研究計(jì)劃1項(xiàng)，獲得專利1項(xiàng)。

李衛(wèi)軍,男，1975年生，研究員，博士生導(dǎo)師，博士，主要研究方向?yàn)楦呔S形象計(jì)算、模式識別、計(jì)算機(jī)視覺，主要研究方向?yàn)榉律鷪D像處理技術(shù)、仿生模式識別理論與方法、近紅外光譜定性分析技術(shù)、高維信息計(jì)算。近年來主持國家自然科學(xué)基金項(xiàng)目2項(xiàng)，企業(yè)合作研究項(xiàng)目3項(xiàng)，發(fā)表學(xué)術(shù)論文18篇。

覃鴻，女，1977年生，工程師，博士，主要研究方向?yàn)橹悄苄畔⑻幚?、仿生信息學(xué)理論與技術(shù)應(yīng)用、模式識別。

An assessment method for face alignment based on feature matching

RUAN Xiaohu， LI Weijun， QIN Hong， DONG Xiaoli， ZHANG Liping

（Institute of Semiconductors, Chinese Academy of Sciences, Beijing 100083, China）

The lacking of confirmation for face alignment leads to an incorrect feature match. The decline of recognition rate in current application of face recognition is called "mis-alignment crash". Therefore, it is necessary to test and filter the normalized face images to make sure only the aligned face images can go through the recognition procedure. In the method, a bunch of right-alignment normalized face images were used to form a mean face which was defined as the standard face. The key points location theory of SIFT was used to get the key points of standard face and the features of neighboring images were extracted on the basis of blocked statistical histogram in gradient orientation. The location of key points of a standard face was taken as the positioning point of a face to be detected. Using the same method to extract the features of neighboring images showed that the similarities of the test images to the standard face were calculated according to their corresponding feature descriptors of the key points. A reasonable threshold was chosen to estimate and classify the images according to their similarities to standard face. The experiment proved that this method is effective in eliminating mis-aligned face image effectively and is beneficial for increasing the reliability of a face recognition system.

face recognition; image normalization; alignment assessment; image feature; SIFT descriptor; gradient orientation histogram; key point location; image matching

2013-12-31.

日期：2015-01-13.

國家自然科學(xué)基金資助項(xiàng)目（90920013）.

李衛(wèi)軍.E-mail: wjli@semi.ac.cn.

10.3969/j.issn.1673-4785.201312064

http://www.cnki.net/kcms/detail/23.1538.TP.20150113.1131.010.html

TP183

A

1673-4785（2015）01-0012-08

阮曉虎, 李衛(wèi)軍, 覃鴻, 等. 一種基于特征匹配的人臉配準(zhǔn)判斷方法[J]. 智能系統(tǒng)學(xué)報(bào)， 2015, 10（1）: 12-19.

英文引用格式：RUAN Xiaohu，LI Weijun，QIN Hong，et al. An assessment method for face alignment based on feature matching[J]. CAAI Transactions on Intelligent Systems, 2015, 10（1）: 12-19.