基于高維LPQ特征與聯(lián)合貝葉斯的人臉識別

邢玲，臧婷，穆國旺

（河北工業(yè)大學(xué)理學(xué)院，天津300401）

基于高維LPQ特征與聯(lián)合貝葉斯的人臉識別

邢玲，臧婷，穆國旺

（河北工業(yè)大學(xué)理學(xué)院，天津300401）

針對Sun Jian等人提出的構(gòu)造高維特征的方法，提出一種新的構(gòu)建高維特征的方法，并且將新的方法推廣到建立高維局部相位量化（Local Phase Quantization，LPQ）特征.在此基礎(chǔ)上，提出了一種新的人臉識別方法，首先提取圖像的高維LPQ特征，然后利用主成份分析（principal component analysis，PCA）方法對提取到的高維特征進行降維，最后利用聯(lián)合貝葉斯（Joint Bayesian）方法進行人臉認(rèn)證.該方法增加了圖像特征的有效性，在LFW人臉庫上的實驗結(jié)果表明，改進后的高維局部相位量化特征具有較高的識別率.

人臉識別；局部相位量化；高維特征；主成份分析；聯(lián)合貝葉斯分類

0 引言

人臉識別作為一種生物特征識別技術(shù)，是近年來模式識別、圖像處理、機器視覺、神經(jīng)網(wǎng)絡(luò)以及認(rèn)知科學(xué)等領(lǐng)域研究的熱點課題之一.同時人臉識別作為一種高穩(wěn)定性、難以復(fù)制、精度高、易于被人接受的生物特征識別技術(shù)，具有廣闊的應(yīng)用前景.目前，人臉識別已經(jīng)被廣泛應(yīng)用于軍事安全領(lǐng)域、公共安全領(lǐng)域、國家安全領(lǐng)域、智能門禁系統(tǒng)、智能視頻監(jiān)控系統(tǒng)、海關(guān)身份驗證以及司機駕照驗證等方面.然而由于人臉自身及所處環(huán)境的復(fù)雜性，如表情、姿態(tài)、圖像的環(huán)境、光照強度等條件的變化以及人臉上的遮擋物等，都會使人臉識別方法的魯棒性受到很大的影響.因此，目前人臉識別依然是一個具有挑戰(zhàn)性的問題.

在人臉識別過程中，特征提取是最為關(guān)鍵的一步，對人臉識別的準(zhǔn)確率具有重要影響.傳統(tǒng)的人臉特征大致可以分為全局特征和局部特征兩類.全局特征提取方法主要有基于模板的特征提取算法，基于面部器官的特征提取算法以及基于經(jīng)典的統(tǒng)計分析的方法，比如：主成份分析方法（PCA）[1-2]，線性判別分析（LDA）[3]，獨立成份分析（ICA）[4]以及它們的改進算法等.另外，還有一些基于頻域的全局信息提取算法，如離散傅里葉變換（DFT）和離散余弦變換（DCT），它們通過提取圖像的頻域信息而獲得圖像的全局表達(dá).由于這些算法不需要訓(xùn)練，而且可以通過FFT等快速算法實現(xiàn)而頗受歡迎.

由于全局特征提取方法不能很好地反映人臉圖像局部的形狀或紋理等特性，因此，人們又提出了基于局部特征的人臉表示方法.例如局部二值模式（LBP）特征[5]，SIFT特征[6]，HOG特征[7]，Gabor特征[8]，LPQ特征[9-10]等.

傳統(tǒng)上，在人臉識別中所有用到的特征維數(shù)一般在1萬（10 k）維左右.2013年Sun Jian等人[11]提出了利用關(guān)鍵特征點以及多尺度構(gòu)建高維LBP特征，稱為High-Dimensional LBP特征，對于1幅300×300的圖像，特征維數(shù)達(dá)到了10萬（100 k）的量級.他們的實驗表明，采用高維LBP特征作為原始特征然后再進行降維處理用于人臉識別比采用傳統(tǒng)的LBP特征識別率有明顯的提高.

人臉識別中常用的分類器有最近鄰分類器，貝葉斯分類器，支持向量機，神經(jīng)網(wǎng)絡(luò)等.在目前的各種方法中，基于深度學(xué)習(xí)的方法具有最高的識別率.一些最新的文獻表明，在傳統(tǒng)的人臉識別方法中，基于High-Dimensional LBP和Joint Bayesian的方法是目前識別率最高的方法之一.

本文對Sun Jian等人構(gòu)造高維LBP特征的方法進行改進，在此基礎(chǔ)上提出了高維LPQ特征，并進一步提出了基于高維LPQ特征和Joint Bayesian的人臉識別方法，并利用LFW數(shù)據(jù)集[12]對所提出的方法進行了測試，通過實驗證明了該方法的有效性.

1 LPQ特征

局部相位量化（LPQ）特征[9-10]基于離散的短時傅立葉變換（或局部離散傅里葉變換）.給定圖像f（x），在像素點x，取其M×M鄰域Nx，對鄰域Nx中的局部圖像做二維離散傅里葉變換得

式中，u表示頻率.取F（u，x）在4個頻點u1=[a，0]T，u2=[0，a]T，u2=[a，a]T，u4=[a，-a]T，的值，其中a= 1/M.對于每個像素位置，可以得到向量

令G（x）=[Re（F（x）），Im（F（x））]，則G（x）是長度為8的向量.令

其中，gj是向量G（x）=[Re（F（x）），Im（F（x））]的第j個分量，則得到G（x）的量化表示

稱為像素x處的LPQ編碼.和LBP特征類似，為了提取圖像的LPQ特征，一般首先將圖像分割成8×8的一些塊，在每個塊上，計算每個像素的LPQ編碼，然后再在每個塊上生成LPQ編碼的直方圖，最后將所有塊的LPQ直方圖向量串接起來，得到圖像的LPQ特征.

2 改進的高維特征

特征表達(dá)對于人臉識別率的高低有著重要影響，為了能夠充分描述人臉特征，2013年Sun Jian等人[11]提出了構(gòu)建高維特征，提出了高維LBP特征、高維Gabor、高維HOG特征和高維SIFT特征.他們首先檢測包括兩眼位置在內(nèi)的若干關(guān)鍵特征點，并將人臉圖像歸一化為300×300的圖像，然后，再縮小圖像，得到不同尺度的圖像.對于每個尺度的圖像，在每個關(guān)鍵點附近，取以關(guān)鍵點為中心的40×40的子塊，每個子塊又分成4×4=16個單元（cell），在每個cell中提取特征，并將16個單元的特征串接起來，得到某個尺度一個特征點相關(guān)的特征.再將所有尺度、所有特征點的特征串接起來，就得到最終的高維特征.在Sun Jian等人的方案中，在一個特征點處的特征表示是由16個單元的特征向量組成，但是，每個單元都不以該特征點為中心（如圖1a））.為此，本文對Sun Jian等人的方案進行了改進：在處理每個特征點時，除了考慮以上16個單元外，再增加一個以該特征點為中心的11×11的單元（如圖1b）），從而使所提取的特征信息更為全面.然后對于每個尺度按照改進的方案提取特征（如圖2），最后將每個尺度的特征串接起來，最終形成改進的高維特征.

在LFW數(shù)據(jù)庫上進行實驗，對比Sun Jian等人提出的高維LBP特征和本文提出的改進的高維LBP特征的識別率，發(fā)現(xiàn)改進的高維LBP特征識別率有所提高，實驗結(jié)果如表1.

3 高維LPQ特征

在SunJian的論文中，并未提出高維LPQ特征.本文，將Sun Jian等人的思想用于LPQ特征，因而提出了高維LPQ特征的概念及其提取方法.本文首先利用Face++對人臉進行檢測，并檢測包含眼睛在內(nèi)的25個特征點的位置，然后通過兩眼對齊方式對圖像進行歸一化操作，將圖像歸一化為300× 300的大小.

對于標(biāo)準(zhǔn)化后的圖像，通過圖像縮小，得到五個不同尺度的圖像，本文用到的5個尺度的大小分別為300×300，212×212，150×150，106×106，75×75.對于每個尺度的圖像，按照第3節(jié)中提到的改進高維特征的提取方法，在每個關(guān)鍵點附近，取40×40的子圖以及17個單元，在每個單元中提取LPQ特征，最后，將所有尺度，所有特征點、所有單元的LPQ特征串接起來得到高維LPQ特征.

圖2 不同尺度的圖像Fig.2 Image of different scales

表1 識別率結(jié)果對比圖Tab.1 Comparison of recognition rate results

4 聯(lián)合貝葉斯分類

本文采用高維LPQ特征和聯(lián)合Bayesian方法進行人臉識別.以下對聯(lián)合Bayesian方法[13]進行簡單敘述.給定兩種人臉的特征向量x1和x2，傳統(tǒng)的Bayesian方法是比較條件概率密度函數(shù)p（x1-x2│Ω1）和p（x1-x2│Ω2），其中，Ω1表示x1和x2來自同一個人，Ω2表示x1和x2來自不同的人.如果前者大于后者，則認(rèn)為x1和x2屬于同一個人，否則認(rèn)為x1和x2不屬于同一個人.而聯(lián)合貝葉斯方法則直接考慮聯(lián)合概率密度函數(shù)p（x1，x2│Ω1）和p（x1，x2│Ω2）.對人臉圖像特征先進行零均質(zhì)化處理（即，將每幅圖像特征減去所有圖像特征的均值），并且，假定人臉圖像的特征向量是2個獨立隨機變量的和：

其中：x表示某個人某幅圖像的特征向量；μ表示某個人所有圖像的均值向量；ε表示同一個人由于光照、表情、姿態(tài)等不同產(chǎn)生的差異.并且，假定μ和ε分別服從兩個正態(tài)分布N（0，Sμ）和N（0，Sε）.這里，Sμ和Sε是2個未知的協(xié)方差矩陣.

在x1和x2來自同一個人的條件下，μ1，μ2是相等的，ε1，ε2是相互獨立的，聯(lián)合分布p（x1，x2│Ω1）的協(xié)方差矩陣可以如下表示[13]：

在x1和x2來自不同人的條件下，μ1與μ2，ε1與ε2分別是獨立的，因此，聯(lián)合分布p（x1，x2│Ω2）的協(xié)方差矩陣可以如下表示[13]：

在以上假設(shè)下，對數(shù)似然比r（x1，x2）可以表示為：

這里

利用EM算法估計Sμ和Sε[13]，然后按照式（9）至式（10）即得到r（x1，x2）.在本文的人臉識別方法中，首先提取高維LPQ特征，然后利用PCA方法對其降維，最后以

作為特征向量x1和x2的距離度量來進行人臉識別.

5 實驗結(jié)果與分析

本文采用LFW（Labeled Faces in the Wild）人臉庫[12]進行實驗.由于早期的人臉數(shù)據(jù)庫，例如Yale，ORL，AR等人臉庫，或者圖像數(shù)量太少，或者是在可控的實驗室環(huán)境采集，光照、表情、姿勢變換不大，隨著人臉識別算法的成熟，在這些庫上識別率已經(jīng)很高.人臉識別的挑戰(zhàn)主要是當(dāng)光照、表情、姿勢、年齡變換比較大時，識別率還不是很理想.為此，近些年人們將研究的重點轉(zhuǎn)向了非約束的自然環(huán)境下人臉識別的研究.另外，近年來國內(nèi)外研究者提出了很多人臉識別算法.為了研究在自然環(huán)境下拍攝得到的人臉圖像的識別問題，并且對各種不同的人臉識別算法進行比較，馬薩諸塞大學(xué)（University of Massachusetts）計算機視覺組采集了一個用于人臉識別的數(shù)據(jù)庫——LFW人臉數(shù)據(jù)庫[12].該數(shù)據(jù)庫包含了從網(wǎng)絡(luò)上收集得到的5 749個人的13 000多幅圖像，其中，1 680人有2張以上的圖片.LFW包括2個視圖，視圖A用于算法設(shè)計階段，視圖B用于算法的評估.其中，視圖B由100個子集構(gòu)成，每個子集包含600對人臉圖像，其中300對屬于正樣本（每一對圖像來自同一個人），另外300對屬于負(fù)樣本（每一對圖像來自不同的人）.

圖3給出了經(jīng)過歸一化后的部分LFW圖像示例.

圖3 歸一化后的LFW圖像示例Fig.3 An example of a normalized LFW image

基于LFW的人臉識別實驗有多種協(xié)議，包括無監(jiān)督（unsupervised）方式，限制（Restricted）的方式，和非限制（Unrestricted）方式等.本文采用非限制方式等，即：在訓(xùn)練樣本中，假設(shè)圖像對（A，B）和（B，C）都是正樣本，則可以將（A，C）作為正樣本添加到訓(xùn)練集中.和所有LFW的實驗相同，本文采用10折交叉驗證的方法.即：首先提取所有圖像的高維LPQ特征，然后，每次用視圖B中的9個子集作為訓(xùn)練樣本進行基于PCA的子空間學(xué)習(xí)和Joint Bayesian訓(xùn)練，并確定最佳的距離閾值，用剩下的一個子集進行測試，重復(fù)10次，最后計算10次的正確識別率，用于對算法進行評價.實驗結(jié)果如表2.

在表2中還給出了LBP、HOG、Gabor、SIFT、LPQ、BIF特征在LFW人臉庫上實驗的結(jié)果.

通過表2可以發(fā)現(xiàn)，本文提出的高維LPQ特征相比于其他特征，識別率有了很大程度的提高，充分說明改進的高維LPQ特征更加有效的表達(dá)了圖像特征.

另外，將本文提出的高維LPQ特征同高維LBP特征，高維Gabor特征，高維HOG特征，高維SIFT特征在LFW人臉庫上進行了對比實驗，實驗結(jié)果如表3所示.

通過表3可以發(fā)現(xiàn)，本文提出的高維LPQ特征具有較高的識別率，說明將改進后的提取高維特征的方法推廣到LPQ特征是有意義的.

6 結(jié)束語

本文首先對Sun Jian等人提出的建立高維特征的方法進行改進，然后將改進后的建立高維特征的方法推廣到了LPQ特征上，提取了高維LPQ特征，在此基礎(chǔ)上提出了基于高維LPQ特征和Joint Bayesian的人臉識別方法，最后在LFW人臉庫上進行了實驗.實驗結(jié)果表明，和LBP、HOG、Gabor、SIFT、LPQ、BIF等特征以及相應(yīng)的高維特征相比，本文提出的人臉識別方法具有更高的識別率.

表2 高維LPQ與普通特征識別率對比表Tab.2 Comparison of high-dimensional LPQ and common feature recognition rate

表3 高維LPQ與其他高維特征識別率對比表Tab.3 High-dimensional LPQ and other high-dimensional feature recognition rate comparison table

[1]Perlibakas V.Distance measures for PCA-based face recognition[J]. Pattern Recognition Letters，2004，25（6）：711-724.

[2]Yang J，Zhang D，F(xiàn)rangi A F，et al.Two-dimensional PCA:a new approach to appearance-based face representation and recognition. [J].IEEE Transactions on Pattern Analysis&Machine Intelligence，2004，26（1）：131-137.

[3]Xie Yong lin.LDA and Its Application in Face Recognition[J].Computer Engineering and Application，2010，46（19）：189-192.

[4]Belhumeur P N，Hespanha J P，Kriegman D J.Eigenfaces vs.Fisherfaces:Recognition using class specific linear projection[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，1997，19（7）：711-720.

[5]Ahonen T，Hadid A，Pietik?inen M.Face Recognition with Local Binary Patterns[C]//Computer Vision-ECCV2004，European Conference on Computer Vision，Prague，Czech Republic，May 11-14，2004.Proceedings.2014：469-481.

[6]Bicego M，Lagorio A，Grosso E，et al.On the Use of SIFT Features for Face Authentication[C]//Computer Vision and Pattern Recognition Workshop，2006.CVPRW'06.Conference on.2006：35.

[7]AlbiolA，SastreJ，AlbiolA.HOG-EBGMVS.GABOR-EBGM[C]//Image Processing，2008.ICIP 2008.15th IEEE International Conference on.IEEE，2008：1636-1639.

[8]Gabor D.Theory of communication.IEEE[J].Journal of the Institute of Electrical Engineers of Japan，1946，93：429-457.

[9]Ahonen T，Rahtu E，Ojansivu V，et al.Recognition of blurred faces using Local Phase Quantization[C]//International Conference on Pattern Recognition.IEEE，2008:1-4.

[10]李嵐，師飛龍，徐楠楠.自適應(yīng)加權(quán)局部相位量化的人臉識別[J].光電工程，2012，39（12）：138-142.

[11]Wen Fang,Cao Xudong,Chen Dong,et al.Blessing of dimensionality:high-dimensional feature and its efficient compression for face verification[C]// 2013 IEEE Conference on Computer Vision and Patttern Recognition.2013：3025-3032.

[12]Huang G B，Ramesh M，Berg T，et al.Labeled faces in the wild:A database for studying face recognition in unconstrained environments[R].Technical Report 07-49，Amherst：University of Massachusetts，2007.

[13]Chen D，Cao X，Wang L，et al.Bayesian Face Revisited:A Joint Formulation[C]//Computer Vision-ECCV 2012.Springer Berlin Heidelberg，2012: 566-579.

[責(zé)任編輯 楊屹]

Face recognition with high-dimensional LPQ feature and Joint Bayesian method

XING Ling，ZANG Ting，MU Guowang
（School of Science,Hebei University of Technology,Tianjin 300401,China）

The method for construction of high-dimensional feature proposed by Sun Jian etc was improved and a modified high-dimensional feature was constructed,the method was extended to local phase quantization(LPQ)feature,and high-dimensional LPQ feature was presented.A new method for face recognition was proposed.Firstly,the high-dimensional LPQ features of facial images was extracted,then the dimension was reduced by principal component analysis(PCA) method,finally,the Joint Bayesian method was used for face authentication.The method increases the effectiveness of image features.Experimental results on LFW face database show that our method has a high recognition rate.

face recognition;Local Phase Quantization(LPQ);high-dimensional feature;Principal Component Analysis (PCA);Joint Bayesian classification

TP387

A

1007-2373（2017）03-0063-05

10.14081/j.cnki.hgdxb.2017.03.011

2016-12-11

河北省自然科學(xué)基金（E2014202124）

邢玲（1990-），女，碩士研究生．通訊作者：穆國旺（1970-），男，教授，muguow@hebut.edu.cn．