基于HOG與LBP特征的人臉識(shí)別方法

孫 玉，劉貴全

（1.安徽職業(yè)技術(shù)學(xué)院信息工程系，合肥230051；2.中國(guó)科學(xué)技術(shù)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，合肥230011）

基于HOG與LBP特征的人臉識(shí)別方法

孫 玉1，劉貴全2

（1.安徽職業(yè)技術(shù)學(xué)院信息工程系，合肥230051；2.中國(guó)科學(xué)技術(shù)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，合肥230011）

針對(duì)人臉識(shí)別方法在復(fù)雜環(huán)境下識(shí)別性能下降、單一特征表述能力有限的問(wèn)題，基于梯度方向直方圖（HOG）和局部二值模式（LBP）特征，提出一種人臉識(shí)別方法。通過(guò)提取人臉的HOG特征和LBP特征，利用主成分分析和線性判別分析方法進(jìn)行線性降維，給出基于加權(quán)的特征融合策略。在環(huán)境復(fù)雜的人臉數(shù)據(jù)庫(kù)上進(jìn)行實(shí)驗(yàn)，結(jié)果表明，相比于單一的局部特征，該特征融合方法能提高人臉識(shí)別的精度與速度。

人臉識(shí)別；梯度方向直方圖特征；局部二值模式特征；特征融合；識(shí)別率

1 概述

人臉識(shí)別是一種主要的生物特征識(shí)別技術(shù)，應(yīng)用前景廣泛，可用于公共安全、企業(yè)、教育、金融等領(lǐng)域。隨著人臉識(shí)別研究的深入和技術(shù)的進(jìn)步，近年來(lái)，已有很多產(chǎn)品成功地應(yīng)用到實(shí)際生活中。然而，人臉識(shí)別的研究和應(yīng)用面臨了諸多挑戰(zhàn)，人臉識(shí)別的性能受到各種因素的影響，如圖像分辨率低、模態(tài)多樣性、光照姿態(tài)遮擋等。

傳統(tǒng)的人臉識(shí)別方法主要采用特征提取和分類器的結(jié)構(gòu)，并且取得成功應(yīng)用。經(jīng)典的人臉識(shí)別方法采用主成分分析（Principal Com ponent Analysis，PCA）［1］和線性判別分析（Linear Discrim inant Analysis，LDA）［2］進(jìn)行人臉識(shí)別。另外，特征提取方面包括全局特征和局部特征。針對(duì)不同特征，學(xué)者提出各種特征表示方法，如Gabor特征［3］、LBP特征［4］、尺度不變特征轉(zhuǎn)換（Scale-invariant Feature Transform，SIFT）特征［5］、HOG特征［6］等。HOG特征最早被Navneet DA lal等［7］提出并應(yīng)用于行人檢測(cè)，隨后在靜態(tài)圖像的目標(biāo)識(shí)別中取得廣泛應(yīng)用。HOG特征與SIFT特征具有很多相似之處，不同在于HOG特征在一個(gè)大小統(tǒng)一的細(xì)胞單元上計(jì)算，具有更快的計(jì)算速度，且具有良好的檢測(cè)性能。同時(shí)，各種分類器被使用，如貝葉斯方法［8］、AdaBoost方法［9］、線性支持向量機(jī)（Support Vector Machine，SVM）［10］等。

基于多特征及特征融合方面的考慮，文獻(xiàn)［11］將LBP特征和Gabor特征相結(jié)合并在表情識(shí)別上取得較優(yōu)的識(shí)別性能。文獻(xiàn)［12］提出一種利用串并行結(jié)合的方式將全局特征和局部特征進(jìn)行集成，在大規(guī)模人臉庫(kù)上驗(yàn)證其精度和速度。文獻(xiàn)［13］提出一種基于特征采樣和特征融合的子圖像人臉識(shí)別方法，在多個(gè)人臉數(shù)據(jù)集上的測(cè)試結(jié)果表明該方法是單純的特征融合方法和特征采樣方法。文獻(xiàn)［14］提出基于子模式的Gabor特征融合方法，對(duì)單樣本人臉識(shí)別具有較優(yōu)的性能。文獻(xiàn)［15］將Gabor-like復(fù)數(shù)小波變換和原始圖像進(jìn)行特征融合，進(jìn)一步提高人臉識(shí)別的識(shí)別率。

HOG特征在目標(biāo)檢測(cè)和跟蹤領(lǐng)域用于描述物體的關(guān)鍵點(diǎn)特征，而LBP特征在紋理分析領(lǐng)域也取得成功應(yīng)用，這2種特征的表述能力都很強(qiáng)，但不能適用較多復(fù)雜的人臉環(huán)境。在復(fù)雜的人臉環(huán)境中，單一特征的表述能力有限，因此需要多個(gè)不同的特征進(jìn)行融合，期望得到準(zhǔn)確的人臉特征表示。

針對(duì)上述問(wèn)題，本文提出基于HOG和LBP特征融合的人臉識(shí)別方法。首先分別提取HOG特征和LBP特征，然后利用PCA和LDA方法進(jìn)行降維，最終采用特征融合策略進(jìn)行識(shí)別，并在標(biāo)準(zhǔn)人臉庫(kù)LFW和FRET上進(jìn)行實(shí)驗(yàn)。

2 人臉識(shí)別方法

2.1 特征表示

2.1.1 HOG特征

梯度直方圖特征在模式識(shí)別領(lǐng)域得到成功應(yīng)用，如人臉識(shí)別、行人檢測(cè)、目標(biāo)跟蹤等。HOG特征與SIFT特征類似，其計(jì)算量較小。另外，HOG特征的計(jì)算是基于一致空間的密度矩陣來(lái)提高準(zhǔn)確率。HOG的核心思想是所檢測(cè)的局部物體外形能夠被光強(qiáng)梯度或邊緣方向的分布所描述。HOG特征主要包括圖像歸一化、計(jì)算梯度、基于梯度幅度的方向權(quán)重投影、特征向量歸一化等幾個(gè)部分，具體計(jì)算過(guò)程如下：

（1）假定人臉圖片的大小為80×64，設(shè)置block塊的大小8×8，則人臉圖片共包含80個(gè)不重疊的block。

（2）在每個(gè)block上計(jì)算其梯度方向和幅值。本文采用簡(jiǎn)單的中心對(duì)稱算子［-1，0，1］計(jì)算梯度，如下式所示：

其中，I（χ，y）是圖片（χ，y）的像素值；θ（χ，y）為該點(diǎn)的梯度方向；m（χ，y）對(duì)應(yīng)為該點(diǎn)的幅度值。

（3）設(shè)置cell大小為4×4，在每個(gè)block內(nèi)按cell大小統(tǒng)計(jì)梯度直方圖，應(yīng)用梯度的幅值進(jìn)行規(guī)定權(quán)重投影。

（4）對(duì)于每個(gè)重疊block內(nèi)的cell進(jìn)行對(duì)比度歸一化，以消除光照的影響。

（5）將所有block內(nèi)的直方圖向量組合得到最終的HOG特征向量。

通常HOG結(jié)構(gòu)包括矩形HOG、圓形HOG和中心環(huán)繞HOG。通過(guò)實(shí)驗(yàn)得出矩形HOG的檢測(cè)結(jié)果更好，故本文采用矩形HOG結(jié)構(gòu)。對(duì)于梯度模板，采用一階模板計(jì)算梯度和方向，優(yōu)點(diǎn)是計(jì)算速度快且不會(huì)削弱人臉的邊緣特征。

HOG特征表示的是邊緣結(jié)構(gòu)特征，能夠有效表述目標(biāo)的局部信息，屬于局部特征范疇。HOG特征對(duì)圖像幾何和光學(xué)的形變都能保持很好的不變性。另外，在局部區(qū)域進(jìn)行歸一化直方圖，具有光照不變性。

2.1.2 LBP特征

LBP算子最初用來(lái)描述紋理特征，其基本思想是根據(jù)中心像素點(diǎn)與其圓形領(lǐng)域內(nèi)的像素點(diǎn)比較得到的二進(jìn)制碼來(lái)描述局部紋理特征。LBP算子具有高鑒別性、復(fù)雜度低、旋轉(zhuǎn)不變性和灰度不變性等顯著特點(diǎn)。LBP算子通常由（P，R）來(lái)表示，其中，P表示領(lǐng)域內(nèi)包含的像素個(gè)數(shù)；R表示領(lǐng)域半徑?；镜腖BP算子是（8，1）領(lǐng)域。將3×3領(lǐng)域像素值Pi（i=1，2，…，8）與中心像素值P0進(jìn)行比較，進(jìn)行閾值化處理，其計(jì)算公式為：

將bi（i=1，2，…，8）按順時(shí)針?lè)较蚺帕械玫揭粋€(gè)8位的二進(jìn)制編碼，再轉(zhuǎn)換為十進(jìn)制數(shù)，則得到LBP算子對(duì)中心像素計(jì)算得到后的結(jié)果。人臉圖像經(jīng)過(guò)LBP算子運(yùn)算后，對(duì)其做直方圖統(tǒng)計(jì)，得到直方圖特征向量，具體可以定義為：

其中，n為L(zhǎng)BP算子產(chǎn)生不同標(biāo)記的數(shù)據(jù)。本文采用人臉識(shí)別大多文獻(xiàn)采用的3×3領(lǐng)域的一致模式算子，即n=256。另外，當(dāng)χ為真時(shí)，I（χ）=1；當(dāng)χ為真時(shí)，I（χ）=0。

為了更好地表示人臉特征，保留人臉的空間結(jié)構(gòu)信息，將圖像分為區(qū)域R0，R1，…，Rm-1，各個(gè)區(qū)域的直方圖可定義為：

將這些子區(qū)域直方圖連接起來(lái)構(gòu)成最終的人臉特征向量，采用χ2統(tǒng)計(jì)來(lái)度量LBP特征之間的距離。

2.2 降維方法

2.2.1 PCA方法

PCA方法的基本思想是從人臉圖像中找出最能代表人臉的特征空間，去除一些不能代表人臉特征的屬性。假定有N個(gè)人臉樣本｛χ1，χ2，…，χN｝屬于c個(gè)類別｛X1，X2，…，Xc｝，每個(gè)樣本的圖像規(guī)格為w ×h，則每個(gè)樣本圖像的維數(shù)為n=w×h。這樣得到所有人臉樣本的N個(gè)n維列向量，對(duì)訓(xùn)練樣本求協(xié)方差矩陣得到：

PCA的目的是尋找一個(gè)最優(yōu)投影矩陣Wopt，使得：

其中，wi是散度矩陣ST的特征向量，特征值從大到小排列，取前m個(gè)最大特征值對(duì)應(yīng)的特征向量來(lái)近似表示原來(lái)的數(shù)據(jù)。這樣，人臉樣本經(jīng)過(guò)投影后得到了線性降維，即從n維降到m維，且滿足m＜＜n。

2.2.2 LDA方法

PCA方法是以樣本的最小重建誤差來(lái)提取人臉最優(yōu)特征表示，而LDA方法是以樣本類別可分性來(lái)提取人臉最優(yōu)特征。

LDA方法主要考慮類間散度矩陣和類內(nèi)散度矩陣。根據(jù)2.2.1節(jié)的定義，類間散度矩陣和類內(nèi)散度矩陣的公式分別如下：

其中，μ是樣本的均值。

其中，μi是第i類的均值；Ni是類Xi的樣本數(shù)。如果Sw非奇異，可以得到最優(yōu)正交矩陣，使得投影后的類間散度矩陣和類內(nèi)散度矩陣之比最大，即：

式（10）可以用下式來(lái)計(jì)算：

其中，i=1，2，…，m；wi是矩陣SWSb從大到小排列的特征值λi對(duì)應(yīng)的特征向量。

2.3 特征融合

由于單一特征表述能力有限，因此采用加權(quán)的方式進(jìn)行特征融合，融合公式如下：

其中，m表示分類器的數(shù)目；wi和ci分別表示第i個(gè)分類器的權(quán)重和輸出分?jǐn)?shù)；f（C）為特征融合后輸出的分?jǐn)?shù)。權(quán)重計(jì)算公式如下：

其中，Ei為第i個(gè)分類器的等錯(cuò)誤率。

假定有m個(gè)不同的分類器，其人臉圖像特征為χ，在對(duì)真實(shí)分類判別函數(shù)進(jìn)行估計(jì)時(shí)，有m個(gè)不同的判別函數(shù)：

其中，h（χ）表示真實(shí)的分類判別函數(shù)；gi（χ）表示第i個(gè)分類器的判別函數(shù)；而εi（χ）則表示為gi（χ）與真實(shí)函數(shù)之間的誤差函數(shù)。

在進(jìn)行特征融合之后，整個(gè)特征融合系統(tǒng)的均方差可以表示為：

加權(quán)系數(shù)滿足αi＞0

2.4 融合框架

上文分別給出了HOG特征、LBP特征和特征融合的具體過(guò)程，本文所提方法的框架如圖1所示。

圖1 基于HOG和LBP特征的融合

從圖1可以看出，融合后的特征可以保留原有特征的優(yōu)點(diǎn)，人臉的結(jié)構(gòu)信息和關(guān)鍵部位可以得到很好的表征。為了加快計(jì)算速度，采用經(jīng)典的PCA和LDA方法進(jìn)行降維，最終進(jìn)行特征融合。因此，本文方法充分考慮不同特征之間的特點(diǎn)，利用特征融合策略，且計(jì)算速度高效。

3 仿真實(shí)驗(yàn)與分析

3.1 LFW數(shù)據(jù)集

LFW數(shù)據(jù)庫(kù)［16］是一個(gè)最接近真實(shí)的大型人臉數(shù)據(jù)庫(kù)，由5 749個(gè)人的13 233幅圖像組成。其中，1 680人有2幅及以上的圖像，4 069人只有1幅圖像。圖像大小為250×250，絕大多數(shù)為彩色圖，少數(shù)為灰度圖。圖2給出LFW人臉庫(kù)的人臉示例。

圖2 LFW人臉庫(kù)示例

表1給出不同特征在LFW數(shù)據(jù)集上的識(shí)別率，從表中可以看出經(jīng)過(guò)LBP和HOG融合以后的特征識(shí)別率有了較大的提升。另外，由于融合特征前進(jìn)行了降維，因此融合特征的時(shí)間性能與單一特征基本一致。

表1 LFW數(shù)據(jù)集上不同特征的性能比較%

3.2 FRET數(shù)據(jù)集

FRET人臉數(shù)據(jù)庫(kù)包括14 051個(gè)不同光照、姿態(tài)、表情、攝像機(jī)下的灰度人臉圖片，分為訓(xùn)練集fa和測(cè)試集（fb，fc，dup1，dup2），具體的圖片參數(shù)如表2所示。圖3給出FRET人臉庫(kù)的人臉示例。

表2 FRET數(shù)據(jù)庫(kù)參數(shù)識(shí)別說(shuō)明

圖3 FRET人臉庫(kù)圖片

為了驗(yàn)證本文所提方法的有效性，給出HOG特征［6］、LBP特征［4］和融合特征在FRET測(cè)試集上的識(shí)別性能，如表3所示，其中，HOG特征和LBP特征的具體參數(shù)與相應(yīng)的參考文獻(xiàn)一致。從表3可以看出，雖然HOG特征和LBP特征適用于不同的測(cè)試集合，但融合特征兼顧2種特征的優(yōu)點(diǎn)，在4個(gè)測(cè)試集上均取得較優(yōu)的結(jié)果，且明顯優(yōu)于單一特征。

表3 FRET數(shù)據(jù)集上不同特征的識(shí)別性能比較%

表4給出LBP、HOG、融合特征的特征提取時(shí)間性能對(duì)比，圖像分辨率為80×64。從表中可以看出，LBP和HOG的特征提取時(shí)間基本在相同量級(jí)，但是融合特征經(jīng)過(guò)PCA和LDA降維以后，計(jì)算復(fù)雜度下降，時(shí)間性能也略微提升。

表4 FRET數(shù)據(jù)集上的時(shí)間性能對(duì)比m s

4 結(jié)束語(yǔ)

本文提出基于HOG和LBP特征融合的人臉識(shí)別方法，給出了2種特征提取方法及特征融合策略，充分考慮了不同特征之間的特點(diǎn)，計(jì)算速度較快。經(jīng)降維后，計(jì)算復(fù)雜度下降，時(shí)間性能也有所提升，2個(gè)大規(guī)模人臉數(shù)據(jù)集上取得了良好的識(shí)別性能。后續(xù)工作將考慮更多的特征融合，以改進(jìn)融合策略，并更好地應(yīng)用于復(fù)雜人臉識(shí)別問(wèn)題上。

［1］ Mohammed A A，Minhas R，Wu J，et al.Hum an Face Recognition Based on Multidimensional PCA and Extrem e Learning Machine［J］.Pattern Recognition，2011，44（10）：2588-2597.

［2］ Lu Guifu，Zou Jian，Wang Yong.Incremental Complete LDA for Face Recognition［J］.Pattern Recognition，2012，45（7）：2510-2521.

［3］ Perez C A，Cament L A，Castillo L E.Methodological Improvement on Local Gabor Face Recognition Based on Feature Selection and Enhanced Borda Count［J］.Pattern Recognition，2011，44（4）：951-963.

［4］ Ahonen T，Hadid A，Pietik?inen M.Face Recognition with Local Binary Patterns［M］.Berlin，Germany：Springer，2004：469-481.

［5］ Krizˇaj J，Sˇtruc V，Pavesˇic′N.Adaptation of SIFT Features for Robust Face Recognition［C］//Proceedings of the 7th International Conference on Image Analysis and Recognition.Berlin，Germany：Springer，2010：394-404.

［6］ M eyers E，W olf L.Using Biologically Inspired Features for Face Processing［J］.International Journal of Computer Vision，2008，76（1）：93-104.

［7］ Dalal N，Triggs B.Histograms of Oriented Gradients for Human Detection［C］//Proceedings of International Conference on Computer Vision and Pattern Recognition. Washington D.C.，USA：IEEE Press，2005：886-893.

［8］ Chen Dong，Cao Xudong，W ang Liwei，et al.Bayesian Face Revisited：A Joint Formulation［C］//Proceedings of European Conference on Computer Vision.Berlin，Germ any：Springer，2012：566-579.

［9］ Martínez-Contreras F，Orrite-Urun～uela C，Martínez-del-Rincón J.Adaboost Multiple Feature Selection and Combination for Face Recognition［C］//Proceedings of the 4th Iberian Conference on Pattern Recognition and Im age Analysis.Berlin，Germany：Springer，2009：338-345.

［10］ Wolf L，Hassner T，Taigman Y.Similarity Scores Based on Background Sam p les［C］//Proceedings of Asian Conference on Computer Vision.Berlin，Germany：Springer，2010：88-97.

［11］ Zhao Quanyou，Pan Baochang，Pan Jianjian，et al.Facial Expression Recognition Based on Fusion of Gabor and LBP Features［C］//Proceedings of International Conference on Wavelet Analysis and Pattern Recognition.Washington D.C.，USA：IEEE Press，2008：362-367.

［12］ 蘇 煜，山世光，陳熙霖，等.基于全局和局部特征集成的人臉識(shí)別［J］.軟件學(xué)報(bào)，2010，21（8）：1849-1862.

［13］ 朱玉蓮，陳松燦.特征采樣和特征融合的子圖像人臉識(shí)別方法［J］.軟件學(xué)報(bào)，2012，23（12）：3209-3220.

［14］ 王科俊，鄒國(guó)鋒.基于子模式的Gabor特征融合的單樣本人臉識(shí)別［J］.模式識(shí)別與人工智能，2013，26（1）：50-56.

［15］ 張 強(qiáng)，戚 春，蔡云澤.基于判別改進(jìn)局部切空間排列特征融合的人臉識(shí)別方法［J］.電子與信息學(xué)報(bào)，2012，34（10）：2396-2401.

［16］ Cao Zhim in，Yin Qi，Tang Xiaoou，et al.Face Recognition with Learning-based Descriptor［C］//Proceedings of International Conference on Computer Vision and Pattern Recognition.Washington D.C.，USA：IEEE Press，2010：2707-2714.

編輯 顧逸斐

Face Recognition Method Based on HOG and LBP Feature

SUN Yu1，LIU Guiquan2
（1.Department of Inform ation Engineering，Anhui Vocational and Technical College，Hefei 230051，China；2.College of Computer Science and Technology，University of Science and Technology of China，Hefei230011，China）

Due to complex environment of face recognition and limited express ability of single feature，a face recognition method based on Histogram of Oriented Gradient（HOG）and Local Binary Pattern（LBP）feature fusion is proposed.HOG and LBP features are extracted，and Principal Component Analysis（PCA）and Linear Discriminant Analysis（LDA）method is used to dimensionality reduction.Detection results are captured by feature fusion strategies. Experimental results on the face database show that the feature fusion method can not only get better recognition performance but also im prove recognition speed compared with single feature.

face recognition；Histogram of Oriented Gradient（HOG）feature；Local Binary Pattern（LBP）feature；feature fusion；recognition rate

孫 玉，劉貴全.基于HOG與LBP特征的人臉識(shí)別方法［J］.計(jì)算機(jī)工程，2015，41（9）：205-208，214.

英文引用格式：Sun Yu，Liu Guiquan.Face Recognition Method Based on HOG and LBP Feature［J］.Computer Engineering，2015，41（9）：205-208，214.

1000-3428（2015）09-0205-04

A

TP391.41

10.3969/j.issn.1000-3428.2015.09.038

國(guó)家自然科學(xué)基金資助項(xiàng)目（61073110）；安徽省教育廳重點(diǎn)教研基金資助項(xiàng)目（2012 jyxm722）。

孫 玉（1984-），男，副教授、碩士，主研方向：數(shù)據(jù)挖掘，人工智能；劉貴全，副教授、博士研究生。

2014-09-23

2014-10-22 E-m ail：sunyu127@163.com