基于級聯(lián)支持向量機融合多特征的人臉檢測

張小龍 劉書炘 劉滿華

基于級聯(lián)支持向量機融合多特征的人臉檢測

張小龍1劉書炘2劉滿華1

1(上海交通大學儀器科學與工程系 上海 200240)

2(漳州師范學院教育科學與技術系 福建 漳州 363000)

人臉圖像中包含豐富的特征信息，不同特征具有其各自的優(yōu)勢。基于此，提出一種基于級聯(lián)支持向量機有效融合多種特征的人臉檢測算法。該算法首先利用膚色模型對待檢圖像進行預處理，篩選出疑似人臉區(qū)域。然后在疑似區(qū)域中提取圖像的HOG(Histogram of Oriented Gradients)和LBP(Local Binary Patterns)特征，并分別對這兩種特征集進行特征選擇，訓練兩個SVM(Support Vector Machine)分類器，最后將兩個SVM分類器級聯(lián)起來實現(xiàn)人臉檢測。在多個人臉圖像數(shù)據(jù)庫上的實驗結(jié)果表明，該人臉檢測算法提高了人臉檢測率，降低了誤檢率，并且對多種光照條件、姿態(tài)、表情以及部分遮擋的情況都具有較好的魯棒性。

人臉檢測 HOG特征 LBP特征 SVM分類器 級聯(lián)分類器

2(DepartmentofEducationScienceandTechnology,ZhangzhouNormalCollege,Zhangzhou363000,Fujian,China)

0 引 言

人臉是一種重要的生物特征，經(jīng)常用來識別人的身份信息。

人臉識別技術相對于指紋、虹膜等生物特征識別技術具有多方面優(yōu)勢。例如，采集指紋、虹膜信息可能給被采集者帶來不適感，而采集人臉圖像的方式則較舒適方便；虹膜對采集設備有較高要求等。人臉識別技術在視頻監(jiān)控、安檢、考勤、人機交互等場合有著廣泛的應用，而作為人臉識別的關鍵環(huán)節(jié)，人臉檢測的效果好壞關系到最后人臉識別的效果。實際檢測中面臨的圖像光照條件、姿態(tài)、表情和遮擋等的影響[1]，會造成檢測的準確率低，誤檢測數(shù)量多。

目前，人臉檢測的方法主要有基于認識的方法、基于不變特征的方法、基于模板匹配的方法、基于表象的方法[3]等幾類?；谥R的方法[8]根據(jù)研究人員對人臉的認識，事先定義好人臉描述的規(guī)則，并且依據(jù)這些定義的規(guī)則對圖像進行檢測，但是這種方法很難將人們對人臉的認識完整準確地轉(zhuǎn)換成規(guī)則，規(guī)則如果太嚴格，可能檢測不到人臉，反之會產(chǎn)生很多錯誤檢測，同時，它也很難廣泛應用到不同姿態(tài)人臉的檢測中；基于不變特征的方法[9]希望能在姿態(tài)、視角和光照條件變化的情況下找到人臉的不變特征，例如眉毛、眼睛和鼻子等，以此來進行人臉定位，但這種方法容易受到光照、噪聲和遮擋等的影響而導致可靠性低；基于模板匹配的方法[10]先獲得若干人臉的標準模式，以這些標準模式來描述人臉特征，并計算輸入圖像與標準模式間的相關性，來判斷是否為人臉，但是它不能有效地處理尺度、姿態(tài)等變化，因此檢測結(jié)果也不準確；基于表象的方法[11]則是通過統(tǒng)計分析和機器學習的方法從大量樣本圖像中學習出能夠表達人臉特征多樣性的模型，運用模型來檢測人臉[4]，目前這類方法是主流方法，它的檢測效果好，解釋性強，是人臉識別研究的熱點。

基于在行人檢測[4]中性能優(yōu)異的HOG特征和在紋理檢測[5]中性能優(yōu)異的LBP特征，本文提出一種基于HOG特征和LBP特征融合的檢測方法來克服前面所述幾種情況對檢測的不利影響。首先建立人臉的膚色模型，利用膚色模型盡可能去除圖像背景，然后利用兩種特征的SVM分類器級聯(lián)得到最終的分類器，對去除背景后的圖像進行人臉檢測。這樣能大量縮短人臉檢測的搜索時間，有效克服光照、姿態(tài)、表情和遮擋等影響，取得更好的檢測率和誤檢率。算法流程圖如圖1所示。

圖1 算法流程圖

1 彩色人臉圖像的膚色預處理

膚色是人臉的一個重要特征，在彩色圖像檢測中可以利用來對圖像進行預處理，刪除背景區(qū)域。通常所用顏色空間為RGB，而RGB容易受光照影響，直接用來進行膚色預處理效果較差[14-16]。而在YIQ顏色空間中，不同人種的人體膚色值基本都維持在同一個區(qū)間中。 因此在對彩色圖像進行檢測前，可以先將圖像的顏色空間由RGB變換到Y(jié)IQ。然后將疑似膚色區(qū)域保留下來，非膚色區(qū)域作為背景去掉，以此來縮短后續(xù)檢測過程的搜索時間，并減少在非膚色區(qū)域可能產(chǎn)生的誤檢測，降低誤檢率，提高檢測速度和精度。

(1)

圖2 膚色預處理效果

2 人臉圖像的特征提取與特征選擇

2.1 特征提取

人臉圖像不僅擁有特定的輪廓信息，也擁有特定的紋理信息[17]。HOG特征能夠很好地編碼人臉的輪廓特征，LBP特征則可以捕捉人臉的細節(jié)紋理特征，因此利用HOG特征和LBP特征互補可以提高檢測的效果。

2.1.1 HOG特征提取

HOG特征[4]具有多種優(yōu)勢，它在行人檢測中取得了很好的檢測效果。首先，它對微小的平移、旋轉(zhuǎn)等具有很好的不變性；其次，它能夠獲取局部形狀的邊緣或梯度信息，減弱光照的影響；最后，它對圖像在顏色空間進行歸一化，減弱光照影響，抑制噪聲干擾[4]。HOG特征提取過程如下：

(1) 將樣本圖像的尺寸歸一化為80×80。將80×80的窗口以圖像左上角為原點，劃分為互相重疊的16×16圖像塊，相鄰圖像塊之間重疊50%，共計81個圖像塊。

(2) 將每個圖像塊劃分為4個互不重疊的8×8 元胞。在每個cell中利用梯度算子[-1,0,1]和[-1,0,1]T計算各點的梯度，在0～180°等分成的9個方向區(qū)間中統(tǒng)計梯度方向的直方圖，投影到同一個方向區(qū)間中的梯度值累加起來，這樣就提取出每個元胞的9維HOG特征。將4個元胞的HOG特征串聯(lián)起來得到向量v并歸一化，得到每個圖像塊的特征：

(2)

其中ε是很小的常數(shù)。將每個圖像塊的向量v串聯(lián)起來得到一個樣本的2916維HOG特征。

2.1.2 LBP特征提取

LBP特征對光照條件和噪聲等影響不敏感[5]，它已在紋理檢測分類中取得較好的效果，可以用LBP特征來區(qū)分人臉與非人臉的紋理特征。假設在一個3×3鄰域內(nèi)，中心點灰度值為gc，周圍8個點的灰度值為gp，則半徑為1的8點鄰域中LBP特征定義如下：

(3)

光照的單調(diào)變化不會引起gp-gc符號的變化，也不會引起s(gp-gc)值的變化，所以LBP特征光照變化的影響不敏感。為了對噪聲具有魯棒性，采用LBP特征的等價模式(Uniform LBP)，特征維數(shù)從256降低到59，減小了計算量和存儲空間，同時削弱了噪聲對檢測造成的影響。LBP特征提取過程如下：

(1)將所有樣本圖像的尺寸歸一化為80×80。將80×80的窗口以圖像左上角為原點，劃分為互相重疊的16×16 圖像塊，相鄰圖像塊之間重疊50%，共計81個圖像塊。

(2)在每個圖像塊中提取得到59維的LBP特征v，將每個block的特征串聯(lián)起來，組合成一幅樣本圖像4779維LBP特征。

2.2 特征選擇

單幅圖像的HOG特征為2916維，LBP特征為4779維，特征中存在著冗余或不相關信息，有必要對特征進行選擇，選取有用的特征信息，減少計算過程中存儲特征所需的存儲空間消耗和運算量，同時使訓練得到的分類器泛化性能更好。

特征選擇是在原始特征集合中，以一定的標準將對分類結(jié)果有更大貢獻的特征挑選出來，組合成一個精簡的特征子集。特征選擇方法基于評價準則來劃分可分為filter方法和wrapper方法兩類[13]。filter方法選擇特征的過程與分類器對特征子集的評價是獨立的，它能快速地進行特征選擇，且選擇得到的特征訓練時不易發(fā)生過擬合；wrapper方法則是在選擇特征的過程中，利用分類器的分類結(jié)果對所選擇的特征子集進行性能評價。這里將filter方法與wrapper方法相結(jié)合來進行特征選擇。采用filter方法中常用的Fisher檢驗、信息增益、Relief-F、T-test、Chi-Square、Kruskal-Wallis等方法[13]來對特征進行排序，利用wrapper方法來評價選擇的特征子集性能。為了綜合這幾種filter方法的評估結(jié)果，將每個特征的分數(shù)都歸一化到[0，1]區(qū)間，將歸一化后的分數(shù)取平均值，得到各個特征在多種特征選擇方法下的平均分數(shù)為:

(4)

其中fji為第j種方法對第i個特征的分數(shù)。將得到的所有scorei進行排序，scorei值越大表明特征越重要。特征選擇過程如下：

(1) 訓練樣本集T，測試樣本集S，初始特征集合F，篩選特征集合Fsel=φ，分類準確率Acc= 0；

(2) 計算每個特征的分數(shù)scorei并排序；

(3) 從F中選擇scorei最大的特征F*加入Fsel=φ，在T上訓練SVM分類器，在S上進行測試，計算當前分類準確率Acccurrent；

(4) 若Acccurrent>Acc，F(xiàn)=F-F*，F(xiàn)sel=Fsel+F*；若F≠φ，轉(zhuǎn)步驟(3)；否則結(jié)束。

為了加快特征選擇的速度，每次選擇前50個特征F*加入

Fsel。實驗圖像是由互聯(lián)網(wǎng)下載的85幅圖像，共511張人臉，實驗結(jié)果如表1所示。

表1 特征選擇前后檢測結(jié)果對比

采用上述方法HOG特征維數(shù)由2916降低到1365。對LBP特征進行特征選擇后發(fā)現(xiàn)，誤檢率增加而檢測率有較多降低，因此對LBP特征不實施特征選擇，直接采用原始特征，可以保證有較高的檢測率。

3 基于SVM級聯(lián)的分類器設計和分類器判斷

SVM分類器[12]是一種常用的有監(jiān)督學習的模式分類器。其特點是能夠同時最小化經(jīng)驗誤差與最大化幾何邊緣區(qū)，通過核函數(shù)，可以使得支持向量機對非線性可分的任務進行分類。參考Original Adaboost方法[7]及文獻[8]將多級分類器級聯(lián)起來的做法，本文提出基于支持向量機級聯(lián)的分類器設計方法來有效融合上述兩種特征。該方法首先對兩種特征分別訓練出各自的SVM分類器，然后將兩個分類器級聯(lián)起來完成最終的人臉檢測。第一級采用檢測率高、耗時短的分類器，盡快地將疑似人臉區(qū)域篩選出來，排除一定數(shù)量的非人臉區(qū)域；再利用第二級分類器對第一級找到的疑似人臉區(qū)域進行判別，排除非人臉窗口，降低誤檢率。這樣，第一級分類器更加注重檢測率且耗時較短，而對誤檢率的要求寬松一些，第二級分類器在第一級保證高檢測率的前提下，排除誤檢窗口，保證最終結(jié)果的高檢測率、低誤檢率，且耗時較短。首先LBP特征提取操作費時較多、維數(shù)較大，在SVM分類時計算量也比HOG特征大，導致基于LBP特征的SVM分類器檢測耗時比HOG特征的分類器多近9倍?；贖OG特征的SVM分類器檢測時間比基于LBP特征的SVM分類器短，檢測率高，漏檢率低，因此第一步可以用HOG特征的分類器作粗略檢測，在較短時間內(nèi)確定疑似人臉區(qū)域，保證檢測率。第二步再用LBP特征的分類器作精確檢測，排除錯誤窗口，降低誤檢率，最終基于HOG和LBP特征SVM分類器級聯(lián)。

為了保證不同尺度不同位置的人臉都能被檢測到，要對檢測圖像進行多尺度、滑動掃描窗口檢測判斷。在一定尺度下，將膚色預處理后的圖像由左上角開始，按照預設的步長，劃分成若干大小80×80的掃描窗口。每個窗口均提取HOG特征，然后輸入給級聯(lián)分類器的第一級，也就是HOG特征SVM分類器，如果某個窗口的判斷結(jié)果為人臉，則將該窗口的信息保存起來。第一級SVM對所有窗口判斷完畢后，將所有保留下來的窗口各自提取LBP特征，輸入給級聯(lián)分類器的第二級即LBP特征SVM分類器，作進一步判斷。對于判斷結(jié)果仍然為人臉的，則保留窗口的尺度縮放信息和位置信息。完成當前尺度下的檢測后，對檢測圖像按照預先設置的尺度縮放比例進行縮小，進入下一個尺度下的檢測。所有尺度檢測完成后，對不同尺度不同位置的檢測結(jié)果進行融合，得到最終的結(jié)果。

4 實驗結(jié)果及分析

本文中訓練SVM設置的參數(shù)C=0.01，采用線性核函數(shù)。實驗平臺是Intel Core i5-2300 2.80 GHz處理器， 2 GB RAM。訓練所用的人臉樣本是來自AR Database、Yale Face Database B、BioID Database、ORL Database、CVL Database等數(shù)據(jù)庫的1789幅正面人臉圖像，以及從互聯(lián)網(wǎng)下載的1356幅人臉圖像共計3145幅正面人臉圖像。將人臉部分截取出來并尺寸歸一化到80×80。非人臉樣本則是從不包含人臉的圖像中隨機提取3200個80×80的子窗口獲得的。為了進一步驗證本文算法的有效性，在文獻[6]使用的測試圖像庫上進行測試，并與文獻[6]算法的測試結(jié)果進行比較。實驗結(jié)果如表3和表4所示。文獻[6]使用的是Caltech圖像庫和Georgia圖像庫，Caltech圖像庫有450幅圖像，具有不同光照條件、表情和遮擋情況；Georgia數(shù)據(jù)庫有750幅圖像，姿態(tài)和表情各不相同。文獻[6]采用的檢測方法是將級聯(lián)Adaboost分類器與神經(jīng)網(wǎng)絡分類器結(jié)合起來。級聯(lián)Ada-boost分類器檢測率高，但也會產(chǎn)生較多誤檢測；而神經(jīng)網(wǎng)絡檢測效果較好，但是耗費時間較長。兩種分類器單獨使用都不能得到理想的結(jié)果，因此文獻[6]先利用級聯(lián)Adaboost花費較短的時間來粗略檢測，保證較高的檢測率，然后利用神經(jīng)網(wǎng)絡對粗略檢測結(jié)果進一步判斷，降低誤檢率。在上述兩個圖像庫上的部分測試結(jié)果如圖3所示。

首先，為了驗證級聯(lián)SVM分類器的性能，在Caltech人臉數(shù)據(jù)庫上對HOG和LBP兩種特征的單個SVM分類器以及融合HOG和LBP特征的級聯(lián)分類器檢測結(jié)果進行比較，如表2所示。實驗結(jié)果顯示，級聯(lián)分類器相比于HOG特征的分類器，檢測率降低了0.41%，但是誤檢率降低為后者的25.8%，耗時僅比后者增加9.5%；相比于LBP特征的分類器，既將檢測率提高2.3%，也將耗時降低為后者的11.0%，但是將誤檢率增加為后者的2.65倍。因此第一級采用HOG特征的分類器，既能得到較高的檢測率，同時耗時較少，第二級采用LBP特征分類器保證能較低誤檢率，從而使整個級聯(lián)分類器檢測率、誤檢率、耗時都取得較好結(jié)果。算法基于C語言結(jié)合OPENCV計算機視覺庫實現(xiàn)。

表2 Caltech人臉數(shù)據(jù)庫上基于不同特征的分類器檢測結(jié)果

然后，將本文算法和文獻[6]以及Original Adaboost算法進行比較。實驗結(jié)果及比較如表3和表4所示。由表3可見，在Caltech數(shù)據(jù)庫上(每幅圖像大小為896×593)，本文算法的檢測率遠高于文獻[6]，誤檢率則和文獻[6]不相上下；與Original Adaboost相比，檢測率略低于前者的99.11%，但是誤檢率遠遠低于前者的11.33%，顯示出良好的排除錯誤的能力。在檢測耗時上，本文算法比Original Adaboost方法稍長，但是比文獻[6]減少近一半的耗時，能達到0.63幅/秒的檢測速度。由表4可見，在Georgia數(shù)據(jù)庫上(每幅圖像大小為641×481)，本文算法達到了99.20%的檢測率，遠高于文獻[6]，誤檢率也有較大幅度降低；與Original Adaboost方法相比，檢測率也提高了1.63%，誤檢率也遠遠低于前者的12.16%。在檢測耗時上，本文算法不僅比Original Adaboost方法耗時短，而且比文獻[6]減少70%的耗時，能達到1.20幅/秒的檢測速度。

表3 不同算法在Caltech database上檢測結(jié)果比較(450幅圖像)

表4 不同算法在Georgia database上檢測結(jié)果比較(750幅圖像)

圖3 受光照、遮擋、表情、姿態(tài)影響的圖像的檢測結(jié)果

最后針對受到光照、遮擋、表情以及姿態(tài)等影響的人臉圖像，檢測結(jié)果如圖3所示。由圖3中方框標示出的人臉檢測結(jié)果可以看出，檢測算法在光線微弱的場合也能準確地檢測出人臉，對于人臉部分被遮擋的情況也表現(xiàn)優(yōu)秀，對于各種姿態(tài)、表情的人臉也能較為準確地確定其位置，表明本文算法對于這些情況都有較好的魯棒性

5 結(jié) 語

傳統(tǒng)人臉檢測方法容易受到光照、姿態(tài)、表情以及遮擋等影響，造成漏檢測和誤檢測，對此，提出了一種級聯(lián)SVM分類器有效融合HOG和LBP特征的人臉檢測算法。該算法首先利用人臉膚色對圖像進行預處理，去除大量背景區(qū)域。然后在有效區(qū)域內(nèi)提取HOG和LBP特征，利用 HOG特征訓練第一級SVM，LBP特征訓練第二級SVM，先用第一級SVM分類器在去除背景后的圖像上初步篩選出疑似人臉區(qū)域，然后用第二級SVM分類器進一步對疑似窗口進行判斷。實驗結(jié)果表明，該方法對于光照、表情、姿態(tài)以及局部遮擋都有一定的魯棒性，能夠達到較高的檢測率和較低的誤檢率，算法性能優(yōu)異。HOG和LBP特征維數(shù)大，提取速度慢，會對算法的檢測速度有一定影響，但是從實驗耗時來看，本文算法能勝任實時性要求。下一步研究方向是加快HOG和LBP特征的提取，進一步縮短檢測時間。

[1] 郭聳.人臉檢測若干關鍵技術研究[D].哈爾濱：哈爾濱工程大學，2011.

[2] Zhang Z， Zhang C.A Survey of Recent Advances in Face Detection[EB/OL].[2010].http://research.microsoft.com/apps/pubs/default.aspx?id=132077.

[3] Ming Y，David K，Narendra A.Detecting Faces in Images:A Survey[J].IEEE Transations on Pattern Analysis and Machine Intelligence， 2002，24(1) ：34-58.

[4] Dalal N， Triggs B.Histograms of Oriented Gradients for Human Detection[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.USA:San Diego， 2005： 886-893.

[5] Ojala T，Pietikainen M，Maenpaa T.Multiresolution Gray-scale and Rotation Invariant Texture Classification with Local Binary Patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 24(7) ： 971-987.

[6] Zulhadi Z，Shahrel S.Face Detection Using Combination of Neural Network and Adaboost[C]//2011 IEEE Region 10 Conference.Indonesia:TENCON，2011： 335-338.

[7] Paul V，Michael J.Robust Real-Time Face Detection[J].International Journal of Computer Vision，2004，57(2) ：137-154.

[8] 張云龍，謝澤奇，張會敏.一種復雜背景下的人臉檢測方法[J].傳感器與微系統(tǒng)，2011(6)：42-44，48.

[9] Yow K， Cipolla R.Feature-Based Human Face Detection[J].Image and Vision Computing，1997，15(9)：713-735.

[10] Lanitis A，Taylor C，Cootes T.An Automatic Face Identification System Using Flexible Appearance Models[J].Image and Vision Computing， 1995，13(5) ：393-401.

[11] Osuna E， Freund R， Girosi F.Training Support Vector Machines：An Application to Face Detection[C]//Proc.IEEE Conf.Computer Vision and Pattern Recognition， 1997：130-136.

[12] 高錦.基于SVM的圖像分類[D].西安：西北大學，2010.

[13] 姚旭，王曉丹，張玉璽，等.特征選擇方法綜述[J].控制與決策，2012，27(2)：161-166.

[14] 吳要領.基于YCrCb色彩空間的人臉檢測算法的設計與實現(xiàn)[D].成都：電子科技大學，2013.

[15] 張國偉，于金霞，陳現(xiàn)查.基于膚色分割和改進Gabor濾波相結(jié)合的人臉檢測[J].計算機測量與控制，2010(1)：136-138.

[16] 邱炯，李偉生.結(jié)合圖像增強和膚色分割的人臉檢測新方法[J].計算機工程與應用，2011(26)：189-192.

[17] 武亞昆.融合多種圖像特征的人像檢索技術研究[D].太原：太原理工大學，2011.

[18] 王燕，公維軍.雙閾值級聯(lián)分類器的加速人臉檢測算法[J].計算機應用，2011(7)：1822-1824，1830.

[19] Chai D， Ngan N.Locating Facial Region of a Head-and-shoulders Color Image[C]//Third IEEE International Conference Automatic Face and Gesture Recognition，1998 :124-129.

FACE DETECTION BASED ON CASCADE SUPPORT VECTOR MACHINE FUSING MULTI-FEATURE

Zhang Xiaolong1Liu Shuxin2Liu Manhua1

1(DepartmentofInstrumentScienceandEngineering,ShanghaiJiaoTongUniversity,Shanghai200240,Fujian,China)

Face images contain rich features information,and different features have their own advantages.This paper proposes a face detection algorithm,which is based on effective fusion of multiple features with cascade support vector machines.The algorithm first uses complexion model to preprocess the detecting image and screens out suspected human face region.Then,it extracts HOG (histogram of oriented gradients) and LBP (local binary patterns) features of image from the suspected face region,and makes feature selection on these two feature sets respectively,and trains two SVM (support vector machine) classifiers as well.Finally,the algorithm cascades these two SVM classifiers to implement face detection.Results of experiment on multiple face databases show that the proposed algorithm improves the face detection rate and reduces the false detection rate,and has high robustness for the conditions of a variety of illumination,posture,facial expressions,and partial occlusion.

Face detection HOG feature LBP feature SVM classifier Cascade classifier

2014-10-24。張小龍，碩士生，主研領域：圖像處理，人臉識別。劉書炘，博士。劉滿華，副教授。

TP391.41

A

10.3969/j.issn.1000-386x.2016.04.036