一種基于混合核函數(shù)SVM的人臉識(shí)別方法

晏志超， 姚　亮， 韓　超

(安徽工程大學(xué)電氣工程學(xué)院， 安徽　蕪湖　241000)

?

一種基于混合核函數(shù)SVM的人臉識(shí)別方法

晏志超， 姚亮， 韓超

(安徽工程大學(xué)電氣工程學(xué)院， 安徽蕪湖241000)

SVM是人臉識(shí)別中最常使用的一種機(jī)器學(xué)習(xí)領(lǐng)域算法，它通過(guò)距離概念得到對(duì)數(shù)據(jù)分布的結(jié)構(gòu)化描述，降低了對(duì)數(shù)據(jù)規(guī)模的要求，適合處理人臉圖像這種小樣本訓(xùn)練集的分類問(wèn)題。其中SVM的核函數(shù)的選擇對(duì)分類精度影響很大，全局核函數(shù)的預(yù)測(cè)函數(shù)對(duì)輸出進(jìn)行正確預(yù)測(cè)的能力較高，而局部核函數(shù)具有較強(qiáng)的學(xué)習(xí)能力，兼顧兩者特點(diǎn)，使用結(jié)合RBF核和Sigmoid核的混合核來(lái)設(shè)計(jì)SVM分類器進(jìn)行識(shí)別。針對(duì)ORL庫(kù)進(jìn)行PCA特征提取，然后使用基于混合核的SVM分類器進(jìn)行識(shí)別分類。實(shí)驗(yàn)結(jié)果表明，在識(shí)別率上，基于該混合核函數(shù)的SVM分類器比基于普通核函數(shù)SVM分類器要更占優(yōu)勢(shì)。

混合核函數(shù)；支持向量機(jī)；PCA；人臉識(shí)別

引　言

人臉識(shí)別將人臉圖像作為矩陣數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行降維以及分類處理。相比較傳統(tǒng)的人身驗(yàn)證方式，人臉識(shí)別由于其方便采集、非接觸性、安全性等優(yōu)勢(shì)，是一種更容易被人們接受的身份驗(yàn)證方式，應(yīng)用十分廣泛[1-2]。由于人臉圖像比較復(fù)雜，數(shù)據(jù)量龐大，且外界干擾因素對(duì)數(shù)據(jù)會(huì)產(chǎn)生較大影響[3-4]，因此這是一項(xiàng)意義重大而又極具挑戰(zhàn)的課題。人臉識(shí)別由人臉檢測(cè)、人臉?lè)诸愖R(shí)別兩大環(huán)節(jié)構(gòu)成[5]。檢測(cè)環(huán)節(jié)的工作是指從采集到的整個(gè)圖像中識(shí)別出人臉的區(qū)域，檢測(cè)環(huán)節(jié)常用的算法有Adaboost，SVM等[6-7]；分類識(shí)別環(huán)節(jié)由圖像的特征提取和對(duì)圖像的具體類的判定兩個(gè)過(guò)程組成，其目的是確定出圖像所屬的具體類別，本文主要討論該環(huán)節(jié)。分類識(shí)別環(huán)節(jié)中，特征提取環(huán)節(jié)采用主成份分析(PCA)[8-9]，人臉鑒別環(huán)節(jié)采用支持向量機(jī)(SVM)[10-11]。主成份分析又叫主分量分析，是一種統(tǒng)計(jì)分析方法，它的原理簡(jiǎn)單，特征容易獲取更易于實(shí)現(xiàn)，是當(dāng)前比較流行的特征提取方案[12]。SVM基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，在優(yōu)化訓(xùn)練誤差和最小化置信范圍值之間尋求折中，在小樣本的情況下可以得出較好的分類結(jié)果，通常情況下采集到的人臉樣本數(shù)量都會(huì)非常有限，因此人臉識(shí)別中常用SVM作為分類器，其中SVM分類器的核函數(shù)對(duì)分類的性能起著至關(guān)重要的作用。核函數(shù)分為全局核函數(shù)和局部核函數(shù)，前者的預(yù)測(cè)函數(shù)可以對(duì)未來(lái)輸出進(jìn)行更好的預(yù)測(cè)，而學(xué)習(xí)性能方面則是后者較好[13]。為了結(jié)合兩者的優(yōu)勢(shì)，本文提出了使用結(jié)合全局核和局部核的混合核函數(shù)[14-16]作為整個(gè)系統(tǒng)的核函數(shù)，最終實(shí)驗(yàn)得出，基于混合后的核函數(shù)的SVM分類器在識(shí)別率上要高于傳統(tǒng)基于單一核函數(shù)的SVM分類器。

1　PCA特征提取

在人臉識(shí)別中，人臉圖像被用矩陣來(lái)表示。由于人臉圖像非常復(fù)雜，矩陣的維數(shù)也因此很高，對(duì)高維的數(shù)據(jù)直接進(jìn)行計(jì)算，運(yùn)算速度會(huì)非常慢，不能保證人臉識(shí)別時(shí)的實(shí)時(shí)性，并且高維的人臉圖像數(shù)據(jù)包含很多噪聲，對(duì)分類的結(jié)果而言是一個(gè)不利的因素，因此針對(duì)獲取的人臉圖像首先要采取特征提取操作。

假定進(jìn)行實(shí)驗(yàn)的人臉庫(kù)中的每一張圖像的分辨率為i×j，選取庫(kù)中的訓(xùn)練樣本數(shù)為m，將每一張人臉圖像用一個(gè)行向量來(lái)表示，然后將這些圖像數(shù)據(jù)存儲(chǔ)到一個(gè)二維數(shù)組A[m][i×j]中，則數(shù)組的每一行表示一個(gè)單獨(dú)人臉圖像的所有像素信息，而數(shù)組的每一列則代表在同一位置處不同圖像類別之間的像素信息。得到A矩陣后，通過(guò)求其協(xié)方差矩陣得到任意兩個(gè)像素之間的關(guān)系，其中該協(xié)方差矩陣的大小為n×n，針對(duì)得到的協(xié)方差矩陣求其特征值以及特征向量，總共有n個(gè)特征值及其對(duì)應(yīng)的特征向量，然后進(jìn)行主成份提取，即按照特征值由大至小排列，根據(jù)所需精度的要求來(lái)確定特征向量的數(shù)量，例如需要降到p維，則選取前p個(gè)特征值對(duì)應(yīng)的特征向量，通常p<

圖1映射矩陣

2　SVM人臉?lè)诸?/h2>

2.1人臉?lè)诸惼鞯拇_定

假設(shè)存在n組不同的人臉，即n個(gè)類別，表示為S={S1,S2,...,Sn}。首先需要針對(duì)每?jī)蓚€(gè)類別兩兩組合為一個(gè)二分類問(wèn)題設(shè)計(jì)一個(gè)分類器，也就是需要對(duì)Si(i=1,2,...,n)訓(xùn)練得到n個(gè)SVM分類器，每一個(gè)SVM分類器SVMi可以解決Si和非Si的二分類問(wèn)題，所以，針對(duì)n個(gè)類別的圖像數(shù)據(jù)，需要訓(xùn)練設(shè)計(jì)出的二分類SVM分類器的數(shù)量為n(n-1)/2。其中對(duì)于類別S1的SVM分類器SVM1，將第一類的訓(xùn)練集數(shù)據(jù)的Flag值置為1，而將其他非該類中的訓(xùn)練集數(shù)據(jù)的Flag值置為0，即可訓(xùn)練得到分類器SVM1，同理，對(duì)于類別Si的SVM分類器SVMi，只需要把第i類中的訓(xùn)練集數(shù)據(jù)的Flag值置為1，非第i類的數(shù)據(jù)集的Flag值置為0。

針對(duì)每一個(gè)二分類SVM分類器，對(duì)于輸入數(shù)據(jù)x，計(jì)算f(x) = wTx + b的值確定類別，其中w為權(quán)值向量，b為閾值，f(x)等于0時(shí)的x就是超平面上的點(diǎn)，f(x)大于0和f(x)小于0分別代表兩個(gè)類別，定義分類的結(jié)果標(biāo)簽y為1或-1，即超平面一側(cè)數(shù)據(jù)點(diǎn)對(duì)應(yīng)的f(x)全是1，另一側(cè)數(shù)據(jù)點(diǎn)的f(x)值全是-1。最終選擇使得超平面兩側(cè)的數(shù)據(jù)之間間隔最大的解。而針對(duì)人臉圖像分類問(wèn)題，樣本數(shù)據(jù)是非線性可分的，此時(shí)處理的方法是選擇一個(gè)核函數(shù)將人臉圖像樣本數(shù)據(jù)映射至高維空間，使得樣本數(shù)據(jù)在該空間里線性可分，求得SVM分類器為：

(1)

其中，K(xi,x)表示核函數(shù)，αi表示Lagrange乘子，αi的取值范圍為[0,∞)。為了控制可能分類錯(cuò)誤的點(diǎn)，需要加入懲罰系數(shù)C的約束，該系數(shù)表示對(duì)樣本的分類錯(cuò)誤的重視程度，如果C的值取很小，分類錯(cuò)誤的點(diǎn)會(huì)較多，反之，C的值取很大，則會(huì)產(chǎn)生過(guò)擬合。加入C的約束后，αi的取值范圍為[0,C)。

得到這些二分類器后，采用投票法進(jìn)行最終類別的確認(rèn)，每個(gè)分類器為對(duì)測(cè)試人臉樣本給出分類的結(jié)果，得票最多的類別，則判定為最終分類的結(jié)果，圖2為多個(gè)二分類器進(jìn)行投票確定分類結(jié)果的流程圖。

圖2SVM分類器投票

2.2混合核函數(shù)

核函數(shù)對(duì)于分類結(jié)果的影響重大，實(shí)際上，SVM的許多特性都是由它的核函數(shù)的類型所決定的，因此選取好的核函數(shù)對(duì)于識(shí)別分類的精度非常重要。對(duì)于核函數(shù)的選擇，也是需要滿足一定要求的，即Mercer條件。核函數(shù)的形式以及核參數(shù)的不同，空間之間的映射關(guān)系也會(huì)不同，因此在核函數(shù)選擇上的差別也會(huì)帶來(lái)不一樣的識(shí)別結(jié)果。

常用的核函數(shù)有：

(1) 徑向基核函數(shù)(radial basis function)

(2) 線性核函數(shù)(linear function)

K(x1,x2)=

(3) 多項(xiàng)式核函數(shù)(polynomial function)

K(x1,x2)=(+d)4

(4) sigmoid核函數(shù)(sigmoid function)

K(x1,x2)=1/(1+exp(-u))

全局核函數(shù)允許距離較遠(yuǎn)的數(shù)據(jù)點(diǎn)對(duì)核函數(shù)產(chǎn)生影響，它的預(yù)測(cè)函數(shù)對(duì)輸出結(jié)果準(zhǔn)確預(yù)測(cè)的性能較強(qiáng)，即外推能力較強(qiáng)；而局部核函數(shù)相反，它只允許距離相近的數(shù)據(jù)點(diǎn)影響核函數(shù)，擁有較好的學(xué)習(xí)能力，但是預(yù)測(cè)函數(shù)性能不佳，隨著參數(shù)σ的增大而減弱，比較善于處理局部特征。核函數(shù)需滿足Mercer條件，滿足該條件可以免除變化，而直接利用低維度的參數(shù)帶入核函數(shù)來(lái)等價(jià)的計(jì)算高維度向量的內(nèi)積?？紤]到二者各自的優(yōu)勢(shì)，將二者利用一個(gè)系數(shù)通過(guò)線性組合起來(lái)從而達(dá)到兼具兩者優(yōu)勢(shì)的核函數(shù)作為整個(gè)系統(tǒng)的核函數(shù)。本文通過(guò)結(jié)合RBF核以及Sigmoid核來(lái)確定整體的核函數(shù)，混合后的核函數(shù)為：

K(x1,x2)=(1-λ)(1/(1+exp(-u))+

(2)

其中，系數(shù)λ為RBF核核函數(shù)所占權(quán)值，通過(guò)對(duì)系數(shù)λ值的調(diào)整來(lái)改變RBF核以及Sigmoid核在整個(gè)系統(tǒng)核函數(shù)中所占的作用的大小。

3　仿真實(shí)驗(yàn)

3.1實(shí)驗(yàn)環(huán)境

本文算法采用的仿真軟件為的matlab7.0，實(shí)驗(yàn)庫(kù)采用ORL人臉庫(kù)。該圖片庫(kù)是當(dāng)前最流行的人臉庫(kù)之一，它由40個(gè)類別，每個(gè)類別共10幅圖，總計(jì)400張圖片組成，包含各種人臉姿態(tài)、角度、光照、表情、眼睛是否睜開，是否佩戴眼鏡等差異。ORL人臉庫(kù)所有圖像都是在相同背景下拍攝，圖像本身已經(jīng)經(jīng)過(guò)歸一化和校準(zhǔn)等操作，因此無(wú)需再次進(jìn)行處理。實(shí)驗(yàn)過(guò)程中，每個(gè)人為一個(gè)類別，分別給40個(gè)人編號(hào)，并且每個(gè)人的10幅圖像也進(jìn)行編號(hào)。本文實(shí)驗(yàn)的訓(xùn)練樣本采用每個(gè)類別的前5張圖，測(cè)試樣本采用每個(gè)類別的后5副圖，實(shí)驗(yàn)流程圖如圖3所示。

圖3實(shí)驗(yàn)流程圖

3.2實(shí)驗(yàn)結(jié)果與分析

由于ORL圖片庫(kù)已經(jīng)對(duì)圖片進(jìn)行了一定的裁剪、旋轉(zhuǎn)以及灰度化等預(yù)處理的操作，因此無(wú)需再次對(duì)圖片采取重復(fù)預(yù)處理的操作。實(shí)驗(yàn)中，首先是對(duì)訓(xùn)練樣本圖片進(jìn)行特征的提取操作，完成之后將這些圖片數(shù)據(jù)存入到一個(gè)矩陣中，每幅圖像為一行。圖4分別為使用PCA降至150維、100維和50維后重構(gòu)后效果，可以看出150維明顯具有較好的重構(gòu)效果。圖5為降到20維的主分量圖。

圖4不同維數(shù)下PCA重構(gòu)圖

圖5主分量

訓(xùn)練過(guò)程中，每個(gè)個(gè)體取前5副圖像，40個(gè)類別，一共200副圖像進(jìn)行訓(xùn)練，總共需要構(gòu)造出40×39/2個(gè)兩兩分類的分類器，將待測(cè)樣本輸入各個(gè)分類器中進(jìn)行計(jì)算，按照投票機(jī)制判定輸入樣本類別。實(shí)驗(yàn)中懲罰系數(shù)C的取值為100。

圖6為混合系數(shù)λ取不同值時(shí)識(shí)別率的變化，對(duì)混合分類器的λ的值進(jìn)行調(diào)整，得到不同的混合分類器后進(jìn)行實(shí)驗(yàn)。通過(guò)實(shí)驗(yàn)數(shù)據(jù)可以看出，當(dāng)λ在0.8以下時(shí)識(shí)別率逐步升高，而當(dāng)λ的值在0.8之上時(shí)候會(huì)有所下降，因此λ=0.8時(shí)混合核函數(shù)的性能最優(yōu)。

圖6混合系數(shù)對(duì)識(shí)別率影響

表1展示了基于原始線性核函數(shù)、原始RBF核函數(shù)、原始多項(xiàng)式核函數(shù)、原始Sigmoid核函數(shù)、混合RBF和線性核函數(shù)、混合RBF和Sigmoid核函數(shù)的支持向量機(jī)分類器各自的最優(yōu)參數(shù)，以及在各自最優(yōu)參數(shù)情況下的識(shí)別率，可以看出單核函數(shù)在人臉識(shí)別應(yīng)用中，RBF核函數(shù)識(shí)別效果相對(duì)較優(yōu)，混合核函數(shù)比單一的核函數(shù)更占優(yōu)勢(shì)，而混合了局部核函數(shù)RBF和全局核函數(shù)Sigmoid后的核函數(shù)效果可以達(dá)到最優(yōu)。

表1　幾種核函數(shù)最優(yōu)參數(shù)情況下的識(shí)別率對(duì)比

4　結(jié)束語(yǔ)

本文使用matlab在ORL庫(kù)上來(lái)驗(yàn)證識(shí)別效果，首先使用PCA算法對(duì)圖片采取特征提取的操作，然后提出一種混合RBF核與Sigmoid核的混合核函數(shù)。實(shí)驗(yàn)結(jié)論表明：相比較基于傳統(tǒng)單一核的SVM分類器，基于混合核的SVM在最終的識(shí)別效果上占優(yōu)勢(shì)。

[1] RUJIRAKUL K,SO-IN C,ARNONKIJPANICH B.PEM-PCA:a parallel expectation-maximization PCA face recognition architecture[J].Scientific World Journal,2014(5):174-175.

[2] 楊軍,劉研麗.基于圖像的單樣本人臉識(shí)別研究進(jìn)展[J].西華大學(xué)學(xué)報(bào):自然科學(xué)版,2014,33(4):1-5.

[3] ADINI Y,MOSES Y,ULLMAN S.Face recognition:the problem of compensating for changes in illumination direction[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19(7):721-732.

[4] SHARMA R,PATTERH M S.A new hybrid approach using PCA for pose invariant face recognition[J].Wireless Personal Communications,2015,85(3):1561-1571.

[5] SHIEH M Y,CHIOU J S,HU Y C.Applications of PCA and SVM-PSO based Real-Time face recognition system[J].Mathematical Problems in Engineering,2014(1):1-12.

[6] XU Shibiao,MA Guanghui,MENG Weiliang,et al.Statistical learning based facial animation[J].Frontiers of Information Technology & Electronic Engineering,2013,14(7):542-550.

[7] JIANG Yunliang,SHEN Yefeng,LIU Yong,et al.Multiclass Adaboost ELM and its application in LBP based face recognition[J].Mathematical Problems in Engineering,2015(1):1-9.

[8] AGARWAL M,JAIN N,KUMAR M,et al.Face recognition using eigen faces and Artificial Neural Network[J].International Journal of Computer Theory and Engineering,2010,6(4):624-629.

[9] SHARMA R,PATTERH M S.A new pose invariant face recognition system using PCA and ANFIS[J].Optik International Journal for Light and Electron Optics,2015,126(23):3483-3487.

[10] ZHOU Changjun,WANG Lan,ZHANG Qiang.Face recognition based on PCA and logistic regression analysis[J].Optik International Journal for Light and Electron Optics,2014,125(20):5916-5919.

[11] KIM S K,PARK Y J,TOH K A,et al.SVM-based feature extraction for face recognition[J].Pattern Recognition,2010,43(8):2871-2881.

[12] MOGHADDAM B,YANG M H.Learning gender with support faces[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):707-711.[13] 鄔嘯,魏延,吳暇.基于混合核函數(shù)的支持向量機(jī)[J].重慶理工大學(xué)學(xué)報(bào):自然科學(xué)版,2011,24(10):66-70.[14] 楊海燕,周永權(quán).一種支持向量機(jī)的混合核函數(shù)[J].計(jì)算機(jī)應(yīng)用,2009,29(z2):173-175.

[15] ZHU Shuxian,ZHANG Renjie.Research for face recognition base on mixed kernel function[C]//International Conference on Audio,Language and Image Processing,2008(ICALIP2008),Shanghai,July 7-9,2008:1395-1399.[16] ZHANG B L,LEUNG C.Face recognition by combining kernel associative memory and Gabor transforms[C]//7th International Conference on Automatic Face and Gesture Recognition(FGR06),Southampton,April 2-6,2006:107-112.

A Face Recognition Method Based on Combined-kernel Function SVM

YANZhichao,YAOLiang,HANChao

(College of Eletrical Engineering, Anhui Polytechnic University, Wuhu 241000,China)

Support vector machine (SVM) is one of the most commonly used algorithm in machine learning when it comes to face recognition, it gets structured description of data distribution by the conception of distance and reducing the requirements of data volume, so it’s very suitable for the face recognition of small sample of the training set. The selection of kernel function of SVM has a great influence on the classification accuracy, global kernel function has the strong ability of generalization but weak in learning ,local kernel function is the opposite, taking into account of both advantages, SVM classifier is designed by using the mixture of RBF core and Sigmoid core for identification. using PCA algorithm to extract feature ORL face database firstly, and then using combined-kernel function of SVM classifer to do classification. The result proved that combined-kernel function of SVM has higher recognition rate than traditional single kernel function.

combined-kernel function; support vector meachine; PCA; face recognition

2016-03-06

安徽省自然科學(xué)基金項(xiàng)目(1508085MF121);安徽工程大學(xué)安徽檢測(cè)技術(shù)與節(jié)能裝置省級(jí)實(shí)驗(yàn)室開放研究基金項(xiàng)目(1506C085002);2016年高校優(yōu)秀中青年骨干人才國(guó)內(nèi)外訪學(xué)研修重點(diǎn)項(xiàng)目(gxfxZD2016100);國(guó)家級(jí)大學(xué)生創(chuàng)新訓(xùn)練項(xiàng)目(2014103630342016)；2016年度安徽高校自然科學(xué)研究項(xiàng)目(KJ2016 A056)

晏志超(1991-),男,江蘇高郵人,碩士生,主要從事圖像處理與模式識(shí)別方面的研究,(E-mail)259598863@qq.com;

韓超(1974-),安徽宿州人，副教授,博士,主要從事圖像處理與模式識(shí)別方面的研究,(E-mail)hanchaozh@126.com

1673-1549(2016)03-0023-05

10.11863/j.suse.2016.03.06

TP391.4

A