基于PCA和SVM的人臉識別技術研究

郭　黎,冷　潔,梅文蘭,孔祥聰，廖　宇,廖紅華

(1.湖北民族學院 信息工程學院，湖北 恩施 445000；

2.四川省成都市地鐵運營有限公司，四川 成都 610081；

3.恩施州電力總公司，湖北 恩施 445000)

?

基于PCA和SVM的人臉識別技術研究

郭黎1,冷潔1,梅文蘭2,孔祥聰3，廖宇1,廖紅華1

(1.湖北民族學院 信息工程學院，湖北 恩施 445000；

2.四川省成都市地鐵運營有限公司，四川 成都 610081；

3.恩施州電力總公司，湖北 恩施 445000)

摘要：從人臉圖像特征提取和分類器構建兩方面分析了人臉識別系統(tǒng)設計的關鍵點，提出了以主成分分析技術和支持向量機技術相結合構建人臉識別系統(tǒng)的策略，同時在主成分分析技術的理論基礎上提出了一種快速PCA算法.通過實驗系統(tǒng)在ORL人臉庫上的測試結果，分析了該系統(tǒng)的相關參數(shù)和特征向量維度的選取對系統(tǒng)識別率的影響，并得到了其最優(yōu)解.同時，通過實驗證明了所提出方法在小訓練集下的識別率優(yōu)于其它一般方法，其識別率比一般的人工神經(jīng)網(wǎng)絡法提高了7%～10%左右.

關鍵詞：人臉識別；主成分分析；快速PCA；支持向量機

隨著近幾年生物特征識別技術的蓬勃發(fā)展，人臉識別技術作為主要研究方面之一，也得到了極大提升.人臉識別技術作為一種非接觸、對象已獲取的簡便識別手段，在安保、刑偵、考勤、金融等領域有著巨大的應用前景.

人臉識別技術的關鍵在于人臉圖像特征的提取以及最優(yōu)分類器的構建.基于這兩點，國內(nèi)外研究人員提出了多種算法策略，例如子空間分析法[1]、彈性匹配法[2]、主成分分析法[3]、人工神經(jīng)網(wǎng)絡法[4]以及多種方法的結合等，其中人工神經(jīng)網(wǎng)絡法的使用最為廣泛.這些方法各有優(yōu)缺點，但總體呈現(xiàn)一個問題：過于依賴訓練集.它們需要利用含樣本數(shù)較多的訓練集進行訓練后，才能保證較高的識別率，且易出現(xiàn)過度擬合現(xiàn)象[5].

人臉圖像作為原始輸入信息，一般含有大量冗余信息.為了降低識別系統(tǒng)的計算量以及確保分類器的分類準確性，在識別前期需要對預處理后的人臉圖像進行特征提取，以獲取對識別操作最有用的特征信息，排除次要信息對識別結果的干擾.主成分分析(PCA)方法作為一種經(jīng)典的多變量分析技術，它將高維空間數(shù)據(jù)向低維空間映射并以在最小均方差意義下最能代表原始數(shù)據(jù)為原則[6]，這樣既保留了原始數(shù)據(jù)的獨特性利于分類，又降低了數(shù)據(jù)維度便于計算處理.

分類器一般是依據(jù)訓練集生成最優(yōu)分類函數(shù)的，而訓練集的容量有限，不能包含較多的類別信息.因此，分類器最好能在小訓練集的基礎上兼顧訓練誤差和測試誤差最小化.支持向量機(SVM)正是以結構化風險最小化為原則，以獲得能正確區(qū)分不同樣本且具有最大分類余地的最優(yōu)分類超平面為目的.這樣既有效地防止過度擬合現(xiàn)象發(fā)生，又降低了尋求最優(yōu)分類函數(shù)的計算量[7].

基于以上原因，文中提出了一種快速主成分分析算法，并與支持向量機技術相結合實現(xiàn)了用于實驗的人臉識別系統(tǒng).通過實驗，分析了維度選擇與參數(shù)選擇對整個系統(tǒng)的具體影響，以及驗證了本文方法優(yōu)于傳統(tǒng)的人工神經(jīng)網(wǎng)絡法.

1　主成分分析

主成分分析所要解決的問題可以描述成：對于d維空間中的n個樣本向量x1，x2，…，xn，如何將它們映射到維數(shù)較低的h維空間中使所得到的像能最好代表它們[7].

1.1d維空間到h維空間的映射

在h維空間中的向量可以表示為：

(1)

其中：

(2)

另n代表樣本個數(shù)，ek代表空間的基向量，ak為坐標參數(shù).

在h維空間中的平方誤差函數(shù)表達式為：

(3)

根據(jù)主成分分析理論，可知當h維空間中的向量e1，e2，…，eh為散布矩陣S的前h個本征值所對應的本征向量時，Eh(e1,e2,…,eh)取得最小值.又因為散布矩陣S為實數(shù)對數(shù)矩陣，所以其本征向量都是相互正交的.于是，這些本征向量自然就構成了h維空間中的一組基向量，任一個屬于該h維空間的向量xi′都能表示為：

(4)

其中：

(5)

式(4)中基向量e1，e2，…，eh所對應的系數(shù)ai1，ai2，…，aih便是d維空間樣本xi的主成分.這樣得到的h維向量xih=(ai1,ai2,…,aih)便是原樣本xi在以e1，e2，…，eh為基向量的h維空間中的近似表示，隨著維度h的增加其近似程度也增大，即保留的原樣本的信息越完整.這樣便可以順利將人臉圖像轉化為低維的特征向量，通過選擇合適的維度便可以比完整地保留人臉信息并增強人臉樣本的區(qū)分度[8-13].

1.2　快速PCA算法

從上述分析中可以看出，主成分分析方法的主要計算量來自樣本散布矩陣的本征值以及本征向量的計算.當樣本向量的維數(shù)較大時，若直接使用上述方法計算，時間消耗會很巨大，還有可能面臨內(nèi)存耗盡的問題.因此，本文提出一種改進的快速PCA算法.

假設矩陣Zn×d是由樣本矩陣X中的每個樣本值減去樣本均值m后得到的，于是得散布矩陣S為(ZTZ)d×d.對于矩陣R=(ZZT)n×n，在通常情況下由于樣本個數(shù)n遠小于樣本維數(shù)d，但矩陣R與散布矩陣S有相同的非零本征值.令n維列向量v為矩陣R的本征向量，則有：

(6)

將式(6)兩邊同時左乘ZT，則可得：

(7)

式(7)表明散布矩陣S的本征向量為ZTv.由此看出可以通過先計算小尺寸矩陣R的本征向量v，再利用左乘ZT得出散布矩陣S的本征向量ZTv.如此，將大大降低PCA處理的計算量.如圖1所示，這是利用快速PCA算法對ORL人臉庫提取主成分臉的結果.這表明該算法可以成功提取主成分臉，關于該算法快速性的驗證將在本文的第4節(jié)中說明.

圖1　快速PCA提取的主成分臉Fig.1　Principle component face extracted by Fast PCA

圖2　識別率與特征向量維度的關系Fig.2　Relation of recognition rate and feature vector dimenscon

2　基于PCA和SVM的人臉識別算法

人臉識別問題實質是一個復雜的非線性分類問題.因此，采用SVM分類器時需利用核函數(shù)將非線性問題轉換成高維空間的線性分類問題，同時還需引入一個錯誤代價參數(shù)C以兼顧訓練誤差和測試誤差最小化，然后尋求高維空間中的最優(yōu)分類超平面.

本文結合主成分分析技術和支持向量機技術提出了如下人臉識別策略：

1)將載入的人臉圖像進行預處理后再向量化，然后利用快速PCA算法對其進行特征提取及降維處理；

2)將步驟(1)處理得到的數(shù)據(jù)傳輸給SVM分類器，進行識別測試.

步驟(2)中，分類器需要經(jīng)過訓練后才能正常工作，對于傳輸來的訓練集數(shù)據(jù)分類器進入學習模式，訓練完成后分類器轉為識別模式進行識別測試.

這一策略相對于傳統(tǒng)的人工神經(jīng)網(wǎng)絡法，其可以在小訓練集情況下保持高識別率，避免了局部極值問題，具有更好的實用性.

基于上述策略，利用MATLAB平臺，對本文所提算法進行了實驗.在實驗中，SVM分類器采用徑向基核函數(shù)生成，其具體定義如下：

(8)

在SVM分類器中存在兩個需要事先給定的參數(shù)：錯誤代價參數(shù)C、徑向基核函數(shù)參數(shù)γ.這兩個參數(shù)直接影響著分類器的識別率.另外，PCA所提取特征的維數(shù)也間接影響著分類器的識別率.如圖2所示，識別率與特征向量維度的關系中存在一個維度最大值，當所選取的圖像特征向量維度超過這個最大值時，識別系統(tǒng)的識別率會降低，即出現(xiàn)維度災難.因此，參數(shù)C、γ以及維度的確定也至關重要，后續(xù)會對這些參數(shù)的選取作說明.

3　實驗結果與分析

本文采用ORL人臉數(shù)據(jù)庫進行實驗.ORL人臉庫由劍橋大學AT&T實驗室創(chuàng)建，包含40個人的共400幅正向面部圖像，其中某些被采集者的人臉圖像包括了形態(tài)、表情和裝飾品的改變，每幅圖像的光照方向以及強度相似.該人臉數(shù)據(jù)庫共包含400幅人臉圖像，每人10幅，圖像大小為112×92.如圖3所示，為ORL人臉庫中部分人臉圖像.

圖3　ORL人臉庫中部分人臉圖像Fig.3　Face image in ORL face data base

利用LibSVM工具箱中的grid.py應用對整個人臉庫進行了搜索，得到了錯誤代價參數(shù)C和徑向基核函數(shù)參數(shù)γ的一組最優(yōu)參數(shù)值：參數(shù)C取128，參數(shù)γ取0.0078125.在系統(tǒng)中，PCA提取特征向量的維度值可調，其默認值為20.

本文實驗均在MATLAB2010b軟件平臺上運行，計算機配置為：Intel2.5GHz雙核處理器、4G內(nèi)存、32位操作系統(tǒng).

表1　兩種PCA算法的時間效率

表2　參數(shù)C和γ最優(yōu)值的驗證結果

圖4　特征向量維數(shù)對系統(tǒng)識別率的影響Fig.4　Recongnition rate affected by feature vector dimension

人臉識別方法識別率/%PCA+SVM97.4ANN80.3PCA+ANN91.0

為了驗證快速PCA算法的時間效率，本文以ORL人臉庫作為測試數(shù)據(jù)，分別用一般PCA算法和快速PCA算法進行10組測試實驗，最后求取兩種算法的時間效率平均值.實驗中原始人臉圖像經(jīng)向量化后維度數(shù)為10304維，提取的特征向量維數(shù)取20維.實驗結果見表1.表中O-PCA指代一般PCA算法，F(xiàn)-PCA指代本文的快速PCA算法.從表中可以看出本文的快速PCA算法的時間效率比一般PCA算法要高，其效率幾乎提高12倍，達到了本文的預期效果.

為了獲得對應于系統(tǒng)最高識別率的最優(yōu)特征向量維度值，并驗證經(jīng)應用工具搜索所得的參數(shù)C和γ最優(yōu)值，本文將ORL人臉庫中的人臉圖像分為兩組：訓練集、測試集.訓練集和測試集各含有200幅人臉圖像.先驗證參數(shù)C和γ的最優(yōu)值，此時特征向量維度取默認的20，使SVM分類器取得最優(yōu)參數(shù)值以達到最佳狀態(tài)；在此基礎上排除了其它干擾，再測試經(jīng)PCA提取的不同維度的特征向量對系統(tǒng)識別率的影響.

對于驗證參數(shù)C和γ最優(yōu)值，本文選取了五組參數(shù)值加以測試，驗證結果如表2所示.經(jīng)搜索所得的最優(yōu)參數(shù)值對應的系統(tǒng)識別率確實是最高的，表明參數(shù)C和γ的最優(yōu)值選取正確.

提取的特征向量維度數(shù)對系統(tǒng)影響的實驗結果如圖4所示.從實驗結果可以看出，提取的特征向量維數(shù)會對系統(tǒng)的識別率造成影響，且在本文所設計系統(tǒng)的識別率最高值落在特征向量維數(shù)為14的鄰域空間中.另由實驗結果可看出，當本系統(tǒng)采用參數(shù)C和γ的最優(yōu)值以及選擇合適的特征向量維數(shù)時，識別率可達到97%左右.

從實驗結果可以看出，采用PCA和SVM技術的人臉識別系統(tǒng)對小訓練集(訓練樣本200個)的識別率可以達到90%以上，有效地避免了過度擬合問題，兼顧了訓練誤差和測試誤差.

通過以上實驗，得到了本文所設計人臉識別系統(tǒng)運行的最優(yōu)參數(shù)組值以及特征維數(shù).在此基礎上本系統(tǒng)與用傳統(tǒng)人工神經(jīng)網(wǎng)絡法實現(xiàn)的系統(tǒng)以及采用PCA和ANN技術結合實現(xiàn)的系統(tǒng)的測試結果見表3.測試所用的人臉庫仍采用ORL人臉庫.

從測試結果可以看出，本文所提出的PCA和SVM技術相結合方法的識別率要優(yōu)于一般的人工神經(jīng)網(wǎng)絡方法以及結合了PCA技術的人工神經(jīng)網(wǎng)絡方法.由此可見，本文所提出的方法較人工神經(jīng)網(wǎng)絡法有更強的實用性.

4結語

在原PCA理論的基礎上，提出了一種快速PCA算法，并將PCA和SVM技術相結合實現(xiàn)新的人臉識別算法.通過實驗驗證了快速PCA算法的高時間效率及該系統(tǒng)的可用性，并分析了系統(tǒng)參數(shù)以及特征向量維數(shù)對系統(tǒng)的影響，找到了最優(yōu)值.采用PCA技術一方面降低計算量，另一方面提取主成分提高了識別率；采用SVM技術，使得在小訓練集的基礎上也可以得到較高的識別率.通過實驗比較，表明了本方法較之于一般方法有更高的識別率.

參考文獻:

[1]葛微,程宇奇,劉春香,等.基于子空間分析的人臉識別方法研究[J].中國光學與應用光學,2009,05:377-387.

[2]張會森,王映輝.人臉識別技術[J].計算機工程與設計,2006,11:1923-1928.

[3]王正洪,鄒凌.基于主成分分析方法的人臉識別研究[J].微計算機信息,2007,28:235-237.

[4]馮巧娟.人工神經(jīng)網(wǎng)絡在人臉識別中的應用[J].平頂山工學院學報,2008(2):19-20+26.

[5]張世波.人臉識別中的特征向量優(yōu)化算法研究[D].濟南:山東大學,2009.

[6]曾朝.基于BP神經(jīng)網(wǎng)絡的人臉識別系統(tǒng)研究[D].長沙:湖南大學,2007.

[7]田海軍.基于支持向量機的人臉識別技術研究與實現(xiàn)[D].長沙：國防科學技術大學,2009.

[8]張錚,王艷平.數(shù)字圖像處理與機器視覺[M].北京:人民郵電出版社,2010.

[9]劉嵩.基于特征融合的人臉識別[J].湖北民族學院學報:自然科學版,2011,29(2):188-190.

[10]譚樂平.基于LVQ神經(jīng)網(wǎng)絡的人臉朝向識別方法[J].湖北民族學院學報:自然科學版,2012,30(2):386-389.

責任編輯：時凌

Research on Human Face Recognition Technology

Based on PCA and SVM

GUO Li1,LENG Jie1,MEI Wenlan2,KONG Xiangsong3,LIAO Yu1,LIAO Honghua1

(1.School of Information Engineering,Hubei University for Nationalities,Enshi 445000,China;

2.Metro Railway Corporation Limited,Chendu 610081,China;

3.Enshi Electic Power Company,Enshi 445000,China)

Abstract：This paper analyzed the key points of face recognition system design by the extraction of face image feature and build of classifier, and it proposed a plot which built face recognition system by integrating principal component analysis and support vector machine technology. And a fast PCA algorithm had been proposed on the basis of the theory of principal component analysis technology. This paper analyzed the impact of the system parameters and dimensions of the selected feature vector on recognition rate of the experimental system and got the optimal solution on basis of the system test results on ORL face database.And experimental results have demonstrated that recognition rate of the method this paper proposed is superior to other general methods on the small training set, and its recognition rate increased about 7% to 10% higher than the average artificial neural network.

Key words：human face recognition technology;PCA; fast PCA;SVM

DOI:10.13501/j.cnki.42-1569/n.2015.06.025 10.13501/j.cnki.42-1569/n.2015.06.021

文章編號：1008-8423(2015)02-0215-03 1008-8423(2015)02-0197-03

作者簡介：柳文述(1971- )，男，高級工程師，主要從事電網(wǎng)規(guī)劃與設計的研究. 徐建(1982- ),男,碩士,講師,主要從事嵌入式與智能控制方面的研究.

基金項目：湖北省自然科學基金計劃項目(2013CFC125). 國家自然科學基金項目(6123030,61463014)；湖北民族學院科技學院科研項目(KY20148)；恩施州科技計劃研究與開發(fā)項目(XYJ201500055).

收稿日期：2015-05-10. 2015-01-16.

中圖分類號：TP391.9;TN911.73

文獻標志碼：A