應(yīng)用PCA理論進(jìn)行多人臉姿態(tài)估計(jì)的方法

宋懷波，史建強(qiáng)，2

(1.西北農(nóng)林科技大學(xué)機(jī)械與電子工程學(xué)院，陜西楊凌712100;2.西安交通大學(xué)機(jī)械工程學(xué)院，西安710049)

人臉姿態(tài)識(shí)別通過(guò)確定二維圖像中的人臉在三維空間中的姿態(tài)，近似地計(jì)算人臉對(duì)應(yīng)于三維空間坐標(biāo)軸的偏轉(zhuǎn)角度［1］。人臉姿態(tài)識(shí)別是多姿態(tài)人臉識(shí)別的關(guān)鍵步驟，只有確定了人臉姿態(tài)信息，才能實(shí)現(xiàn)對(duì)人臉姿態(tài)的正確識(shí)別。人臉姿態(tài)識(shí)別在人機(jī)交互［2］、智能監(jiān)控［3］、虛擬現(xiàn)實(shí)［4］和司機(jī)疲勞檢測(cè)系統(tǒng)［5］等方面有著廣泛的應(yīng)用。

人臉姿態(tài)識(shí)別的方法大致分為基于模型的方法和基于人臉特征的方法兩類［6］。基于模型的方法［7－8］通過(guò)建立人臉與幾何模型的對(duì)應(yīng)關(guān)系，提取人臉的某些特征，利用已知幾何模型實(shí)現(xiàn)人臉姿態(tài)的識(shí)別。這種方法的準(zhǔn)確率和效率較高，但由于姿態(tài)的多樣性，二維與三維特征點(diǎn)之間的幾何對(duì)應(yīng)關(guān)系建立比較困難;基于人臉特征的方法［9－10］假設(shè)人臉姿態(tài)和人臉圖像的某些特征間存在某種對(duì)應(yīng)關(guān)系，通過(guò)建立人臉姿態(tài)與這些特征的對(duì)應(yīng)關(guān)系進(jìn)行人臉姿態(tài)的識(shí)別。為確定這些關(guān)系，需要對(duì)大量不同姿態(tài)的人臉圖像通過(guò)統(tǒng)計(jì)方法建立特定的對(duì)應(yīng)關(guān)系。這種算法簡(jiǎn)單，由于以整個(gè)人臉圖像作為研究對(duì)象，對(duì)人臉圖像的考慮更細(xì)致，對(duì)表情、光照等條件的影響魯棒性更強(qiáng)，但由于需要建立大量訓(xùn)練樣本，其計(jì)算量一般較大。

本文提出了一種基于PCA算法的人臉姿態(tài)識(shí)別方法，即利用大量的圖像樣本得到人臉姿態(tài)和人臉圖像在特征空間投影之間特定的對(duì)應(yīng)關(guān)系。使數(shù)據(jù)可在一個(gè)低維的空間進(jìn)行處理，同時(shí)保持了原始數(shù)據(jù)的絕大部分有效信息，從而解決了人臉特征方法中數(shù)據(jù)空間維數(shù)過(guò)高的問(wèn)題，降低了運(yùn)算量也提高了運(yùn)算速度，而且該方法的準(zhǔn)確率和效率也較高。

1 PCA原理

PCA作為一種降維方法，將高維空間上的數(shù)據(jù)投影到低維子空間中，并使得在最小二乘意義下的低維表示能夠更好的描述高維空間上的原始數(shù)據(jù)［11－12］。如設(shè)已知變量X為k維，欲將維數(shù)壓縮為g(g＜k)，需求得輸入向量的相關(guān)矩陣的特征值和特征向量，并對(duì)其特征值由小到大進(jìn)行排列，將保留大部分能量信息的g個(gè)特征值對(duì)應(yīng)的特征向量構(gòu)成特征子空間。

1.1 SVD基本理論

由于圖像的維數(shù)較高，在求解特征值和特征向量時(shí)，其求解過(guò)程比較耗時(shí)，一般采用奇異分解方法實(shí)現(xiàn)［13］。其基本原理為:設(shè)A是秩為P的N ×P維矩陣，則存在兩個(gè)正交矩陣

已知對(duì)角矩陣

且λ1≥λ2≥…，≥λP，使得

式中:λi(i=1，2，…，P)為矩陣AAT和ATA的非零特征值，ui、vi分別是AAT和ATA對(duì)應(yīng)的正交歸一特征向量。

式中:ui(i=1，2，…，P)即為求得的特征向量。

1.2 特征子空間的創(chuàng)建

對(duì)于一幅m×n大小的樣本圖像，按列排列構(gòu)成一個(gè)m×n維的列向量，即:X=［x1，x2，…，xm×n］T，則對(duì)于同一類樣本中的N個(gè)樣本圖像集合可用矩陣［X1，X2，…，XN］表示，設(shè)這N張樣本圖像的均值為μ，對(duì)集合中的樣本進(jìn)行處理，將各樣本減去μ，計(jì)算離散差值，組成矩陣

X的協(xié)方差矩陣

特征值等式如下

通過(guò)式(6)可求出矩陣Ψ的特征值λj和特征向量wj。將特征值由大到小的順序進(jìn)行排序，則對(duì)應(yīng)的特征向量組成的矩陣為

至此，m×n維特征子空間構(gòu)造完成。

2 基于PCA的人臉姿態(tài)估計(jì)

2.1 多人臉姿態(tài)估計(jì)流程

研究表明，人臉圖像處于一個(gè)低維線性空間中，且不同姿態(tài)的人臉在該低維線性空間具有可分性，其重點(diǎn)是找到該低維線性空間。在PCA方法中，通過(guò)對(duì)讀入的人臉圖像進(jìn)行訓(xùn)練，得到各自類別的特征子空間來(lái)進(jìn)行處理。在完成該步驟后，即可將測(cè)試樣本分別向訓(xùn)練好的各個(gè)子空間進(jìn)行投影，根據(jù)其在子空間內(nèi)投影距離的大小進(jìn)行姿態(tài)的估計(jì)。

2.2 人臉姿態(tài)數(shù)據(jù)庫(kù)的創(chuàng)建

人臉姿態(tài)數(shù)據(jù)庫(kù)由23類共690個(gè)樣本組成，每類姿態(tài) 30個(gè)樣本，部分樣本來(lái)自 http:// download.csdn.net/down/2591527/tinypeter。所有樣本均歸一化為32×24大小。多姿態(tài)人臉樣本庫(kù)在豎直方向有平視、仰視30°、仰視60°、俯視30°、俯視60°五種姿態(tài)類型。各類中還包括水平方向旋轉(zhuǎn)不同角度的類型，其中平視類中各有直視0°、左右旋轉(zhuǎn)30°、左右旋轉(zhuǎn)60°和左右旋轉(zhuǎn)90°七類姿態(tài)，仰視30°、仰視60°類中各有直視0°、左右旋轉(zhuǎn)45°和左右旋轉(zhuǎn)90°五類姿態(tài)，俯視30°、俯視60°類中各有直視0°和左右旋轉(zhuǎn)45°三類姿態(tài)。圖1給出了仰視30°向右旋轉(zhuǎn)45°及左旋轉(zhuǎn)90°姿態(tài)的示例。

圖1 仰視30°向右旋轉(zhuǎn)45°及左旋轉(zhuǎn)90°姿態(tài)庫(kù)中的人臉Fig.1 faces of looking up at 30 degrees，rotating right 45 degrees，rotating left 45 degrees in poses atlas

2.3 姿態(tài)子空間維數(shù)的確定方法

應(yīng)用PCA理論進(jìn)行姿態(tài)估計(jì)的關(guān)鍵是尋求各類別樣本集的子空間維數(shù)，目前還沒(méi)有一個(gè)通用的計(jì)算方法。為了保證獲取足夠多的信息而又不會(huì)使信息丟失過(guò)多，本文采用計(jì)算信息量的方法求取子空間的維數(shù)［14］

這種子空間維數(shù)確定方法有效地保持了訓(xùn)練樣本集的主要信息，而又使得其始終處于一個(gè)較低的線性維數(shù)之中，便于信息的快速處理。在姿態(tài)估計(jì)階段，將待測(cè)樣本按下式投影到各子空間

通過(guò)計(jì)算測(cè)試樣本在該空間內(nèi)的投影大小即可獲得其姿態(tài)估計(jì)的結(jié)果，其分類方法按2.4節(jié)處理。

2.4 分類識(shí)別

經(jīng)過(guò)特征提取后，測(cè)試樣本最終成為特征空間中的一個(gè)點(diǎn)，通過(guò)計(jì)算距離或角度即可實(shí)現(xiàn)姿態(tài)的識(shí)別。采用歐式距離測(cè)度進(jìn)行姿態(tài)分類的公式如下

式中:x，y為n維特征空間的兩個(gè)點(diǎn)。分別計(jì)算測(cè)試樣本在各子空間中的投影距離并選擇距離最小的一類子空間即可實(shí)現(xiàn)其姿態(tài)的估計(jì)工作。

3 實(shí)驗(yàn)結(jié)果分析

3.1 測(cè)試樣本的選擇

為了驗(yàn)證本方法的有效性，在每一類姿態(tài)樣本中隨即選擇30個(gè)樣本進(jìn)行訓(xùn)練，并選取75張不同于訓(xùn)練樣本的不同姿態(tài)的樣本進(jìn)行測(cè)試。部分樣本示例如圖2所示。

圖2 部分測(cè)試樣本圖像Fig.2 Partial testing samples

3.2 實(shí)驗(yàn)結(jié)果及討論

為了驗(yàn)證姿態(tài)子空間維數(shù)對(duì)識(shí)別結(jié)果的影響，在式(8)中，分別選取不同的截取閾值進(jìn)行處理，已得到不同的子空間維數(shù)，不同子空間維數(shù)下的姿態(tài)估計(jì)結(jié)果如圖3所示。

圖3 不同的貢獻(xiàn)率對(duì)于其識(shí)別率曲線圖Fig.3 Estimation rate by choosing different subspace dimensions

由圖3可以明顯發(fā)現(xiàn)，隨著方差貢獻(xiàn)率的增大，姿態(tài)估計(jì)準(zhǔn)確率也穩(wěn)步提高。同時(shí)可以看出，在貢獻(xiàn)率較小時(shí)，微小的變換也會(huì)造成姿態(tài)估計(jì)結(jié)果的顯著變化，如貢獻(xiàn)率從0.5增加到0.6，識(shí)別率提高了近10%。之后隨著方差貢獻(xiàn)率的進(jìn)一步增加，姿態(tài)估計(jì)準(zhǔn)確率也隨之提高并趨于平穩(wěn)。當(dāng)貢獻(xiàn)率達(dá)到0.95后，人臉姿態(tài)的正確估計(jì)率基本趨于穩(wěn)定。

4 結(jié)束語(yǔ)

利用PCA算法所具有的計(jì)算方法簡(jiǎn)單和計(jì)算效率高的特點(diǎn)，將其應(yīng)用于多人臉姿態(tài)估計(jì)中。實(shí)驗(yàn)結(jié)果表明，該方法的最高姿態(tài)估計(jì)準(zhǔn)確率可達(dá)84%;方差貢獻(xiàn)率對(duì)識(shí)別結(jié)果具有較大影響，方差貢獻(xiàn)率越大則姿態(tài)估計(jì)正確率越高，但當(dāng)貢獻(xiàn)率達(dá)到一定值時(shí)，姿態(tài)估計(jì)準(zhǔn)確率將趨于穩(wěn)定。

不足之處在于，文中采取能量信息截取的方法來(lái)選取子空間維數(shù)，未能實(shí)現(xiàn)最優(yōu)子空間維數(shù)的選取，如何去除無(wú)效的特征向量以及如何選取最優(yōu)的子空間維數(shù)是下一步研究的重點(diǎn)。

［1］JiQiang，Hu Rong.3D face pose estimation and tracking from amonocular camera［J］.Image and Vision Computing，2002，20(7):499－511.

［2］薛雨麗，毛峽，郭葉，等.人臉交互中的人臉表情識(shí)別研究進(jìn)展［J］.中國(guó)圖象圖形學(xué)報(bào)，2009，14(5):764－772.

Xue Yu－li，Mao Xia，Guo Ye，et al.The research advance of facial expression recognition in human computer interaction［J］.Journal of image and graphics，2009，14(5):746－772.

［3］宋紅，石峰.基于人臉檢測(cè)與跟蹤的智能監(jiān)控系統(tǒng)［J］.北京理工大學(xué)學(xué)報(bào)，2004，24(11):966－970.

Song H，Shi F.Face detection and tracking for intelligent surveillance system［J］.Journal of Beijing Institute of Technology，2004，24(11):966－970.

［4］李旭東.用于人臉表情圖像與動(dòng)畫合成的圖像變形方法［J］.武漢大學(xué)學(xué)報(bào)信息科學(xué)版，2007，32(9): 796－799.

Li Xu－dong.Image morphing method for facial expression image and animation synthesis［J］.Journal of Geomatics and Information Science of Wuhan University，2007，32(9):796－799.

［5］李志春.駕駛員疲勞狀態(tài)檢測(cè)技術(shù)研究與工程實(shí)現(xiàn)［D］.鎮(zhèn)江:江蘇大學(xué)，2009.

Li Zhi－chun.Research on driver’s fatigue status detection technology and realization in engineering［D］. Zhenjiang:Jiangsu University，2009.

［6］Yun Fu，Thomas Huang.Graph embedded analysis for head pose estimation［C］//7th International Conference on Automatic Face and Gesture Recognition，2006:3－8.

［7］劉金葵.正面人臉判別的方法研究［D］.廣州:中山大學(xué)，2009.

Liu Jin－kui.The research of the positive face discrimination［D］.Guangzhou:Central South University，2009.

［8］孫昊翔.關(guān)于人臉姿態(tài)估計(jì)方法的研究［D］.長(zhǎng)春:吉林大學(xué)，2007.

Sun Hao－xiang.The research of the face pose estimation［D］.Changchun:Jilin University，2007.

［9］Chen Q，Wu H，Shimada T.A robust algorithm for 3D head pose estimation［C］//International Conference on Multimedia Computing and Systems，Nara，1999:697－702.

［10］Hu Y X，Chen L B，Zhou Y，et a1.Estimating face pose by facial asymmetry and geometry［C］//IEEEConf.on FG’04，2004:651－656.

［11］Hu F，Wang Y，Wu H.Mobile telemedicine sensor networks with low－energy data query and network lifetime considerations［J］.Mobile Computing，2007，5(4): 404－417.

［12］張媛，張燕平.一種PCA算法及其應(yīng)用［J］.微機(jī)發(fā)展.2005，15(2):69－72.

Zhang Yuan，Zhang Yan－ping.An algorithm of PCA and its application［J］.Microcomputer Development，2005，15(2):69－72.

［13］王宏擁，廖海斌，段新華，等.基于奇異值與特征融合矩陣的自適應(yīng)人臉識(shí)別［J］.計(jì)算機(jī)工程與應(yīng)用，2010，46(7):162－164.

Wang H Y，Liao H B，Duan X H，et al.Weighted adaptive face recognition using singular value and featurematrix［J］.Computer Engineering and Applications，2010，46(7):162－164.

［14］孫即祥.現(xiàn)代模式識(shí)別［M］.北京:國(guó)防科技大學(xué)出版社，2002.