基于Fisher的線性判別回歸分類算法

曾賢灝，石全民（.蘭州工業(yè)學(xué)院電子信息工程學(xué)院；.蘭州工業(yè)學(xué)院軟件工程學(xué)院，蘭州730050）

基于Fisher的線性判別回歸分類算法

曾賢灝1，石全民2
（1.蘭州工業(yè)學(xué)院電子信息工程學(xué)院；2.蘭州工業(yè)學(xué)院軟件工程學(xué)院，蘭州730050）

為了提高線性回歸分類（LRC）算法的魯棒性，提出了一種基于Fisher準(zhǔn)則的線性判別回歸分類算法。利用Fisher準(zhǔn)則將類間與類內(nèi)重建誤差的比值最大化，找到線性回歸分類的最優(yōu)投影矩陣；再將訓(xùn)練圖像及測試圖像投影到各類的特征子空間；求得各訓(xùn)練圖像與測試圖像間的歐氏距離，最后用K-近鄰分類器完成人臉識(shí)別。在AR人臉數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果表明，相比其他回歸分類算法，算法取得了更好的識(shí)別效果。

人臉識(shí)別；Fisher準(zhǔn)則；線性判別；線性回歸分類；K-近鄰分類器

0　引言

人臉識(shí)別系統(tǒng)[1,2]常使用人臉圖像來識(shí)別特定身份，已被廣泛應(yīng)用于生物特征認(rèn)證之中，有視頻監(jiān)控和訪問控制等。已有的人臉識(shí)別方法基本上都是從靜態(tài)圖像或者視頻圖像中進(jìn)行識(shí)別，主要有主成分分析(Principal Component Analysis,PCA)[3]、獨(dú)立成分分析(Independent Component Analysis,ICA)[4]和線性判別分析(Linear Discriminant Analysis, LDA)[5]，這些方法都試圖使用降維技術(shù)來找到一個(gè)低維子空間，從而實(shí)現(xiàn)有效人臉識(shí)別。文獻(xiàn)[6]提出了一種線性回歸分類算法（Linear Regression Classification,LRC），假設(shè)指定的人臉圖像類屬于一個(gè)線性子空間，利用最小二乘法估算回歸系數(shù)，由原向量和投影向量間的最小距離決定最終判別值，而未將類間信息考慮進(jìn)去。而且LRC算法執(zhí)行前使用PCA最大化總（類內(nèi)和類間）散列矩陣，不能保證LRC的良好性能。

本文提出了一種基于Fisher準(zhǔn)則的線性判別回歸分類(Linear Discriminant Regression Classifica?tion based on Fisher Criterion,FC-LDRC)算法，以期提高線性回歸分類用于人臉分類的魯棒性。

1　線性回歸分類

假設(shè)有自第i個(gè)類的pi個(gè)訓(xùn)練圖像i=1,2,...,N，若將圖像投影到人臉空間上，用矩陣W表示所有來自N個(gè)對(duì)象的特征向量，即W=[W1,...,Wi,...,WN]，再將有關(guān)類成員列向量wi,j組成集合，對(duì)于第i個(gè)類，有：

式中，每個(gè)向量是大小為L×1的列向量，在訓(xùn)練階段，第i類用向量空間Wi表示，稱為每個(gè)對(duì)象的預(yù)測器。

若y屬于第i類，它可由第i類訓(xùn)練圖像的一個(gè)線性組合表示：

式中，βi∈Rpi×l為回歸參數(shù)的向量，為誤差向量。線性回歸的目標(biāo)是找到最小的誤差，即：

線性回歸的目的是找到源向量和投影向量間的最小距離，若源向量是類i的子空間，預(yù)測向量就是最接近源向量的向量。計(jì)算源向量和預(yù)測響應(yīng)向量之間的歐氏距離即可確認(rèn)類別身份i*，即：

2　識(shí)別模型與算法設(shè)計(jì)

已知一組訓(xùn)練圖像M，每個(gè)圖像的灰度大小為a×b，用vm∈Ra×b表示，m=1,2,...,M。取每個(gè)圖像的列向量xm∈RL×1，其中，L=a×b。疊加所有xm，所得數(shù)據(jù)即X=[x1,...,xm,...,xM]∈RL×M，相應(yīng)的類標(biāo)簽xm記作l(xm∈{1,2,...,c})，其中，c為類的總數(shù)。

2.1基于Fisher準(zhǔn)則的線性判別回歸分類

根據(jù)Fisher準(zhǔn)則，最大化LRC的類間重建誤差(BCRE)與類內(nèi)重建誤差(WCRE)之間的比值后可以找到一個(gè)最優(yōu)的投影，能夠使LRC在最優(yōu)子空間具有較好的分類判別率。因此，可將本文算法最大化給定的目標(biāo)函數(shù)表示為：

式中，U為想要估計(jì)的最優(yōu)投影矩陣，EBC為由LRC引起的類間重建誤差，EWC為由LRC引起的類內(nèi)重建誤差。因此，只要找到一個(gè)從源空間xm到子空間ym=UTxm的最優(yōu)映射U=[u1,...,un,...,ud]，再利用特定位于某個(gè)線性子空間的對(duì)象的采樣值設(shè)計(jì)線性判別回歸分類算法，記作l(xm)=l(ym)，用特征向量估計(jì)每個(gè)類i的特定類投影矩陣

目標(biāo)函數(shù)可變形為：

化簡得：

式中，Eb和Eω分別為由LRC得到的類間重建誤差矩陣和類內(nèi)重建誤差矩陣，有

因此目標(biāo)函數(shù)可簡化為

因?yàn)長RC引起的內(nèi)部類重建誤差的每個(gè)類的樣本數(shù)可能會(huì)小于樣本空間的維度，這通常被稱為“小樣本”問題，為此加入不影響子空間的項(xiàng)εI，目標(biāo)函數(shù)式(12)變換為

式中，ε為一個(gè)很小的正數(shù)，I為單位矩陣。在式(13)分母保持恒定的時(shí)最大化分子，目標(biāo)函數(shù)可改寫為如下約束優(yōu)化問題：

式中，κ為一個(gè)常數(shù)。所以式(14)可以使用拉格朗日乘數(shù)法求解。通過求解廣義特征值問題可以得到變換矩陣U=[u1,...,un,...,ud]：

式中，λl≥…≥λκ…≥λd

2.2識(shí)別過程

算法包括訓(xùn)練和測試兩個(gè)階段，分別表示如下：

1)訓(xùn)練階段

步驟1：給定一個(gè)人臉圖像的向量訓(xùn)練集，利用公式（15）得到一個(gè)最優(yōu)投影矩陣U；

步驟2：利用估計(jì)特征向量ym=UTxm將每個(gè)訓(xùn)練圖像向量轉(zhuǎn)換為特征向量；

步驟3：計(jì)算出每個(gè)類的特定類投影矩陣Hi。

2)測試階段

步驟1：利用訓(xùn)練階段得到的投影矩陣U將每個(gè)測試人臉圖像向量轉(zhuǎn)換為特征向量；

步驟2：利用公式(4)將特征向量投影到第i類子空間；

步驟3：利用公式(5)計(jì)算測試樣本到各個(gè)訓(xùn)練樣本間的歐氏距離；

步驟4：利用K-近鄰分類器完成人臉識(shí)別。

3　實(shí)驗(yàn)

將算法FC-LDRC、本征臉[1]、Fisher臉[5]、LRC[6]、RLRC[7]、IPCRC[8]的性能在著名的人臉數(shù)據(jù)庫AR上進(jìn)行了比較。實(shí)驗(yàn)所用算法在個(gè)人計(jì)算機(jī)上使用MATLAB7.0軟件編程實(shí)現(xiàn)，個(gè)人計(jì)算機(jī)配置：Win?dows XP操作系統(tǒng)、迅馳酷睿2處理器、2.53 GHz主頻、4 GB RAM。

AR人臉數(shù)據(jù)庫包含3510張面部照片，有不同的面部表情、光照變化和局部遮擋。照片總共135例(男性76人，女性59人)。每例對(duì)象有26個(gè)圖像，分兩部分組成。第一部分有13張圖像，包含無表情的、快樂的、憤怒的和尖叫的表情，不同的光照變化和兩個(gè)實(shí)際的帶有光照變化的局部遮擋，第二個(gè)部分有13張圖像，為兩周以后通過相同的方式獲取所得。

實(shí)驗(yàn)從100個(gè)對(duì)象中挑選出了以下帶有不同表情的人臉圖像來驗(yàn)證提出方法的有效性，表情包括無表情(N)、快樂(H)、憤怒的(A)和尖叫(S)，如圖1所示。

實(shí)驗(yàn)中將面部區(qū)域裁剪和縮放到30×20像素，使用單一表情策略評(píng)估算法性能（例如，如果快樂的表情圖像用于訓(xùn)練，則無表情、憤怒和尖叫的表情圖像用于測試，這個(gè)過程重復(fù)多次），本文算法中K-近鄰中的K值取3，其他相關(guān)算法的參數(shù)設(shè)置分別參照各自所在文獻(xiàn)，在AR數(shù)據(jù)庫四種表情訓(xùn)練時(shí)的識(shí)別率如表1所示。

表1　各算法在AR人臉庫上的識(shí)別率(%)

從表1可以看出，本文算法的識(shí)別率在每一組實(shí)驗(yàn)中均優(yōu)于其他各個(gè)方法。此外，還可以看出，獲得最高的識(shí)別率的是快樂表情的人臉圖像作為訓(xùn)練集，而獲得最低識(shí)別率的是使用尖叫的人臉圖像作為訓(xùn)練集，這是因?yàn)榧饨袝r(shí)面部表情變化較大，但本文算法在這種情況下的識(shí)別率還是高達(dá)90.22%。

4　結(jié)論

本文提出的基于Fisher準(zhǔn)則的線性判別回歸分類算法，在線性回歸分類算法中嵌入了Fisher準(zhǔn)則，從而可以得到一個(gè)最優(yōu)投影矩陣，提高了LRC在子空間的分類判別能力，改進(jìn)了LRC的魯棒性。實(shí)驗(yàn)結(jié)果表明，相比其他相關(guān)算法，本文FCLDRC算法取得了更高的識(shí)別率。

[1]徐明，喬寧博，文振焜，等.基于特征識(shí)別的三維人臉動(dòng)畫模型自動(dòng)構(gòu)造[J].中國圖像圖形學(xué)報(bào)，2012，17（12）：1540-1547．

[2]蘇煜，山世光，陳熙霖，等.基于全局和局部特征集成的人臉識(shí)別[J].軟件學(xué)報(bào)，2010，21（8）：1849-1862．

[3]張祥德，張大為，唐青松，等.仿生算法與主成分分析相融合的人臉識(shí)別方法[J].東北大學(xué)學(xué)報(bào):自然科學(xué)版，2009，30（7）：972-975．

[4]柴智，劉正光.應(yīng)用復(fù)小波和獨(dú)立成分分析的人臉識(shí)別[J].計(jì)算機(jī)應(yīng)用，2010，30（7）：1863-1866．

[5]鄒建法，王國胤，龔勛.基于增強(qiáng)Gabor特征和直接分步線性判別分析的人臉識(shí)別[J].模式識(shí)別與人工智能，2010，23（4）：477-482．

[6]何林，潘靜，龐彥偉.基于DCT和線性回歸的人臉識(shí)別[J].計(jì)算機(jī)應(yīng)用研究，2012，29（3）：1123-1126．

[7]NASEEM I,TOGNERI R,BENNAMOUN M.Robust regres?sion for face recognition[J].Pattern Recognition,2012,45(1): 104-118.

[8]HUANG S M,YANG J F.Improved principal component re?gression for face recognition under illumination variations[J]. Signal Processing Letters,IEEE,2012,19(4):179-182.

(責(zé)任編輯：趙建周）

Linear Discriminant Regression Classification Algorithm by Fisher Criterion

ZENG Xian-hao1,SHI Quan-min2
(1.College of Electronic and Information Engineering,Lanzhou Institute of Technology；2.College of Software Engineering,Lanzhou Institute of Technology,Lanzhou 730050,China)

To improve the robustness of the linear regression classification(LRC)algorithm,a linear discrimi?nant regression classification algorithm based on Fisher criterion is proposed.The ratio of the between-class re?construction error over the within-class reconstruction error is maximized by Fisher criterion so as to find an opti?mal projection matrix for the LRC.Then,all testing and training images are projected to each subspace by the op?timal projection matrix and Euclidean distances between testing image and all training images are computed.Fi?nally,K-nearest neighbor classifier is used to finish face recognition.Experimental results on AR face databases show that proposed method has better recognition effects than several other regression classification approaches.

face recognition;fisher criterion;linear discriminant;linear regression classification;K-nearest neighbor classifier

TP391

A

1673-2928（2015）02-0059-03

2014-11-07

甘肅省教育廳科研項(xiàng)目（2013A-124），甘肅省自然科學(xué)基金資助項(xiàng)目(1107RJZA170)。

曾賢灝(1980-)，男，甘肅白銀人，蘭州工業(yè)學(xué)院電子信息工程學(xué)院講師，研究方向：模式識(shí)別與圖像處理。