具有最大散度無關(guān)性的局部保持投影算法

李 姝，于金剛

1(沈陽理工大學(xué) 裝備工程學(xué)院，沈陽 110159) 2(中國科學(xué)院 沈陽計(jì)算技術(shù)研究所，沈陽 110168) E-mail ：lishucx@163.com

1 引 言

在復(fù)雜環(huán)境下的人臉識(shí)別中，由于受到人臉本身表情、年齡以及外部的光照等方面的影響，導(dǎo)致人臉圖像存在許多的非線性結(jié)構(gòu).雖然經(jīng)典的基于流形學(xué)習(xí)的人臉識(shí)別算法，如保持局部非線性結(jié)構(gòu)不變的局部保持投影(Locality Preserving Projections，LPP)[1，2]算法，對(duì)于解決現(xiàn)實(shí)中的非線性問題有一定的貢獻(xiàn)，但其忽略了人臉類間信息的價(jià)值.在實(shí)際應(yīng)用中，高分辨率的人臉識(shí)別系統(tǒng)需要滿足對(duì)于同一張人臉提取的特征具有穩(wěn)定性，對(duì)于不同人臉提取的特征有差異性，因此要想達(dá)到高效的特征提取，引用類間信息是十分重要的.

本文基于LPP算法和最大散度準(zhǔn)則(Maximum Scatter Difference Criterion，MSDC)[3，4]，提出了一種具有最大散度無關(guān)性的局部保持投影算法MULPP.該算法通過將最大散度差準(zhǔn)則引入到LPP算法之中，即將最佳的類間信息引入到目標(biāo)函數(shù)之中，使算法具有最大的類間散度和最小的類內(nèi)散度，提高分類性能；并且將統(tǒng)計(jì)不相關(guān)的約束條件引入到算法中，通過求取最優(yōu)的統(tǒng)計(jì)無關(guān)鑒別矢量集，能夠有效地消除特征投影變換后各個(gè)特征分量之間的相關(guān)性，與此同時(shí)具有共軛正交性的鑒別矢量集，消除了特征間的冗余，更利于數(shù)據(jù)重構(gòu).此算法提高了人臉識(shí)別系統(tǒng)的識(shí)別性能，不需要復(fù)雜的分類器就能達(dá)到較高的識(shí)別率.

2 MSDC準(zhǔn)則

MSDC準(zhǔn)則是一種線性鑒別準(zhǔn)則，其通過尋找到一個(gè)最優(yōu)的變換矩陣，利用線性變換的方法，將高維空間數(shù)據(jù)集投影到低維空間，使得樣本的類間散度與類內(nèi)散度差最大，即不同類的樣本在投影后有最大的類間距離，同類樣本有最小的類內(nèi)距離.另外，MSDC準(zhǔn)則不同于Fisher鑒別準(zhǔn)則[5]，其采用廣義最大散度差作為數(shù)據(jù)集投影后類間、類內(nèi)的度量標(biāo)準(zhǔn)，而不再沿用廣義的Rayleigh商.

設(shè)有樣本空間向量集X={x1，x2，…，xl}∈Rd，共l個(gè)類.第i類的訓(xùn)練樣本數(shù)為Ni個(gè)，則第i類樣本平均值為mi，總樣本平均值為m，樣本總體散度矩陣為St，樣本類內(nèi)散度矩陣為Sw，樣本類間散度矩陣為Sb，它們定義分別為：

(1)

(2)

(3)

St=Sw+Sb

(4)

(5)

MSDC準(zhǔn)則定義函數(shù)如下：

(6)

=maxvT(Sb-C·Sw)v

(7)

(8)

3 統(tǒng)計(jì)不相關(guān)最優(yōu)鑒別矢量集

雖然具有局部保持投影的LPP算法成功地應(yīng)用于人臉識(shí)別領(lǐng)域，并取得了較好的實(shí)驗(yàn)效果，但是通過LPP算法獲得的投影特征矩陣列向量并不是兩兩正交的，特征間仍然有冗余性，不便于數(shù)據(jù)重構(gòu)；再則，類間特征盡可能是統(tǒng)計(jì)無關(guān)的，這樣會(huì)便于分類.鑒于此，將正交完備性概念引入鑒別矢量集是非常有意義的[6-9].

統(tǒng)計(jì)不相關(guān)定義：如果隨機(jī)變量ξ和η滿足等式(9)，則稱ξ和η為統(tǒng)計(jì)不相關(guān)的.

E[ξ-Eξ][η-Eη]=0

(9)

已知Fisher鑒別函數(shù)為公式(10)，其中v為任一n維非零列矢量.

(10)

樣本最優(yōu)鑒別矢量中，我們將v1作為第一個(gè)矢量方向，第r(r≧1)個(gè)矢量方向依次為v1，v2，…，vr，則第(r+1)個(gè)最優(yōu)矢量方向是vr+1，它既是令Fisher鑒別準(zhǔn)則函數(shù)表達(dá)式達(dá)到最大值的向量，它又滿足共扼正交條件式(11).

(11)

引理2. 具有統(tǒng)計(jì)無關(guān)性的最優(yōu)鑒別矢量集的第r+l個(gè)最優(yōu)鑒別方向vr+1是廣義特征方程(12)中最大特征值對(duì)應(yīng)的特征向量.

PkSbv=λSwv

(12)

4 MULPP算法設(shè)計(jì)

本文在LPP方法的基礎(chǔ)上，引入了統(tǒng)計(jì)無關(guān)特性和最大類間信息散度準(zhǔn)則，提出一種提出了具有最大類間散度無關(guān)性的局部保持映射算法(MULPP).本文提出的算法，可以使投影映射后的特征既保持了原有局部非線性特性，同時(shí)又保留了類別信息，在保持類內(nèi)間距最小的同時(shí)，使類間間距最大.MULPP算法目標(biāo)函數(shù)定義如下：

MULPP算法目標(biāo)函數(shù)定義如下：

(13)

(14)

簡化后的目標(biāo)函數(shù)J(V)被減數(shù)部分為：

=vTMBMTv

(15)

化簡目標(biāo)函數(shù)J(V)的減數(shù)部分為：

(16)

=2vTXLXTv

其中，D為對(duì)角矩陣Dii=∑jWij，L=D-W是Laplacian矩陣.將2vTXLXTv這部分作為投影變換后的類內(nèi)離散度量矩陣.

將(15)和(16)代入(13)得到

=maxvT(MBMT-2rXLXT)v

(17)

=maxvT(MBMT-2rXLXT)v

另外，考慮令yi和yj的特征具有統(tǒng)計(jì)無關(guān)性，則統(tǒng)計(jì)無關(guān)約束條件需要滿足下列關(guān)系：

(18)

(19)

由下式可知

(20)

其中，G=I-eeT/n，e=(1，1，…，1)T為n維列向量.

已知單位矩陣的任何正交變換仍是單位矩陣.對(duì)于在統(tǒng)計(jì)無關(guān)空間中任意兩個(gè)共軛正交向量，都可得到其相應(yīng)的最優(yōu)鑒別矢量，使訓(xùn)練樣本集在它們上的投影具有統(tǒng)計(jì)無關(guān)性.最終，MULPP算法的最優(yōu)模型表示為：

(21)

5 實(shí)驗(yàn)結(jié)果與分析

在AT&T和Yale兩個(gè)標(biāo)準(zhǔn)人臉圖像庫上進(jìn)行實(shí)驗(yàn)驗(yàn)證.分別測試、比較主成分分析(PCA)方法、局部保持投影(LPP)、最大散度準(zhǔn)則(MSDC)、典型相關(guān)分析(CCA)和本文所提出的MULPP算法的識(shí)別性能.

5.1 基于AT&T人臉庫實(shí)驗(yàn)

AT&T人臉圖像庫是由劍橋大學(xué)AT&T實(shí)驗(yàn)室創(chuàng)建，它又被稱為ORL人臉庫，相對(duì)于其他人臉圖像庫，AT&T人臉庫是一個(gè)容量較小的人臉庫，它包含有400張人臉灰度圖像，其中由40個(gè)人，每人10幅人臉圖像構(gòu)成.所有人臉圖像均為尺度10%左右、旋轉(zhuǎn)20%左右、和傾斜20%左右的單一黑色背景正面圖像[9].圖1為某個(gè)人在AT&T人臉圖像庫中的10個(gè)樣本圖像.

圖1 AT&T人臉數(shù)據(jù)庫中某一人的十幅圖像Fig.1 Ten images of one person in AT&T face database

樣本選取，隨機(jī)地從AT&T人臉庫里選擇某一人的5幅人臉圖像作為識(shí)別的訓(xùn)練樣本，剩余的 5幅圖像為測試樣本.測試樣本P測試=200，訓(xùn)練樣本P訓(xùn)練=200，實(shí)驗(yàn)采取獨(dú)立訓(xùn)練10次，求取平均識(shí)別率的方法.樣本主分量p=50.本實(shí)驗(yàn)的目的：測試、比較各個(gè)算法在AT&T人臉庫上的表現(xiàn).圖2表示在不同特征維數(shù)下，各算法的識(shí)別率變化情況.

圖2 各算法識(shí)別率比較Fig.2 Recognition rates of comparing various projection methods

從圖2和表1可知MULPP算法在20維度時(shí)，已經(jīng)達(dá)到最高識(shí)別率98.99%.相比較其他算法，MULPP算法具有很高的識(shí)別率，而且達(dá)到最高識(shí)別率所需的特征維數(shù)較低；在特

表1 各算法在AT&T庫最高識(shí)別率及相應(yīng)特征維數(shù)Table 1 Comparison of maximum recognition rates between methods on the AT&T database

征維數(shù)10以后，MULPP算法識(shí)別率都在96%以上一直高于其他算法.并且在特征維數(shù)20以后，MULPP算法的識(shí)別率始終穩(wěn)定在98%～99%之間，表明其具有較好的穩(wěn)定性.對(duì)比實(shí)驗(yàn)表明了，MULPP算法對(duì)于存在人的臉部細(xì)節(jié)和表情變化，及人臉圖像存在旋轉(zhuǎn)變化、尺度變化和傾斜變化的AT&T人臉庫中的表現(xiàn)非常出色.其可以在較低的維數(shù)下，達(dá)到較高的識(shí)別率.

(3)0～9.8 m孔段：鉆孔孔徑550 mm，下入?425 mm×8 mm表層套管9.9 m，并用強(qiáng)度為M10的水泥砂漿固井；

5.2 基于YALE人臉庫實(shí)驗(yàn)

Yale的人臉圖像庫也是人臉識(shí)別中常用到的圖像庫.Yale的人臉圖像庫圖像數(shù)據(jù)比較少，只包含15個(gè)人，共165幅人臉照片，每人擁有11張不同的表情[9].Yale人臉圖像庫圖像有表情和光照的變換.圖3是Yale人臉圖像庫中其中一個(gè)人的所有樣本.

圖3 Yale人臉圖像庫Fig.3 Face examples from the Yale database

實(shí)驗(yàn)從YALE人臉圖像中15個(gè)人里，每人隨機(jī)地選取5張人臉圖像作訓(xùn)練樣本，測試樣本為剩余的6張圖像，則訓(xùn)練樣本總數(shù)P訓(xùn)練=75，測試樣本總數(shù)P測試=90.采用獨(dú)立訓(xùn)練10次，求平均識(shí)別率的方法.樣本主分量數(shù) p=50.圖3表示PCA算法、CCA算法、LPP算法、MSDC算法與MULPP算法分別在Yale人臉圖像庫中特征維數(shù)與識(shí)別率對(duì)比.表2表示上述5類算法分別在YALE人臉圖像中的又具有的最高識(shí)別率，及對(duì)應(yīng)特征維數(shù).

表2 YALE庫中各算法最高識(shí)別率及對(duì)應(yīng)特征維數(shù)Table 2 Comparison of maximum recognition rates between methods on the YALE database

圖4 各類算法識(shí)別率比較Fig.4 Recognition rates of comparing various projection methods

從表2和圖4可知：MULPP算法的最高識(shí)別率是98.67%.相比較其他算法，MULPP算法在20維度時(shí)已經(jīng)到最高識(shí)別率，而其它算法的最高識(shí)別率在86.11%到92.97%之間，且需要達(dá)到較高的特征維數(shù).在YALE人臉圖像的實(shí)驗(yàn)中，MULPP算法的綜合識(shí)別性能都優(yōu)于其它算法，算法曲線圖變化平穩(wěn)、穩(wěn)定性強(qiáng).在Yale圖像庫實(shí)驗(yàn)結(jié)果表明，在人臉圖像角度及方位保持不變，但存在外界光線的干擾和表情變化，及部分圖像不完整情況時(shí)，MULPP算法仍然表現(xiàn)出很高的識(shí)別率.

6 結(jié) 論

本文提出了一種具有最大散度無關(guān)性的局部保持投影算

法.該算法采用統(tǒng)計(jì)不相關(guān)性的最佳鑒別矢量的計(jì)算方法，通過求取最優(yōu)的降維映射矢量集，既消除了信息間的冗余，又使得投影后的異類特征保持最大的類間距離，而同類特征保持最小類內(nèi)距離，從而提高算法的識(shí)別率.

本文提出的算法能夠使同類特征點(diǎn)相互集中，異類特征點(diǎn)相互分離，從而形成高聚簇作用.即使在人臉圖像存在表情不一、角度偏轉(zhuǎn)和圖像不完整的情況下，識(shí)別算法仍然能表現(xiàn)穩(wěn)定.通過實(shí)驗(yàn)表明，MULPP算法具有良好的分類性能，及較高的穩(wěn)定性，在低維特征空間，就達(dá)到了較高的識(shí)別率.

[1] Gupta D，Kaushik P.Face recognition using binary locality preserving projections[J].Biometrics & Bioinformatics，2014，6(5)：216-221.

[2] He X F，Yan S C,Hu Y X，et al.Face recognition using laplacianfaces[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(3)：328-340.

[3] Song F X，Cheng K ，Yang J Y ，et al.Maximum scatter difference，large margin linear projection and support vector machines[J].Acta Automatica Sinica，2004，30(6)：890-896.

[4] Lin Yu-sheng，Wang Jian-guo，Yang Jing-yu.A New efficient feature extraction method based on maximum scatter difference criterion[J].Computer Science，2007，34(12)：157-160.

[5] Zheng Yu-jie，Yang Jing-yu，Xu Yong，et al.A new feature extraction method based on fisher discriminant minimum criterion[J].Journal of Computer Research and Development，2006，43(7)：1201-1206.

[6] Lin Ke-zheng，Rong You-hu，Wu Di，et al.Orthogonal complete discriminant locality preserving projections of kernel[J].Pattern Recognition and Artificial Intelligence，2015,32(5)：1589-1592.

[7] Li Kun-lun，Geng Xue-fei，Cao Jing-yuan.Face recognition based on discriminant sparsity preserving projection[J].Journal of Chinese Computer Systems，2017，38(2)：376-380.

[8] Qi Yong-feng，Yang Hong-wei.A face recognition method based on sparse random projection[J].Radio Engineering，2015，45(3)：19-21.

[9] Lin Ke-zheng，Wu Di，Liu Shuai，et al.3D face recognition algorithm based on partial differential equations deformable mode[J].Computer Application Research，2015，32(9)：2827-2843.

附中文參考文獻(xiàn)：

[4] 林宇生，王建國，楊靜宇.一種新的基于最大散度差準(zhǔn)則的特征抽取方法[J].計(jì)算機(jī)科學(xué)，2007，34(12)：157-160.

[5] 鄭宇杰，楊靜宇，徐 勇，等.一種基于Fisher鑒別極小準(zhǔn)則的特征提取方法[J].計(jì)算機(jī)研究與發(fā)展，2006，43(7)：1201-1206.

[6] 林克正，榮友湖，吳 迪，等.核的正交完備鑒別局部保持投影[J].模式識(shí)別與人工智能，2015,32(5)：1589-1592.

[7] 李昆侖，耿雪菲，曹靜媛.鑒別稀疏保持投影的人臉識(shí)別算法[J].小型微型計(jì)算機(jī)系統(tǒng)，2017，38(2)：376-380.

[8] 齊永峰，楊宏偉.一種基于稀疏隨機(jī)投影的人臉識(shí)別方法[J].無線電工程，2015，45(3)：19-21.

[9] 林克正，吳 迪，劉 帥，等.基于PDE形變模型的三維人臉識(shí)別算法研究[J].計(jì)算機(jī)應(yīng)用研究，2015，32(9)：2827-2843.