基于稀疏排列的LPP和ELM的人臉識(shí)別

王博林， 閆德勤， 楚永賀

(1.遼寧師范大學(xué) 數(shù)學(xué)學(xué)院，遼寧 大連 116029；2.遼寧師范大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，遼寧 大連 116081)

?

基于稀疏排列的LPP和ELM的人臉識(shí)別

王博林1， 閆德勤2， 楚永賀2

(1.遼寧師范大學(xué) 數(shù)學(xué)學(xué)院，遼寧 大連 116029；2.遼寧師范大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，遼寧 大連 116081)

在人臉圖像識(shí)別中人臉圖像數(shù)據(jù)中有很多是稀疏的，對(duì)于稀疏數(shù)據(jù)的降維是流形學(xué)習(xí)算法面臨的一個(gè)問(wèn)題。為了有效地從高維圖像數(shù)據(jù)中提取人臉圖像的敏感信息，提高人臉識(shí)別的速度，文章提出了一種基于流形學(xué)習(xí)的有監(jiān)督稀疏排列的局部保持投影算法(SSLPP)的極端學(xué)習(xí)機(jī)(ELM)。

流形學(xué)習(xí)；極端學(xué)習(xí)機(jī)

0 引言

近年來(lái)在流形學(xué)習(xí)的基礎(chǔ)上研究人員提出了不同的降維算法，例如，局部保持嵌入(Locally Linear Embedding, LLE)[1]、拉普拉斯特征映射(Laplacian Eigenmaps, LE)[2]，這些非線(xiàn)性方法在人臉圖像識(shí)別中取得了理想的效果，然而人臉圖像數(shù)據(jù)往往具有非常高的維數(shù),利用這些非線(xiàn)性方法是非常耗時(shí)，對(duì)如何構(gòu)建測(cè)試數(shù)據(jù)的鄰接圖關(guān)系是未知的。為了解決上述非線(xiàn)性方法的耗時(shí)問(wèn)題，研究人員提出了有監(jiān)督的鄰域保持嵌入(Supervised Neighborhood Preserving Embedding, SNPE)[3]、判別信息增強(qiáng)的鄰域保持嵌入(Discriminant-Enhanced Neighborhood Preserving Embedding, DNPE)[4]、局部最大間隔判別嵌入(Local Maximal Margin Discriminant Embedding, LMMDE)[5]等能夠很好地提取人臉圖像數(shù)據(jù)的判別信息，并且解決了非線(xiàn)性方法的耗時(shí)問(wèn)題。目前在人臉圖像識(shí)別中降維算法面臨的問(wèn)題是：基于流形學(xué)習(xí)的各種算法對(duì)人臉圖像數(shù)據(jù)的判別信息的提取效果不佳，極大地影響著極端學(xué)習(xí)機(jī)的分類(lèi)性能。降維算法的有效性取決于對(duì)人臉圖像數(shù)據(jù)判別信息的有效提取。稀疏性是人臉圖像數(shù)據(jù)的屬性之一，影響著降維算法的有效性。

近年來(lái)HUANG等人[6]基于單隱層前饋神經(jīng)網(wǎng)絡(luò)(Single-Hidden Layer Feedforward Networks,SLFNs)結(jié)構(gòu)提出了極端學(xué)習(xí)機(jī)(Extreme Learning Machine,ELM)。ELM訓(xùn)練速度快，避免了傳統(tǒng)SLFNs學(xué)習(xí)方法收斂速度慢及陷入局部極小解的可能。ELM是一種基于單隱層前饋神經(jīng)網(wǎng)絡(luò)(SLFNs)的結(jié)構(gòu)，它隨機(jī)選擇輸入權(quán)值和分析確定SLFNs的輸出權(quán)值，具有更好的泛化能力和更快的學(xué)習(xí)速度，避免了瑣碎的人為干預(yù)，使得它在在線(xiàn)和實(shí)時(shí)應(yīng)用中具有較高的效率。然而在人臉識(shí)別問(wèn)題中由于人臉圖像數(shù)據(jù)往往具有非常高的維數(shù)，從而使ELM的識(shí)別率下降和分類(lèi)速度變慢，為此本文提出了基于流形學(xué)習(xí)的極端學(xué)習(xí)機(jī)。本文的創(chuàng)新點(diǎn)如下：(1)將流形學(xué)習(xí)的理論與ELM結(jié)合起來(lái)，進(jìn)而提高人臉識(shí)別的識(shí)別率和識(shí)別速度； (2)考慮到人臉圖像數(shù)據(jù)的稀疏性，為此利用人臉圖像數(shù)據(jù)的統(tǒng)計(jì)信息動(dòng)態(tài)確定局部線(xiàn)性化范圍，在LPP算法的基礎(chǔ)上依據(jù)數(shù)據(jù)的分布提出一種有監(jiān)督稀疏排列的局部保持投影算法(SSLPP)。

1 基于流形學(xué)習(xí)的SSLPP降維方法

圖1 以xi為中心的k-N(i)域

對(duì)于稀疏的人臉圖像數(shù)據(jù)樣本集，樣本間重疊的信息量非常少，為此本文通過(guò)擴(kuò)大k鄰域?yàn)閗-N(i)區(qū)域?qū)υ紨?shù)據(jù)集進(jìn)行區(qū)域信息加強(qiáng)，如圖1所示，k-N(xi)區(qū)域?yàn)镹(xi)及其對(duì)應(yīng)的k近鄰點(diǎn)構(gòu)成，這使得在數(shù)據(jù)樣本集較少的情況下，同樣能夠?qū)崿F(xiàn)重疊信息量非常充分的流形學(xué)習(xí)效果。

本文期望k-N(i)鄰域降維后樣本的鄰域關(guān)系盡可能保持不變，則第i個(gè)樣本鄰域最小化目標(biāo)函數(shù)為：

(1)

(2)

式(2)中c為所有樣本的類(lèi)別總數(shù)，uT為投影變換矩陣，依據(jù)文獻(xiàn)[7]對(duì)LPP算法的推導(dǎo)過(guò)程如下：

(3)

其中Yi=[yi1,…,yik]，el=[1,…,1]T,Il∈Rl×l的單位矩陣，L為拉普拉斯矩陣。SSLPP算法保持了LPP算法原有的框架，因此優(yōu)化條件可寫(xiě)為：

minε(u)=tr(uTXLXTu) s.t.uTXDXTu=I

(4)

其中Dii=∑jwij，利用拉格朗日乘子法對(duì)式(4)進(jìn)行求解可得:

XLXTu=λXDXTu

(5)

對(duì)矩陣XLXT和XDXT進(jìn)行特征值分解，得到特征向量矩陣為U=[u1,…,uN]。從特征向量矩陣中選取的第2到第d+1個(gè)最小特征值對(duì)應(yīng)的特征向量，即：[u2,…,ud+1]T，則由y=uTx得到SSLPP算法。

2 ELM

對(duì)于N個(gè)不同的樣本(xj,tj)可表示為X=(x1,x2,…,xN)T∈RD×N,其中tj=(tj1,tj2,…,tjm)T∈Rm，具有L個(gè)隱層節(jié)點(diǎn)激活函數(shù)為g(x)的ELM模型如下形式:

(6)

其中j=1,2,…,N，ai=(ai1,ai2,…,ain)為連接第i個(gè)隱層節(jié)點(diǎn)與輸入節(jié)點(diǎn)的輸入權(quán)值向量，βi=(βi1,βi2,…,βim)為連接第i個(gè)隱層節(jié)點(diǎn)與輸出節(jié)點(diǎn)的輸出權(quán)值向量，bi為第i個(gè)隱層節(jié)點(diǎn)的偏置值，ai·xj表示ai和xj的內(nèi)積，tj=(tj1,tj2,…,tjm)T∈Rm為對(duì)應(yīng)于樣本xj的期望輸出向量，對(duì)所有數(shù)據(jù)樣本進(jìn)行整合，式(6)可以改寫(xiě)為如下形式：

Hβ=T

(7)

其中H是網(wǎng)絡(luò)隱層節(jié)點(diǎn)輸出矩陣，β為輸出權(quán)值矩陣，T為期望輸出矩陣：

(8)

(9)

(10)

當(dāng)隱層節(jié)點(diǎn)個(gè)數(shù)與訓(xùn)練樣本個(gè)數(shù)相同時(shí)(即L=N)，可以通過(guò)式(7)直接求矩陣H的逆矩陣得到最優(yōu)的輸出權(quán)值矩陣β，但大多情況下隱層節(jié)點(diǎn)的個(gè)數(shù)遠(yuǎn)小于訓(xùn)練樣本的個(gè)數(shù)(即L?N)，此時(shí)矩陣H為奇異矩陣，利用最小二乘解的方法對(duì)式(7)進(jìn)行求解：

(11)

其中,H+為矩陣H的廣義逆。

為了提高傳統(tǒng)ELM的穩(wěn)定性和泛化能力，Huang提出了等式優(yōu)化約束的ELM。等式優(yōu)化約束的ELM的優(yōu)化式子不僅最小化訓(xùn)練誤差ξ，同時(shí)最小化輸出權(quán)值β，因此等式優(yōu)化約束的ELM目標(biāo)式子可寫(xiě)為：

i=1,2,…,N

(12)

式(12)中ξi=(ξi1,…,ξ1m)T為對(duì)應(yīng)于樣本xi的訓(xùn)練誤差向量，C為懲罰參數(shù)。式(12)的求解可通過(guò)拉格朗日方法轉(zhuǎn)化為無(wú)條件最優(yōu)化問(wèn)題進(jìn)行求解。因此ELM算法求解過(guò)程可總結(jié)如下：

(1)初始化訓(xùn)練樣本集；

(2)隨機(jī)指定網(wǎng)絡(luò)輸入權(quán)值ai和偏置值bi；

(3)通過(guò)激活函數(shù)[8]計(jì)算隱層節(jié)點(diǎn)輸出矩陣H；

3 實(shí)驗(yàn)結(jié)果及分析

2個(gè)不同人臉庫(kù)數(shù)據(jù)參數(shù)設(shè)置如表1所示，人臉圖像如圖2所示。為了證明所提出算法的有效性，在ORL實(shí)驗(yàn)中隨機(jī)選取訓(xùn)練集個(gè)數(shù)為L(zhǎng)={2，3，4，5}，剩余部分為測(cè)試集；在Yale B試驗(yàn)中隨機(jī)選取訓(xùn)練集個(gè)數(shù)為L(zhǎng)={5，10，20，30}，剩余部分為測(cè)試集，不同降維算法在不同維數(shù)下的識(shí)別率曲線(xiàn)及識(shí)別率如圖3所示。

表1 數(shù)據(jù)參數(shù)集描述

圖2 不同人臉圖像Yale, Yale B,ORL

圖3給出了ELM采用不同降維算法在ORL人臉數(shù)據(jù)上的識(shí)別率曲線(xiàn)。由圖3可知ELM采用SSLPP算法的識(shí)

圖3 不同降維算法在ORL人臉庫(kù)識(shí)別率曲線(xiàn)

別率曲線(xiàn)達(dá)到了100%并且非常穩(wěn)定，SNPE算法的識(shí)別率曲線(xiàn)隨著位數(shù)據(jù)維數(shù)的增大出現(xiàn)了波動(dòng)，DNPE算法、LMMDE和RAF-GE算法[8]的識(shí)別率曲線(xiàn)隨著數(shù)據(jù)維數(shù)的增大識(shí)別率也跟著增大，DNPE算法在ORL數(shù)據(jù)上表現(xiàn)出比較好的性質(zhì)。

圖4給出了ELM采用不同降維算法在Yale B人臉數(shù)據(jù)上的識(shí)別率曲線(xiàn)，由圖4可知ELM采用SSLPP算法的識(shí)別率曲線(xiàn)明顯高于其他算法并且非常穩(wěn)定。

4 結(jié)論

為了提高人臉識(shí)別的速度和準(zhǔn)確率，本文提出了基于流形學(xué)習(xí)的極端學(xué)習(xí)機(jī)，通過(guò)與DNPE及LMMDE、RAF-GE、SNPE算法的對(duì)比實(shí)驗(yàn)表明，本文所提出的方法在人臉識(shí)別速度和識(shí)別率上顯著優(yōu)于其他方法，因此，基于流行學(xué)習(xí)的極端學(xué)習(xí)機(jī)具有重要的現(xiàn)實(shí)的意義。

[1]ROWEIS S T,SAUL L K, Nonlinear dimensionality reduction by locally linear embedding[J].Science,2000,290(5500)：2323-2326.

[2]MIKHAIL B,PARTHA N.Laplacian eignmaps for dimensionality reduction and data representation[J]. Neural Computation, 2003,15(6)：1373-1396.

[3]Bao Xing,Zhang Li,Wang Bangjun,et al. A supervised neighborhood preserving embedding for face recognition[C]. International Joint Conference on Neural Networks,2014:278-284.

[4]Chai Yi,Yang Zhimin,Zhang Ke,et al. Discriminant-enhanced neighborhood preserving embedding for dimensionality reduction[C]. IEEE Conference, Nov ,2013:255-210.

[5]Huang Pu,Tang Zhenmin,Chen Caikou,et al. Local maximal margin discriminant embedding for face recognition[J]. Vis. Commun. Image R., 2014(25):296-305.

[6] Wang Dianhui，Huang Guangbin.Protein sequence classificati-on using extreme learning machine[J].Proceedings of International Joint Conference on Neural Networks, 2005(3):1406- 1411.

圖4 不同降維算法在Yale B人臉庫(kù)識(shí)別率曲線(xiàn)

[7] Huang Guangbin. An insight into extreme learning machines:random neurons,random features and kernels[J]. Cogn Comput,2014,6(3):376-390.

[8] 馮林，劉勝藍(lán)，張晶，等.高維數(shù)據(jù)中魯棒激活函數(shù)的極端學(xué)習(xí)機(jī)及線(xiàn)性降維[J].計(jì)算機(jī)研究與發(fā)展，2014，51(6)：1331-1340.

Face recognition based on sparse array of LPP and ELM

Wang Bolin1, Yan Deqin2,Chu Yonghe2

(1.School of Mathematics,Liaoning Normal University,Dalian 116029,China; 2.School of Computer and Information Technology,Liaoning Normal University,Dalian 116081,China)

In face recognition, lots of face image data is sparse. The dimension reduction of sparse data is a prohlem of manifold learning algorithms. In order to effectively extract the essence information of human face image from high dimensional image data, and increase the speed of face recognition, this paper proposes a manifold learning extreme learning machine (MELM) with supervised sparse alignment of local preserving projection (SSLPP) algorithm.

manifold learning; extreme learning machine

TP18

A

10.19358/j.issn.1674- 7720.2016.23.012

王博林， 閆德勤， 楚永賀. 基于稀疏排列的LPP和ELM的人臉識(shí)別[J].微型機(jī)與應(yīng)用，2016,35(23)：42-45.

2016-08-11)

王博林(1993-)，通信作者，女，碩士研究生，主要研究方向：機(jī)器學(xué)習(xí)，圖像處理等。E-mail:841466296@qq.com。

閆德勤(1962-)，男，博士，教授，主要研究方向：機(jī)器學(xué)習(xí)，圖像處理等。

楚永賀(1989-)，男，碩士研究生，主要研究方向：機(jī)器學(xué)習(xí)，圖像處理等。