小波核極限學(xué)習(xí)機(jī)在人臉識(shí)別中的應(yīng)用

李張紅，鄭燕柳，田　涵，楊瑞麗

（河南師范大學(xué)，河南 新鄉(xiāng) 453007）

小波核極限學(xué)習(xí)機(jī)在人臉識(shí)別中的應(yīng)用

李張紅，鄭燕柳，田涵，楊瑞麗

（河南師范大學(xué)，河南 新鄉(xiāng) 453007）

文章提出了一種基于小波核極限學(xué)習(xí)機(jī)（Wavelet Kernel Extreme Learning Machine，WK-ELM）的人臉識(shí)別算法。首先，使用2D蓋博小波變換對(duì)人臉圖片進(jìn)行初步的人臉特征提取。為了從所有提取的特征中選擇出與人臉識(shí)別相關(guān)的、必要的特征，使用主成分分析法（Principal Component Analysis，PCA）對(duì)經(jīng)過(guò)初步處理后的圖像再進(jìn)行進(jìn)一步處理，有效地降低了特征維數(shù)。然后使用小波核極限學(xué)習(xí)機(jī)對(duì)提取到的圖像進(jìn)行分類(lèi)。實(shí)驗(yàn)證明，小波核極限學(xué)習(xí)機(jī)不僅識(shí)別性能高，而且訓(xùn)練速度也優(yōu)于其他算法。

極限學(xué)習(xí)機(jī)；人臉識(shí)別；特征提取；主成分分析；小波核極限學(xué)習(xí)機(jī)

隨著模式識(shí)別、計(jì)算機(jī)視覺(jué)以及電子商務(wù)的發(fā)展，人臉識(shí)別技術(shù)已逐漸成為現(xiàn)在生物識(shí)別技術(shù)的重要研究方向。其主要原因有兩個(gè)方面［1］：首先，人臉識(shí)別技術(shù)比其他生物識(shí)別技術(shù)更加友好、人性化、使用方便、不易仿冒，所以它被應(yīng)用于很多領(lǐng)域，尤其是在國(guó)家的重要機(jī)構(gòu)以及社會(huì)安全防護(hù)領(lǐng)域都具有不可替代的地位；其次，近年來(lái)相關(guān)領(lǐng)域技術(shù)的飛快發(fā)展也為人臉識(shí)別技術(shù)的研究與應(yīng)用奠定了基礎(chǔ)。人臉識(shí)別是指利用計(jì)算機(jī)技術(shù)對(duì)收集到的圖像進(jìn)行預(yù)處理并提取人臉的主要特征，最終實(shí)現(xiàn)對(duì)人身份的識(shí)別。

近年來(lái)學(xué)者們研究發(fā)現(xiàn)，可以用一組二維Gabor小波來(lái)模擬大部分視覺(jué)皮層簡(jiǎn)單細(xì)胞的濾波響應(yīng)［2］。由于人臉圖像的特征容易受到光照、表情、化妝及年齡變化的影響，如果直接采用灰度處理圖像來(lái)提取人臉特征往往不能獲得期望的人臉識(shí)別結(jié)果。而使用2D Gabor小波變換可以得到精度較高的結(jié)果。

在經(jīng)過(guò)預(yù)處理和Gabor濾波以后得到的人臉向量的維數(shù)較高，有很多不必要的特征，如果直接送入分類(lèi)器中學(xué)習(xí)必然不能得到預(yù)期的效果。所以在對(duì)圖像進(jìn)行Gabor濾波以后，還需要用主成分分析法對(duì)所獲得的信息進(jìn)行壓縮降維處理，然后采用小波核極限學(xué)習(xí)機(jī)算法進(jìn)行分類(lèi)。

1　人臉識(shí)別特征提取方法

不同的人臉圖像可用其特有的向量來(lái)表示，這個(gè)向量為特征向量。為了對(duì)不同的人臉進(jìn)行區(qū)分，首先需要從人臉圖像中提取最主要的特征。然而人臉圖像中可能會(huì)有大量贅余的特征，如何提取出能夠?qū)θ四樳M(jìn)行準(zhǔn)確表達(dá)的特征對(duì)人臉識(shí)別的效果有著重要的影響。人臉特征提取的方法有很多比如基于圖像灰度信息、基于人臉的局部或整體的信息提取、基于人臉幾何特征的信息提取等。本文采用Gabor濾波和主成分分析的方法來(lái)進(jìn)行特征提取。

1.1 人臉Gabor濾波

由于人臉圖像的特征容易受到光照、表情、年齡變化及化妝的影響，直接采用灰度圖像處理不能取得預(yù)期的效果。而如果采用2D Gabor小波變換，我們可以得到圖片中相對(duì)于空間頻率、空間坐標(biāo)以及方向選擇性的局部結(jié)構(gòu)信息，這些信息能夠較為準(zhǔn)確地描述人臉圖像的特征［3］。一個(gè)2D Gabor濾波器g（x，y）可以用下式來(lái)表示：

本文選用5個(gè)中心頻率和8個(gè)方向組成的40個(gè)Gabor濾波器的濾波器組來(lái)對(duì)圖像進(jìn)行處理。

1.2 主成分分析法（PCA）

經(jīng)過(guò)預(yù)處理和Gabor濾波處理后的圖像人臉向量的維數(shù)較高并且有較多贅余特征，所以還要對(duì)所獲得的信息進(jìn)行壓縮降維處理，主成分分析法在壓縮降維方面具有較好的性能。PCA是一種基于子空間的特征提取方法，PCA的基本原理是在K-L變換基礎(chǔ)上盡可能減少贅余特征，提取主要人臉圖像主要特征。

PCA具體實(shí)現(xiàn)步驟：

假設(shè)訓(xùn)練集中有N幅人臉圖像，經(jīng)過(guò)預(yù)處理后每幅圖像大小為a×b，則每幅圖像構(gòu)成一個(gè)a×b維的矩陣，然后把每一列連在一起構(gòu)成列向量xi。

訓(xùn)練集矩陣可以表示為：

對(duì)X取均值

人臉樣本的差異用向量δ表示：

其中λi為特征值，ui為特征向量，Λ=diag［λ1，λ2，…λN］為對(duì)角陣，U=［u1，u2，…uN］為奇異矩陣，將特征值λi按從大到小排列，選取λi較大的前p個(gè)特征值對(duì)應(yīng)的特征向量構(gòu)成“特征臉”空間P=［u1，u2，…uN］。

即為PCA的人臉表示。

2　基于小波核極限學(xué)習(xí)機(jī)的人臉?lè)诸?lèi)

2.1 極限學(xué)習(xí)機(jī)

極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM）［4］是從單隱藏層反饋神經(jīng)網(wǎng)絡(luò)（SLFNs）［5］發(fā)展而來(lái)。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)BP梯度學(xué)習(xí)算法存在著訓(xùn)練時(shí)間長(zhǎng)、過(guò)度擬合訓(xùn)練樣本和易陷入局部最優(yōu)等問(wèn)題。極限學(xué)習(xí)機(jī)憑借著良好的分類(lèi)和回歸性能，使得極限學(xué)習(xí)機(jī)和它的變種［6—8］被廣泛應(yīng)用于機(jī)器學(xué)習(xí)中。極限學(xué)習(xí)機(jī)訓(xùn)練和測(cè)試速度都比較快，極限學(xué)習(xí)機(jī)在輸入權(quán)重和偏置隨機(jī)生成后，可直接計(jì)算得出輸出權(quán)重，極限學(xué)習(xí)機(jī)訓(xùn)練時(shí)的復(fù)雜度為O（L3，N3），測(cè)試復(fù)雜度為O（N），而我們熟悉的支持向量機(jī)（SVM）［9］訓(xùn)練時(shí)的復(fù)雜度為O（N2～N3），測(cè)試復(fù)雜度為O（N）。而且極限學(xué)習(xí)機(jī)還擁有較高的準(zhǔn)確率［10］，在處理二分類(lèi)和回歸問(wèn)題上ELM擁有和支持向量機(jī)（Support Vector Machine，SVM）相當(dāng)?shù)臏?zhǔn)確度，但在多分類(lèi)問(wèn)題上ELM準(zhǔn)確度遠(yuǎn)遠(yuǎn)高于SVM。

2.2 小波核極限學(xué)習(xí)機(jī)

核方法已經(jīng)成為當(dāng)今機(jī)器學(xué)習(xí)中比較熱門(mén)的研究方向，在1964年Aizermann 等把核函數(shù)和機(jī)器學(xué)習(xí)結(jié)合在一起使用，但當(dāng)時(shí)并沒(méi)有引起學(xué)者們的關(guān)注。直到1992年Vapnik成功地將核函數(shù)與SVM結(jié)合起來(lái)使用，把支持向量機(jī)由線(xiàn)性轉(zhuǎn)化為非線(xiàn)性，充分挖掘出核函數(shù)的潛力?；A(chǔ)的ELM是無(wú)核的且只有一個(gè)隱含層，當(dāng)輸入權(quán)值確定以后，這個(gè)隱含層的映射方式為非線(xiàn)性顯式，但是在多分類(lèi)問(wèn)題上ELM需要的隱層結(jié)點(diǎn)不止一個(gè)，其基本思想和核函數(shù)一樣，即將樣本映射到高維空間。根據(jù)核函數(shù)內(nèi)積定理可將ELM隱藏結(jié)點(diǎn)的映射由核函數(shù)來(lái)代替。實(shí)驗(yàn)證明，將核函數(shù)與ELM結(jié)合起來(lái)，大大提高了ELM的非線(xiàn)性逼近能力。

小波理論的優(yōu)良性能被學(xué)者們發(fā)現(xiàn)并應(yīng)用到實(shí)驗(yàn)中，為了提高神經(jīng)網(wǎng)絡(luò)的非線(xiàn)性逼近能力，有學(xué)者將小波理論與神經(jīng)網(wǎng)絡(luò)結(jié)合起來(lái)，典型的有小波網(wǎng)絡(luò)［11］（Wavelet Neural Network，WNN）。同樣我們可以構(gòu)造出小波核函數(shù)并與極限學(xué)習(xí)機(jī)結(jié)合起來(lái)。

若核函數(shù)不滿(mǎn)足點(diǎn)積形式，可以利用平移不變核的形式：

判斷一個(gè)平移不變核是否為允許的ELM核函數(shù)的充要條件為：

由第一個(gè)公式可構(gòu)造出平移不變的小波核函數(shù)［12］：

其中Ψ（x ）為小波函數(shù)，a為尺度參數(shù)。

為了構(gòu)造出特定的小波核函數(shù)，可以將上式Ψ（x）的替換成具體的小波核函數(shù)，如Morlet小波、Mexico小波等。

Morlet小波的公式：

Mexico小波的公式如下：

本文主要研究由Morlet小波函數(shù)構(gòu)成的小波核函數(shù)。有如下定理：

小波核函數(shù)具有小波分析多尺度逼近的特點(diǎn)，因而在非線(xiàn)性分類(lèi)平面的逼近上可以取得更好的效果。

3　小波核極限學(xué)習(xí)機(jī)在人臉識(shí)別中的應(yīng)用

實(shí)驗(yàn)數(shù)據(jù)的選擇：本文的實(shí)驗(yàn)分別在ORL人臉庫(kù)、YALE人臉庫(kù)上以及FERET人臉庫(kù)上進(jìn)行。人臉庫(kù)中部分圖片分別如圖1—3所示。

首先我們選取ORL人臉庫(kù)每人選取前5張圖片一共200張作為訓(xùn)練樣本，剩下的200張作為測(cè)試樣本，所有圖片的雙線(xiàn)性插值處理到64*64。YALE人臉庫(kù)每人選取后5張圖片一共75張作為訓(xùn)練樣本剩下的90張作為測(cè)試，來(lái)進(jìn)行實(shí)驗(yàn)，圖片的雙線(xiàn)性插值處理到50*50。FERET人臉庫(kù)選取前3張圖片一共150張來(lái)訓(xùn)練，剩下的200張作為測(cè)試集合，圖片的雙線(xiàn)性插值處理到40*40。

對(duì)人臉圖像進(jìn)行特征提取，本文選用Gabor濾波和PCA的方法，首先使用由5個(gè)中心頻率和8個(gè)方向組成的40個(gè)Gabor濾波器處理人臉圖像，然后使用PCA進(jìn)行壓縮降維處理，最后將處理后的特征集合送入到小波核極限學(xué)習(xí)機(jī)算法中訓(xùn)練一個(gè)分類(lèi)器。得到的分類(lèi)器可以識(shí)別未知類(lèi)別的人臉樣本。

圖1 ORL人臉庫(kù)部分圖片

圖2 YALE人臉庫(kù)部分圖片

圖3 FERET人臉庫(kù)部分圖片

4　實(shí)驗(yàn)結(jié)果與分析

對(duì)比應(yīng)用于人臉識(shí)別中的小波核ELM分類(lèi)器與其他分類(lèi)算法的性能。其中ELM和BP神經(jīng)網(wǎng)絡(luò)的隱層激勵(lì)函數(shù)均為sigmoid函數(shù)。多次實(shí)驗(yàn)取平均值，得到以下實(shí)驗(yàn)結(jié)果，如表1所示。

由表1可以看出小波核ELM和高斯核ELM的性能相當(dāng)，甚至要優(yōu)于高斯核極限學(xué)習(xí)機(jī)，另外可以看出BP神經(jīng)網(wǎng)絡(luò)的性能最差。

表1 5種算法在3種庫(kù)上的實(shí)驗(yàn)

為了研究以上幾種算法在小樣本下的分類(lèi)能力，將人臉庫(kù)中每個(gè)人的第一張圖片作為訓(xùn)練數(shù)據(jù)，其余數(shù)據(jù)為測(cè)試數(shù)據(jù)，對(duì)比幾種算法的性能，實(shí)驗(yàn)結(jié)果如表2所示。

根據(jù)表1—2可以看出SVM和幾種ELM在小樣本下識(shí)別性能較好，其中小波核ELM的效果仍然是最好的，識(shí)別性能最差的為BP神經(jīng)網(wǎng)絡(luò)。

研究證明，核極限學(xué)習(xí)機(jī)在訓(xùn)練速度上也比較快，在小樣本下核極限學(xué)習(xí)機(jī)要快于無(wú)核極限學(xué)習(xí)機(jī)，支持向量機(jī)和BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度要遠(yuǎn)低于極限學(xué)習(xí)機(jī)。

表2 小樣本下5種算法在4種庫(kù)上的實(shí)驗(yàn)

5　結(jié)語(yǔ)

由于人臉圖像容易受到光照、表情、年齡變化及化妝等的影響，使得人臉識(shí)別效率下降。本文在對(duì)人臉圖像進(jìn)行預(yù)處理和Gabor濾波處理后，進(jìn)一步對(duì)所獲得的信息進(jìn)行壓縮降維處理，即采用主成分分析的方法。然后采用小波核極限學(xué)習(xí)機(jī)進(jìn)行分類(lèi)實(shí)驗(yàn)，經(jīng)驗(yàn)證小波核極限學(xué)習(xí)機(jī)在人臉識(shí)別中具有較好的性能。

［1］RABIA J，HAMID R A. A survey of face recognition techniques［J］.Information Processing Systems，2009（2）：41-68.

［2］姜琳.光照變化條件下的人臉識(shí)別研究［D］.重慶：重慶大學(xué)，2009.

［3］章毓晉.基于子空間的人臉識(shí)別［M］.北京：清華大學(xué)出版社，2009.

［4］HUANG G B，ZHU Q Y，CHEW C K. Extreme learning machine： theory and applications［J］. Neurocomputing，2006（1）：489-501.［5］HORNIK K，STINCHCOMBE M，WHITE H. Multilayer feedforward networks are universal approximators［J］. Neural Networks，1989（5）：359-366.

［6］NIAN R，HE B，ZHENG B，et al. Extreme learning machine towards dynamic model hypothesis in fish ethology research［J］. Neurocomputing，2013（20）：1020-1022.

［7］LU H J，AN C L，ZHENG E H，et al. Dissimilarity based ensemble of extreme learning machine for gene expression data classifcation ［J］.Neurocomputing，2013（18）：10-12.

［8］MAO W，WANG Y，CAO X，et al. Mixture regression estimation based on extreme learning machine［J］. Computers，2013（11）：2925-2933，.

［9］CHANG C C，LIN C J. Libsvm： a library for support vector machines［ J］.Intelligent Systems and Technology （TIST），2011（3）：27.

［10］HUANG G B，ZHOU H，DING X，et al.Extreme learning machine for regression and multiclass classification systems［J］. Cybernetics，2012（2）：513-529.

［11］ZHANG Q，BEN V A.WaVelet Network［J］.Normal Networks，1992（9）：889-898.

［12］董紹江，湯寶平，宋濤.改進(jìn)投票策略的Morlet小波核支持向量機(jī)及應(yīng)用［J］.震動(dòng)、測(cè)試與診斷，2011（3）：314-317.

Application of wavelet kernel extreme learning machine in face recognition

Li Zhanghong， Zheng Yanliu， Tian Han， Yang Ruili
（Henan Normal University， Xinxiang 453007， China）

In the paper， a new approach based on WK-ELM（Wavelet Kernel Extreme Learning Machine）was proposed for face recognition. Firstly， using 2D Gabor wavelet transform for primary facial feature extraction. To select the necessary features for face recognition， using principal component analysis（PCA）for dealing with the initial image for further processing， reducing the feature dimension effectively. Secondly， ELM is adopted for classifcation. Finally， the experiment results show that WK-ELM is not only having high recognition performance， but also superior to other algorithm in the training speed.

extreme learning machine； face recognition； feature extraction； principal component analysis； wavelet kernel extreme learning machine

2015年河南師范大學(xué)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃校級(jí)重點(diǎn)項(xiàng)目；項(xiàng)目編號(hào)：20150012。

李張紅（1995— ），女，河南濮陽(yáng)。