基于組合核函數(shù)KPCA的人臉識(shí)別研究

趙劍華，王順?lè)迹瑥堬w龍

（云南大學(xué) 信息學(xué)院，云南 昆明650091）

0 引 言

基于核主成分分析 （KPCA）［1］的人臉識(shí)別方法能夠提取出人臉信息中PCA［2］（主成分分析）等線性分析方法不能夠提取但有利于人臉識(shí)別的高維非線性信息，表現(xiàn)出優(yōu)越的分類性能，是機(jī)器學(xué)習(xí)和模式識(shí)別領(lǐng)域的研究熱點(diǎn)?，F(xiàn)有的KPCA人臉識(shí)別方法大多是基于單核函數(shù)的研究，具有很大的局限性。鑒于不同的單核函數(shù)具有不同的特性并對(duì)應(yīng)著不同的高維特征空間，擬合理組合幾個(gè)不同的單核函數(shù)形成新的組合核函數(shù)［3］，在一定意義上綜合各單核的優(yōu)點(diǎn)，提高識(shí)別的整體性能。具體將學(xué)習(xí)能力強(qiáng)的高斯核函數(shù)分別與泛化能力強(qiáng)的多項(xiàng)式核函數(shù)和線性核函數(shù)組合，形成新的核函數(shù)應(yīng)用于KPCA人臉識(shí)別。通過(guò)序列實(shí)驗(yàn)證明該組合核函數(shù)兼有良好的學(xué)習(xí)能力和泛化能力，識(shí)別效果和整體性能比基于單核函數(shù)的KPCA方法和PCA方法優(yōu)越。

1 基于KPCA的人臉識(shí)別方法

基于KPCA［1］的人臉識(shí)別方法是通過(guò)一個(gè)非線性映射，將訓(xùn)練集的數(shù)據(jù)隱式的從一個(gè)低維的特征空間映射到一個(gè)高維的特征空間中，并且在新的高維特征空間構(gòu)造了一個(gè)最優(yōu)分類面，從而解決線性不可分?jǐn)?shù)據(jù)的提取和分析等問(wèn)題。該方法是在一個(gè)相對(duì)較小的高維線性子空間中進(jìn)行運(yùn)算，避免了在整個(gè)高維空間中進(jìn)行大量復(fù)雜、繁瑣的運(yùn)算，它的維數(shù)最多等于樣本的數(shù)量；同時(shí)映射過(guò)程通過(guò)核函數(shù)來(lái)實(shí)現(xiàn)，不需要知道非線性映射的確切表達(dá)式。

設(shè)輸入訓(xùn)練樣本數(shù)據(jù)Xk（k ＝1，2，……N）被映射為（Xk）。

即：Xk→（Xk），且變換后的數(shù)據(jù)已經(jīng)被中心化，即滿足。則變換后的訓(xùn)練樣本（Xk）的總體散步矩陣C 為

求解特征方程

其中V 為特征向量。根據(jù)再生核理論［4］：特征向量V 一定位于由（X1）（X2）…（XN）組成的空間內(nèi)，即V 可以由（X1）（X2）…（XN）來(lái)表示即

其中α1、α2、…αN為常數(shù)。

定義一個(gè)N×N 且滿足Mercer條件的矩陣K［5］

K 稱為核矩陣，將式 （1）、式 （3）、式 （4）代入 （2）中得

這樣求式 （2）特征向量V 的問(wèn)題就轉(zhuǎn)換為求解式 （5）的特征向量α。通過(guò)求解特征方程 （5）得到一組非零特征值λi以及對(duì)應(yīng)的滿足歸一化條件：λi（αi，αi）＝1的特征向量αi（i＝1，2，…N′，N′≤N）。根據(jù)式 （3）得到特征空間上的投影主分量Vj（j＝1，2，…，N），設(shè)X 為一測(cè)試樣本，則其在Vj上的投影為

這樣就可以得出原始圖像經(jīng)過(guò)變換后的投影特征向量，在求解過(guò)程中始終不需要知道映射函數(shù)（X）的確切表達(dá)式，而只需要知道核函數(shù)K（x，y）＝（（x）T（y））的表達(dá)式即可。核變換并不能保證，因此要對(duì)變換后得到的核矩陣K 進(jìn)行中心化

2 多核函數(shù)組合的分析方法

每一類核函數(shù)都有自身的特性，有自己的適用范圍，對(duì)應(yīng)著不同的映射和高維特征空間，同時(shí)不同的核函數(shù)會(huì)產(chǎn)生不同的分類效果［6］。因而根據(jù)核函數(shù)對(duì)數(shù)據(jù)的作用范圍將核函數(shù)大體分為兩類：全局核函數(shù)和局部核函數(shù)［7］。目前常用的核函數(shù)有高斯核函數(shù)、多項(xiàng)式核函數(shù)、線性核函數(shù)、Sigmoid核函數(shù) （Sigmoid核函數(shù)的適用范圍比較小，它只在某些特殊核參數(shù)值的條件下才滿足Mercer條件［8］），像高斯核函數(shù)這個(gè)類型的徑向基核函數(shù)其徑向作用范圍是由核函數(shù)的寬度參數(shù)來(lái)控制的它只允許相近的數(shù)據(jù)點(diǎn)對(duì)核函數(shù)的值產(chǎn)生影響，插值能力很強(qiáng)，比較善于提取樣本的局部信息，具有很強(qiáng)的學(xué)習(xí)能力；而多項(xiàng)式這一類型的核函數(shù)卻允許相距較遠(yuǎn)的數(shù)據(jù)點(diǎn)都可以對(duì)核函數(shù)的值產(chǎn)生影響，插值能力相對(duì)較弱，但比較善于提取樣本的全局特性，具有很強(qiáng)的泛化能力。

首先介紹幾個(gè)定理［9，10］：

定理1 K（θ，θ′）是Rl×Rl的核，若θ（X）是從XRn到Rl的映射，則K（X，Z）＝K（θ（X），θ（Z））是Rn×Rn上 的核。特別的，若n階矩陣B是半正定的，則K（x，z）＝xTBz是Rn×Rn的核。

定理2 設(shè)K1和K2是X×X 上的核，且XRn，則下面的函數(shù)均是核

根據(jù)定理1和定理2分析，構(gòu)造形如

的函數(shù)組合依然還是核函數(shù)。所以，如果適當(dāng)選擇具有不同性質(zhì)的單核函數(shù)，根據(jù)式 （6）將學(xué)習(xí)能力較強(qiáng)的局部核函數(shù)和泛化能力較強(qiáng)的全局核函數(shù)進(jìn)行合理的組合，組合后的核函數(shù)將同時(shí)汲取局部核函數(shù)和全局核函數(shù)的優(yōu)點(diǎn)，使組合核函數(shù)整體的學(xué)習(xí)、泛化性能得到大大提升，將其應(yīng)用于人臉識(shí)別方法的討論、研究就能保證在進(jìn)行圖像特征提取時(shí)既能保留圖像的整體信息，又能突出不同圖像類別的局特征，其性能將優(yōu)于基于單核函數(shù)的KPCA 及PCA 方法。

基于多核函數(shù)組合的KPCA 人臉識(shí)別方法的基本步驟：

（1）輸入訓(xùn)練圖像集Xk（k＝1，2，……，N）

（2）計(jì)算核矩陣：K

（3）求中心化核矩陣：K′

（4）計(jì)算K′的特征值λ和特征向量α。

（6）對(duì)計(jì)算所得的特征值進(jìn)行降序排列。

（7）根據(jù)累積貢獻(xiàn)率提取前i個(gè)特征值及其對(duì)應(yīng)的前i個(gè)特征向量，構(gòu)成訓(xùn)練圖像集的主成分方向。（前i個(gè)特征值的貢獻(xiàn)率一般占所有特征值總和的80%以上，或根據(jù)具體問(wèn)題來(lái)定）。

（8）將訓(xùn)練圖像集投影到第 （7）步求得的主成分方向上，提取出訓(xùn)練圖像的特征臉集。

（9）輸入測(cè)試圖像并進(jìn)行相應(yīng)的核變換得到核矩陣，然后將該核矩陣投影到 （7）步求得的主成分方向上得到相應(yīng)測(cè)試圖像的特征臉集，并將其與訓(xùn)練圖像的特征臉集進(jìn)行比較分類。

3 實(shí)驗(yàn)及結(jié)果分析

本文分別采用ORL標(biāo)準(zhǔn)人臉庫(kù)［11］和YALE 人臉庫(kù)［12］進(jìn)行實(shí)驗(yàn)，其中ORL 標(biāo)準(zhǔn)人臉庫(kù)由40個(gè)人在不同的拍攝時(shí)間拍攝的有姿態(tài)、角度、尺度、表情和眼睛等變化的圖像，每個(gè)人的人臉由10幅112×92的圖像組成。實(shí)驗(yàn)首先選取每個(gè)人的5張圖像作為訓(xùn)練樣本，然后隨機(jī)選取其它5幅圖像作為測(cè)試樣本。

為了驗(yàn)證本文方法的識(shí)別效果，將分別比較PCA、單核函數(shù)KPCA、多核函數(shù)組合KPCA 方法在兩個(gè)人臉數(shù)據(jù)庫(kù)中的識(shí)別效率。其中單核函數(shù)采用的是高斯核函數(shù)式（7）；而多核函數(shù)組合KPCA 使用式 （6）組合，且組合核函數(shù)為：

組合一：式 （7）和式 （8）（多項(xiàng)式核函數(shù)）組合，組合二：式 （7）和式 （9）（線性核函數(shù)）組合

核函數(shù)的參數(shù)變化會(huì)隱式地改變從輸入空間到特征空間的映射，進(jìn)而對(duì)特征空間的性質(zhì)產(chǎn)生影響，最終改變各種核函數(shù)的性能，即核函數(shù)與非線性映射不是一一對(duì)應(yīng)的，核函數(shù)參數(shù)一旦改變它所對(duì)應(yīng)的非線性映射和高維特征空間就會(huì)發(fā)生改變。然而核函數(shù)參數(shù)的選擇還沒有比較好的固定取值方法。在實(shí)驗(yàn)中用到的核函數(shù)涉及的參數(shù)比較多，本實(shí)驗(yàn)通過(guò)先確定單核函數(shù)KPCA 的近似最優(yōu)參數(shù)，再將其作為一個(gè)參考值以選取組合核函數(shù)KPCA 中的參數(shù)。實(shí)驗(yàn)結(jié)果如圖1和圖2所示。

圖1 ORL數(shù)據(jù)庫(kù)實(shí)驗(yàn)結(jié)果

圖2 Yale人臉數(shù)據(jù)庫(kù)實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果中還發(fā)現(xiàn)組合核函數(shù)中的組合系數(shù)a，b 數(shù)值差別很大，說(shuō)明高斯核函數(shù)和多項(xiàng)式核函數(shù)對(duì)組合核函數(shù)的貢獻(xiàn)有很大不同。主要原因在于人臉識(shí)別是一個(gè)比較復(fù)雜的過(guò)程既要考慮人臉的全局特征，但更主要的是考慮其局部特征，即學(xué)習(xí)出每個(gè)人臉區(qū)別于其他人臉的局部特征而不是共性特征，高斯核函數(shù)具有很強(qiáng)的局部學(xué)習(xí)能力，其在組合核函數(shù)中對(duì)局部信息的學(xué)習(xí)方面發(fā)揮著重要的作用，其權(quán)值也相對(duì)較大。但也不能忽略權(quán)重較小的單核函數(shù)的作用，組合后的核函數(shù)是一個(gè)有機(jī)的整體，每一個(gè)單核函數(shù)在組合核函數(shù)整體中都發(fā)揮著不可缺少的作用。一般而言，選擇合適的單核函數(shù)是構(gòu)造新核函數(shù)的關(guān)鍵問(wèn)題，充分考慮各單核函數(shù)的性能組合后的核函數(shù)才會(huì)更完整，更全面。

實(shí)驗(yàn)還研究了兩個(gè)不同組合核函數(shù)的時(shí)間效率，在其它條件相同情況下，測(cè)試組合一和組合二在不同累積貢獻(xiàn)率下的運(yùn)行時(shí)間，結(jié)果見表1和表2。

表1和表2的實(shí)驗(yàn)結(jié)果表明在相同的條件下組合二運(yùn)行花費(fèi)的時(shí)間比組合一少，其時(shí)間效率要比組合一要高。原因是組合二的核函數(shù)所涉及的參數(shù)比組合一要少，其函數(shù)模型要比組合一的函數(shù)模型要簡(jiǎn)單。這也從另一個(gè)方面證明了單核函數(shù)的選擇是構(gòu)造新核函數(shù)的關(guān)鍵。核函數(shù)參數(shù)的數(shù)量會(huì)直接影響到函數(shù)模型的復(fù)雜程度，從而影響到算法的效率。

表1 ORL人臉數(shù)據(jù)庫(kù)實(shí)驗(yàn)結(jié)果

表2 YALE人臉數(shù)據(jù)庫(kù)實(shí)驗(yàn)結(jié)果

為了研究單個(gè)核函數(shù)與組合核函數(shù)參數(shù)間的關(guān)系，通過(guò)使用相同核參數(shù)取值 （σ2取值）的情況下實(shí)驗(yàn)基于單核函數(shù)的KPCA 和基于組合核函數(shù)的KPCA 方法的識(shí)別率來(lái)分析單個(gè)核函數(shù)的參數(shù)取值和該對(duì)應(yīng)的核參數(shù)在組合函數(shù)中的取值之間的關(guān)系，結(jié)果見表3。

表3 相同參數(shù)值下單核和組合核的識(shí)別率比較

表3表示綜合了核函數(shù)參數(shù)一般取值情況的條件下，核參數(shù)σ2取一些比較有代表性的參數(shù)值情況下單核函數(shù)K1（高斯核函數(shù)）和組合核函數(shù) （高斯核函數(shù) （K1）和線性核函數(shù)組合 （K2）組合）的識(shí)別率。由實(shí)驗(yàn)結(jié)果所示同一個(gè)核參數(shù)在某一取值下使單核函數(shù)取得了很高的識(shí)別效果，但組合核函數(shù)產(chǎn)生的識(shí)別效果卻很低；而有的核參數(shù)值使得組合核函數(shù)取得很高的識(shí)別效果，但卻使得單核核函數(shù)發(fā)揮的性能一般。說(shuō)明在實(shí)際應(yīng)用中不能直接將單核函數(shù)的參數(shù)值直接應(yīng)用到組合核函數(shù)中，兩者間對(duì)應(yīng)參數(shù)的取值沒有必然的聯(lián)系。而且由實(shí)驗(yàn)結(jié)果可以看出核函數(shù)對(duì)于參數(shù)的選擇非常敏感，核參數(shù)一點(diǎn)點(diǎn)的改變會(huì)使結(jié)果產(chǎn)生很大的改變。因此，組合核函數(shù)參數(shù)的選擇和確定也是基于組合核方法的機(jī)器學(xué)習(xí)和模式識(shí)別的核心，在進(jìn)行單核函數(shù)組合時(shí)，單核函數(shù)參數(shù)的取值只能作為組合核函數(shù)參數(shù)選擇的一個(gè)參考值，不能直接將單核函數(shù)的參數(shù)值應(yīng)用在組合核函數(shù)中。

4 結(jié)束語(yǔ)

由于每一個(gè)單核函數(shù)都有自己的特性和最佳的適用范圍，不能同時(shí)具備良好的全局性和局部性。因而，通過(guò)每個(gè)單核函數(shù)所提取的數(shù)據(jù)特征的側(cè)重面也不一樣，利用單核函數(shù)性質(zhì)間的互補(bǔ)特性，通過(guò)將多個(gè)具有不同特性的單核函數(shù)合理的組合起來(lái)分析問(wèn)題，組合形成的核函數(shù)將兼?zhèn)涓鱾€(gè)單核函數(shù)的特性，并使其整體性能進(jìn)一步提升，從而組合后的核函數(shù)能將問(wèn)題中不同側(cè)面的特征都提取出來(lái)，達(dá)到了比單核函數(shù)分析問(wèn)題更全面，更完整的效果。

［1］Hofmann T，Scholkopf B，Smola A J.Kernel methods in machine learning［J］.Annals of Statistics，2008，36 （3）：1171－1220.

［2］Zhuang J，Tsang I W，Hoi S C H.SimpleNPKL：Simple nonparametric kernel learning ［C］／／Proceedings of Interational Conference on Machine Learning，2009.

［3］Gonen M，Alpaydin E.Localized multiple kernel learning［C］／／Proceedings of International Conference on Machine Learning，2008：352－359.

［4］Hoi S C H，Jin R.Active kernel learning［C］／／Proceedings of International Conference on Machine Learning，2008：400－407.

［5］Ying Y，Campbell C，Girolami M.Analysis of SVM with indefinite kernels［C］／／Advances in Neural Information Processing Systems，2010.

［6］Li F，F(xiàn)u Y，Dai Y H，et al.Kernel learning by unconstrained optimization［C］／／Proceedings of International Conference on Artificial Intelligence and Statistics，2009.

［7］Sonnenburg S，Ratsch G，Schafer C.A general and efficient multiple kernel learning algorithm ［C］／／Advances in Neural Information Processing Systems，2006.

［8］Gonen M，Alpaydin E.Localized multiple kernel learning［C］／／Proceedings of International Conference on Machine Learning，2008：352－359.

［9］Sonnenburg S，Ratsch G，Schafer C，et al.Large scale multiple kernel learning ［J］.Journal of Machine Learning Research，2006 （7）：1531－1565.

［10］Varma M，Babu B R.More generality in efficient multiple kernel learning［C］／／Proceedings of Interational Conference on Machine Learning，2009.

［11］Xu Z，Jin R，King I，et al.An extended level method for effi－cient multiple kernel learning［C］／／Advances in Neural Information Processing Systems，2008：1825－1832.

［12］Vedaldi A，Gulshan V，Varma M，et al.Multiple kernels for object detection ［C］／／Proceedings of IEEE International Conference on Computer Vision，2009.