基于改進(jìn)核范數(shù)的2DPCA人臉識別算法研究

劉 輝，馬 文，何 強

(1.重慶郵電大學(xué) 通信新技術(shù)應(yīng)用研究中心，重慶 400065； 2.重慶信科設(shè)計有限公司，重慶 400065)

?

基于改進(jìn)核范數(shù)的2DPCA人臉識別算法研究

劉 輝1，2，馬 文1，何 強1

(1.重慶郵電大學(xué) 通信新技術(shù)應(yīng)用研究中心，重慶 400065； 2.重慶信科設(shè)計有限公司，重慶 400065)

傳統(tǒng)的二維主成分分析法廣泛應(yīng)用于圖像特征提取，為了使此算法更加有效，提出了一種結(jié)構(gòu)化二維算法，即核范數(shù)2DPCA算法(N-2-DPCA)。該算法基于核范數(shù)重構(gòu)誤差準(zhǔn)則，將核范數(shù)最優(yōu)化問題轉(zhuǎn)化為基于F范數(shù)的最優(yōu)化問題，然后通過采用迭代方法尋找到最佳投影矩陣，最后運用最小歐氏距離規(guī)則識別出待識別人臉的身份。在此基礎(chǔ)之上，將N-2-DPCA擴(kuò)展到基于雙邊投影的算法(N-B2-DPCA)，采用曲線搜索算法尋找到雙邊投影矩陣，繼而進(jìn)行識別。最后將提出的算法在FERET和Yale B人臉數(shù)據(jù)庫中進(jìn)行人臉識別評估，實驗結(jié)果表明所提出的算法與L1-2DPCA相比，重建誤差降低了2.19%，識別率提高了2.03%，性能更好。

二維主成分分析法；特征提取；核范數(shù)；重建誤差；雙邊投影

主成分分析法是一種經(jīng)典的特征提取算法，它廣泛應(yīng)用于模式識別和計算機(jī)視覺等領(lǐng)域[1]。因此得到了深入的研究，從而擴(kuò)展了大量版本。如加權(quán)主成分分析法(WPCA)和獨立主成分分析法(ICA)。WPCA采用加權(quán)距離緩解異常值在投影方向的影響，ICA作為PCA算法的推廣，不僅與變量的二階相關(guān)，而且對它們的高階存在依賴關(guān)系。PCA使數(shù)據(jù)不相關(guān)，而ICA使數(shù)據(jù)盡可能獨立，PCA和ICA均是非監(jiān)督算法[2]。

由于主成分分析法通常是將圖像轉(zhuǎn)換為一維向量，從而忽略了圖像的結(jié)構(gòu)信息。為了充分利用圖像的結(jié)構(gòu)信息，Yang等人提出了基于二維圖像矩陣的主成分分析法(2-DPCA)，目前，2-DPCA廣泛應(yīng)用于模式識別和人臉識別當(dāng)中。眾所周知，2-DPCA在圖像行上進(jìn)行操作，而忽略了列上面的信息，為了能考慮到行和列上面的信息，提出了基于雙邊的2-DPCA算法。他們尋求到的投影矩陣可以提取行信息和列信息。PCA和2DPCA都是基于L2范數(shù)度量，對異常值不穩(wěn)定，考慮到基于L1范數(shù)的算法對于異常值的穩(wěn)健性更好，李等人提出了基于L1范數(shù)的二維主成分分析法(L1-2DPCA)，而此算法需要對每一個投影向量進(jìn)行迭代優(yōu)化，因此識別時間較長。

基于Frobenius范數(shù)(F范數(shù))的方法基本上是采用歐氏距離來衡量不同圖像之間的相似性。然而，同一個人的圖像由于光照和視覺的不同，圖像種類很多，基于F范數(shù)的算法對于這些干擾的魯棒性很差，致使影響識別效果。為了緩解這個問題，顧等人提出了利用核范數(shù)度量代替F范數(shù)度量圖像間的相似性。實驗表明，核規(guī)范對光照變化不太敏感。因此，他們提出了一種基于PCA核范數(shù)算法，即Schatten 1-PCA[3]。

目前，基于核范數(shù)的最小化問題在模式識別和壓縮感知領(lǐng)域引起了人們的廣泛興趣，核范數(shù)在本質(zhì)上是矩陣秩的凸包絡(luò)?；诤朔稊?shù)的優(yōu)化方法已被用于低階矩陣的恢復(fù)、人臉圖像的自陰影去除等問題，福納西爾等人提出將核范數(shù)問題轉(zhuǎn)化成F范數(shù)，然后結(jié)合迭代加權(quán)策略解決核范數(shù)最小化問題[4]。

由文獻(xiàn)[5]啟發(fā)，本文提出了基于核范數(shù)的2DPCA算法(N-2-DPCA)，不同于2DPCA算法，本文模型使用核范數(shù)度量重構(gòu)誤差。此外，本文提供了足夠的證據(jù)說明采用核范數(shù)來描述重構(gòu)誤差是有理論依據(jù)的。眾所周知，顧等人也用范數(shù)描述變換后的數(shù)據(jù)，然而，在最大限度地提高標(biāo)準(zhǔn)算法中，他們對預(yù)期獲得的投影矩陣強加了額外的約束，即PTP=PPT=I，這就要求投影矩陣是一個正交矩陣。在本文，筆者提出了精確的N-2-DPCA算法，由文獻(xiàn)[5]和[6]啟發(fā)，繼而將N-2-DPCA擴(kuò)展到基于雙邊投影的核算法(N-B2-DPCA)。

1 算法相關(guān)理論

(1)

投影矩陣P通過計算協(xié)方差矩陣G最大的前r個特征值對應(yīng)的特征向量可以獲得。

圖像矩陣的方法在模式識別中產(chǎn)生了一系列研究成果，具有代表性的是基于L1范數(shù)的2DPCA算法，其在低維特征空間中最大化L1范數(shù)方差。即為

(2)

眾所周知，基于L1范數(shù)的2DPCA算法對于異常值的魯棒性更好。然而，與2DPCA相比較，基于L1范數(shù)的2DPCA算法的每個主向量通過迭代運算獲得，因此，此算法消耗更多時間。

在接下來的講述中，筆者主要探討基于核范數(shù)的2DPCA算法，采用迭代策略解決問題[7]。

2 研究核算法的動因

采用核算法獲取投影向量最有力的一個理由是作為度量距離算法，核范數(shù)比L1和L2范數(shù)更加穩(wěn)定可靠。例如，圖1a和圖1b為同一個人的圖像，圖1c為另外一個人的圖像。然后通過采用核范數(shù)、L2范數(shù)和L1范數(shù)計算出相同人臉或不同人臉的圖像距離。表1為不同范數(shù)下的圖像間距離比較表。由表1可知，采用L1和L2范數(shù)，得到圖1a和圖1b之間的距離均大于圖1a和圖1c之間的距離，分類錯誤，然而，基于核范數(shù)得出的結(jié)論恰好相反，得出圖1a和圖1b之間的距離小于圖1a和圖1c之間的距離，分類正確。即可以對圖像進(jìn)行準(zhǔn)確的分類。這個實驗促使筆者采用核范數(shù)的標(biāo)準(zhǔn)。因此，對N-2-DPCA目標(biāo)函數(shù)定義如下

(3)

圖1 3張不同的圖像

表1 不同范數(shù)下的圖像間距離比較表

3 核算法研究

3.1 單邊核算法

接下來將研究如何解決問題(1)，由文獻(xiàn)[8]啟發(fā)，將公式中的核范數(shù)優(yōu)化問題轉(zhuǎn)換為F范數(shù)優(yōu)化問題，為此，給出下面的引理。

引理1：對于矩陣X∈Rp×q，

(4)

引理1表明核范數(shù)可以用F范數(shù)表示，為解決問題開避了一條新的道路。引理1中假定矩陣X的秩為r，其第a次權(quán)重可得

UΣVT是X的奇異值分解，Σ=diag(σ1,…,σr)，由引理1得，目標(biāo)函數(shù)(1)可以改寫為

(5)

Wi是權(quán)重矩陣，定義為

Wi=((Ai-AiPPT)(Ai-AiPPT)T)-1/4

(6)

采用迭代加權(quán)的方法來解決目標(biāo)函數(shù)，該過程包括以下迭代。

約束條件PPT=Ir

(7)

2)設(shè)定P=Pk+1，更新Wi如下

(8)

(9)

(10)

通過算法1獲得投影矩陣P后，對于任意給定的測試樣本A，它的特征矩陣B通過B=AP可以獲得，特征矩陣B代替圖像A進(jìn)行分類。

算法1：N-2-DPCA迭代加權(quán)算法

輸入：訓(xùn)練數(shù)據(jù)A1,…,As，投影維數(shù)為r。

3)更新P:Pk+1=[d1,…,dr]，di是Dk+1的i個最大的特征值對應(yīng)的特征向量。

4)計算Xi和εi：

6)如果εi=0，執(zhí)行第2)步，否則，從第2)步開始執(zhí)行。

7)輸出：最佳投影矩陣Pk+1。

3.2 基于雙邊核算法

N-2-DPCA采用單側(cè)投影方案，該算法比PCA需要更多的系數(shù)來表示圖像。N-B2-DPCA作為N-2-DPCA的延伸被提出來了，該算法左右投影方向均需要計算，此外采用N-B2-DPCA表示圖像比N-2-DPCA需要更少的系數(shù)。雙邊N-B2-DPCA定義如下：

QTQ=It

(11)

在式(6)中，P∈Rn×r和Q∈Rt×m分別為左右乘積投影矩陣，接下來更新變量P和Q。

指定Q=Qk，更新P如下

(12)

指定P=Pk+1，更新Q如下

(13)

與解決N-2-DPCA算法類似，同樣采用迭代加權(quán)法解決問題(12)和(13)。

對于式(12)，迭代包括以下過程：

約束條件PPT=Ir

(14)

2)令P=Pk+1，更新Wi如下：

(15)

最關(guān)鍵的一步是解決方程(14)的最優(yōu)化問題。目標(biāo)函數(shù)(14)可以改寫為

(16)

(17)

在方程(17)中，矩陣D是不對稱，通過尋找特征向量，不能找到問題(17)的解決方案，因為非對稱矩陣的特征值和特征向量不能全面表示圖像信息。

(18)

(19)

基于算法2，問題(12)的解決步驟總結(jié)后得到算法3。

算法2 ：解決問題(15)的曲線搜索算法

1)初始化：P0，r，終止誤差因子ε，k=0。

2)搜索方向Y(τ)如方程(18)。

3)選擇合適的步長τk如方程(19)。

4)更新Pk+1=Y(τk)。

6)輸出：最優(yōu)矩陣Pk+1。

算法3：解決問題(12)的迭代加權(quán)算法

輸入：訓(xùn)練數(shù)據(jù)A1,…,As，投影數(shù)量r，左投影矩陣Q。

2)通過算法2更新P。

4)如果εi=0，執(zhí)行步驟5，否則，從第2)步執(zhí)行。

5)輸出：最優(yōu)矩陣Pk+1。

算法4：解決問題(11)的交替迭代算法

輸入：訓(xùn)練數(shù)據(jù)A1,…,As，投影數(shù)量r，t。

1)初始化：Q0=I，k=0。

2)采用算法3更新Pk+1。

3)采用算法3更新Qk+1。

4)如果標(biāo)準(zhǔn)(21)滿足，執(zhí)行步驟5)，否則，從第2)步執(zhí)行。

5)輸出：最優(yōu)矩陣Pk+1，Qk+1。

算法4總結(jié)了N-B2-DPCA的詳細(xì)步驟，在算法4中，使用平均重建誤差相對率來檢查N-B2-DPCA的收斂性，平均重建誤差在第k步定義為

(20)

算法4的收斂性可以通過相對差分為基礎(chǔ)的收斂準(zhǔn)則來判斷[11]。

(21)

通過算法4獲得投影矩陣P和Q，對于任意給定的訓(xùn)練樣本A，圖像A的特征矩陣C通過C=QTAP獲得，特征矩陣C用來表示圖像進(jìn)行分類識別。

4 實驗與分析

作為一種非監(jiān)督子空間分析算法，最新提出的2DPCA-L1算法不利用標(biāo)記信息。因此，為了公平比較，在方法性能比較中均采用非監(jiān)督子空間算法。比較的算法包括2DPCA-L2，MPCA，PCA-L2，PCA-L1，2DPCA-L1以及本文算法。其中，2DPCA-L1，2DPCA-L2和MPCA是以圖像矩陣為基的算法，而PCA-L1和PCA-L2是以圖像向量為基的算法，這里的PCA-L2算法即是經(jīng)典的PCA算法。

(22)

圖2 歸一化的FERET人臉數(shù)據(jù)庫樣本圖像

圖3 經(jīng)矩形噪聲處理后的部分FERET圖像

表2 不同算法下平均重建誤差隨特征向量數(shù)變化表

表2為L2-PCA、L1-PCA、MPCA、L2-2DPCA、L1-2DPCA以及N-B2-DPCA這6種算法下平均重建誤差隨特征向量變化表。圖4展示了這六種算法的平均重建誤差隨特征量個數(shù)的變化規(guī)律?？梢园l(fā)現(xiàn)，當(dāng)特征值個數(shù)大于10，N-B2-DPCA性能優(yōu)越性體現(xiàn)的更加明顯。L1-2DPCA和L2-2DPCA性能好于L1-PCA、L2-PCA和MPCA，與L1-2DPCA相比，重建誤差降低了2.19%。圖4為平均重建誤差與特征量個數(shù)關(guān)系圖。

圖4 平均重建誤差與特征量個數(shù)關(guān)系圖

在第二個實驗中，采用了擴(kuò)展的Yale人臉數(shù)據(jù)庫，此數(shù)據(jù)庫包含38個主題，每個主題有32張圖片，每張圖像重塑為96×84。根據(jù)光照條件不同，將數(shù)據(jù)庫圖像分為5個子集。每個子集中的2個樣本圖像如圖5所示。對于每一個主題，一半的圖像被隨機(jī)選擇出來作為訓(xùn)練圖像，余下的作為測試圖像。圖6顯示了2DPCA、L1-2DPCA以及N-B2DPCA這3種算法識別率隨特征向量數(shù)的變化曲線圖。由圖可知，采用本文算法識別率更高，與L1-2DPCA相比，識別率提高了2.03%，這是由于采用搜索算法獲得的投影向量提取圖像信息的能力更強，最終保障了較高的識別率[13]，表3為3種人臉識別算法不同特征向量數(shù)對應(yīng)的識別率表。

圖5 擴(kuò)展Yale B的5個子空間的樣本圖像

圖6 3種算法識別率隨特征向量數(shù)變化曲線圖

表3 3種人臉識別算法不同特征向量數(shù)對應(yīng)的識別率表

5 結(jié)論

本文提出了一種基于二維的子空間模型，即基于核范數(shù)的2DPCA核范數(shù)圖像特征提取算法。該模型的核心思想是利用核范數(shù)代替常規(guī)的L2-范數(shù)度量重構(gòu)誤差。該模型通過迭代加權(quán)算法求解。此外，N-2-DPCA進(jìn)一步擴(kuò)展到N-B2-DPCA，基于雙邊投影的2DPCA核算法壓縮率比單邊投影的2DPCA核算法更高。在人臉數(shù)據(jù)庫上的實驗結(jié)果表明所提出的方法優(yōu)于其他特征提取方法，與L1-2DPCA相比，重建誤差降低了2.19%，識別率提高了2.03%。

[1]JOLLIFFE I T. Principal component analysis[M].2nd ed. New York： Springer-Verlag，2002.

[2]趙慶苓. 主成分分析在人臉識別研究中的應(yīng)用[J]. 貴州大學(xué)學(xué)報(自然科學(xué)版)，2010，27(5)：67-71.

[3]焦斌亮，陳爽. 基于PCA算法的人臉識別[J]. 計算機(jī)工程與應(yīng)用，2011，47(18)：201-203.

[4]鐘秀峰. 基于改進(jìn)的主成分分析的人臉識別算法研究[D]. 汕頭：汕頭大學(xué)，2012.

[5]KONG H，WANG L，TEOH E K， et al. Generalized 2D principal component analysis for face image representation and recognition[J]. Neural networks，2005，18(5/6)：585-594.

[6]YANG J， LIU C. Horizontal and vertical 2DPCA-Based discriminant analysis for face verification on a large-scale database[J]. IEEE transactions on information forensics & security， 2008， 2(4)：781-792.

[7]CANDES E J，RECHT B. Exact matrix completion via convex optimization[J]. Communications of ACM，2012，55(6)：111-119.

[8]FORNASIER M，RAUHUT H，WARD R. Low-rank matrix recovery via iteratively reweighted least squares minimization[J]. Siam journal on optimization， 2010， 21(4)：1614- 1640.

[9]WEN Z，YIN W. A feasible method for optimization with orthogonality constraints[J].Mathematical programming， 2013， 142(1/2)：397-434.

[10]LIWICKI S，TZIMIROPOULOS G，ZAFEIRIOU S，et al. Euler principal component analysis[J]. International journal of computer vision，2013，101(3)：498-518.

[11]MASHHOORI A，JAHROMI M Z. Block-wise two-directional 2DPCA with ensemble learning for face recognition[J]. Neurocomputing，2013，108(2)：111-117.

[12]WANG H. Block principal component analysis with L1-norm for image analysis[J]. Pattern recognition letters，2012，33(5)：537-542.

[13]GAO Q，GAO F，ZHANG H，et al. Two-dimensional maximum local variation based on image Euclidean distance for face recognition[J]. IEEE transactions on image processing， 2013， 22(10)：3807-3817.

劉 輝(1966— )，教授級高工，碩士生導(dǎo)師，主要從事通信新技術(shù)研究；

馬 文(1988— )，碩士生，主研嵌入式方向；

何 強(1991— )，碩士生，主研計算機(jī)視覺、機(jī)器學(xué)習(xí)。

責(zé)任編輯：閆雯雯

Human face recognition based on improved nuclear norm 2DPCA algorithm

LIU Hui1，2，MA Wen1，HE Qiang1

(1.ResearchCentreforApplicationofNewCommunicationTechnologiesn，ChongqingUniversityofPostsandTelecommunications，Chongqing400065，China；2.ChongqingInformationTechnologyDesigningCo.，Ltd.，Chongqing400065，China)

The traditional two dimensional component analysis is widely used for image feature extraction. In order to make the algorithm more effective， a structural 2-D method is presented， namely， nuclear norm-based 2-DPCA(N-2-DPCA).The algorithm is based on nuclear norm reconstruction error criterion， by means of converting the nuclear norm-based optimization problem into a series of F-norm-based optimization problems， then by using iterative method to find out the optimal projection matrix， finally adopting the minimum Euclidean distance rule to identify the identity of face recognition. In addition， the N-2-DPCA is extended to a algorithm based on bilateral projection(N-B2-DPCA)， by using the curvilinear search algorithm to find the bilateral projection matrix， then recognize the identity of face recognition. Finally， the proposed algorithm is evaluated in FERET and Yale B face database， the experimental results show that the proposed algorithms compared with L1-2DPCA， the reconstruction error is lower 2.19%， the recognition rate is increased by 2.03% and it performs better.

2-D principal component analysis； feature exaction； nuclear norm； reconstruction error； bilateral projection

劉輝，馬文，何強. 基于改進(jìn)核范數(shù)的2DPCA人臉識別算法研究[J]. 電視技術(shù)，2016，40(11)：126-131. LIU H，MA W，HE Q. Human face recognition based on improved nuclear norm 2DPCA algorithm [J]. Video engineering，2016，40(11)：126-131.

TP391

A

10.16280/j.videoe.2016.11.026

重慶市研究生科研創(chuàng)新項目(CYS14143)；重慶市研究生創(chuàng)新基金資助項目(CYS151166)

2016-01-12