模糊線性判別分析中距離對面部識別的影響

高建強，范麗亞

?

模糊線性判別分析中距離對面部識別的影響

*高建強，范麗亞

（聊城大學數學科學學院，山東，聊城 252059）

針對面部識別問題提出了基于QR分解的模糊線性判別分析方法, 并通過ORL、Yale和FERET人臉數據實驗研究了該方法在不同距離下對面部識別率的影響；同時還研究了KNN分類器中K值的選擇對面部識別率的影響。實驗結果表明, 距離的選取對面部識別率的結果有明顯的影響。對不同的人臉數據集來說, KNN分類器中的K的選取也會對識別率有影響。對于ORL面部圖像數據來說, 在Minkowski距離下(m=3), K=1時分類效果最好; 對于YALE人臉數據,在Chebyshey距離下, K=5時分類效果最好; 對于FERET人臉數據, 在絕對距離下, K=1時分類效果最好。

模糊線性判別分析；QR分解；距離；識別率；小樣本

在面部識別中，我們首先遇到的難題就是數據的維數過高，因此要去降維。降維就是把高維數據映射到低維子空間的過程。通過降維，可以極大化類間分離性。線性判別分析(Linear discriminant analysis，簡記為LDA[1])和主成分分析(Principal component analysis，簡記為PCA[2])是兩種不同的降維方法。LDA是以模式數據的可分性為目標，尋找一組最佳判別向量使每類的類內離散度最小，同時使類間的離散度達到最大。然而，傳統(tǒng)LDA的計算要求類內離散矩陣可逆(非奇異)，可在許多實際應用場合如人臉識別、圖像檢索以及聲音識別等, 樣本維數往往大于或接近于樣本個數，則類內離散矩陣不可逆(奇異)或是病態(tài)的，因此傳統(tǒng)LDA很難直接計算或不穩(wěn)定，即碰到所謂的“小樣本”(S3)問題[3]。

近年來, 出現了許多LDA改進算法來克服奇異性問題, 包括零空間LDA(NLDA)[4]、不相關LDA(ULDA)[5]、正交LDA(OLDA)[6]、廣義奇異值分解LDA(GSVD-LDA)[7]、直接LDA(DLDA)[8]、正則化LDA(RLDA)[9]、LDA/QR[10-11]、核判別分析[12]和模糊線性判別分析[13]，對于小樣本問題，特別是面部圖像識別問題，在文獻[14]中GAO和FAN通過對核判別分析實行加權法研究了不同參數對面部圖像分類率的影響。在文獻[15]中研究了加權線性判別分析和加權主成分分析中距離對面部識別率的影響等。

針對上述問題，本文研究了基于QR分解的模糊線性判別分析算法中距離對面部識別率的影響，其中模糊線性判別分析方法引入了模糊集理論來優(yōu)化特征提取，利用隸屬度來描述樣本的分布信息，得到一個較好的類中心位置估計。同時還研究了KNN分類器中K值的選擇對面部識別率的影響。

1 LDA、PCA和KNN分類器

2 LDA/QR方法

在面部識別問題中, 設訓練樣本集

算法1: LDA/QR

3 模糊線性判別分析方法

K.C.-Kwark 等[11]提出的模糊線性判別方法，引入了模糊方法改進了原來的LDA方法，能更加有效地提取對識別有用的信息。訓練樣本的隸屬度描述了樣本的分布信息，能較好的反應訓練人臉圖像中因為光照、姿態(tài)等引起的多種變化。

3.1 隸屬度計算

(I) 在訓練集中計算任意兩個樣本間的歐式距離,組成歐氏距離矩陣；

(II) 對(I)中得到的矩陣，把它的對角線上的元素設為無窮大；

3.2 投影變換陣隸屬度計算

則根據Fisher準則可以得到最優(yōu)投影矩陣：

4 FLDA/QR算法

是非奇異矩陣，根據偽逆的定義，得到

因此

即得

通過定理2，我們提出下面的算法。

算法2: FLDA/QR

(a) 對訓練樣本集的每張人臉特征向量分別計算出六種不同的距離, 得出六種不同的距離矩陣；

(b) 把這六種不同的距離矩陣的對角線元素分別設為無窮大；

(c) 按3.1節(jié)得出不同的隸屬度，然后按(8)式進行計算;

5 六種不同的距離

(c) Minkows距離:

(d) Chebyshey距離：

(f) 方差加權距離：

6 實驗結果和分析

6.1 ORL人臉庫

ORL人臉庫由英國劍橋大學(American Telephone and Telegraph Company)實驗室創(chuàng)建，共有40個不同年齡、不同性別和不同種族的個體。每個個體10幅臉部圖像，共計400幅灰度圖像，圖像背景為黑色，包含了人臉姿態(tài)，表情和遮擋變化，人臉的尺寸也有不超過10%的變化。實驗中選取每人8幅圖像作為訓練樣本構造了一個訓練集，其余樣本構成測試集。實驗結果如表1所示。

表1 ORL人臉在不同距離下的識別率(%)

Table 1 Recognition rate of ORL Under different distances

6.2 YALE人臉庫

YALE 人臉庫有15個人，每個人有11幅灰度圖像，一共165幅圖像，包括了如：光照角度、表情變化和有無如眼鏡等附著物。實驗中選取每人8幅圖像作為訓練樣本構造了一個訓練集，其余樣本構成測試集。實驗結果如表2:

表2 YALE人臉在不同距離下的識別率(%)

6.3 FERET人臉庫

FERET人臉庫由美國國防部的FERET項目創(chuàng)建，我們只取了其中的部分圖像,包含1000張不同姿態(tài)，光照和表情的灰度人臉圖像，是人臉識別領域應用最廣泛的人臉數據庫之一。本文的實驗中，選擇FERET人臉庫中的200人，每人5幅圖像組成了一個子庫。實驗中選取每人2幅圖像作為訓練樣本構造了一個訓練集，其余樣本構成測試集。實驗結果如表3:

表3 FERET人臉在不同距離下的識別率(%)

Table 3 Recognition rate of FERET Under different distances

7 實驗結果的視覺圖像

對ORL，YALE，FERET三個面部圖像數據，這里取KNN分類器中的=1，=3，=5，來畫出六種距離下的面部識別率結果，如圖(1-3)所示：

圖1 三個面部數據在下的識別率

圖2 三個面部數據在下的識別率

圖3 三個面部數據在下的識別率

從圖1，圖2，圖3可以看出距離對FERET面部圖像的識別率影響最大, 對YALE面部圖像識別率也有影響，而對ORL面部圖像的識別率影響最小，幾乎看不出有較大的波動；從這三個圖像中還可以清楚地看到：在 Chebyshey距離和最小距離下，對FERET面部圖像數據的識別率是最差的。

8 結論

[1] Park C H, Park H. A comparison of generalized linear discriminant analysis algorithms[J]. Patter Recognition, 2008, 41:1083-1097.

[2] Duda R, Hart P, Stork D. Pattern classification[J]. second ed., New York: wiley, 2000.

[3] Krzanowski W J, Jonathan P, Mccarth Y W V, et al. Discriminant analysis with singular covariance matrices: methods and applications to spect roscopic data[J]. Applied Statistics, 1995, 44 (11): 101-115.

[4] Ye J, Xiong T. Null space versus orthogonal linear discriminant analysis[J]. Proceedings of the 23rd international conference on Machine learning, 2006, 1073-1080.

[5] Ye J, Janardan R, LI Q, et al. Feature extraction via generalized uncorrelated linear discriminant analysis [J]. Proceeding International Conference on Machine Learning, USA, ACM, 2004, 69: 895-902.

[6] Ye J. Generalized low rank approximations of matrices[J]. Proceedings of the twenty-first international conference on Machine learning, 2004, 26(1): 131-137.

[7] Park H. Generalizing discriminant analysis using the generalized singular value decomposition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(8): 995-1006.

[8] Yu H, Yang J. A direct LDA algorithm for high-dimensional data-with application to face recognition[J]. Pattern Recognition, 2001, 34(10): 2067-2070.

[9] Friedman J H. Regularized discriminant analysis[J]. The American Statistical Association, 1989, 84 (405): 165-175.

[10] Ye J, Li Q. LDA/QR: An efficient and effective dimension reduction algorithm and its theoretical foundation[J]. Pattern recognition, 2004, 37: 851-854.

[11] Ye J, Li Q. A two-stage linear discriminant analysis via QR decomposition[J]. IEEE transaction on pattern analysis and machine intelligence, 2005, 27(6): 929-941.

[12] Mika S, Ratsch G, Weston J, et al. Fisher discriminant analysis with kernels[J]. IEEE International workshop on Neural Networks for Signal Processing, IX,1999 (8): 41-48.

[13] Kw K C, Pedry W. Face recognition using a fuzzy fisher classifier[J]. Pattern Recognition, 2005, 38(10): 1717-1732.

[14] GAO Jianqiang, FAN Liya. Kernel-based weighted Discriminant Analysis with QR Decomposition and Its Application Face Recognition[J]. WSEAS Transactions on Mathematics, 2011, 10(10):358-367.

[15] 高建強,范麗亞.加權PCA 和加權LDA 中距離對分類結果的影響[J].聊城大學學報:自然科學版, 2010,23(4): 4-8.

[16] Fukunaga K. Introduction to statistical pattern classification academic press[M]. California:San Diego, USA,1990.

[17] Park H, Jeon M, Rosen J. lower dimensional representation of text data based on centroids and least spuares[J]. BIT, 2003, 43(2): 1-22.

[18] Zadeh L A. Fuzzy sets[J]. Information Control, 1965, 8: 338-353.

The impact on the face recognition from distances in fuzzy linear discriminant analysis

*GAO Jian-qiang，FAN Li-ya

（School of Mathematical Sciences, Liaocheng University, Liaocheng,Shangdong 252059, China）

A fuzzy linear discriminant analysis method based on QR decomposition for face recognition problems is proposed. By means of experiments with ORL, Yale and FERET face databases, we study the affection of different distances in linear discriminant analysis method based on QR decomposition for face recognition rate. Furthermore, we also study the affection of different K-values in KNN classifier for face recognition rate. The experimental results show that the selection of distances has a significant impact for the results of the face recognition rate. For different face database, the K value of KNN classifier selection will also affect the recognition rate. For ORL face image data, in the Minkowski distance (m=3), K=1 have the best classification results. For YALE face data, in the Chebyshey distance, K=5 have the best classification results. For the FERET face data, in the absolute distance, K=1 have the best classification results.

fuzzy linear discriminant analysis; QR decomposition; distance; recognition rate; small size sample

1674-8085(2012)03-0001-07

TP391

A

10.3969/j.issn.1674-8085.2012.03.001

2012-03-28；

2012-04-14

國家自然科學基金項目(10871226), 山東省自然科學基金項目(ZR2009AL006);山東省中青年科學家科研獎勵基金資助項目(BS2010SF004)

*高建強(1982-)，男，山東臨沂人，碩士生，主要從事模式識別研究(E-mail:gaojianqiang82@126.com);

范麗亞(1963-)，女，安徽太和人，教授，研究生導師，主要從事模式識別研究(E-mail: fanliya63@126.com).