基于加權(quán)多尺度張量子空間的人臉圖像特征提取方法*

王仕民 程柏良 葉繼華 王明文

(江西師范大學計算機信息工程學院，南昌，330022)

?

基于加權(quán)多尺度張量子空間的人臉圖像特征提取方法*

王仕民 程柏良 葉繼華 王明文

(江西師范大學計算機信息工程學院，南昌，330022)

為了不破壞原始數(shù)據(jù)固有的高階結(jié)構(gòu)和數(shù)據(jù)之間的相關(guān)性，減少光照對圖像特征的影響，并優(yōu)化多尺度特征的權(quán)重，提出了基于加權(quán)多尺度張量子空間的圖像特征提取方法。采用多尺度小波變換表征圖像各個部位特征，使用不確定度權(quán)衡每個尺度對圖像分類的作用，并組建成多尺度張量子空間，結(jié)合多線性主成分分析與線性判別分析算法，降低了圖像在處理過程中的成本，保存了高維數(shù)據(jù)固有結(jié)構(gòu)和相關(guān)性，完成對圖像特征提取。使用CAS-PEAL-R1東方人臉庫進行評測，實驗結(jié)果表明，該圖像特征提取算法用于圖像識別過程中具有較好的效果，具有一定的可行性。

圖像特征；多尺度變換；張量子空間；多線性主成分分析 ；不確定度

引 言

近年來，圖像特征提取引起了計算機領域?qū)W者的廣泛關(guān)注，其作為圖像識別、圖像處理和圖像理解等領域研究的基礎，在科學研究、社會安全、軟件開發(fā)和航空航天等項目中有著廣闊的應用前景。但是，圖像特征的描述和提取問題卻成為了圖像處理和識別過程中遇到的一個的瓶頸，所以對圖像特征進行有效表示和提取一直都是圖像理解和識別的熱點。

引入多尺度Gabor小波，能夠解決圖像特征提取過程中存在的問題，對光照變化不敏感，能夠提供對光照變化良好的適應性且能容忍一定程度的圖像旋轉(zhuǎn)和變形，這樣能提高算法的魯棒性[1]。最近，基于局部二值模式(Local binary patterns, LBP)[2,3]的Gabor特性方法被提出,例如局部Gabor二進制模式(Local Gabor binary patterns, LGBP)[4]和Gabor相位模式的直方圖(Histogram of Gabor phase patterns, HGPP)[5]。上述提出的方法都能較好地表征圖像，并獲得較好的識別效果，但是使用多尺度Gabor濾波器，更大程度上利用了圖像的頻帶特征，涉及中心頻帶和方向的選擇，計算過程比較復雜，從而容易發(fā)生數(shù)據(jù)災難，所以高維數(shù)據(jù)降維算法并提取圖像的特征完成識別成為了研究重點。傳統(tǒng)的主成分分析(Principal components analysis, PCA)[6]和線性判別分析(Linear discriminant analysis, LDA)[7]算法，這些線性特征提取算法需要將圖像矢量化變成一維數(shù)據(jù)，處理過程必然破壞了原始數(shù)據(jù)的結(jié)構(gòu)及相關(guān)性，并且處理過程非常復雜、需求占據(jù)大量內(nèi)存。二維主成分分析(Two-dimensional principal component analysis, 2DPCA)[8]等算法的出現(xiàn)，一定程度上解決了上述問題，2DPCA降維過程中直接處理二維矩陣，不僅很好地保存了高維圖像數(shù)據(jù)之間的內(nèi)部結(jié)構(gòu)，而且還提高了工作效率和算法性能，但是面對高維圖像，二維主成分分析像主成分分析一樣，同樣出現(xiàn)不足與弊端。而近年來出現(xiàn)的張量子空間降維算法，把多尺度圖像數(shù)據(jù)存儲于張量空間中，很好地保存了圖像自然多維結(jié)構(gòu)及相關(guān)性，并成為科研熱點。文獻[9]將一個張量分解成一些矩陣的外積與一個核張量，其主要是將圖像直接轉(zhuǎn)化成張量空間，其算法分解過程一定程度上可以看成是PCA的高階推廣，這樣勢必導致高維向量的產(chǎn)生。針對高維奇異值分解分解這個難點，文獻[10，11]提出了各種奇異值分解算法。Yan等[12]提出了多重線性判別分析的子空間學習方法，其中使用了k-mode優(yōu)化沿著不同的張量方向展開張量，通過迭代的過程完成并通過子空間學習用于圖像識別過程。Kotsia為了避免秩-支持張量機對判別信息造成丟失過多，提出了另一種模型即高秩支持張量機，很好地解決了過多信息丟失的問題[9，13]。近年來，基于張量的降維方法取得了一系列的成果[14-16]?；趶埩康臋C器學習方法在社會應用領域(尤其是醫(yī)學領域)，已經(jīng)取得了非常成功的應用，比如使用張量機器學習方法對腦電波圖譜和核磁共振分析等[17]，解決了醫(yī)學上急迫的問題，方便了醫(yī)生對病人病情的診斷。

為了不破壞原始數(shù)據(jù)固有的高階結(jié)構(gòu)和數(shù)據(jù)之間的相關(guān)性，減少光照對圖像特征的影響，并優(yōu)化多尺度特征的權(quán)重，采用了多尺度Gabor變換獲取圖像多尺度特征，并通過使用不確定度計算各個多尺度特征的權(quán)重，優(yōu)化了各個紋理特征在圖像識別中的作用，并組建成張量空間，通過使用多線性主成份分析(Multiple linear principle component analysis, MPCA)算法[18]和線性判別分析算法把高維構(gòu)建的張量空間降維成低維數(shù)據(jù)，提取得到較好表征圖像數(shù)據(jù)的特征，完成最終的圖像特征提取。本算法使用CAS-PEAL-R1東方人臉庫[19]完成測試，結(jié)果表明，該圖像特征提取算法用于圖像識別過程中具有較好的效果，具有一定的可行性。

1 圖像的多尺度變換

(1)

為了盡可能完整地得到圖像的紋理特征，在實驗過程中通常使用多個中心尺度和多個方向組合，完成圖像紋理特征的獲取，其中方向的變化u∈(0,1,2,3,4,5,6,7)，卷積后圖像的紋理方向也會隨著變化，如圖1所示。從圖1中可以看出，當使用濾波器方向和圖像紋理特征的方向一致時，得到的濾波特征響應比較明顯。

圖1 方向響應特征Fig.1 Direction response features

同理，當中心尺度變化v∈(0,1,2,3,4)時，圖像與核函數(shù)卷積后圖像的紋理方向也會隨著變化，具體結(jié)果如圖2所示。

圖2 中心尺度響應特性Fig.2 Center-scale response features

2 加權(quán)多尺度張量子空間及降維算法

2.1 不確定度權(quán)值計算

(2)

則第j個Gabor濾波器的不確定度uj的計算過程為

(3)

(4)

且圖像樣本Yi經(jīng)過Gabor濾波響應后的方差為

(5)

(6)

把不確定度代入，得到

(7)

為了使計算機結(jié)果方差最小，使用拉格朗日乘法完成計算，γ為拉格朗日常數(shù)，有

(8)

求解得到權(quán)值計算公式為

(9)

2.2 多線性主成分分析投影映射及降維

本節(jié)通過使用多線性主成分分析(Multi-linear principal component analysis，MPCA)對高維張量空間數(shù)據(jù)進行降維，得到數(shù)據(jù)結(jié)構(gòu)相關(guān)及低維數(shù)據(jù)。MPCA算法的簡要過程如下。

有M個張量樣本{Xm,m=1,…,M}作為訓練樣本，且Am∈RI1 ×I2 ×…×IN，即構(gòu)建的張量空間屬于張量空間RI1?RI2…?RIN，其中In作為張量第n模的維數(shù)。多線性主成分分析的最終結(jié)果是計算出一個多線性變換空間{U(n)∈RIn×Pn,n=1,2,…,N}且獲取了原始張量中大部分特征。它通過最大化張量總的散布值ψY，U(n)就由Φ(n)中最大的pn個特征值對應的pn個特征向量構(gòu)成[18]，有

(10)

(11)

(12)

3 加權(quán)多尺度張量子空間的圖像特征提取與識別

本文提出了加權(quán)多尺度張量子空間的圖像特征提取與識別算法，采用了多尺度Gabor變換獲取圖像多尺度特征，并通過使用不確定度計算各個多尺度特征的權(quán)重，優(yōu)化了各個紋理特征在圖像識別中的作用，并組建成張量空間，通過使用MPCA算法和線性判別分析算法把高維構(gòu)建的張量空間降維成低維數(shù)據(jù)，提取得到較好表征圖像數(shù)據(jù)的特征，最后使用LDA和最近鄰算法完成圖像識別過程。具體的識別過程算法描述如下。

{Vm,m=1,2,…,M};圖像訓練樣本集

{Xm,m=1,…,M};構(gòu)建得到樣本的張量形式

ProgramSub_tensor_featuresBegin

pn←Qmethod[9];使用Q方法計算張量子空間維數(shù)

forn=1topn

{U(n),n=1,2,…,N}←Φ(n)*;奇異值分解得到特征向量

endfor

Ym=Xm×1U(1)T×2U(2)T×…×NU(N)T;樣本投影映射后的張量集

fork=1:K;通過使用交替最小二乘法算法，直到結(jié)果收斂

forn=1: N;設置U(n)由Φ(n)*中最大的pn個特征值對應的pn個特征向量構(gòu)成

ifψYk-ψYk-1≥ηdo;(η通常取值為10-6)

else exit

end if

end for

end for

Ym=Xm×1U(1)T×2U(2)T×…×NU(N)T;完成特征提取過程

ym←Ym;重新排列成一個特征矩陣

zm=Vldaym;投影空間Vlda，求得最后投影空間

end Program Sub_tensor_features

圖3 多尺度Gabor特征加權(quán)構(gòu)造張量空間Fig.3 Tensor space of weighted multi-scale Gabor features

4 實驗結(jié)果

4.1 圖像庫與預處理

圖像庫作為圖像識別算法評測過程的測試對象，具有非常重要的意義。本算法使用了東方人臉庫CAS-PEAL-R1[19]完成實驗測試。東方人臉庫圖像都是在某種特定環(huán)境中采集獲取，包含表情、飾物、姿勢、光照4種環(huán)境情況。通過對CAS-PEAL-R1解釋文獻分析發(fā)現(xiàn)：光照的變換對人臉識別影響較大，其識別率都比較低，而本算法的識別算法中充分考慮了光照等外界環(huán)境對識別的干擾。東方人臉庫CAS-PEAL-R1的光照子圖庫中部分人臉如圖4所示。

圖4 CAS-PEAL-R1光照的子圖像庫中部分人臉Fig.4 Partial faces of CAS-PEAL-R1 illumination image sub-library

東方人臉庫CAS-PEAL-R1中圖像的大小為640×480像素，其中包含和多種背景圖信息，為了提高算法的運行效率，降低實驗運算量，本算法對原圖進行了一定的預處理：本算法采用基于Haar的人臉檢測算法[21]，把圖像中人臉檢測出來，并替代原始樣本；實驗過程中，可能會得到人臉圖像大小不一致，統(tǒng)一將人臉圖像大小設置為64×64像素。實驗過程中預處理后部分圖如圖5所示。

圖5 預處理后部分人臉Fig.5 Partial faces after preprocessing

4.2 識別算法比較

為了說明本文算法對人臉特征提取的有效性，將與一些基礎的人臉特征提取算法(PCA，PCA+LDA，MPCA+LDA和GPCA+LDA (Gabor+PCA+LDA))進行識別率比較，實驗過程中都使用東方人臉庫CAS-PEAL-R1中光照子圖像庫。實驗訓練過程中，使用東方人臉庫光照子圖像庫中每類人臉樣本數(shù)為變化的r用于訓練，其值分別為{r=1,2,…,6}，則相對應剩下部分全部用于識別率測試。在CAS-PEAL-R1光照子庫上識別算法識別率比較圖如圖6所示。

圖6 人臉識別率比較圖Fig.6 Comparison of face recognition rate

由圖7可以看出：(1)外界噪聲和環(huán)境光照的變化對圖像識別的影響比較嚴重，相對惡劣光照環(huán)境下的圖像識別率還是比較低，并仍然是一個難點；(2)由于多尺度Gabor小波變換對于光照變化不敏感，并能較好提取圖像內(nèi)部各個尺度的特征，Gabor小波變換的引入，能夠提供對光照變化良好的適應性，這樣能提高算法的魯棒性，其識別率也明顯提升；(3)由于PCA和LDA算法都需要對圖像進行矢量化，必然會破壞原始圖像數(shù)據(jù)之間內(nèi)部結(jié)構(gòu)信息及相關(guān)性，其識別率肯定會受影響，導致識別率不高；(4)本文算法直接操作圖像多尺度序列的張量而不是它們進行拉伸后的向量形式，通過多尺度變換組建張量空間，同時使用了不確定度權(quán)衡了多尺度的權(quán)值，保存了完整的多尺度圖像特征，并采用MPCA多線性主成分算法降維并提取圖像特征，最終得到能較好表征原始圖像的特征，提高識別率。

本實驗所用的仿真環(huán)境是清華同方I5處理器，內(nèi)存為4 GB的個人計算機，采用Matlab2011b編程。在CAS-PEAL-R1光照子庫上，經(jīng)典算法(PCA，GPCA (Gabor+PCA)，GMPCA(Gabor+MPCA))和本文算法(每類人臉樣本數(shù)r=5)識別所用時間比較如表1所示。

表1 本文算法與經(jīng)典算法識別所用時間比較表

從表1可以看出：(1)實驗過程中，多尺度Gabor變換會消耗大量的時間，引入多尺度變換將加大運算量；(2)采用GPCA的訓練時間遠遠大于采用GMPCA的訓練時間，這是因為采用GMPCA時，不需要將樣本變成一維數(shù)組，導致用于計算特征子空間的基向量的樣本圖像協(xié)方差矩陣維數(shù)變?。?3)測試過程中，由于GMPCA所需要的用于存儲特征矩陣的存儲空間比前者大得多, 這樣就導致了GMPCA的測試時間略大于GPCA的測試時間；(4)綜合圖7和表1，雖然本文算法和GMPCA運行時間相似，但是本文算法的識別率卻較好，所以該基于加權(quán)多尺度張量子空間的圖像特征提取算法用于圖像識別過程中具有較好的效果，具有一定的可行性。

5 結(jié)束語

本文算法為了不破壞原始數(shù)據(jù)固有的高階結(jié)構(gòu)和數(shù)據(jù)之間的相關(guān)性，減少光照對圖像特征的影響，并優(yōu)化多尺度特征的權(quán)重，采用了多尺度Gabor變換獲取圖像多尺度特征，并通過使用不確定度計算各個多尺度特征的權(quán)重，優(yōu)化了各個紋理特征在圖像識別中的作用，并組建成張量空間，通過使用MPCA算法和線性判別分析算法把高維構(gòu)建的張量空間降維成低維數(shù)據(jù)，提取得到較好表征圖像數(shù)據(jù)的特征，完成最終的圖像特征提取。本算法使用CAS-PEAL-R1東方人臉庫完成測試，結(jié)果表明，該圖像特征提取算法用于圖像識別過程中具有較好的效果，具有一定的可行性。

[1] 宋傳鳴,趙長偉,劉丹,等.3D 多尺度幾何分析研究進展[J]. 軟件學報,2015,26(5):1213-1236.

Song Chuanming, Zhao Changwei, Liu Dan, et al. Advances in three-dimensional multiscale geometrical analysis[J]. Journal of Software, 2015,26(5):1213-1236.

[2] 宋克臣, 顏云輝, 陳文輝, 等. 局部二值模式方法研究與展望[J]. 自動化學報, 2013, 39(6): 730-744.

Song Kechen, Yan Yunhui, Chen Wenhui, et al. Research and perspective on local binary pattern[J]. Acta Automatica Sinica, 2013, 39(6): 730-744.

[3] 黃兵,郭繼昌. 基于Gabor小波與LBP直方圖序列的人臉年齡估計[J]. 數(shù)據(jù)采集與處理, 2012, 27(3):340-345.

Huang Bing,Guo Jichang. Age estimation of facial images based on Gabor wavelet and histogram sequence of LBP [J]. Journal of Data Acquisition and Processing, 2012, 27(3):340-345.

[4] Zhang W, Shan S, Gao W, et al. Local Gabor binary pattern histogram sequence (LGBPHS): A novel non-statistical model for face representation and recognition[C]∥Proceedings of the IEEE International Conference on Computer Vision (ICCV). Beijing, China: IEEE Computer Society Press, 2005:786-791.

[5] Zhang B, Shan S, Chen X, et al. Histogram of Gabor phase patterns (HGPP): A novel object representation approach for face recognition[J]. IEEE Trans Image Process, 2007,16(1): 57-68.

[6] Turk M, Pentland A. Face recognition using eigenfaces [J]. Cogn Neurosci, 1991, 3(2): 71-86.

[7] Belhumeur P N, Hespanha J P, Kriegman D J. Eigenfaces vs. fisherfaces: Recognition using class specific linear projection[J]. IEEE Trans Pattern Anal Mach Intell, 1997,19(7):711-720.

[8] Jian Yang. Two-dimensional PCA:A new approach to appearance-based face representation and recognition [J]. Pattern Analysis and Machine Intelligence, 2004, 26(1): 131-137.

[9] Kotsia I, Patras I. Support tucker machines[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recogition. Colorado, USA: IEEE Computer Society Press, 2011: 633-640.

[10]Li Qun, Shi Xiangqiong, Schonfeld D. Robust HOSVD-based higher-order data indexing and retrieval[J]. IEEE Signal Processing Letters, 2013,20(10): 984-987.

[11]Rajwade A, Rangarajan A, Banerjee A. Image denoising using the higher order singular value decomposition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(4):984-987.

[12]Yan S, Xu D, Yang Q, et al. Multilinear discriminant analysis for face recognition[J]. Trans Image Process, 2007, 16(1): 212-220.

[13]Guo Weiwei, Kotsia I, Patras I. Tensor learning for regression[J]. IEEE Transactions on Image Processing, 2012, 21 (2): 816-827.

[14]Kotsia I, Guo Weiwei, Patras I. Higher rank support tensor machines for visual recognition[J]. Patter Recognition, 2012, 45 (12): 4192-4203.

[15]Gao Chao,Wu Xiaojun. Kernel support tensor regression [J]. Procedia Engineering, 2012,29(4): 3986-3990.

[16]Wang Z, He X S, Gao D Q, et al. An efficient kernel-based matrixized least squares support vector machine[J]. Neural Computing and Applications, 2013, 22: 143-150.

[17]Signoretto M, De Lathauwer L, Suykens J A K. A kernel-based framework to tensorial data analysis[J]. Neural Networks, 2011, 24: 861-874.

[18]Lu Haiping, Plataniotis K N, Venetsanopoulos A N. MPCA: Multilinear principal component analysis of tensor objects[J]. IEEE Trans on Neural Networks, 2008, 19(1):18-39.

[19]Gao Wen, Cao Bo, Shan Shiguang, et al. The CAS-PEAL large-scale Chinese face database and baseline evaluations[J]. IEEE Trans on System Man, and Cybernetics (Part A), 2008, 38(1):149-161.

[20]王仕民, 葉繼華, 鄧濤, 等. 2維雙樹復小波不確定度加權(quán)融合的人臉識別[J]. 中國圖象圖形學報, 2012, 17 (8): 995-1001.

Wang Shimin, Ye Jihua, Deng Tao, et al. Two-dimensional dual-tree complex wavelet transform uncertainty weighted fusion in face recognition[J]. Journal of Image and Graphics, 2012, 17 (8): 995-1001.

[21]江偉堅, 郭躬德, 賴智銘. 基于新Haar-like特征的Adaboost人臉檢測算法[J]. 山東大學學報：工學版, 2014, 44 (2),43-48.

Jiang Weijian, Guo Gongde, Lai Zhiming. An improved Adaboost algorithm based on new Haar-like feature for face detection [J]. Journal of Shandong University: Engineering Science, 2014,44(2):43-48.

王仕民(1986-)，男，實驗師，研究方向：圖像處理，wsmyangxi@126.com。

王明文(1964-)，男，教授，博士生導師，研究方向：數(shù)據(jù)挖掘和信息檢索。

程柏良(1978-)，男，博士，研究方向：可信計算。

葉繼華(1966-)，男，教授，研究方向：圖像處理。

Method for Face Image Feature Extraction Based on Weighted Multi-Scale Tensor Subspace

Wang Shimin, Cheng Bailiang, Ye Jihua, Wang Mingwen

(College of Computer Information and Engineering, Jiangxi Normal University, Nanchang, 330022, China)

In order to keep the inherent higher order structure and correlation in the original data, reduce the influence of illumination in image recognition, and optimize the weight of the multi-scale feature, the method of image feature extracting based on weighted multi-scale tensor subspace is proposed to solve the problems. Firstly, multi-scale transform is used to characterize each place feature of the image, and uncertainty weighed is adopted on the role of each scale feature for image classification. And then a multi-scale tensor space is built using multiple linear principal component analysis and linear discriminant analysis algorithm to reduce the cost of processing, preserving the inherent structure and correlation of high-dimensional data. Finally, the extraction of the image features is completed. CAS-PEAL-R1 oriental face database is chosen for evaluation. The experimental results show that the algorithm performs better than some recent algorithms for image recognition with practical feasibility.

image feature; multi-scale transform; tensor subspace; multiple linear principle component analysis; uncertainty

國家自然科學基金(61462042,614620145)資助項目。

2015-09-29；

2015-11-02

TP391.41

A