利用特征信息的加權(quán)典型相關(guān)分析算法

顧高升，葛洪偉，周夢(mèng)璇

(1.江南大學(xué) 輕工過程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 無錫 214122；2. 江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無錫 214122)

0 引 言

在模式識(shí)別和機(jī)器學(xué)習(xí)領(lǐng)域[1]中，同一對(duì)象能夠獲取多組特征信息，這些特征信息能夠從各個(gè)方面有效地表示該對(duì)象的屬性特征，例如，人臉特征能夠由膚色、形狀、眼睛、發(fā)色等信息組成，一個(gè)網(wǎng)頁(yè)屬性包含網(wǎng)頁(yè)文本、超鏈接、域名、標(biāo)題等信息。但對(duì)于多組特征的學(xué)習(xí)，經(jīng)典的單視圖學(xué)習(xí)方法，如主成分分析(principal component analysis, PCA)[2-3]，并不能有效地抽取出完備的特征，因此，對(duì)多組特征的信息融合算法是非常有意義的，多視圖學(xué)習(xí)[4]也成為模式識(shí)別領(lǐng)域研究的熱點(diǎn)之一。

典型相關(guān)分析(canonical correlation analysis, CCA)[5-6]是一種經(jīng)典的多視圖學(xué)習(xí)方法，其研究了同一對(duì)象的2組變量之間的關(guān)系。與單視圖的PCA不同，CCA通過最大化2組線性組合后的特征相關(guān)性，提取出多組典型相關(guān)特征。至今，CCA被用于很多領(lǐng)域的信息融合中，例如模式識(shí)別、圖像處理、機(jī)器視覺、醫(yī)療衛(wèi)生、天氣預(yù)測(cè)等。偏最小二乘(partial least squares, PLS)[7]是另一種經(jīng)典多視圖學(xué)習(xí)方法，其目標(biāo)函數(shù)是使得特征之間的變異性及相關(guān)性最大化。Borga[7]基于Rayleigh商和廣義特征值問題建立了CCA與PCA、多元線性回歸(multvariate linear regression, MLR)以及PLS的統(tǒng)一模型。Sun等[8]首次將CCA用于模式識(shí)別領(lǐng)域，利用CCA提取特征，并獲得滿意的實(shí)驗(yàn)結(jié)果。但CCA從本質(zhì)上來講是一種線性子空間學(xué)習(xí)方法，對(duì)于全局非線性的情況，CCA并不能提取有表現(xiàn)力的典型相關(guān)特征。因此，S. Akaho等[9]將核技術(shù)引進(jìn)CCA，將原始空間中的特征擴(kuò)展到更高維度空間中，提出核典型相關(guān)分析(kernel canonical correlation analysis, KCCA)。CCA的求解需要轉(zhuǎn)化為對(duì)應(yīng)的廣義特征值求解，在模式識(shí)別中，對(duì)高維樣本的不充分采樣會(huì)導(dǎo)致高維小樣本問題[10]，CCA的協(xié)方差矩陣極有可能奇異，使得算法的性能降低。為了克服小樣本問題，文獻(xiàn)[11]提出一種完備的典型相關(guān)分析(complete canonical correlation analysis, C3A)，通過矩陣分解，提取出完整的典型相關(guān)特征，實(shí)驗(yàn)結(jié)果[11]顯示，C3A能夠保留完整的特征信息，算法的識(shí)別率得到提高。另外，文獻(xiàn)[12]提出了一種新穎的魯棒典型相關(guān)分析(robust canonical correlation analysis, ROCCA)，利用近似矩陣代替奇異的協(xié)方差矩陣進(jìn)行廣義特征值分解，實(shí)驗(yàn)結(jié)果顯示，ROCCA能夠提高算法的魯棒性，識(shí)別效果得到提高。但以上CCA的改進(jìn)算法卻都忽視了特征的重要性，從特征角度來看，傳統(tǒng)CCA對(duì)每個(gè)特征都是公平對(duì)待，如果采樣數(shù)量較少，那么重要特征與次要特征將無法區(qū)分，提取出來的典型相關(guān)特征缺乏表現(xiàn)力和鑒別性。

文獻(xiàn)[13]討論了局部特征對(duì)類標(biāo)簽的影響，提出一種局部特征選擇方法(local feature selection, LFS)，在分類過程中將能夠表現(xiàn)類標(biāo)簽的重要局部特征置為1，次要的局部特征置為0，并設(shè)計(jì)出新的相似度量測(cè)量方法。實(shí)驗(yàn)結(jié)果顯示，局部特征對(duì)分類有著重要影響，不同樣本的局部特征對(duì)于其所屬的類標(biāo)簽的重要程度不同，選取出重要的局部特征用于分類，能夠有效地提高分類的精確度。本文受文獻(xiàn)[13]的啟發(fā)，提出一種利用特征信息的加權(quán)典型相關(guān)分析(weighted canonical correlation analysis, WCCA)。WCCA將局部特征的思想用于特征提取的階段，但并不是如文獻(xiàn)[13]中簡(jiǎn)單的二值化局部特征的權(quán)重，而是基于如下的思想：散布程度大的特征的重要性不低于散布程度小的特征，相關(guān)性強(qiáng)的特征的重要性不低于相關(guān)性弱的特征。因此，在提取特征前根據(jù)該特征的散布程度，即方差，賦予適當(dāng)?shù)臋?quán)重，提取后的特征被其對(duì)應(yīng)的相關(guān)系數(shù)賦予相應(yīng)的權(quán)重。在人臉識(shí)別和圖像分類的實(shí)驗(yàn)結(jié)果顯示，WCCA提高了算法識(shí)別與分類的精確度，WCCA的可行性和有效性得到了驗(yàn)證。

1 典型相關(guān)分析

給定一組大小為N且已經(jīng)中心化處理后的樣本對(duì)

X=[x1,x2,…,xN]∈Rp×N

Y=[y1,y2,…,yN]∈Rq×N

(1)

CCA[5]是為了尋找一組投影方向α∈Rp×1和β∈Rq×1，使得原始特征在投影后的相關(guān)性最大化，目標(biāo)優(yōu)化函數(shù)為

(2)

(2)式中：(·)T表示矩陣的轉(zhuǎn)置；Sxy=XYT是樣本的互協(xié)方差矩陣；Sxx=XXT和Syy=YYT分別是X和Y的協(xié)方差矩陣。

2 基于局部特征選取的分類器

Armanfard等[13]提出一種基于局部特征選取的分類器模型(localized feature selection,LFS)。區(qū)別于傳統(tǒng)的分類器，LFS并不選取全部的特征用于分類器的構(gòu)造，而是根據(jù)樣本的類標(biāo)簽信息，對(duì)每個(gè)樣本選取出使同類樣本距離最小化，異類樣本距離最大化的局部特征用于分類任務(wù)。其數(shù)學(xué)模型表示為

(3)

3 加權(quán)典型相關(guān)分析

3.1 數(shù)學(xué)模型

假設(shè)在(1)式中，樣本的互協(xié)方差矩陣Sxy=XYT，設(shè)X=[a1,a2,…,ap]T，Y=[b1,b2,…,bq]T，ai∈RN×1和bi∈RN×1分別是X和Y的第i個(gè)特征的特征向量。對(duì)Sxy進(jìn)行展開

(4)

同理可得

(5)

可以看出，傳統(tǒng)CCA中，樣本間的互協(xié)方差Sxy以及樣本內(nèi)的協(xié)方差Sxx和Syy這3個(gè)矩陣對(duì)樣本的特征都未處理，即其特征的權(quán)重都是一致的，都為1。CCA僅線性組合全部的特征提取出典型相關(guān)特征，因此，CCA不能有效地考慮到重要特征與次要特征的區(qū)別。因此，傳統(tǒng)CCA提取的特征不能完全反映出特征的性質(zhì)。尤其在小樣本情況下，次要特征極有可能掩蓋掉重要特征的信息，導(dǎo)致提取出來的特征無表現(xiàn)力和鑒別性。

為解決傳統(tǒng)典型相關(guān)分析的缺陷，本文引入局部特征思想，提出一種利用特征信息的加權(quán)典型相關(guān)分析(weighted canonical correlation analysis, WCCA)。WCCA基于一種樸素的思想：散布程度大的特征的重要性不低于散布程度小的特征，相關(guān)性強(qiáng)的特征的重要性不低于相關(guān)性弱的特征。因此，本文提出的WCCA從2個(gè)方面對(duì)局部特征進(jìn)行重要性加權(quán)。在統(tǒng)計(jì)學(xué)領(lǐng)域[14]，樣本的方差能夠代表其散布程度：方差越大，樣本越分散；方差越小，樣本越集中。經(jīng)典的Pearson系數(shù)[14]能夠有效地度量2組變量之間的相關(guān)性，Pearson系數(shù)取值為-1～1，當(dāng)Pearson系數(shù)為-1時(shí)，2組變量之間成負(fù)相關(guān)；當(dāng)Pearson系數(shù)為0時(shí)，2組變量之間無相關(guān)；當(dāng)Pearson系數(shù)為1時(shí)，2組變量之間成正相關(guān)，Pearson系數(shù)越大，2組變量之間的相關(guān)性就越強(qiáng)。因此，WCCA一方面對(duì)于原始特征采用其方差信息進(jìn)行適當(dāng)加權(quán)；另一方面對(duì)提取后的特征通過對(duì)應(yīng)的相關(guān)性進(jìn)行適當(dāng)加權(quán)。WCCA的具體數(shù)學(xué)模型表示為

(6)

3.2 處理操作函數(shù)

由于圖像的采集受光照、姿態(tài)等外界因素的影響，因此，在原始特征中，大方差特征包含更多的光照、姿態(tài)等外界因素信息，小方差特征則與此相對(duì)。在此種情況下，如直接對(duì)大方差信息進(jìn)行方差加權(quán)，勢(shì)必會(huì)增強(qiáng)外界因素產(chǎn)生的干擾信息，而對(duì)于小方差特征來說，會(huì)削弱其圖像的本征信息。因此，再根據(jù)3.1節(jié)中的樸素思想之一：散布程度大的特征的重要性不低于散布程度小的特征，采用(7)式的方差處理操作函數(shù)f(·)和g(·)。

i∈{1,2,…,p}

j∈{1,2,…,q}

(7)

k∈{1,2,…,d}

(8)

3.3 模型求解

(9)

根據(jù)文獻(xiàn)[15]，(9)式的求解可以轉(zhuǎn)化為廣義特征值問題

(10)

(11)

(12)

本文采用文獻(xiàn)[8]中的串型特征融合策略進(jìn)行特征融合，即

(13)

3.4 算法流程

WCCA算法具體描述如下。

1)給定一組大小為N且已經(jīng)中心化處理后的樣本對(duì)作為輸入數(shù)據(jù)集

X=[x1,x2,…,xN]∈Rp×N

Y=[y1,y2,…,yN]∈Rq×N

(14)

根據(jù)(2)式計(jì)算樣本協(xié)方差矩陣Sxx，Syy和互協(xié)方差矩陣Sxy；

2)首先，重新描述數(shù)據(jù)集X和Y

X=[a1,a2,…,ap]T

Y=[b1,b2,…,bq]T

(15)

(15)式中，ai∈RN×1和bi∈RN×1分別是X和Y的第i個(gè)特征的特征向量；

①計(jì)算各個(gè)特征對(duì)應(yīng)的特征方差λi=var(ai)，i=1,2,…,p，μi=var(bi)，i=1,2,…,q；

(16)

用于后續(xù)的模式識(shí)別任務(wù)中。

4 實(shí)驗(yàn)結(jié)果和分析

為驗(yàn)證本文算法WCCA的可行性和有效性，本節(jié)在ORL人臉數(shù)據(jù)庫(kù)*http://www.cl.cam.ca.uk/research/dtg/attarchive/facedatabase.html、AR人臉數(shù)據(jù)庫(kù)*http://www2.ece.ohio-state.edu/～aleix/ARdatabase.html和COIL20對(duì)象數(shù)據(jù)庫(kù)*http://www.cs.columbia.edu/CAVE/software/softlib/coil-20.php上進(jìn)行識(shí)別實(shí)驗(yàn)。將WCCA與PCA，CCA，PLS，ROCCA和C3A等相關(guān)算法進(jìn)行性能的對(duì)比。為了解決小樣本問題[9]，本文采取PCA預(yù)處理降維，避免CCA及其改進(jìn)算法中協(xié)方差矩陣奇異的情況。

PCA需要將2組特征首尾相連以形成新的高維特征向量，然后用PCA進(jìn)行特征提取。CCA，PLS，ROCCA和C3A提取特征后，通過串型特征融合的方式[8]，即將2組降維后的特征首尾相連地串接在一起進(jìn)行識(shí)別分析。在本節(jié)的實(shí)驗(yàn)中，WCCA的u和v分別取1和2。分類器采用K最近鄰(K-nearest neighbor, KNN)分類器[8]，K取1。算法識(shí)別的性能通過識(shí)別率來衡量，識(shí)別率越高(越接近100%)，算法性能越好；識(shí)別率越低(越接近0)，算法性能越差。另外，通過識(shí)別率的標(biāo)準(zhǔn)差衡量算法的穩(wěn)定性，標(biāo)準(zhǔn)差越小，算法的穩(wěn)定性越高。

4.1 ORL人臉數(shù)據(jù)庫(kù)

ORL人臉數(shù)據(jù)庫(kù)包含40名志愿者人臉姿態(tài)較大的400張灰度圖片，每人10張圖片，每張圖片包含92×112像素。ORL數(shù)據(jù)庫(kù)中的每張人臉圖片分別拍攝于不光照條件下，具有差異較大的面部表情和細(xì)節(jié)，人臉的尺度、平面旋轉(zhuǎn)和深度旋轉(zhuǎn)分別達(dá)到10°，20°和20°。圖1顯示了ORL數(shù)據(jù)庫(kù)中第1個(gè)人的10張灰度圖片。

在本節(jié)實(shí)驗(yàn)中，從每個(gè)人的10張灰度圖片中隨機(jī)選取5，6，7和8張圖片用于訓(xùn)練，剩余的圖片樣本用作測(cè)試。對(duì)每張圖片分別提取局部二值模式(local binary pattern, LBP)[16]和方向梯度直方圖(histogram of oriented gradient, HOG)[17]2組特征。在文獻(xiàn)[18]中，LBP和HOG及其組合特征在圖像識(shí)別的可行性已經(jīng)得到驗(yàn)證。本節(jié)為避免高維小樣本導(dǎo)致協(xié)方差矩陣奇異，用PCA將LBP和HOG特征約減至80維。

圖1 ORL數(shù)據(jù)庫(kù)中第1個(gè)人的10張灰度圖片F(xiàn)ig.1 10 gray images of the first person on ORL database

圖片數(shù)目平均識(shí)別率/%PCACCAPLSROCCAC3AWCCA587.5592.7588.1093.1092.3593.65690.3195.9490.3895.8195.8796.50791.4296.5091.6797.2596.6797.33892.3898.0093.1398.0097.5098.62平均90.4295.8090.8296.0495.6096.53

表1顯示了WCCA與5種對(duì)比算法在ORL數(shù)據(jù)庫(kù)上基于LBP和HOG特征組合的獨(dú)立10次實(shí)驗(yàn)的平均識(shí)別結(jié)果。由于ORL數(shù)據(jù)庫(kù)具有較大的臉部轉(zhuǎn)動(dòng)，樣本的特征具有較大的方差信息，因此，給特征進(jìn)行適當(dāng)加權(quán)能夠提取出更加具有鑒別性和表現(xiàn)力的特征。從結(jié)果顯示，本文的識(shí)別算法WCCA比其他算法更優(yōu)，加權(quán)之后提取出來的特征在分類的效果上更佳，尤其與CCA對(duì)比，WCCA的識(shí)別效果顯著提高，驗(yàn)證了WCCA的有效性。

為進(jìn)一步分析WCCA與對(duì)比算法的性能，從每個(gè)人的10張圖片中隨機(jī)選取5張用于訓(xùn)練，剩余用于測(cè)試，并獨(dú)立進(jìn)行10次實(shí)驗(yàn)。圖2顯示了5種多視圖算法隨抽取后的特征維數(shù)變化的平均識(shí)別結(jié)果。從圖2中可以看出，為樣本特征加權(quán)的WCCA抽取的特征比CCA和C3A的特征更加具有鑒別性，而且在特征維數(shù)達(dá)到120以上，WCCA的識(shí)別率趨于穩(wěn)定，識(shí)別的效果明顯優(yōu)于其他4種多視圖算法。圖2的實(shí)驗(yàn)結(jié)果再次驗(yàn)證了WCCA的可行性和有效性。

圖2 5種多視圖算法隨維度變化的平均識(shí)別結(jié)果Fig.2 Average recognition rates of 5 multi-view algorithms with dimension

4.2 AR人臉數(shù)據(jù)庫(kù)

AR人臉數(shù)據(jù)庫(kù)是由70個(gè)男性和56個(gè)女性的4 000余張彩色圖片構(gòu)成的，每人26張圖片，每張圖片包含40×50像素，這些圖片分別反映了人臉的表情特征、光照明暗和有無遮擋等情況。本文選取其中120人，每人14張無遮擋的圖片，共計(jì)1 680張，并將圖片進(jìn)行灰度化處理用于實(shí)驗(yàn)分析。圖3顯示了AR數(shù)據(jù)庫(kù)中第1個(gè)人的14張無遮擋的灰度圖片。

圖3 AR數(shù)據(jù)庫(kù)中第1個(gè)人的14張灰度圖片F(xiàn)ig.3 14 gray images of the first person on AR database

本節(jié)實(shí)驗(yàn)中，從每個(gè)人的14張圖片中分別隨機(jī)選取7，8，9和10張圖片用于訓(xùn)練過程，剩余的圖片用于測(cè)試，隨機(jī)獨(dú)立10次實(shí)驗(yàn)，取平均結(jié)果。實(shí)驗(yàn)中，特征采用從每張圖片提取出LBP和HOG 2組特征，并且為盡量避免協(xié)方差奇異，采用PCA預(yù)處理將LBP和HOG 2組特征都降維至50維。

6種算法在AR數(shù)據(jù)庫(kù)上的平均識(shí)別結(jié)果如表2所示。從實(shí)驗(yàn)結(jié)果看，WCCA的算法性能比其他5種算法較優(yōu)，其中，相比于CCA和C3A的效果略好，這是由于AR數(shù)據(jù)庫(kù)有明顯的光照和表情差異，對(duì)特征的適當(dāng)加權(quán)能夠更加凸出人臉原始特征，降低外界因素信息的干擾，WCCA抽取的特征更加具有表現(xiàn)力和鑒別性。由于本數(shù)據(jù)庫(kù)的樣本都是正面無遮擋的圖片，樣本中包含野值點(diǎn)的情況較少，因此，魯棒的ROCCA的性能較差，但這也反映出來，在野值點(diǎn)較少，適當(dāng)?shù)刭x予特征權(quán)重，能夠有效地提高算法的識(shí)別率，WCCA的可行性得到驗(yàn)證。

表2 6種算法在AR數(shù)據(jù)庫(kù)上的平均識(shí)別結(jié)果

圖4顯示了每人隨機(jī)選取7張圖片用于訓(xùn)練，剩余用于測(cè)試，進(jìn)行10次獨(dú)立實(shí)驗(yàn)，5種多視圖算法隨維度變化的平均識(shí)別結(jié)果。從圖4中可以看出，WCCA的識(shí)別率明顯好于其他4種算法，在維度達(dá)到70時(shí)，WCCA趨于收斂，CCA和C3A的識(shí)別率也與WCCA越來越接近，但在維度小于70的情況下，WCCA的識(shí)別效果明顯高于CCA和C3A，說明WCCA提取的特征較CCA和C3A更加具有鑒別性和表現(xiàn)力，驗(yàn)證了WCCA的有效性和可行性。

圖4 5種多視圖算法隨維度變化的平均識(shí)別結(jié)果Fig.4 Average recognition rates of 5 multi-view algorithms with dimension

4.3 COIL20對(duì)象數(shù)據(jù)庫(kù)

COIL20對(duì)象數(shù)據(jù)庫(kù)包含20個(gè)不同對(duì)象的1 440張灰度圖片，每個(gè)對(duì)象分別從0°～360°間隔5°采集一張圖片，共計(jì)72張圖片，每張圖片大小為128×128像素，其中，有玩具鴨、玩具汽車、招財(cái)貓等，如圖5所示。從圖5中可以看出，各個(gè)對(duì)象之間具有較大的幾何特征差異。

圖5 COIL20數(shù)據(jù)庫(kù)中20個(gè)對(duì)象Fig.5 20 objects on COIL20 database

本節(jié)實(shí)驗(yàn)隨機(jī)選取每個(gè)對(duì)象的10，15，20和25張圖片用于訓(xùn)練集，其余的圖片組合成測(cè)試集，獨(dú)立進(jìn)行10次實(shí)驗(yàn)，取其平均的識(shí)別結(jié)果。如ORL和AR數(shù)據(jù)庫(kù)中的實(shí)驗(yàn)，對(duì)每個(gè)對(duì)象的圖片提取出LBP和HOG 2組特征，為保證協(xié)方差矩陣的非奇異性，對(duì)每組特征進(jìn)行PCA降維至50維。

6種算法在不同訓(xùn)練樣本數(shù)量下的平均識(shí)別結(jié)果如表3所示。COIL20數(shù)據(jù)庫(kù)本身具有較大的旋轉(zhuǎn)差異，對(duì)象的外形差異也較大，因此，對(duì)特征進(jìn)行加權(quán)處理，一方面既可以抑制旋轉(zhuǎn)差異的影響；另一方面凸出重要特征對(duì)各個(gè)對(duì)象的表現(xiàn)力。從表3中可以看出，在樣本數(shù)量較少的情況下，能夠抑制旋轉(zhuǎn)因素的WCCA的識(shí)別率比其他5種算法高，在樣本數(shù)量較大時(shí)，即為25，旋轉(zhuǎn)因素的干擾性增強(qiáng)，魯棒的ROCCA獲得最佳的識(shí)別效果，但WCCA的識(shí)別率與最優(yōu)值差距較小。從整體的平均識(shí)別率來看，WCCA的效果優(yōu)于其他5種算法，其可行性得到驗(yàn)證。

表3 6種算法在COIL20數(shù)據(jù)庫(kù)上的平均識(shí)別結(jié)果

為了研究算法隨維度變化的識(shí)別率，隨機(jī)選取每個(gè)對(duì)象的10張圖片用于訓(xùn)練，剩余用于測(cè)試，并獨(dú)立進(jìn)行10次實(shí)驗(yàn)，取其平均結(jié)果，如圖6所示。

圖6 5種多視圖算法隨維度變化的平均識(shí)別結(jié)果Fig.6 Average recognition rates of 5 multi-view algorithms with dimension

從圖6中可以看出，由于COIL20數(shù)據(jù)庫(kù)的對(duì)象存在較大的差異，在維數(shù)較少的情況下，魯棒的ROCCA提取的特征具有較好的效果，但穩(wěn)定性較差。WCCA隨維數(shù)的增加，其穩(wěn)定性較好，其識(shí)別率穩(wěn)步上升，當(dāng)維數(shù)較大時(shí)，即為85，WCCA的識(shí)別率超過ROCCA，并優(yōu)于其他4種多視圖算法。在此種小樣本的情況下，WCCA在高維數(shù)的優(yōu)勢(shì)尤其明顯，驗(yàn)證了WCCA的有效性和可行性。

4.4 識(shí)別率的標(biāo)準(zhǔn)差分析

在上述3個(gè)真實(shí)數(shù)據(jù)庫(kù)的實(shí)驗(yàn)基礎(chǔ)上，本小節(jié)選取部分實(shí)驗(yàn)結(jié)果進(jìn)行WCCA和對(duì)比算法的識(shí)別率的標(biāo)準(zhǔn)差分析[19]，分別在ORL上每類圖像中隨機(jī)選取5和7張圖像，在AR上每類圖像中隨機(jī)選取7和9張圖像，在COIL20上每類圖像中隨機(jī)選取10和20張圖像，各獨(dú)立進(jìn)行10次實(shí)驗(yàn)。表4顯示了各算法在不同數(shù)據(jù)庫(kù)下識(shí)別率的標(biāo)準(zhǔn)差。

表4 6種算法在3種數(shù)據(jù)庫(kù)上的識(shí)別率的標(biāo)準(zhǔn)差

從表4中可以看出，在大部分的實(shí)驗(yàn)中，WCCA算法識(shí)別率的標(biāo)準(zhǔn)差并不是最佳，但在6組實(shí)驗(yàn)數(shù)據(jù)中，有5組實(shí)驗(yàn)結(jié)果顯示W(wǎng)CCA的標(biāo)準(zhǔn)差比傳統(tǒng)CCA，PCA和PLS的小，由此可以看出，WCCA在傳統(tǒng)CCA上的改進(jìn)具有有效性，算法的穩(wěn)定性得到提升。但是，相對(duì)于魯棒的ROCCA和完備的C3A，WCCA的標(biāo)準(zhǔn)差略高，WCCA算法的穩(wěn)定性還有一定的提升空間。

4.5 時(shí)間復(fù)雜度分析

根據(jù)文獻(xiàn)[8]，傳統(tǒng)CCA的算法復(fù)雜度在于二次矩陣逆運(yùn)算和一次特征值分解，分別記為Oinv和Oeig。因此，傳統(tǒng)CCA的時(shí)間復(fù)雜度O(CCA)=2Oinv+Oeig。

根據(jù)(10)式可得到如下的等量關(guān)系

(17)

因此，WCCA在求解(11)式時(shí)可以只求解其中一個(gè)特征值問題，得到一組投影向量集，再通過(17)式得到另外一組投影向量集。求解(11)式的一個(gè)特征值問題需要經(jīng)過二次矩陣逆運(yùn)算和一次特征值分解。由于WCCA需要進(jìn)行特征加權(quán)，所以WCCA的時(shí)間復(fù)雜度為

O(WCCA)=2Oinv+Oeig+O((p+q)N)

(18)

一般而言，矩陣的求逆運(yùn)算和特征值分解都是非線性時(shí)間的運(yùn)算，Oinv和Oeig遠(yuǎn)大于O((p+q)N)，所以，進(jìn)行放縮后得到時(shí)間復(fù)雜度關(guān)系為

O(WCCA)=2Oinv+Oeig=O(CCA)

(19)

即，WCCA和原始的CCA具有相同的時(shí)間復(fù)雜度。

4.6 參數(shù)選擇

根據(jù)(7)式和(8) 式，WCCA具有2個(gè)可調(diào)參數(shù)u和v。根據(jù)(7)式和(8) 式中的定義，參數(shù)u和v分別控制著方差加權(quán)和相關(guān)性加權(quán)。本小節(jié)分析參數(shù)u和v對(duì)WCCA的影響，并給出參數(shù)u和v的選擇方案。選取ORL數(shù)據(jù)庫(kù)進(jìn)行參數(shù)選擇實(shí)驗(yàn)，從每類圖像中隨機(jī)選取5張圖像進(jìn)行訓(xùn)練，其余的圖像用于測(cè)試，獨(dú)立進(jìn)行10次隨機(jī)試驗(yàn)，選取最佳的識(shí)別率(%)，并取10次實(shí)驗(yàn)的平均值作為算法的識(shí)別率效果度量。參數(shù)u和v分別選擇如下2個(gè)集合

u∈{0.0001,0.001,0.01,0.1,0.5,1,1.5,2,3,4}

v∈{0.01,0.1,0.5,1,1.5,2,2.5,3,4,5}

(20)

WCCA在參數(shù)u和v各種組合下的識(shí)別率如圖7所示。

從圖7中可以看出，識(shí)別率較高的部分在于u取0.5，1和v取1.5，2，2.5，3，4，5的組合，尤其當(dāng)u取1，v取較大值時(shí)，識(shí)別率達(dá)到最佳。當(dāng)u取值較大時(shí)，識(shí)別率下降明顯，這是由于u加權(quán)的是小方差和小相關(guān)性的特征，而過大的u抑制了較大方差和相關(guān)性的特征屬性，導(dǎo)致特征丟失，識(shí)別率下降。圖7中的結(jié)果顯示，當(dāng)u取1時(shí)，能夠有效提高小方差和小相關(guān)性特征的本征屬性，且不會(huì)干擾較大方差和相關(guān)性的特征，進(jìn)而提高WCCA的性能。另外，隨著參數(shù)v的增大，識(shí)別率提高，在v取1.5時(shí)，識(shí)別率有較大提高，且當(dāng)v取2及更大值時(shí)，WCCA獲到最大識(shí)別率且穩(wěn)定。這與參數(shù)v控制大方差特征的加權(quán)符合，參數(shù)v較小，使得WCCA的特征提取過程退化為傳統(tǒng)CCA的特征提取，因此，參數(shù)v的選取應(yīng)跨過較小方差和大方差特征的邊界，當(dāng)v取得適當(dāng)值后，即圖7中的2，WCCA的算法性能穩(wěn)定，識(shí)別率取得最佳。因此，WCCA的參數(shù)u和v分別選取1和2附近的值時(shí)，算法的性能較為穩(wěn)定，WCCA的識(shí)別效果較好，所以，本文實(shí)驗(yàn)參數(shù)u和v分別選取1和2。

圖7 WCCA在參數(shù)u和v各種組合下的識(shí)別率Fig.7 Recognition rates of WCCA on the different combinations of u and v

5 結(jié)束語(yǔ)

本文在傳統(tǒng)CCA的基礎(chǔ)上，提出一種加權(quán)的典型相關(guān)分析(weighted canonical correlation analysis, WCCA)。文獻(xiàn)[13]的研究表明，樣本局部特征對(duì)于分類的重要性是不同的，對(duì)于局部特征的恰當(dāng)使用能夠提高分類的穩(wěn)定性和精確度。傳統(tǒng)的CCA在抽取特征階段并不考慮樣本特征之間的差異性，且對(duì)于抽取之后的特征也未加考慮其重要程度。因此，本文充分利用原始樣本特征的方差信息和提取后特征的典型相關(guān)性，對(duì)原始樣本和投影矩陣分別進(jìn)行方差加權(quán)和相關(guān)性加權(quán)，并且充分考慮光照、姿態(tài)等外界因素對(duì)特征的影響，保留了較大方差的特征信息；為完全利用原始樣本的特征信息，保留了小方差和小相關(guān)性特征的信息，彌補(bǔ)了CCA的缺陷，提高了算法性能。在人臉數(shù)據(jù)庫(kù)(ORL，AR)和對(duì)象數(shù)據(jù)庫(kù)(COIL20)上的實(shí)驗(yàn)結(jié)果驗(yàn)證了本文算法WCCA的可行性和有效性。但實(shí)驗(yàn)結(jié)果也顯示出WCCA仍有不足之處，對(duì)于樣本差異較大的COIL20數(shù)據(jù)庫(kù)，在訓(xùn)練樣本數(shù)量較大的情況下，WCCA較ROCCA仍有差異。接下來，考慮將局部流形學(xué)習(xí)思想或者監(jiān)督技術(shù)引進(jìn)WCCA，提高算法對(duì)于差異較大樣本的算法穩(wěn)定性和識(shí)別率，并將WCCA推廣至3視圖或更多視圖的學(xué)習(xí)中，構(gòu)建多視圖下的加權(quán)典型相關(guān)分析模型。

參考文獻(xiàn)：

[1] JAIN A K, DUIN R P W, MAO J. Statistical Pattern Recognition: A Review[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000, 22(1):4-37.

[2] JOLLIFFE I T. Principal Components Analysis[M]. New York: Springer-Verlag, 1986: 8-22.

[3] JIYONG O, NOJUN K. Generalized mean for robust principal component analysis[J].Pattern Recognition, 2016(54): 116-127.

[4] XU Y M, WANG C D, LAI J H. Weighted Multi-view Clustering with Feature Selection[J]. Pattern Recognition, 2016(53): 25-35.

[5] HOTELLING H. Relations between Two Sets of Variates[J]. Biometrika, 1936, 28(3-4): 321-377.

[6] 潘榮華,陳秀宏,曹翔.一種新的有監(jiān)督的局部保持典型相關(guān)分析算法[J].計(jì)算機(jī)工程與科學(xué), 2015, 37(6): 1175-1182.

PAN Ronghua, CHEN Xiuhong, CAO Xiang. A new supervised locality preserving canonical correlation analysis algorithm[J]. Computer Engineering and Science, 2015, 37(6): 1175-1182.

[7] BORGA M.Learning multidimensional signal processing[D]. Norrkoping: Linkoping University, 1998.

[8] SUN Q S, ZENG S G, LIU Y, et al. A new method of feature fusion and its application in image recognition[J]. Pattern Recognition, 2005, 38(12): 2437-2448.

[9] AKAHO S. A kernel method for canonical correlation analysis[C]//Psychometric Society.International Meeting of Psychometric Society. Tokyo: Springer-Verlag, 2001.

[10] YUAN Y H, SUN Q S, GE H W.Fractional-order embedding canonical correlation analysis and its applications to multi-view dimensionality reduction and recognition[J]. Pattern Recognition, 2014, 47(3): 1411-1424.

[11] XING X L, WANG K J, YAN T,et al.Complete canonical correlation analysis with application to multi-view gait recognition[J].Pattern Recognition,2016(50):107-117.

[12] AN L, YANG S F. Person Re-Identification by Robust Canonical Correlation Analysis[J]. IEEE Singal Processing Letters, 2015, 22(8): 1103-1107.

[13] NARGES A, JAMES P R, MAJID K. Local feature selection for data classification[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(6): 1217-1227.

[14] WILLIAM M, TERRY S. Statistics for engineers and the sciences[M].5th ed.Upper Saddle River: Prentice Hall, 2006: 170-210.

[15] YUAN Y H, SUN Q S.Graph regularized multiset canonical correlations with applications to joint feature extraction[J]. Pattern Recognition, 2014, 47(12): 3907-3919.

[16] OJALA T, PIETIKAINEN N, HARWOOD D. A comparative study of texture measures with classification based on featured distributions[J]. Pattern Recognition, 1996, 29(1): 51-59.

[17] DALAL N, TRIGGS B. Histograms of oriented gradients for human detection[C]//IEEE. Processings of Conference on Computer Vision and Pattern Recognition. San Diego:IEEE Conference Publications,2005:886-893.

[18] 萬源,李歡歡,吳克風(fēng)，等.LBP和HOG的分層特征融合的人臉識(shí)別[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2015, 27(4): 640-650.

WAN Yuan, LI Huanhuan, WU Kefeng, et al. Fusion with layered features of LBP and HOG for face recognition[J]. Journal of Computer-Aided Design & Computer Graphics, 2015, 27(4): 640-650.

[19] SU S Z, GE H W, YUAN Y H. Kernel propagation strategy: A novel out-of-sample propagation projection for subspace learning[J].Journal of Visual Communication & Image Representation, 2016(36): 69-79.