半監(jiān)督稀疏近鄰保持投影

吳振宇, 侯冰洋, 王輝兵, 劉勝藍(lán), 馮　林

(大連理工大學(xué)創(chuàng)新創(chuàng)業(yè)學(xué)院, 遼寧 大連 116024)

0　引　言

隨著信息技術(shù)的發(fā)展,圖片、音頻等信息采集處理技術(shù)進(jìn)一步提高,人們?cè)谌粘Ｉ钪蝎@得的數(shù)據(jù)信息維度越來(lái)越高,給算法帶來(lái)難以解決的“維數(shù)災(zāi)難”問(wèn)題。在過(guò)去的幾年中,研究人員構(gòu)建了很多高效的子空間學(xué)習(xí)算法,旨在維數(shù)約簡(jiǎn)的過(guò)程中,盡可能保持高維數(shù)據(jù)的某些分布特征,以提高后續(xù)分類(lèi)、聚類(lèi)以及檢索等應(yīng)用的精度。

傳統(tǒng)的線(xiàn)性維數(shù)約簡(jiǎn)方法,如主成分分析(principal component analysis,PCA)[1]、線(xiàn)性鑒別分析(linear discriminant analysis,LDA)[2]易于應(yīng)用在實(shí)際問(wèn)題中,但這些算法僅僅考慮了樣本的全局結(jié)構(gòu)而忽略了不同樣本間的局部特征。鑒于此,文獻(xiàn)[3-4]提出了局部保持投影方法(locality preserving projections,LPP)和近鄰保持嵌入(neighborhood preserving embedding,NPE)等算法,有效地保持了樣本之間的局部近鄰關(guān)系,然而這些無(wú)監(jiān)督算法忽略了全局特征的獲取和保持,且不能利用樣本標(biāo)簽信息,導(dǎo)致低維子空間判別性能不足。

近年來(lái),基于稀疏表示的稀疏子空間學(xué)習(xí)已經(jīng)成為一個(gè)重要的研究熱點(diǎn)。文獻(xiàn)[5]提出了一種稀疏保持投影(sparsity preserving projection,SPP)的降維算法,提高了算法的魯棒性且降低了算法復(fù)雜度。文獻(xiàn)[6]提出了一種基于鑒別稀疏保持嵌入(discriminant sparsity preserving embedding,DSPE)的降維算法,通過(guò)引入標(biāo)簽鑒別信息,有效地對(duì)高維數(shù)據(jù)進(jìn)行降維。文獻(xiàn)[7]認(rèn)為稀疏學(xué)習(xí)有很強(qiáng)的魯棒性。然而,大多數(shù)基于傳統(tǒng)稀疏子空間學(xué)習(xí)方法的問(wèn)題在于,對(duì)高維樣本進(jìn)行稀疏重建時(shí)僅考慮了全局信息,沒(méi)有利用樣本的局部特征,不能利用樣本的標(biāo)簽信息,容易造成誤學(xué)習(xí)、出現(xiàn)構(gòu)建樣本間錯(cuò)誤的相似度關(guān)系等問(wèn)題,這對(duì)數(shù)據(jù)降維十分不利[8-9]。傳統(tǒng)監(jiān)督降維算法通過(guò)提取樣本的標(biāo)簽信息,避免了無(wú)監(jiān)督算法中的誤學(xué)習(xí)等問(wèn)題,在分類(lèi)、識(shí)別等實(shí)際應(yīng)用中可取得較好的效果,但標(biāo)記不足或沒(méi)有標(biāo)記的情況下,算法的泛化能力會(huì)大大降低,導(dǎo)致分類(lèi)率急劇下降。在真實(shí)世界中,獲取有標(biāo)簽樣本的代價(jià)很高,無(wú)標(biāo)簽的數(shù)據(jù)相對(duì)更容易獲取,非常容易出現(xiàn)標(biāo)簽數(shù)據(jù)不足的情況,因此如何改善監(jiān)督降維算法的泛化性能就變得十分重要。

對(duì)于監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)各自存在的問(wèn)題,半監(jiān)督學(xué)習(xí)技術(shù)逐漸成為的研究熱點(diǎn)[10-16],半監(jiān)督學(xué)習(xí)能夠充分地同時(shí)利用所有樣本(標(biāo)記樣本和無(wú)標(biāo)記樣本),改善了監(jiān)督學(xué)習(xí)的泛化能力以及提高無(wú)監(jiān)督學(xué)習(xí)的高效性?；诎氡O(jiān)督學(xué)習(xí)的思想,并針對(duì)傳統(tǒng)稀疏子空間學(xué)習(xí)方法存在的問(wèn)題,提出了一種半監(jiān)督稀疏近鄰保持投影(semi-supervised sparsity neighbouring preserving projections,SSNPP)算法。該算法在保持樣本間全局和局部結(jié)構(gòu)關(guān)系的同時(shí),又充分利用部分樣本的標(biāo)簽信息,大幅提高了子空間的判別能力,在Extended Yale_B、ORL人臉數(shù)據(jù)集(Olivetti research laboratory，ORL)、AR人臉庫(kù)上的實(shí)驗(yàn)結(jié)果驗(yàn)證了該算法的有效性和魯棒性。

1　SPP算法介紹

1.1　稀疏相關(guān)性重構(gòu)

對(duì)于給定的訓(xùn)練集X=[x1,x2,…,xm],其中,xi∈Rn;m>n,每一列是一個(gè)樣本,稀疏相關(guān)性重構(gòu)希望用訓(xùn)練集中最少的樣本來(lái)線(xiàn)性重構(gòu)每一個(gè)樣本xi,考慮到實(shí)際問(wèn)題中樣本存在噪聲及數(shù)學(xué)求解困難等情況,通常在稀疏相關(guān)性構(gòu)造的過(guò)程中使用l1約束[10,17],并引入重構(gòu)誤差ε,可通過(guò)凸優(yōu)化進(jìn)行求解,其目標(biāo)函數(shù)為

s.t. ‖xi-Xsi‖<ε

1=1Tsi

(1)

式中,1=[1,1,…,1]T∈Rm×1;稀疏重構(gòu)向量si是一列向量，si=[si,1,si,2,…,si,i-1,0,si,i+1,…,si,m]T,其第i個(gè)元素是0(表示xi被從X中移除)。

由于約束條件‖xi-Xsi‖<ε的限制,si具有旋轉(zhuǎn)和縮放的不變性;由于1=1Tsi的約束,si具有平移的不變性[5]。另外,由于si中的非零元素大部分對(duì)應(yīng)于同類(lèi)別的樣本,這說(shuō)明在沒(méi)有類(lèi)別標(biāo)簽信息的情況下,si包含了自然的判別信息[6]。

計(jì)算每一個(gè)xi的稀疏重構(gòu)向量si之后,可以定義稀疏重構(gòu)權(quán)值矩陣為

(2)

1.2　SPP算法

xi=si,1x1+…+si,i-1xi-1+si,i+1xi+1+…+si,mxm

(3)

(4)

(5)

式中,S由式(2)得到。

為了得到更加緊湊的表達(dá)式,且為了獲得數(shù)值穩(wěn)定性更高的解,式(5)最小化問(wèn)題可以變換成等價(jià)的最大化問(wèn)題,即

(6)

式中,Sβ=S+ST-STS。

通過(guò)拉格朗日乘子法,式(6)進(jìn)一步轉(zhuǎn)化為廣義特征值求解問(wèn)題，即

XSβXTw=λXXTw

(7)

求前d個(gè)特征值的特征向量[w1,w2,…,wd],則SPP的投影矩陣為W=[w1,w2,…,wd]。

2　SSNPP算法介紹

由于稀疏相關(guān)性重構(gòu)的全局特性,導(dǎo)致重構(gòu)反映出一些錯(cuò)誤的樣本間關(guān)系,為解決此問(wèn)題,在其基礎(chǔ)上利用樣本間的局部關(guān)系和部分樣本的標(biāo)簽信息,構(gòu)造了稀疏近鄰相關(guān)性重構(gòu),并基于此產(chǎn)生了稀疏近鄰保持投影(sparsity neighboring preserving projections,SNPP)。但是SNPP本質(zhì)上仍屬于無(wú)監(jiān)督學(xué)習(xí),不能充分利用樣本的標(biāo)簽信息,容易造成誤學(xué)習(xí)等,為了進(jìn)一步提高算法的性能,利用半監(jiān)督學(xué)習(xí)的思想,對(duì)標(biāo)簽判別信息和稀疏近鄰相關(guān)性重構(gòu)信息進(jìn)行融合,提出了SSNPP算法。

2.1　稀疏近鄰相關(guān)性重構(gòu)

由于稀疏表示的全局特性,無(wú)法充分利用樣本間的局部結(jié)構(gòu)信息,導(dǎo)致傳統(tǒng)稀疏降維算法(如SPP等)的重構(gòu)權(quán)值矩陣反映出一些樣本間錯(cuò)誤的關(guān)系。為了解決上述問(wèn)題,在稀疏重構(gòu)中的過(guò)程中,充分提取樣本間的局部結(jié)構(gòu)信息,并利用部分樣本的標(biāo)簽信息,把訓(xùn)練集X=[x1,x2,…,xm]∈Rn×m用XDi來(lái)代替,其中,Di∈Rm×m是一個(gè)對(duì)角矩陣,對(duì)角元為0或1,Di的引入使得XDi中只包含樣本xi的近鄰樣本和屬于同類(lèi)的樣本,其他對(duì)于重構(gòu)無(wú)關(guān)的樣本和噪聲樣本將被忽略。

為了得到Di,首先計(jì)算xi與訓(xùn)練樣本集X中的其他樣本的歐氏距離,然后從中選出k個(gè)最近鄰的樣本,得到由xi的k個(gè)最近鄰樣本組成的集合為

G(xi)={xi1,xi2,…,xik}

(8)

由于距離近的樣本更可能來(lái)自同一類(lèi),參與重構(gòu)的相關(guān)性會(huì)較高,所以在矩陣Di中對(duì)應(yīng)于這些樣本的對(duì)角元置為1;而與原屬于同一類(lèi)的樣本,參與重構(gòu)的相關(guān)性也較高,在矩陣Di中相應(yīng)的對(duì)角元也置為1;其余對(duì)角元均為0,表示為

Di=diag(di1,di2,…,dim)

(9)

其中

j∈(1,m)且j≠i

用XDi中的樣本來(lái)重構(gòu)xi,通過(guò)最小化問(wèn)題尋找樣本xi的最優(yōu)稀疏近鄰相關(guān)性重構(gòu)向量si,表示為

s.t. ‖xi-XDisi‖<ε

1=1Tsi

(10)

2.2　SNPP算法

類(lèi)似于SPP利用稀疏相關(guān)性保持進(jìn)行降維,SNPP基于稀疏近鄰相關(guān)性保持進(jìn)行降維,為了將高維空間中的稀疏近鄰重構(gòu)關(guān)系以最優(yōu)的結(jié)果保持到低維嵌入子空間中,使得在低維空間中樣本的稀疏重構(gòu)誤差最小,假設(shè)w是SNPP的投影向量,則wTXDisi表示樣本xi經(jīng)過(guò)稀疏近鄰重構(gòu)并降維后的低維表示,定義求解出能最優(yōu)保持si的投影向量w的目標(biāo)函數(shù)為

(11)

式中，X=[x1,x2,…,xm]∈Rn×m是訓(xùn)練集；Di由式(9)求得；si由式(10)求得。

為了便于計(jì)算和降低空間復(fù)雜度,將式(11)通過(guò)代數(shù)變換和分塊矩陣的乘法處理,得到緊湊的表達(dá)形式為

(12)

其中

(D1s1,D2s2,…,Dmsm)∈Rm×m

同樣為了防止解的退化,并獲得唯一的最優(yōu)解,引入約束條件wTXXTw=1,則式(12)可以改寫(xiě)為最優(yōu)化問(wèn)題，即

(13)

同樣為了得到更加緊湊的表達(dá)式,且獲得更為穩(wěn)定的數(shù)值解,將式(13)最小化問(wèn)題轉(zhuǎn)化成等價(jià)最大化問(wèn)題,即

(14)

式中,Pα=P+PT-PTP。

式(14)可轉(zhuǎn)化為廣義特征分解問(wèn)題，即

XPαXTw=λXXTw

(15)

求前d個(gè)特征值的特征向量[w1,w2,…,wd],組成最優(yōu)的投影矩陣W=[w1,w2,…,wd]。

2.3　SSNPP算法

在真實(shí)世界中,高維數(shù)據(jù)通常只有一少部分是標(biāo)記樣本,大部分是無(wú)標(biāo)記的數(shù)據(jù),無(wú)監(jiān)督維數(shù)約簡(jiǎn)方法很難利用標(biāo)簽信息,導(dǎo)致算法性能低于監(jiān)督或半監(jiān)督算法,而SNPP本質(zhì)上也是無(wú)監(jiān)督降維算法,這就限制了SNPP算法的性能和適用范圍。因此,為了充分利用樣本的標(biāo)簽信息,本小節(jié)利用半監(jiān)督技術(shù)把SNPP算法拓展到SSNPP算法。

對(duì)于訓(xùn)練集X=[x1,x2,…,xm]∈Rn×m中分別屬于k類(lèi)的n個(gè)有標(biāo)簽的樣本組成的子集合XcX,Ai表示第i類(lèi)樣本構(gòu)成的集合,Ni表示屬于第i類(lèi)樣本的個(gè)數(shù),mi表示第i類(lèi)樣本的均值,m表示所有樣本的均值,計(jì)算類(lèi)間離散度矩陣Sb和類(lèi)內(nèi)離散度矩陣Sw為

(16)

(17)

利用最大間距準(zhǔn)則(maximum margin criterion,MMC)算法的最大邊界思想,使得高維數(shù)據(jù)降維后,在低維流形中相同類(lèi)別的樣本盡可能靠近,不同類(lèi)樣本盡可能遠(yuǎn),從而低維空間的樣本為分類(lèi)做了很好的預(yù)處理,使數(shù)據(jù)具有最大的可分性,目標(biāo)函數(shù)為

max(tr(Sb)-tr(Sw))

(18)

SSNPP算法一方面保持全部樣本間的稀疏近鄰相關(guān)性(式(14)),另一方面提取部分樣本的標(biāo)簽信息(式(18)),假設(shè)投影向量為w,可以構(gòu)造出多目標(biāo)優(yōu)化函數(shù)為

s.t.wTXXTw=1

(19)

為了獲得緊湊的形式,把多目標(biāo)優(yōu)化問(wèn)題轉(zhuǎn)換成正則化優(yōu)化問(wèn)題來(lái)求解,即

(20)

式(20)通過(guò)正則化參數(shù)λ來(lái)融合稀疏近鄰重構(gòu)信息和標(biāo)簽判別信息,使得算法在保持樣本間稀疏相關(guān)性的同時(shí),充分提取了部分樣本的標(biāo)簽信息。

式(20)可以進(jìn)一步轉(zhuǎn)化為廣義特征分解問(wèn)題，即

(XPαXT+λ(Sb-Sw))w=λXXTw

(21)

通過(guò)求式(21)的廣義特征分解,得到最大的d個(gè)特征值對(duì)應(yīng)的特征向量[w1,w2,…,wd],組合后得最優(yōu)的投影矩陣W=[w1,w2,…,wd]。

2.4　算法基本步驟

2.4.1SNPP算法步驟

對(duì)于兼有標(biāo)簽樣本和無(wú)標(biāo)簽樣本的訓(xùn)練集,基于稀疏近鄰相關(guān)性重構(gòu),求出其最優(yōu)投影矩陣的SNPP算法步驟歸納如下:

步驟1根據(jù)式(8)和式(9)構(gòu)建出對(duì)應(yīng)于訓(xùn)練集X的對(duì)角陣Di=diag(di1,di2,…,dim)。

步驟2利用式(10)計(jì)算出對(duì)應(yīng)于各個(gè)樣本xi的最優(yōu)稀疏近鄰相關(guān)性重構(gòu)向量si。

步驟3矩陣P=(D1s1,D2s2,…,Dmsm)由式(12)計(jì)算得出,矩陣Pα=P+PT-PTP由式(14)計(jì)算得出。

步驟4求解式(15)的廣義特征分解問(wèn)題,選取最大的d個(gè)特征值對(duì)應(yīng)的特征向量,構(gòu)成最優(yōu)的投影矩陣W=[w1,w2,…,wd]。

2.4.2SSNPP算法步驟

對(duì)于兼有標(biāo)簽樣本和無(wú)標(biāo)簽樣本的訓(xùn)練集,基于稀疏近鄰相關(guān)性重構(gòu),并利用半監(jiān)督學(xué)習(xí)技術(shù)融合標(biāo)簽樣本的判別信息和無(wú)標(biāo)簽樣本中判別信息,求出最優(yōu)投影矩陣的SSNPP算法步驟歸納如下:

步驟1根據(jù)式(8)和式(9)構(gòu)建出對(duì)應(yīng)于訓(xùn)練集X的對(duì)角陣Di=diag(di1,di2,…,dim)。

步驟2利用式(10)計(jì)算出對(duì)應(yīng)于各個(gè)樣本xi的最優(yōu)稀疏近鄰相關(guān)性重構(gòu)向量si。

步驟3矩陣P=(D1s1,D2s2,…,Dmsm)由式(12)計(jì)算得出,矩陣Pα=P+PT-PTP由式(14)計(jì)算得出。

步驟4對(duì)有標(biāo)簽的訓(xùn)練樣本集Xc,由式(16)和式(17),計(jì)算出類(lèi)間離散度矩陣Sb和類(lèi)內(nèi)離散度矩陣Sw。

步驟5求解式(21)的廣義特征分解問(wèn)題,選擇前d個(gè)最大的特征值對(duì)應(yīng)的特征向量,構(gòu)成最優(yōu)的投影矩陣W=[w1,w2,…,wd]。

3　實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證算法的有效性,在Extended、Yale_B、ORL和AR數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),同時(shí)為客觀(guān)的評(píng)價(jià)本文提出的SNPP和SSNPP算法的有效性,引入PCA、NPE、LPP、SPP作為對(duì)比算法,利用這6種降維算法分別對(duì)3個(gè)數(shù)據(jù)集進(jìn)行降維,然后統(tǒng)一用最近鄰分類(lèi)器對(duì)降維后數(shù)據(jù)進(jìn)行分類(lèi),以分類(lèi)的準(zhǔn)確率為指標(biāo)來(lái)衡量降維算法的性能。

3.1　實(shí)驗(yàn)數(shù)據(jù)集

本文選擇了3個(gè)高維人臉數(shù)據(jù)集,分別是:

(1) Extended Yale_B人臉數(shù)據(jù)集,含有38組正面的人臉圖像,每組包括59副人臉圖像,共2242副人臉圖像,圖像的像素是32×32,這些圖像之間的區(qū)別是不同的光照條件和面部表情等。

(2) ORL含有40組正面的人臉圖像,每組包括10副人臉圖像,共400副人臉圖像,圖像的像素是32×32,這些圖像之間的區(qū)別是不同的光照條件、面部表情(是否閉眼、是否微笑)和面部細(xì)節(jié)(是否戴眼鏡)等。

(3) AR人臉數(shù)據(jù)集,含有120組人臉圖像,每組包括14副人臉圖像,共1680副人臉圖,圖像的像素是50×40,這些圖像之間的區(qū)別是不同的光照條件和面部表情(是否微笑、是否大幅張口)等。

圖1給出了Extended Yale_B,ORL和AR人臉數(shù)據(jù)集中的人臉樣例。

圖1　Extended Yale_B、ORL和AR人臉數(shù)據(jù)集的圖像

3.2　實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)數(shù)據(jù)集是在上述標(biāo)準(zhǔn)人臉數(shù)據(jù)集中構(gòu)造的,每個(gè)數(shù)據(jù)集被分成3部分:每一組人臉圖像先抽取一部分樣本(無(wú)標(biāo)簽)作為無(wú)監(jiān)督訓(xùn)練數(shù)據(jù),再抽取一部分樣本(有標(biāo)簽)作為監(jiān)督訓(xùn)練數(shù)據(jù),剩下的樣本作為測(cè)試數(shù)據(jù)。

對(duì)于基于稀疏重構(gòu)的3種算法(SPP、SNPP、SSNPP),在進(jìn)行降維之前先將訓(xùn)練樣本的像素值歸一化到[0,1]的范圍,同時(shí)為避免樣本數(shù)遠(yuǎn)小于特征維數(shù)而導(dǎo)致XXT出現(xiàn)奇異,也為了加快算法運(yùn)行,將訓(xùn)練樣本投影到PCA的子空間進(jìn)行數(shù)據(jù)預(yù)處理,保留訓(xùn)練樣本98%的主成分。

設(shè)置各算法的運(yùn)行參數(shù)如表1所示。

表1　各算法的參數(shù)

實(shí)驗(yàn)按相同的步長(zhǎng)遞減保留特征的維數(shù),經(jīng)過(guò)降維后的數(shù)據(jù),均通過(guò)最近鄰分類(lèi)算法計(jì)算出識(shí)別準(zhǔn)確率,以分類(lèi)的準(zhǔn)確率來(lái)衡量降維算法的性能。

3.3　結(jié)果及分析

3.3.1Extended Yale_B數(shù)據(jù)集實(shí)驗(yàn)

實(shí)驗(yàn)中,從Extended Yale_B人臉庫(kù)隨機(jī)抽取每組人臉的前40幅圖像作為半監(jiān)督中無(wú)標(biāo)簽樣本,再抽取10幅圖像作為訓(xùn)練樣本,剩下的9幅圖像作為測(cè)試集。參數(shù)設(shè)置為:NPE算法的近鄰樣本個(gè)數(shù)k=3,SNPP算法的近鄰樣本個(gè)數(shù)k=20,SSNPP算法的近鄰樣本個(gè)數(shù)k=20,融合參數(shù)λ=3.5。表2為各算法的最大識(shí)別率和平均識(shí)別率的比較,圖2為不同子空間學(xué)習(xí)算法的識(shí)別準(zhǔn)確率與維數(shù)的關(guān)系曲線(xiàn)。

表2　Extended Yale_B人臉庫(kù)上不同算法的最大識(shí)別率和平均識(shí)別率

圖2　Extended Yale_B人臉庫(kù)上不同算法的識(shí)別準(zhǔn)確率

從表2可看出,在最大識(shí)別率方面,SSNPP比SPP高5.85%,SNPP比SPP高2.92%;在平均識(shí)別率方面,SSNPP比SPP高21.95%,SNPP比SPP高15.16%,這是由于在稀疏近鄰相關(guān)性重構(gòu)的時(shí)候，利用樣本間的局部信息和部分標(biāo)簽信息引入了矩陣Di,使得在稀疏相關(guān)性重構(gòu)樣本時(shí),不同類(lèi)的樣本和噪聲樣本被忽略,保留了更為準(zhǔn)確的自然判別信息,提高了降維性能和后續(xù)分類(lèi)的準(zhǔn)確率,從而驗(yàn)證了稀疏近鄰相關(guān)性重構(gòu)的有效性。

從圖2和表2可以看出,SNPP算法的最大識(shí)別率為89.18%,比PCA、NPE、LPP、SPP算法中的最高識(shí)別率高2.92%,且SNPP算法的整體識(shí)別性能均大幅優(yōu)于這4種算法,這說(shuō)明稀疏近鄰相關(guān)性重構(gòu)充分提取了樣本間的局部結(jié)構(gòu)信息和部分樣本的標(biāo)簽信息,從而使算法性能得到較大提升。而SNPP算法在65維時(shí)識(shí)別率達(dá)到最高,且隨著維數(shù)升高,識(shí)別率很難再上升,這表明降維后的特征空間能很好地描述原來(lái)的特征空間,這說(shuō)明了稀疏近鄰相關(guān)性重構(gòu)在提取判別信息時(shí)具有良好的穩(wěn)定性。

從圖2可以看出,SSNPP算法在投影軸維數(shù)為55維時(shí)識(shí)別率達(dá)到最大值,最大識(shí)別率達(dá)到92.11%,比其他5種算法的最高識(shí)別率高2.93%。而在全部維度上,SSNPP算法的性能在SNPP的基礎(chǔ)上均有提升,這說(shuō)明SSNPP算法有效地融合了稀疏近鄰重構(gòu)信息和部分樣本的標(biāo)簽判別信息,通過(guò)判別特征的融合,增強(qiáng)了特征的表示和判別能力,得到了判別能力更強(qiáng)的低維子空間,提高了分類(lèi)和識(shí)別準(zhǔn)確性,驗(yàn)證了SSNPP算法的有效性和魯棒性。

3.3.2ORL數(shù)據(jù)集實(shí)驗(yàn)

實(shí)驗(yàn)中,從ORL人臉庫(kù)中選擇每組人臉的前5幅圖像作為半監(jiān)督學(xué)習(xí)中無(wú)標(biāo)記的訓(xùn)練樣本,選擇近鄰的3副圖像作為有標(biāo)記訓(xùn)練樣本,剩下的2幅圖像作為測(cè)試集。參數(shù)設(shè)置為:NPE算法的近鄰樣本個(gè)數(shù)k=31,SNPP算法的近鄰樣本個(gè)數(shù)k=97,SSNPP算法的近鄰樣本個(gè)數(shù)k=96,融合參數(shù)λ=0.5。表3為各算法最大識(shí)別率和平均識(shí)別率的比較,圖3為在不同子空間學(xué)習(xí)算法的識(shí)別準(zhǔn)確率與維數(shù)的關(guān)系曲線(xiàn)。

表3　ORL人臉庫(kù)不同算法的最大識(shí)別率和平均識(shí)別率

圖3　ORL人臉庫(kù)上不同方法的識(shí)別準(zhǔn)確率

從圖3和表3可以看出,SSNPP算法在投影軸維數(shù)為55維時(shí)識(shí)別率達(dá)到最大值,最大識(shí)別率達(dá)到了92.11%,比其他5種算法的最高識(shí)別率高2.93%,平均識(shí)別率為88.33%也均高于其他5種算法。而在全部維度上,SSNPP算法的性能在SNPP的基礎(chǔ)上均有較大提升,這說(shuō)明SSNPP算法實(shí)現(xiàn)了判別信息的有效融合,增強(qiáng)了特征的判別能力,提高了分類(lèi)和識(shí)別準(zhǔn)確率,驗(yàn)證了SSNPP算法的有效性和魯棒性。

3.3.3AR數(shù)據(jù)集實(shí)驗(yàn)

實(shí)驗(yàn)中,從AR人臉庫(kù)中選擇每組人臉的前5幅圖像作為半監(jiān)督學(xué)習(xí)中無(wú)標(biāo)記的訓(xùn)練樣本,選擇近鄰的4幅圖像作為有標(biāo)簽訓(xùn)練樣本,剩下的5幅圖像作為測(cè)試樣本。參數(shù)設(shè)置為:NPE算法的近鄰樣本個(gè)數(shù)k=160,SNPP算法的近鄰樣本個(gè)數(shù)k=77,SSNPP算法的近鄰樣本個(gè)數(shù)k=77,融合參數(shù)λ=0.365。表4為各算法的最大識(shí)別率和平均識(shí)別率的比較,圖4為不同子空間學(xué)習(xí)算法的識(shí)別準(zhǔn)確率與維數(shù)的關(guān)系曲線(xiàn)。

表4　AR人臉庫(kù)上不同算法的最大識(shí)別率和平均識(shí)別率

圖4　AR人臉庫(kù)上不同方法的性能比較

從表4可以看出,在最大識(shí)別率方面,SSNPP比SPP算法高4.00%,SNPP比SPP高2.16%;在平均識(shí)別率方面,SSNPP比SPP算法高9.71%,SNPP比SPP高6.58%,這也驗(yàn)證了稀疏近鄰相關(guān)性重構(gòu)比稀疏相關(guān)性重構(gòu)更為有效。

從圖4和表4可以看出,SNPP算法的最大識(shí)別率為94.83%,比PCA、NPE、LPP、SPP算法中的最高識(shí)別率高2.00%,且SNPP算法的整體識(shí)別性能均高于這4種算法,這也說(shuō)明了稀疏近鄰相關(guān)性重構(gòu)能充分利用樣本間局部結(jié)構(gòu)信息和部分樣本的標(biāo)簽信息,使得算法性能得到較大提升。SNPP算法在60維時(shí)識(shí)別率達(dá)到最高,且隨著維數(shù)升高,識(shí)別率很難再上升,這也驗(yàn)證了稀疏近鄰相關(guān)性重構(gòu)在提取判別信息時(shí)具有良好的穩(wěn)定性。

從圖4可以看出,SSNPP算法在投影軸維數(shù)為60維時(shí)識(shí)別率達(dá)到最大值96.67%,比其他5種算法的最高識(shí)別率高2.93%,而在全部維度上,SSNPP的性能均優(yōu)于SNPP,這同樣說(shuō)明了SSNPP能在標(biāo)記樣本不足的情況下依然能夠取得較高的識(shí)別率,驗(yàn)證了SSNPP算法的有效性。

4　結(jié)　論

本文通過(guò)提取樣本間的局部結(jié)構(gòu)信息和部分樣本的標(biāo)簽信息,對(duì)傳統(tǒng)稀疏相關(guān)性重構(gòu)方法進(jìn)行了改進(jìn),提出了稀疏近鄰相關(guān)性重構(gòu)方法,該方法使得重構(gòu)保留了更為準(zhǔn)確的判別信息,基于此方法得到了SNPP算法。但SNPP算法本質(zhì)上仍屬于無(wú)監(jiān)督學(xué)習(xí),不能像MMC算法一樣充分利用樣本的標(biāo)簽信息。為了進(jìn)一步提高降維算法的性能,本文利用半監(jiān)督學(xué)習(xí)的思想將SNPP算法和MMC算法進(jìn)行結(jié)合,通過(guò)引入正則化參數(shù)對(duì)標(biāo)簽判別信息和稀疏近鄰相關(guān)性重構(gòu)信息進(jìn)行融合,將SNPP算法拓展至SSNPP算法,增強(qiáng)了特征的判別能力。在Extended Yale_B、ORL和AR人臉庫(kù)上的實(shí)驗(yàn)結(jié)果表明,SNPP算法的分類(lèi)和識(shí)別性能與傳統(tǒng)降維算法相比取得大幅提升,這驗(yàn)證了稀疏相關(guān)性重構(gòu)的有效性和提取判別信息時(shí)具有的良好穩(wěn)定性;而SSNPP算法的性能在3個(gè)人臉庫(kù)上與SNPP算法相比均有較大提升,這說(shuō)明SSNPP算法具有很好的魯棒性,但對(duì)于稀疏表示誤差較大的樣本,和一些非線(xiàn)性分布比較復(fù)雜的數(shù)據(jù),本文算法還是難以處理,這也是今后值得研究的方向。

參考文獻(xiàn)：

[1] JOLLIFFE I. Principal component analysis[M]. New York: Wiley, 2002.

[2] MIKA S, RATSCH G, WESTON J, et al. Fisher discriminant analysis with kernels[C]∥Proc.of the IEEE Signal Processing Society Workshop, 1999: 41-48.

[3] HE X, NIYOGI P. Locality preserving projections[C]∥Proc.of the Advances in Neural Information Processing Systems, 2004: 153-160.

[4] HE X, CAI D, YAN S, et al. Neighborhood preserving embedding[C]∥Proc.of the 10th IEEE International Conference on Computer Vision, 2005: 1208-1213.

[5] QIAO L, CHEN S, TAN X. Sparsity preserving projections with applications to face recognition[J]. Pattern Recognition, 2010, 43(1): 331-341.

[6] 馬小虎,譚延琪. 基于鑒別稀疏保持嵌入的人臉識(shí)別算法[J]. 自動(dòng)化學(xué)報(bào), 2014, 40(1): 73-82.

MA X H, TAN Y Q. Face recognition based on discriminant sparsity preserving embedding[J]. Acta Automatica Sinica, 2014, 40(1): 73-82.

[7] WRIGHT J, YANG A Y, GANESH A, et al. Robust face recognition via sparse representation[J]. IEEE Trans.on Pattern Analysis and Machine Intelligence, 2009, 31(2): 210-227.

[8] HUI K, LI C, ZHANG L. Sparse neighbor representation for classification[J]. Pattern Recognition Letters, 2012, 33(5): 661-669.

[9] ELHAMIFAR E, VIDAL R. Robust classification using structured sparse representation[C]∥Proc.of the IEEE Conference on Computer Vision and Pattern Recognition,2011:1873-1879.

[10] ZHANG D, ZHOU Z H, CHEN S. Semi-supervised dimensionality reduction[C]∥Proc.of the International Conference on Data Mining of the Society for Industrial and Applied Mathematics, 2007: 629-634.

[11] CAI D, HE X, HAN J. Semi-supervised discriminant analysis[C]∥Proc.of the 11th IEEE International Conference on Computer Vision, 2007: 1-7.

[12] GAO Q, HUANG Y, GAO X, et al. A novel semi-supervised learning for face recognition[J]. Neurocomputing,2015,152(C): 69-76.

[13] 劉建偉, 劉媛, 羅雄麟. 半監(jiān)督學(xué)習(xí)方法[J].計(jì)算機(jī)學(xué)報(bào), 2015, 38(8): 1592-1617.

LIU J W, LIU Y, LUO X L. Semi-supervised learning methods[J].Chinese Journal of Computers,2015,38(8):1592-1617.

[14] ZHANG X, HU Y N, Zhou N, et al. Semi-supervised sparse dimensionality reduction for hyperspectral image classification[C]∥Proc.of the IEEE Region 10 Conference, 2016: 2830-2833.

[15] WANG X, GAO Y, CHENG Y. A non-negative sparse semi-supervised dimensionality reduction algorithm for hyperspectral data[J]. Neurocomputing, 2016, 188: 275-283.

[16] SHEIKHPOUR R, SARRAM M A, GHARAGHANI S, et al. A survey on semi-supervised feature selection methods[J]. Pattern Recognition, 2017, 64(C): 141-158.

[17] DONOHO D L. Compressed sensing[J]. IEEE Trans.on Information Theory, 2006, 52(4): 1289-1306.