余弦度量的多流形最大間距鑒別保持嵌入

林克正,王海燕,林璇璣,李 驁

(哈爾濱理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,哈爾濱 150080) E-mail:wanghaiyan45@yeah.net

1 引 言

目前,基于統(tǒng)計(jì)學(xué)習(xí)的算法是人臉識(shí)別中被廣泛應(yīng)用的方法,比較有代表性的算法如主成分分析[1](Principal Component Analysis,PCA)和線性鑒別分析[2](Linear Discriminant Analysis,LDA),這兩種方法都是線性方法,后來衍生出了對(duì)應(yīng)的非線性方法,通過融入核方法,提出了對(duì)應(yīng)的核主成分分析[3]( Kernel Principal Component Analysis,KPCA)算法和核鑒別分析[4](Kernel Discriminant Analysis,KDA)算法.隨著“流形”概念的提出,基于流形學(xué)習(xí)的人臉特征提取方法得到越來越多的青睞,隨之而來也出現(xiàn)了很多流形學(xué)習(xí)算法.其中,等距映射算法[5](Isometric Mapping,ISOMAP)和局部線性嵌入算法[6](Locally Linear Embedding,LLE)和拉普拉斯特征映射[7](Laplacian Eigenmap,LE),是比較經(jīng)典的流形學(xué)習(xí)算法.基于流形學(xué)習(xí)的人臉識(shí)別方法都是以最大程度保持樣本降維后的本質(zhì)特征和原始空間拓?fù)浣Y(jié)構(gòu)為目標(biāo).上面的流形學(xué)習(xí)方法對(duì)新樣本數(shù)據(jù)沒有定義,泛化能力不強(qiáng).針對(duì)這個(gè)問題,有人提出了局部保持投影算法[8]( Locality Preserving Projections,LPP),該方法和LE原理相似,通過對(duì)樣本構(gòu)建鄰接圖,來描述樣本的鄰域關(guān)系和相似度情況,雖然在一定程度上反映了樣本的局部結(jié)構(gòu)和樣本總體布局,但是對(duì)正確分類并沒有起到最直接的促進(jìn)結(jié)果.通過加入樣本類別信息進(jìn)行構(gòu)圖,有人提出了邊界費(fèi)舍爾分析[9](Margin Fisher Analysis,MFA).MFA通過構(gòu)造內(nèi)蘊(yùn)圖和懲罰圖有效地區(qū)分了不同類樣本的邊界,然而MFA也存在小樣本的奇異值問題等.為了進(jìn)一步保持樣本的鄰域結(jié)構(gòu),同時(shí)對(duì)同一鄰域范圍內(nèi)的不同類樣本進(jìn)行區(qū)分,Huang等人提出了LMMDE(Local Maximal Margin Discriminant Embedding,LMMDE)算法[10],LMMDE算法既利用了樣本類間鄰域結(jié)構(gòu)也利用了類內(nèi)鄰域結(jié)構(gòu)信息,同時(shí)保持了樣本的局部結(jié)構(gòu)特征,相比于MFA算法,識(shí)別率有所提升.然而上述提出的幾種流形學(xué)習(xí)方法面臨以下的問題:

1) MFA和LMMDE算法均需要構(gòu)造鄰接圖(MFA需要構(gòu)造兩類圖,需要兩個(gè)近鄰參數(shù)k1和k2;LMMDE需要一個(gè)近鄰參數(shù)k),近鄰參數(shù)k的選取不當(dāng)會(huì)對(duì)識(shí)別率造成影響;

2) 在實(shí)際的人臉識(shí)別工作中,可供選擇的樣本數(shù)量較少,在少樣本情況下的各算法的識(shí)別率還有待于提高.鑒于以上問題,在LMMDE算法原理基礎(chǔ)上,引入余弦距離和多流形[11]的思想,提出了余弦度量的多流形最大間距鑒別保持嵌入(Multi-manifold Maximal Margin Discriminant Preserving Embedding based on Cosine Measure).該算法中,首先對(duì)樣本分塊,為單個(gè)樣本構(gòu)造流形,整個(gè)訓(xùn)練樣本集就構(gòu)成多流形;然后在確定多流形中各個(gè)樣本的鄰域時(shí),采用余弦距離的度量方式替換傳統(tǒng)的歐式距離;最后重新定義計(jì)算測(cè)試樣本和訓(xùn)練樣本的流形間距離來對(duì)樣本進(jìn)行分類.由于CMMMMDPE方法采用余弦距離的度量方式,不僅避免了近鄰參數(shù)k的選擇困難問題,同時(shí)使得算法對(duì)離群數(shù)據(jù)更為魯棒.多流形思想的融入,不僅解決了小樣本問題,還能充分利用樣本內(nèi)部結(jié)構(gòu)信息,進(jìn)而提高識(shí)別率.

2 局部最大邊界鑒別嵌入

LMMDE算法的中心思想:保持降維后的樣本在原始高維空間中的鄰域結(jié)構(gòu)關(guān)系,同時(shí)最大化同一鄰域內(nèi)的不同類別樣本的間隔,最小化同類樣本的間隔,以達(dá)到對(duì)同一流形內(nèi)的不同類樣本進(jìn)行分離的目的.設(shè)高維空間中樣本集合為:X={x1,x2…,xN}∈RD,LMMDE的目標(biāo)就是找到最優(yōu)投影矩陣A,實(shí)現(xiàn)樣本數(shù)據(jù)從高維空間到低維空間的映射:X→Y∈Rd.首先對(duì)每個(gè)樣本點(diǎn)構(gòu)造k近鄰圖,得到若干個(gè)鄰接圖.任意樣本xi的鄰域Nk(xi)表示由xi的前k個(gè)歐式距離最近的點(diǎn)構(gòu)成的集合.

樣本的局部散布矩陣,描述了樣本的局部鄰域關(guān)系,可按以下公式進(jìn)行計(jì)算:

(1)

樣本的類間鄰域散布矩陣和類內(nèi)鄰域散布矩陣分別按照以下公式計(jì)算:

(2)

(3)

(4)

(5)

(6)

其中,A是投影矩陣,I是一個(gè)單位矩陣.

3 CMMMMDPE算法

3.1 余弦距離

圖嵌入的算法在進(jìn)行權(quán)值矩陣的定義時(shí),反映了樣本之間相似程度的權(quán)值通常采用熱核函數(shù)法,由熱核函數(shù)法的原理可知,兩個(gè)樣本之間的歐式距離大小決定了樣本之間的相似度,即:歐氏距離越小,樣本相似度越大;反之,樣本相似度越小.在對(duì)一些離群孤立樣本點(diǎn)確定近鄰時(shí),歐氏距離并不能準(zhǔn)確地描述這個(gè)孤立樣本點(diǎn)與其他樣本點(diǎn)的關(guān)系,尤其在分類時(shí)極有可能做出錯(cuò)誤判定.一些文獻(xiàn)表明,余弦距離在面對(duì)離群孤立點(diǎn)則表現(xiàn)出了更加魯棒的性能[12].首先引入樣本間的余弦距離.令cos(xi,xj)表示樣本xi與xj間的余弦距離,則cos(xi,xj)的計(jì)算公式為:

(7)

3.2 多流形思想的構(gòu)圖方式

多流形思想的原理是:考慮對(duì)樣本集構(gòu)造一個(gè)多流形空間,即對(duì)每個(gè)樣本進(jìn)行分割,最后形成若干個(gè)局部小塊樣本,由于它們來自同一個(gè)樣本,屬于相同的類別,因此將這若干個(gè)局部小塊樣本看成一個(gè)流形空間.這樣,一個(gè)樣本就構(gòu)成了一個(gè)流形空間,整個(gè)樣本集就構(gòu)成多流形空間.CMMMMDPE算法就是基于這樣的原理,首先對(duì)樣本空間進(jìn)行重新構(gòu)造,構(gòu)造一個(gè)多流形的樣本空間,之后進(jìn)行相應(yīng)的構(gòu)圖、權(quán)值的賦值、目標(biāo)函數(shù)的定義等步驟.

3.2.1 構(gòu)造多流形空間

首先對(duì)原始樣本數(shù)據(jù)構(gòu)造多流形空間.對(duì)于一個(gè)含有N個(gè)樣本圖片數(shù)據(jù)集:I={I1,I2…,IN},它的向量形式表示成:X={x1,x2…,xN}xi∈RD.任意一個(gè)圖像樣本Ii(尺寸為p×q,這里p表示樣本圖片的高度,q表示樣本圖片的寬度).首先,對(duì)于一個(gè)樣本點(diǎn)xi,將其分成l個(gè)塊(l=1…t),這樣形成多幅小塊圖片xil(尺寸為a×b,這里a表示樣本圖片的高度,b表示樣本圖片的寬度).l個(gè)小塊圖片樣本構(gòu)成一個(gè)流形空間.對(duì)于一個(gè)N個(gè)樣本的數(shù)據(jù)集來說,可以構(gòu)造多個(gè)流形空間,即M={M1,M2,…,MN},其中Mi=[xi1,xi2,…,xil].

3.2.2 鄰域的確定

對(duì)于樣本xil,在整個(gè)多流形空間中搜索滿足余弦度量規(guī)則的小樣本成為其近鄰.樣本xil的多流形類間鄰域和多流形類內(nèi)鄰域通過以下兩個(gè)公式來計(jì)算:

(8)

(9)

上面兩個(gè)式子中這種采用余弦距離的度量方式確定近鄰的方法,對(duì)于受到局部噪聲干擾而離群的小樣本來說,依然能找到正確的近鄰.xil的多流形類間近鄰反映了小塊樣本xil與多流形空間中不同類別的若干個(gè)小樣本的鄰接關(guān)系;xil的多流形類內(nèi)近鄰則體現(xiàn)了xil與多流形空間中同類的小樣本的近鄰情況.

3.2.3 權(quán)值的賦值

在確定了各個(gè)小塊樣本xil的類間鄰域和類內(nèi)鄰域后,還需要構(gòu)造權(quán)值矩陣來描述樣本的相似度情況.多流形中每個(gè)小樣本xil與多流形類間鄰域內(nèi)各樣本的相似度權(quán)值定義如下:

(10)

多流形中每個(gè)小樣本xil與多流形類內(nèi)鄰域的各樣本的相似度權(quán)值定義如下:

(11)

3.3 多流形類間鄰域離散度、類內(nèi)離散度和總體樣本局部散度

(12)

(13)

整個(gè)多流形樣本空間中,對(duì)任意樣本xil的局部鄰域內(nèi)的樣本之間的相似度度量定義如下:

(14)

因此,局部離散度定義如下:

(15)

3.4 目標(biāo)函數(shù)及最優(yōu)投影矢量

基于余弦距離的多流形最大間距鑒別保持嵌入的思想就是:

1) 在低維嵌入空間中,保持多流形空間中小樣本在原始高維多流形空間中的局部特征和空間散布關(guān)系;

2) 充分利用多流形空間中每個(gè)小樣本的幾何結(jié)構(gòu)信息,最大化不同類別樣本的多流形類間離散度與同類樣本的多流形類內(nèi)離散度的差值,使流形間的類別可分性最大,多流形的同類樣本結(jié)構(gòu)更加緊湊、多流形的不同類樣本更加分離.算法的目標(biāo)函數(shù)可表述為:

(16)

其中,Jb(A1,A2,…,AN)、Jw(A1,A2,…,AN)、JL(A1,A2,…,AN)的計(jì)算公式如下:

(17)

(18)

(19)

其中β是平衡因子,用來平衡目標(biāo)函數(shù)中各項(xiàng)的重要程度,將(17)、(18)、(19)帶代入目標(biāo)函數(shù)(16)改寫為:

(20)

對(duì)變換矩陣A=[A1,A2,…,AN]進(jìn)行求解,需要求解出每個(gè)流形的降維矩陣Ai,Ai可通過最大化下面的公式進(jìn)行求解:

max{(1-β)(Jb(Ai)-Jw(Ai))-βJL(Ai)}=max{(1-β)

(21)

Jb(Ai)、Jw(Ai)、JL(Ai)公式可按照以下過程進(jìn)行化簡(jiǎn):

(22)

(23)

(24)

其中,

(25)

(26)

(27)

Ai可通過以下公式的特征值分解問題得到:

[(1-β)(Hb-Hw)-βHL]Ai=λAi

(28)

3.5 模式識(shí)別與分類

按照CMMMMDPE算法進(jìn)行降維后,每個(gè)樣本流形都得到對(duì)應(yīng)的投影矩陣Ai,i=1,2,…,N,利用最近鄰分類器進(jìn)行分類,分類過程如下:

Step1.對(duì)于給定的測(cè)試樣本xT和訓(xùn)練樣本集中的所有樣本均按照本文算法進(jìn)行特征提取,得到其在低維空間的表示MyT={yT1,yT2,…,yTt}和Myi={yi1,yi2,…,yit}.

Step2.計(jì)算多流形下測(cè)試樣本MyT與訓(xùn)練樣本Myi的距離.對(duì)流形MyT中的每個(gè)局部小塊樣本yTl,用余弦距離來度量Myi中哪些局部小塊樣本可以成為yTl的近鄰點(diǎn),得到的近鄰點(diǎn)集表示為Ni(yTl),計(jì)算公式如(29)所示.

Ni(yTl)={yir,cos(yTl,yir)

(29)

yTl到低維流形yi的距離計(jì)算公式為:

(30)

則yT到流形yi的距離可按照如下公式計(jì)算:

(31)

Step3.識(shí)別分類.按照上面步驟求出測(cè)試樣本到N個(gè)樣本流形的距離.根據(jù)最近鄰分類器原則,將測(cè)試樣本yT的類別判定為d(yT,yi)值最小的對(duì)應(yīng)yi的類別屬性,判定公式如下:

(32)

4 實(shí)驗(yàn)結(jié)果與分析

在本節(jié)的實(shí)驗(yàn)主要是在ORL、Yale和FERET人臉庫上進(jìn)行,通過加入對(duì)比算法LPP、MFA、LMMDE,驗(yàn)證CMMMMDPE算法的有效性.實(shí)驗(yàn)的目的主要有以下幾點(diǎn):

1) 各種參數(shù)對(duì)算法的識(shí)別率影響;

2) 考查不同特征維數(shù)下的各算法識(shí)別率情況;

3) 測(cè)試樣本數(shù)量對(duì)CMMMMDPE及其對(duì)比算法的識(shí)別率的關(guān)系.

ORL人臉庫由400幅圖像組成.采集了40名受試者每人10幅圖像,這些圖像分別采集于不同時(shí)間并包含了各方面變化如:不同視角、不同光照、不同表情、不同面部裝飾物等情況.Yale人臉庫共包含了165張圖片,來自于15名受試者,每人有11張圖片.每個(gè)受試者的人臉圖片的主要差異在表情的變化及有無眼鏡裝飾光照情況的差別等.FERET人臉圖片庫的規(guī)模很大,包含了1199個(gè)人將近14000多幅圖像,均是在不同拍攝角度、姿態(tài)和不同面部表情下采集的.在本節(jié)實(shí)驗(yàn)中,選取ORL和Yale人臉庫中的所有圖片;對(duì)于FERET人臉數(shù)據(jù)庫,則選用它的一個(gè)子集共包含了200×7幅圖像(由200人組成,每人有7幅圖片).圖1、圖2和圖3分別展示了Yale和FERET人臉圖片庫上某個(gè)人的人臉圖像.

圖1 ORL人臉數(shù)據(jù)庫某個(gè)人的幾幅人臉照片F(xiàn)ig.1 Several images of certain person on ORL face database

圖2 Yale人臉圖片庫某個(gè)人的人臉圖像Fig.2 Face images of certain person on Yale face database

圖3 FERET人臉庫上某個(gè)人的人臉圖像Fig.3 Face images of certain person on FERET face database

實(shí)驗(yàn)中將圖片進(jìn)行裁切,只保留臉部區(qū)域,將圖片統(tǒng)一處理成分辨率大小為32×32以保證實(shí)驗(yàn)結(jié)果的準(zhǔn)確性.本節(jié)實(shí)驗(yàn)中涉及的Train(m)/Test(n)表示:實(shí)驗(yàn)數(shù)據(jù)集中,每個(gè)人臉的圖片集中選取的訓(xùn)練樣本數(shù)為m,測(cè)試樣本數(shù)為n.

4.1 參數(shù)變化對(duì)識(shí)別率的影響

本實(shí)驗(yàn)中,因?yàn)镃MMMMDPE算法是在LMMDE算法的基礎(chǔ)上進(jìn)行的改進(jìn),LMMDE算法在構(gòu)圖過程中需要確定近鄰參數(shù)k,CMMMMDPE算法不需要指定近鄰參數(shù)k,因此考察近鄰參數(shù)k的不同取值對(duì)LMMDE算法的識(shí)別率影響.其次,考察權(quán)重參數(shù)β的不同取值對(duì)CMMMMDPE算法識(shí)別率的影響.兩種實(shí)驗(yàn)均采用以下的實(shí)驗(yàn)數(shù)據(jù):Yale人臉庫中每人的人臉圖片數(shù)量分配為:Train(5)/Test(6);FERFT人臉庫中實(shí)驗(yàn)組中每個(gè)受試者的人臉圖片分配情況:Train(4)/Test(3).圖4展示了LMMDE方法的識(shí)別準(zhǔn)確率對(duì)近鄰參數(shù)k的敏感程度.此實(shí)驗(yàn)中先將β設(shè)為0.1,k的取值范圍為k={1,2,…,10}.

圖4 LMMDE算法在不同k取值下的識(shí)別率

從圖4的實(shí)驗(yàn)結(jié)果可以看出,當(dāng)近鄰參數(shù)k從1變化到10時(shí),LMMDE在Yale人臉庫和FERET人臉庫上的識(shí)別率具有較大的變化.其中,在Yale人臉庫上LMMDE的識(shí)別正確率變化的最大幅度為5%左右,而在FERET人臉庫上的識(shí)別率變化幅度約為3%.兩個(gè)實(shí)驗(yàn)人臉庫上的結(jié)果均表明LMMDE算法對(duì)于近鄰參數(shù)的變化比較敏感,可見LMMDE算法對(duì)近鄰參數(shù)k的依賴性較強(qiáng).CMMMMDPE在確定樣本近鄰的過程中,通過比較兩個(gè)樣本之間的余弦角距離,來確定哪些樣本可以成為近鄰,不需要設(shè)置近鄰參數(shù)k,較好地解決了近鄰參數(shù)k選擇不好所帶來的識(shí)別率問題,從而驗(yàn)證了CMMMMDPE的有效性.

圖5 CMMMMDPE算法在β取不同數(shù)值時(shí)的識(shí)別率

在進(jìn)行參數(shù)β對(duì)算法識(shí)別率關(guān)系的實(shí)驗(yàn)中,β的取值范圍為:β={0.1,0.2,…,0.9}.圖5展示了CMMMMDPE算法識(shí)別率在不同人臉庫上隨權(quán)重參數(shù)β的變化情況.實(shí)驗(yàn)結(jié)果表明CMMMMDPE的識(shí)別率高低與權(quán)重參數(shù)β成反比的趨勢(shì),即:β越小,樣本的鑒別信息對(duì)識(shí)別率更要重要,反之,樣本局部結(jié)構(gòu)特性對(duì)算法識(shí)別率的作用更大,β取值為0.1時(shí),CMMMMDPE的識(shí)別率最佳.

4.2 識(shí)別率與特征維數(shù)實(shí)驗(yàn)

在Yale人臉庫的實(shí)驗(yàn)組為:Train(5)/Test(6).在FERET人臉庫的實(shí)驗(yàn)組為:Train(4)/Test(3).實(shí)驗(yàn)中涉及的參數(shù)設(shè)置如下:LPP和LMMDE算法的近鄰參數(shù)k的范圍是k={1,2,…,10};令l表示訓(xùn)練樣本數(shù),則MFA中的類內(nèi)近鄰參數(shù)kw=l-1;而類間近鄰參數(shù)kb=C·kw,C表示樣本的類別數(shù).實(shí)驗(yàn)中涉及的權(quán)重參數(shù)β預(yù)先設(shè)為0.1;識(shí)別分類階段均采用最近鄰分類器,其中CMMMMDPE算法在模式分類時(shí)則采用本文的流形距離計(jì)算公式來進(jìn)行分類.每個(gè)實(shí)驗(yàn)重復(fù)進(jìn)行20次,取平均值.圖6和圖7展示了Yale和FERET人臉庫實(shí)驗(yàn)上不同特征維數(shù)下各算法的識(shí)別率.

圖6 Yale人臉庫上的各算法在余弦距離分類器下的識(shí)別率Fig.6 Recognition rate of each algorithm by using cosine distance based classifier on Yale face database

圖6和圖7的實(shí)驗(yàn)結(jié)果表明,隨著特征維數(shù)的增加,各算法的識(shí)別率是逐步增加的.利用樣本類別信息的算法的識(shí)別率均高于LPP算法,LMMDE算法在保持樣本的局部結(jié)構(gòu)的同時(shí)還盡量區(qū)分開鄰域內(nèi)類別不同的樣本,因此LMMDE的識(shí)別率均高于MFA.CMMMMDPE的識(shí)別率最高.然而在Yale人臉數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果表明,CMMMMDPE算法在特征維數(shù)達(dá)到一定數(shù)值以后,識(shí)別率甚至有所下降,這是因?yàn)楫?dāng)樣本維數(shù)太高時(shí),CMMMMDPE方法容易提取出非關(guān)鍵特征從而造成對(duì)識(shí)別分類的干擾,阻礙了正確分類過程.總的來說,本文算法CMMMMDPE由于加入多流形思想,使得每個(gè)流形空間中的小塊樣本充分發(fā)揮了樣本內(nèi)部結(jié)構(gòu)信息的作用,同時(shí)引入的余弦距離度量方式對(duì)分類識(shí)別也起到較好的作用.

圖7 FERET人臉庫上的各算法在歐式距離分類器下的識(shí)別率Fig.7 Recognition rates of each algorithms by using euclidian distance based classifier on FERET face database

4.3 樣本數(shù)對(duì)識(shí)別率的影響

本文算法由于加入了多流形思想,目的是為了解決樣本數(shù)量較少時(shí)的識(shí)別分類問題,驗(yàn)證小樣本下的識(shí)別率情況,因此本節(jié)實(shí)驗(yàn)主要在圖片數(shù)量較少的ORL和Yale人臉庫上進(jìn)行.在ORL和Yale人臉庫上的實(shí)驗(yàn)樣本選擇數(shù)據(jù)集上的所有圖片.在ORL人臉庫的實(shí)驗(yàn)組為:Train(5)/Test(5)、Train(4)/Test(6)、Train(3)/Test(7)、Train(2)/Test(8);在Yale人臉庫上的實(shí)驗(yàn)組為:Train(5)/Test(6)、Train(4)/Test(7)、Train(3)/Test(8)、Train(2)/Test(9).表1和表2展示了不同人臉庫中各算法在訓(xùn)練樣本數(shù)量和測(cè)試樣本數(shù)量取不同取值時(shí)的識(shí)別率情況.表中數(shù)據(jù)表明:隨著訓(xùn)練集圖片個(gè)數(shù)的增加,CMMMMDPE的識(shí)別率有小幅度提升并且一直高于其它算法,并且在樣本數(shù)量較少的情況下CMMMMDPE的識(shí)別率效果顯著優(yōu)于其他對(duì)比算法,最佳識(shí)別率達(dá)到93.9%左右.對(duì)于CMMMMDPE算法來說,在小樣本情況下(樣本數(shù)為2或者3),相比于樣本數(shù)量較多的情況下識(shí)別率只是略有下降,說明CMMMMDPE對(duì)小樣本情況下能得到較多有用的分類信息.而與此形成對(duì)比的是其他算法則對(duì)訓(xùn)練樣本的數(shù)量有顯著的依賴.

表1 Yale人臉庫不同訓(xùn)練樣本數(shù)下的算法識(shí)別率
Table 1 Recognition rates of each algorithm with different number of train samples on Yale face database

訓(xùn)練樣本數(shù)5/64/73/82/9LPP93.9±1.192.6±1.490.8±1.785.4±1.8MFA95.6±1.194.1±1.392.9±1.289.4±1.0LMMDE96.4±0.895.8±0.793.8±0.391.0±1.0CMMMMDPE98.2±0.697.4±0.696.5±0.695.2±0.6

表2 ORL人臉庫不同訓(xùn)練樣本數(shù)下的算法識(shí)別率
Table 2 Recognition rates of each algorithm with different number of train samples on ORL face database

訓(xùn)練樣本數(shù)5/54/63/72/8LPP87.2±1.186.7±1.480.4±1.775.1±1.8MFA89.1±1.188.9±1.385.8±1.281.2±1.0LMMDE92.4±0.892.1±0.790.8±0.385.0±1.0CMMMMDPE93.9±0.693.4±0.692.5±0.690.2±0.6

5 結(jié) 語

本文提出一種基于余弦距離和多流形思想的CMMMMDPE算法,通過融入多流形思想和余弦距離度量方式解決了LMMDE算法中近鄰參數(shù)k的選擇困難問題和小樣本識(shí)別率低問題.一方面,在確定樣本的多流形類間近鄰和多流形類內(nèi)近鄰,用余弦距離的度量方式避免了構(gòu)圖過程中對(duì)近鄰參數(shù)k的選取,消除了近鄰參數(shù)k對(duì)算法識(shí)別效果的影響;另一方面,通過多流形的理論為每個(gè)樣本構(gòu)造流形空間,充分保持了每個(gè)流形之間的內(nèi)部局部結(jié)構(gòu)信息,也從全局上保持了流形局部鄰域關(guān)系,從而提高了小樣本情況下的識(shí)別率.

[1] Turk M,Pentland A.Eigenfaces for recognition[J].Journal of Cognitive Neuroscience,1991,3(1):72-86.

[2] Belhumeur P N,Hespanha J P,Kriegman D J.Eigenfaces vs.Fisherfaces:recognition using class specific linear projection[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,1997,19(7):711-720.

[3] Scholkopf B,Smola A,Muller K R.Nonlinear component analysis as a kernel eigenvalue problem[J].Neural Computation,1998,10(6):1299-1319.

[4] Mika S,R?tsch G,Müller K R.A mathematical programming ap-

proach to the kernel fisher algorithm[C].Advances in Neural Information Processing Systems,2001,13:591-597.

[5] Tenenbaum J B,De Silva V,Langford J C.A global geometric framework for nonlinear dimensionality reduction [J].Science,2000,290(5500):2319-2323.

[6] Roweis S T,Saul L K.Nonlinear dimensionality reduction by locally linear embedding [J].Science,2000,290(5500):2323-2326.

[7] Belkin M,Niyogi P.Laplacian eigenmaps and spectral techniques for embedding and clustering[J].Advances in Neural Information Processing Systems,2002,14(6):585-591.

[8] He Xiao-fei,Yan Shui-cheng,Hu Yu-xiao,et al.Face recognition using laplacianfaces[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2005,27(3):328-340.

[9] Yan S,Xu D,Zhang B,et al．Graph embedding and extensions:a general framework for dimensionality reduction[J]． IEEE Trans Pattern Anal and Mach Intelligence,2007,29(1):40-51.

[10] Huang P,Tang Z,Chen C,et al.Local maximal margin discriminant embedding for face recognition[J].Journal of Visual Communication & Image Representation,2013,25(2):296-305.

[11] Yang Zhang-jing,Wan Ming-hua,Wang Qiao-li,et al.Multi-manifold unsupervised linear differential projection algorithm[J].Journal of Frontiers of Computer Science and Technology,2016,10(11):1576-1586.

[12] Huang Pu,Tang Zhen-min.Parameter-free locality preserving projections and face recognition[J].Pattern Recognition and Artificial Intelligence,2013,26(9):865-871.

附中文參考文獻(xiàn):

[11] 楊章靜,萬鳴華,王巧麗,等．多流形的非監(jiān)督線性差分投影算法[J]．計(jì)算機(jī)科學(xué)與探索,2016,10(11):1577-1586．

[12] 黃 璞,唐振民.無參數(shù)局部保持投影及人臉識(shí)別[J].模式識(shí)別與人工智能,2013,26(9):865-871.