無(wú)限最大間隔Beta過(guò)程因子分析模型

張學(xué)峰,陳 渤,王鵬輝,文 偉,劉宏偉

(西安電子科技大學(xué)雷達(dá)信號(hào)處理國(guó)家重點(diǎn)實(shí)驗(yàn)室,陜西西安 710071)

無(wú)限最大間隔Beta過(guò)程因子分析模型

張學(xué)峰,陳 渤,王鵬輝,文 偉,劉宏偉

(西安電子科技大學(xué)雷達(dá)信號(hào)處理國(guó)家重點(diǎn)實(shí)驗(yàn)室,陜西西安 710071)

針對(duì)多模分布數(shù)據(jù)的分類問(wèn)題,文中提出了一種無(wú)限最大間隔Beta過(guò)程因子分析模型.該模型利用Beta過(guò)程因子分析模型挖掘數(shù)據(jù)低維的隱含信息.同時(shí)借鑒混合專家思想,采用Dirichlet混合模型將數(shù)據(jù)在隱空間劃分成“無(wú)限”個(gè)子集,并在每個(gè)子集上訓(xùn)練一個(gè)線性的最大間隔分類器實(shí)現(xiàn)全局非線性的復(fù)雜分類器.由于將數(shù)據(jù)降維、子集劃分以及分類器統(tǒng)一在貝葉斯框架下,文中模型在充分挖掘數(shù)據(jù)結(jié)構(gòu)的同時(shí)保證數(shù)據(jù)的可分性.文中采用非參數(shù)貝葉斯技術(shù)避免了模型選擇問(wèn)題,利用Gibbs采樣技術(shù)簡(jiǎn)便有效地估計(jì)了模型參數(shù).基于公共數(shù)據(jù)集和實(shí)測(cè)雷達(dá)高分辨距離像數(shù)據(jù)的實(shí)驗(yàn)驗(yàn)證了文中方法的有效性.

Beta過(guò)程因子分析模型;混合專家;Dirichlet混合模型;最大間隔分類器

因子分析(Factor Analysis,FA)模型是一種生成模型,可以描述數(shù)據(jù)在低維隱空間的信息[1-3].在分類任務(wù)中,FA模型常被用于數(shù)據(jù)的降維、特征提取以及概率分布描述.然而,在這些應(yīng)用中沒(méi)有利用對(duì)分類有益的類別信息.與之相對(duì)的,判別模型則通常在最小分類誤差的約束下,用帶有類別信息的訓(xùn)練樣本來(lái)訓(xùn)練分類器,并將樣本映射到其對(duì)應(yīng)的類別.判別模型相比于生成模型具有更好的分類能力,而生成模型則具有更好的數(shù)據(jù)描述能力,可以挖掘數(shù)據(jù)內(nèi)在的信息.因此,可以將FA模型與判別模型相結(jié)合,以期得到具有良好可分性的低維隱空間特征,從而在保留FA模型對(duì)數(shù)據(jù)描述能力的同時(shí)提升其分類性能.

支撐向量機(jī)(Support Vector Machine,SVM)是人們最為熟知的判別模型[4],它是一種最大間隔分類器,具有良好的分類和推廣性能.然而,傳統(tǒng)SVM模型中的最大間隔約束難以應(yīng)用于概率框架.文獻(xiàn)[5]開(kāi)發(fā)了一種隱變量SVM(Latent Variable representation for SVMs,LVSVM)模型.該模型通過(guò)引入隱變量,將SVM的優(yōu)化準(zhǔn)則表達(dá)為條件高斯線性模型,從而可以將SVM與概率模型有機(jī)地結(jié)合在一起.

現(xiàn)有的一些研究也采用了將生成模型與判決模型(特別是SVM)相結(jié)合來(lái)提高模型分類性能的思想.在文獻(xiàn)[6-7]中,研究者將SVM引入隱含Dirichlet分配(Latent Dirichlet Allocation,LDA)模型.其中文獻(xiàn)[7]采用了LVSVM,從而將整個(gè)最大間隔主題模型統(tǒng)一在概率框架下,進(jìn)而可以采用Gibbs采樣技術(shù)[8]對(duì)模型參數(shù)進(jìn)行簡(jiǎn)單有效的估計(jì).文獻(xiàn)[9]將線性分類器與隱變量模型相結(jié)合提出了ILSVM(Infinite Latent SVM)模型.模型中利用非參數(shù)貝葉斯先驗(yàn)來(lái)確定隱變量個(gè)數(shù),解決了模型選擇問(wèn)題.然而,該模型隱變量為二值變量,這限制了其分類性能.以上這些方法均為線性模型,不能處理復(fù)雜數(shù)據(jù).

對(duì)于具有多模結(jié)構(gòu)的數(shù)據(jù),采用單一的分類器進(jìn)行分類,一方面會(huì)增加分類器的設(shè)計(jì)復(fù)雜度,另一方面會(huì)忽略數(shù)據(jù)的內(nèi)在結(jié)構(gòu)而不利于分類.文獻(xiàn)[10-12]中的模型均為無(wú)限混合專家模型,在利用Dirichlet過(guò)程(Dirichlet Process,DP)混合模型將數(shù)據(jù)劃分為“無(wú)限”個(gè)子集的同時(shí),在每個(gè)子集上訓(xùn)練一個(gè)簡(jiǎn)單的線性分類器,以解決全局非線性分類問(wèn)題.與傳統(tǒng)方法相比,該類方法既不用預(yù)先確定子集個(gè)數(shù),又可以將子集劃分與后端的分類任務(wù)相結(jié)合,保證了各個(gè)子集的可分性,提高了全局分類性能.

筆者將無(wú)限混合專家思想引入到FA模型中,在充分挖掘數(shù)據(jù)的隱含結(jié)構(gòu)的同時(shí),在隱空間采用多個(gè)簡(jiǎn)單的分類器實(shí)現(xiàn)非線性分類.具體地,采用FA模型對(duì)數(shù)據(jù)在隱空間(特征空間)描述,同時(shí)利用DP混合模型將特征空間劃分為“無(wú)限”個(gè)子集,并且在每個(gè)子集上學(xué)習(xí)一個(gè)LVSVM分類器.為了解決FA的因子個(gè)數(shù)選擇(即模型選擇)問(wèn)題,文中采用Beta過(guò)程因子分析(Beta Process Factor Analysis,BPFA)模型[13],該模型將Beta過(guò)程(Beta Process,BP)先驗(yàn)引入FA模型來(lái)自動(dòng)選擇因子個(gè)數(shù).因而,文中將整個(gè)模型稱為無(wú)限最大間隔Beta過(guò)程因子分析(Infinite Max-Margin BPFA,IMMBPFA)模型.IMMBPFA模型將數(shù)據(jù)表達(dá)、子集劃分及分類器聯(lián)合學(xué)習(xí),一定程度上使得各個(gè)子集中樣本分布一致且線性可分.由于采用LVSVM作為分類器,整個(gè)模型是全共軛的,可以利用Bayesian估計(jì)方法對(duì)參數(shù)進(jìn)行簡(jiǎn)單有效的估計(jì).與文獻(xiàn)[11-12]中的模型相比,該模型是在特征空間進(jìn)行子集劃分和分類器學(xué)習(xí)的,更加靈活且可以降低冗余信息對(duì)分類性能的影響.基于公共數(shù)據(jù)集和實(shí)測(cè)數(shù)據(jù)的實(shí)驗(yàn)結(jié)果表明,文中模型可以在避免模型選擇問(wèn)題的同時(shí)有效提高分類性能.

1　Beta過(guò)程因子分析模型

因子分析(FA)模型是一種常用的概率隱空間模型,它將觀測(cè)數(shù)據(jù)映射到由一組基構(gòu)成的子空間中,并用隱變量表征數(shù)據(jù)的隱空間特征.FA假設(shè)P維觀測(cè)樣本x是由一個(gè)K(K

FA模型對(duì)數(shù)據(jù)描述時(shí),其因子個(gè)數(shù)K是未知的,且需要預(yù)先設(shè)置.如果設(shè)置得過(guò)大或者過(guò)小會(huì)引起模型的過(guò)匹配或者欠匹配.為了解決該模型選擇問(wèn)題,文獻(xiàn)[13]利用非參數(shù)貝葉斯技術(shù),將Beta過(guò)程引入FA模型,提出了BPFA模型,該模型可以根據(jù)數(shù)據(jù)自動(dòng)確定所需因子個(gè)數(shù).BPFA模型的結(jié)構(gòu)為

2　最大間隔Dirichlet過(guò)程混合模型

2.1隱變量SVM模型

其中,γ稱為調(diào)和參數(shù),為正常數(shù).

由此可以將LVSVM與概率生成模型(如FA等)進(jìn)行有機(jī)結(jié)合,從而將監(jiān)督信息引入到這些模型中,增強(qiáng)其分類性能[7,11].另外,SVM為兩類分類器,在處理多類問(wèn)題時(shí)可以采用一對(duì)多策略[4]進(jìn)行擴(kuò)展.

2.2最大間隔Dirichlet過(guò)程混合模型

對(duì)于多模分布特性的數(shù)據(jù),若使用所有的樣本來(lái)訓(xùn)練一個(gè)分類器,則會(huì)增加分類器的訓(xùn)練復(fù)雜度,且容易忽視樣本的內(nèi)在結(jié)構(gòu).為此,文中引入混合專家模型,將數(shù)據(jù)集劃分為若干子集,然后在各個(gè)子集上分別訓(xùn)練簡(jiǎn)單的分類器來(lái)構(gòu)建全局非線性分類器.這樣可以避免設(shè)計(jì)復(fù)雜分類器,大大簡(jiǎn)化分類器的設(shè)計(jì)難度.筆者在隱空間對(duì)數(shù)據(jù)進(jìn)行聚類(劃分子集),同時(shí)在每個(gè)聚類上學(xué)習(xí)一個(gè)LVSVM分類器.如此可以將聚類與后端的分類任務(wù)相結(jié)合,在一定程度上使得各個(gè)聚類上的樣本局部可分,從而提高了全局的可分性.

不同于傳統(tǒng)的聚類方法(如K-means),文中采用DP混合模型對(duì)數(shù)據(jù)隱變量進(jìn)行聚類,避免了需要預(yù)先設(shè)定聚類個(gè)數(shù)的模型選擇問(wèn)題.Dirichlet過(guò)程是一種應(yīng)用于非參數(shù)貝葉斯中的隨機(jī)過(guò)程,它是一種基于分布的分布[14].若G服從DP,則記為G～DP(G0,α),其中G0為基分布,α為聚集參數(shù).在DP混合模型中,G作為sn分布參數(shù)Θn的先驗(yàn)分布.基于Stick-breaking[15]構(gòu)造的DP混合模型有如下結(jié)構(gòu):

可以看到,在DP混合模型中,整個(gè)參數(shù)空間被劃分為無(wú)限可數(shù)(通常用較大值C進(jìn)行截?cái)?個(gè)離散點(diǎn)集合,共享同一個(gè)分布參數(shù)Θc的樣本具有相同的分布,自動(dòng)地劃歸為一個(gè)聚類.若假設(shè)每個(gè)聚類的樣本服從高斯分布,則設(shè)定Θ={μ,Σ},其中μ表示均值,Σ表示協(xié)方差矩陣,此時(shí)基分布G0采用Normal-Wishart分布[4].

進(jìn)一步地,為了保證各個(gè)聚類的可分性,在每個(gè)聚類中學(xué)習(xí)一個(gè)以為輸入的LVSVM分類器,從而構(gòu)建了一種最大間隔DP混合模型.根據(jù)式(3)和式(4)可以推導(dǎo)出其參數(shù)的聯(lián)合偽后驗(yàn)分布為

3　無(wú)限最大間隔因子分析模型

3.1無(wú)限最大間隔因子分析模型

筆者將BPFA模型和最大間隔DP混合模型相結(jié)合,提出了無(wú)限最大間隔Beta過(guò)程因子分析模型(IMMBPFA),來(lái)處理多模分布數(shù)據(jù)的分類問(wèn)題.IMMBPFA模型具有以下優(yōu)勢(shì):①采用BPFA模型來(lái)挖掘數(shù)據(jù)的隱含結(jié)構(gòu),相比于基于原始空間的算法靈活性更高,且降低了有效特征維度,減少了冗余信息;②兩次利用非參數(shù)貝葉斯方法解決模型選擇問(wèn)題,即利用BP先驗(yàn)解決FA模型因子個(gè)數(shù)選擇問(wèn)題,以及利用DP混合模型解決子集劃分問(wèn)題;③采用LVSVM作為分類器,并將分類器的學(xué)習(xí)與數(shù)據(jù)描述、子集劃分聯(lián)合在一起,期望在特征空間得到可分性較好的數(shù)據(jù)聚類,從而提高全局的分類性能.由式(1)和式(5)可以得到IMMBPFA模型參數(shù)的聯(lián)合偽后驗(yàn)分布為

3.2基于IMMBPFA模型的識(shí)別系統(tǒng)

如圖1所示,筆者構(gòu)建了一個(gè)基于IMMBPFA的識(shí)別系統(tǒng).整個(gè)系統(tǒng)包括兩部分:實(shí)線框內(nèi)的訓(xùn)練階段,即模型學(xué)習(xí)階段和虛線框內(nèi)的測(cè)試階段.下面對(duì)這兩個(gè)階段進(jìn)行介紹.

圖1　基于IMMBPFA模型的目標(biāo)識(shí)別系統(tǒng)框圖

訓(xùn)練階段,主要是對(duì)模型進(jìn)行參數(shù)估計(jì).如式(6)所示,由于采用LVSVM作為分類器,IMMBPFA模型整個(gè)層次化結(jié)構(gòu)是完全共軛的,因而可以利用Gibbs采樣技術(shù)對(duì)參數(shù)進(jìn)行估計(jì).在Gibbs采樣的每次迭代中,所有參數(shù)均是從其條件后驗(yàn)分布的采樣中獲取的.由式(6)可以推導(dǎo)出所有參數(shù)的后驗(yàn)分布.其中,

(1)隱變量sn的條件后驗(yàn)分布為

(2)因子選擇變量znk的條件后驗(yàn)分布為

(3)樣本聚類標(biāo)記on的條件后驗(yàn)分布為

其中,{μc,Σc}表示第c個(gè)聚類中樣本的分布參數(shù).

(4)第c個(gè)聚類的分類平面ωc的條件后驗(yàn)分布為

(5)隱變量λn的條件后驗(yàn)分布為

其中,IG(·)表示逆高斯分布.

從式(7)～式(9)中3個(gè)變量的條件后驗(yàn)分布形式可以看出,LVSVM可以將監(jiān)督信息傳遞到數(shù)據(jù)描述(特征提取和特征選擇)模型,從而使得整個(gè)模型更加適用于分類任務(wù).其他參數(shù)的條件后驗(yàn)分布可根據(jù)文獻(xiàn)[5,12-15]比較容易得出.根據(jù)Gibbs采樣技術(shù),由參數(shù)的條件后驗(yàn)分布可以構(gòu)建一個(gè)馬爾科夫鏈,在給定所有參數(shù)的初始值后,對(duì)參數(shù)的條件后驗(yàn)分布進(jìn)行循環(huán)采樣,從而得到IMMBPFA模型的所有參數(shù)的估計(jì)值.在預(yù)熱階段結(jié)束后,繼續(xù)對(duì)參數(shù)進(jìn)行循環(huán)采樣,并從中抽取T0次采樣進(jìn)行存儲(chǔ).

4　仿真實(shí)驗(yàn)

分別在Benchmark數(shù)據(jù)集以及實(shí)測(cè)雷達(dá)高分辨距離像(High Resolution Range Profile,HRRP)數(shù)據(jù)上進(jìn)行實(shí)驗(yàn),來(lái)驗(yàn)證IMMBPFA模型的有效性.實(shí)驗(yàn)中將文中模型與5種模型進(jìn)行了比較:單個(gè)線性SVM (SVM)與ILSVM兩種線性模型以及K-means+線性SVM(K m+SVM)、DPMNL模型[11]和DPLVSVM模型[12]3種混合專家模型.

4.1Benchmark數(shù)據(jù)集

實(shí)驗(yàn)采用的數(shù)據(jù)集為從UCI Machine Learning Repository中獲取的Benchmark數(shù)據(jù)集,并從中選取了Heart、Splice、Image、Twonorm這4個(gè)分布較復(fù)雜的數(shù)據(jù).實(shí)驗(yàn)中采用原始數(shù)據(jù)作為模型輸入,共重復(fù)10次,每次實(shí)驗(yàn)中隨機(jī)地劃分訓(xùn)練樣本集和測(cè)試樣本集且樣本個(gè)數(shù)比例為7∶3.表1給出了數(shù)據(jù)的信息以及6種不同方法的分類結(jié)果.

表1　6種方法的分類結(jié)果對(duì)比

混合專家模型在每個(gè)數(shù)據(jù)子集上學(xué)習(xí)一個(gè)線性SVM分類器,構(gòu)建了一個(gè)全局非線性的分類器,因而其分類性能總體上優(yōu)于單個(gè)線性SVM分類器.由于ILSVM為線性模型而且其隱變量為二值變量,這使得其性能大部分情況下較差.然而由于ILSVM利用分類器和隱變量模型聯(lián)合學(xué)習(xí)隱空間特征來(lái)保證隱空間特征的可分性,這使得其在Heart和Twonorm兩個(gè)數(shù)據(jù)上有了較好的表現(xiàn).DPMNL、DPLVSVM與IMMBPFA模型由于在劃分子集的同時(shí)優(yōu)化了分類器,使得每個(gè)子集具有很好的可分性,其分類性能優(yōu)于子集劃分與分類器學(xué)習(xí)相互獨(dú)立的K m+SVM模型.DPMNL、DPLVSVM在原始空間對(duì)數(shù)據(jù)進(jìn)行聚類和分類器學(xué)習(xí),不僅受到冗余信息的影響,而且缺乏靈活性.相比之下,IMMBPFA模型利用BPFA模型對(duì)數(shù)據(jù)進(jìn)行了特征提取和選擇,在監(jiān)督信息的指導(dǎo)下通過(guò)BP先驗(yàn)獲得有利于分類的特征子集,因而更加靈活,而且降低了冗余信息對(duì)分類性能的影響.表1中IMMBPFA一欄括號(hào)中的數(shù)值為模型在各個(gè)數(shù)據(jù)中樣本所選因子個(gè)數(shù)(有效特征的維數(shù))的平均值.可以看出,IMMBPFA所提的特征維度小于數(shù)據(jù)原始維度,減少了冗余信息.由于特征提取、聚類和分類器學(xué)習(xí)同時(shí)進(jìn)行,BPFA所提的特征較原始特征更具有可分性.從表中可以看到IMMBPFA模型在各個(gè)數(shù)據(jù)集上均取得了最好的分類結(jié)果.

4.2HRRP數(shù)據(jù)集

基于雷達(dá)高分辨距離像(HRRP)的目標(biāo)識(shí)別是雷達(dá)自動(dòng)目標(biāo)識(shí)別領(lǐng)域研究的熱點(diǎn)[2-3,11].本節(jié)實(shí)驗(yàn)對(duì)象為C波段雷達(dá)對(duì)三類飛機(jī)目標(biāo)的實(shí)測(cè)HRRP數(shù)據(jù).數(shù)據(jù)具體介紹見(jiàn)文獻(xiàn)[2-3,11].實(shí)驗(yàn)中采用模2范數(shù)歸一的方法消除HRRP的幅度敏感性,并提取功率譜特征消除其平移敏感性.為了檢驗(yàn)?zāi)Ｐ偷耐茝V性能,文中采用與文獻(xiàn)[2-3,11]相同的訓(xùn)練樣本集與測(cè)試樣本集,并從中選擇600個(gè)訓(xùn)練樣本和2 400個(gè)測(cè)試樣本.

實(shí)驗(yàn)中設(shè)定K=50,即BPFA模型的因子個(gè)數(shù)設(shè)定為50.每個(gè)樣本由模型自動(dòng)選擇相應(yīng)的因子子集來(lái)對(duì)自身進(jìn)行表達(dá).圖2給出了訓(xùn)練集和測(cè)試集樣本選擇的因子個(gè)數(shù)的分布情況.由于訓(xùn)練階段為有監(jiān)督的,而測(cè)試階段為無(wú)監(jiān)督的,因此,訓(xùn)練集和測(cè)試集樣本選擇的因子個(gè)數(shù)分布有所差異.然而,這兩個(gè)分布基本上是相似的,其中大部分樣本選擇的因子個(gè)數(shù)均在30～37之間.從而證明了IMMBPFA模型在訓(xùn)練階段和測(cè)試階段的一致性(訓(xùn)練過(guò)程沒(méi)有過(guò)匹配).

圖2　訓(xùn)練集樣本及測(cè)試集樣本所選擇因子個(gè)數(shù)的分布

HRRP數(shù)據(jù)維度較高,其中包含了大量與識(shí)別無(wú)益的冗余信息,可以通過(guò)降維方法減少冗余信息.表1中給出了不同方法對(duì)HRRP的識(shí)別結(jié)果.與SVM和K m+SVM相比,DPMNL和DPLVSVM的識(shí)別結(jié)果雖然有所提高,然而,由于受到冗余信息的影響,其識(shí)別性能仍受到限制.IMMBPFA則采用BPFA發(fā)掘HRRP數(shù)據(jù)的低維隱空間信息,利用BP先驗(yàn)進(jìn)一步選擇對(duì)分類有益的特征子集.實(shí)驗(yàn)中,HRRP樣本平均選擇的因子個(gè)數(shù)為33.2.可見(jiàn),最終用于識(shí)別的有效特征的維數(shù)遠(yuǎn)小于其原始數(shù)據(jù)的維數(shù),這大大降低了冗余信息對(duì)最終識(shí)別效果的影響,因而IMMBPFA模型獲得了最高的識(shí)別率.

5　結(jié) 論

針對(duì)目標(biāo)識(shí)別中具有多模分布特性的復(fù)雜數(shù)據(jù),文中提出了一種IMMBPFA模型.該模型利用BPFA提取數(shù)據(jù)低維隱空間特征,并在該特征空間采用混合專家模型進(jìn)行分類.不同于傳統(tǒng)方法,IMMBPFA模型將數(shù)據(jù)降維(特征提取)、聚類以及分類器學(xué)習(xí)統(tǒng)一在概率框架下聯(lián)合學(xué)習(xí),不僅可以充分挖掘數(shù)據(jù)內(nèi)在的分布結(jié)構(gòu),而且保證了各個(gè)聚類中樣本的可分性.通過(guò)在公共數(shù)據(jù)集以及雷達(dá)實(shí)測(cè)數(shù)據(jù)上的實(shí)驗(yàn),表明了IMMBPFA模型具有良好的分類性能.

[2]DU L,LIU H W,BO Z.Radar HRRP Statistical Recognition:Parametric Model and Model Selection[J].IEEE Transactions on Signal Processing,2008,56(5):1931-1943.[3]DU L,LIU H W,WANG P H,et al.Noise Robust Radar HRRP Target Recognition Based on Multitask Factor Analysis with Small Training Data Size[J].IEEE Transactions on Signal Processing,2012,60(7):3546-3559.

[4]BISHOP C.Pattern Recognition and Machine Learning[M].New York:Springer Science+Business Media,2007.

[5]POLSON N G,SCOTT S L.Data Augmentation for Support Vector Machines[J].Bayesian Analysis,2011,6(1): 1-24.

[6]ZHU J,AHMED A,XING E P.Med LDA:Maximum Margin Supervised Topic Model[J].The Journal of Machine Learning Research,2012,13(1):2237-2278.

[7]ZHU J,CHEN N,PERKINS H,et al.Gibbs Max-margin Topic Models with Data Augmentation[J].The Journal of Machine Learning Research,2014,15(1):1073-1110.

[8]BLEI D M,JORDAN M I.Variational Inference for Dirichlet Process Mixtures[J].Bayesian Analysis,2006,1(1): 121-144.

[9]ZHU J,CHEN N,XING E P.Bayesian Inference with Posterior Regularization and Applications to Infinite Latent SVMs[J].The Journal of Machine Learning Research,2014,15(1):1799-1847.

[10]ZHU J,CHEN N,XING E P.Infinite SVM:a Dirichlet Process Mixture of Large-margin Kernel Machines[C]// Proceedings of the 28th International Conference on Machine Learning.New York:ACM,2011:617-624.

[11]SHAHBABA B,NEAL R.Nonlinear Models Using Dirichlet Process Mixtures[J].The Journal of Machine Learning Research,2009,10(4):1829-1850.

[12]張學(xué)峰,陳渤,王鵬輝,等.一種基于Dirichlet過(guò)程隱變量支撐向量機(jī)模型的目標(biāo)識(shí)別方法[J].電子與信息學(xué)報(bào),2015,37(1):29-36. ZHANG Xuefeng,CHEN Bo,WANG Penghui,et al.A Target Recognition Method Based on Dirichlet Process Latent Variable Support Vector Machine Model[J].Journal of Electronics&Information Technology,2015,37(1):29-36

[13]PAISLEY J,CARIN L.Nonparametric Factor Analysis with Beta Process Priors[C]//Proceedings of the 26th International Conference on Machine Learning.New York:ACM,2009:777-784.

[14]FERGUSON T S.A Bayesian Analysis of Some Nonparametric Problems[J].The Annals of Statistics,1973,1(2): 209-230.

[15]SETHURAMAN J.A Constructive Definition of Dirichlet Priors[J].Statistica Sinica,1994,4(2):639-650.

(編輯:李恩科)

Infinite max-margin Beta process factor analysis model

ZHANG Xuefeng,CHEN Bo,WANG Penghui,WEN Wei,LIU Hongwei
(National Key Lab.of Radar Signal Processing,Xidian Univ.,Xi’an 710071,China)

An infinite max-margin Beta process factor analysis(IMMBPFA)model is developed to deal with the classification problem on multimodal data.In this model,BPFA is utilized to capture the latent feature of data.With the idea of mixture experts,IMMBPFA divides the data into‘infinite”clusters via the Dirichlet process(DP)mixture model in the low-dimensional latent space and meanwhile learns a linear max-margin classifier on each cluster to construct a complex nonlinear classifier.Since the proposed model jointly learns BPFA,clustering and max-margin classifier in a unified Bayesian framework,it exhibits superior performance in both data description and discrimination.With the help of nonparametric Bayesian inference and the Gibbs sampler,we avoid the model selection problem and can estimate the parameters simply and effectively.Based on the experimental data obtained from Benchmark and measured radar high resolution range profile(HRRP)dataset,the effectiveness of proposed method is validated.

Beta process factor analysis(BPFA);mixture-of-experts;Dirichlet process mixture(DPM) model;max-margin classifiers

TN959.1+7

A

1001-2400(2016)03-0013-06

10.3969/j.issn.1001-2400.2016.03.003

2015-02-10

時(shí)間:2015-07-27

國(guó)家自然科學(xué)基金資助項(xiàng)目(61372132,61201292);國(guó)家青年千人計(jì)劃資助項(xiàng)目;新世紀(jì)優(yōu)秀人才支持計(jì)劃資助項(xiàng)目(NCET-13-0945);航空科學(xué)基金資助項(xiàng)目(20142081009);中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目(K5051302010)

張學(xué)峰(1987-),男,西安電子科技大學(xué)博士研究生,E-mail:zxf0913@163.com.

http://www.cnki.net/kcms/detail/61.1076.TN.20150727.1952.003.html