基于極限學(xué)習(xí)機(jī)的遷移學(xué)習(xí)算法

金培源,金杭森,高波涌,陸慧娟

(1.中國(guó)計(jì)量大學(xué)信息工程學(xué)院,浙江 杭州 310018；2.西安機(jī)電信息技術(shù)研究所,陜西 西安 710065)

0 引言

三維模型數(shù)據(jù)庫(kù)的日益增多,如何復(fù)用這些已經(jīng)存在的三維模型數(shù)據(jù)庫(kù)成了一個(gè)熱門(mén)的研究課題。三維模型檢索技術(shù)旨在從大量的已有的三維模型庫(kù)中快速、準(zhǔn)確地找到目標(biāo)模型。三維模型分類(lèi)技術(shù)作為三維模型檢索中重要的一步,對(duì)檢索的準(zhǔn)確度起著重要作用。三維模型分類(lèi)技術(shù),是將一部分已標(biāo)記的三維模型作為訓(xùn)練樣本,通過(guò)機(jī)器學(xué)習(xí)算法對(duì)其進(jìn)行訓(xùn)練,得到最優(yōu)的空間劃分,從而得到求解問(wèn)題的分類(lèi)器[1]。因此,運(yùn)用三維模型分類(lèi)技術(shù)可以縮小原先的檢索范圍,只在特定的模型類(lèi)別中檢索,從而實(shí)現(xiàn)對(duì)模型的快速檢索。

上述的這些分類(lèi)技術(shù)主要是對(duì)針對(duì)平衡數(shù)據(jù)，往往能取得較好的效果。而對(duì)于類(lèi)不平衡問(wèn)題，并沒(méi)有過(guò)多的涉及。針對(duì)機(jī)器學(xué)習(xí)算法在類(lèi)不平衡的數(shù)據(jù)集上容易受到選擇性偏差的影響，本文將遷移學(xué)習(xí)思想與極限學(xué)習(xí)機(jī)(ELM)結(jié)合,提出了一種具有遷移能力的TransELM算法。

1 極限學(xué)習(xí)機(jī)

文獻(xiàn)[8]提出了ELM這一種新的神經(jīng)網(wǎng)絡(luò)算法。ELM是一種有效的單隱層前饋神經(jīng)網(wǎng)絡(luò)算法,通過(guò)最小二乘法計(jì)算出輸出權(quán)值便可以完成訓(xùn)練,在分類(lèi)問(wèn)題中,同神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)(SVM)相比,ELM的學(xué)習(xí)速度和泛化能力都比較優(yōu)異,在分類(lèi)應(yīng)用中優(yōu)勢(shì)顯著。ELM由于隨機(jī)給定權(quán)值,對(duì)分類(lèi)精度會(huì)產(chǎn)生影響。利用魚(yú)群和黃金分割優(yōu)化極限學(xué)習(xí)機(jī)的辦法,也獲得了較高精度[9-10]。

對(duì)于任意N個(gè)各不相同的樣本(xi,yi),其中xi=[xi1,xi2,…,xin]T∈Rn代表輸入,yi=[yi1,yi2,…,yim]T∈Rm代表輸出,則極限學(xué)習(xí)機(jī)的網(wǎng)絡(luò)模型可表示為：

(1)

式(1)中：wi=[wi1,wi2,…,win]T是連接第i個(gè)隱層神經(jīng)元的輸入權(quán)值；bi是第i個(gè)隱含層神經(jīng)元的偏差；βi=[βi1,βi2,…,βim]T為連接第i個(gè)隱層神經(jīng)元的輸出權(quán)值;g(x)為隱層神經(jīng)元激活函數(shù)。如果這個(gè)具有L個(gè)隱含層結(jié)點(diǎn)的前饋神經(jīng)網(wǎng)絡(luò)能以零誤差逼近樣本,式(1)可以簡(jiǎn)化為：

Hβ=Y

(2)

式(2)中，

(3)

2 基于極限學(xué)習(xí)機(jī)的遷移學(xué)習(xí)算法

本文提出一種具有遷移能力的ELM算法,將ELM算法直接應(yīng)用于遷移學(xué)習(xí)中,此時(shí)源域帶標(biāo)簽數(shù)據(jù)Ds={(xs1,ys1),…,(xsn,ysn)},目標(biāo)域中部分帶標(biāo)簽樣本Dt={(xt1,yt2),…,(xtn,ytn)},當(dāng)然目標(biāo)域中帶標(biāo)簽的樣本是少量的,將這些樣本作為ELM的輸入矩陣。由于源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)通常存在一定關(guān)聯(lián)性,所以得到的分類(lèi)器會(huì)在目標(biāo)域中有較好的分類(lèi)效果。這種方法稱(chēng)為T(mén)ransELM算法。

ELM算法的判別函數(shù)可以簡(jiǎn)化為f(x)=Hβ,本文算法的理論依據(jù)是:若兩領(lǐng)域相關(guān),則兩域分類(lèi)器各自的β值應(yīng)相近。通過(guò)計(jì)算||βt-βs||2項(xiàng)來(lái)實(shí)現(xiàn)兩域間遷移學(xué)習(xí)，其中，βs為源域帶標(biāo)簽數(shù)據(jù)應(yīng)用ELM算法得到的輸出權(quán)值矩陣,βt為目標(biāo)域帶標(biāo)簽樣本應(yīng)用ELM算法得到的輸出權(quán)值矩陣。||βt-βs||2表示兩域分類(lèi)器的差異程度,該值越大則兩領(lǐng)域間的差異越大,反之越小。已知目標(biāo)域Htβt=Yt,源域Hsβs=Ys,假設(shè)目標(biāo)域與源域是同一種事物的不同表示,即Yt=Ys,則：

Htβt=Hsβs

(4)

(5)

(6)

為推測(cè)換乘時(shí)間，需要獲取出發(fā)站點(diǎn)到換乘站點(diǎn)的距離. 利用A*最短路徑算法，搜索出軌道任意站點(diǎn)OD之間的最短路徑和距離(表3)，將該路徑作為乘客出行路徑，添加TRACE字段以記錄該路徑.

TransELM算法流程：

1) 設(shè)定閾值μ,N；

2) 從源域數(shù)據(jù)集Ds中隨機(jī)選取M個(gè)樣本組成的子集Hs,從目標(biāo)域數(shù)據(jù)集Dt中隨機(jī)選取M個(gè)樣本組成的子集Ht；

4) 重復(fù)第二步和第三步直至得到N個(gè)Hs；

5) 刪除Hs中相同的樣本,并與Ht融合形成新的目標(biāo)域；

6) 結(jié)束。

3 實(shí)驗(yàn)分析與結(jié)果

3.1 數(shù)據(jù)集

本文實(shí)驗(yàn)使用的三維模型庫(kù)是Princeton 3D Shape Benchmark Database(PSB),如圖1所示。PSB模型庫(kù)有161個(gè)子類(lèi)共1 814個(gè)三維模型,每個(gè)類(lèi)別至少包含4個(gè)模型。

圖1 PSB模型庫(kù)Fig.1 PSB model database

實(shí)驗(yàn)選擇了Car Vehicle、Car Vehicle、Spaceship Aircraft以及Desk Furniture這四種模型樣本進(jìn)行分類(lèi)識(shí)別,其中Desk Furniture這一類(lèi)只有4個(gè)樣本,明顯少于其他三類(lèi)的樣本數(shù),所以這是一個(gè)類(lèi)不平衡問(wèn)題。由于Table Furniture和Desk Furniture屬于同一級(jí)語(yǔ)義粒度所細(xì)分的兩個(gè)小類(lèi),可以通過(guò)遷移Table Furniture的知識(shí)來(lái)對(duì)Desk Furniture進(jìn)行分類(lèi)。

3.2 實(shí)驗(yàn)設(shè)置和實(shí)驗(yàn)結(jié)果

為了證明本文所提算法的有效性,實(shí)驗(yàn)設(shè)置5個(gè)對(duì)照組,分別為S-ELM、G-ELM、ST-ELM、SMOTE-ELM和TransELM。其中S-ELM表示不做任何處理,直接在目標(biāo)域數(shù)據(jù)集上運(yùn)用ELM算法進(jìn)行分類(lèi);ST-ELM表示在目標(biāo)域與輔助域合并的數(shù)據(jù)集上進(jìn)行分類(lèi);G-ELM表示先對(duì)數(shù)據(jù)集進(jìn)行欠抽樣再分類(lèi);SMOTE-ELM表示先用SMOTE(synthetic minority over-sampling technique)算法調(diào)整數(shù)據(jù)集樣本分布再分類(lèi);TransELM表示從輔助域遷移學(xué)習(xí)知識(shí)來(lái)對(duì)目標(biāo)域進(jìn)行更好的分類(lèi)。其中ELM的隱含層節(jié)點(diǎn)數(shù)設(shè)置為20，閾值μ,N分別設(shè)為0.1和10。實(shí)驗(yàn)環(huán)境: Intel Core i5-3470 CPU 3.2 GHz,4 GB RAM,Windows 7, Matlab R2010。為了體現(xiàn)每種算法的泛化能力和避免各算法不穩(wěn)定的情況,實(shí)驗(yàn)進(jìn)行了3折交叉驗(yàn)證,將樣本分成3份，輪流使用其中的2份作為訓(xùn)練集，剩下一份作為測(cè)試集，并重復(fù)實(shí)驗(yàn)10次,得到每種算法精度(Accuracy)和方差(S2)的平均值。表1和圖2顯示了5種算法在實(shí)驗(yàn)數(shù)據(jù)集上的結(jié)果,其中圖2的橫坐標(biāo)代表實(shí)驗(yàn)次數(shù)，縱坐標(biāo)代表算法精度。

圖2 算法分類(lèi)效果比較Fig.2 Comparison of classification effects

表1 不同算法的分類(lèi)精度與方差Tab.1 Classification accuracy and variance of different algorithm

從實(shí)驗(yàn)數(shù)據(jù)可以看出,S-ELM列僅用目標(biāo)域少量已標(biāo)簽樣本進(jìn)行分類(lèi),分類(lèi)精度較低,說(shuō)明少量目標(biāo)域已標(biāo)簽樣本不能很好反映該類(lèi)樣本特性,分類(lèi)效果不顯著。

ST-ELM列的分類(lèi)精度優(yōu)于S-ELM列,說(shuō)明源域?qū)δ繕?biāo)域的分類(lèi)可起到一定作用,但提高程度取決于兩域相關(guān)性。G-ELM對(duì)數(shù)據(jù)進(jìn)行欠抽樣,使得各類(lèi)的樣本數(shù)減少了,丟失了大量信息,故分類(lèi)精度最低，方差也最大。SMOTE算法根據(jù)一定的規(guī)則隨機(jī)制造生成新的少數(shù)類(lèi)樣本點(diǎn),并將這些新合成的少數(shù)類(lèi)樣本點(diǎn)合并到原來(lái)的數(shù)據(jù)集里,生成新的訓(xùn)練集,分類(lèi)精度與ST-ELM算法不相上下，算法最穩(wěn)定。TransELM算法并不直接將源域和目標(biāo)域合并,而是將其中相關(guān)性大的一些樣本進(jìn)行合并,因此,遷移學(xué)習(xí)算法性能優(yōu)于兩域合并訓(xùn)練,分類(lèi)效果較為理想，同時(shí)算法也較穩(wěn)定。

4 結(jié)論

本文提出了一種基于極限學(xué)習(xí)機(jī)的遷移學(xué)習(xí)算法。該算法利用大量已標(biāo)簽的源領(lǐng)域數(shù)據(jù)與只有少量樣本的目標(biāo)域數(shù)據(jù)之間的相關(guān)性，通過(guò)計(jì)算源域中的輸出權(quán)值βs與目標(biāo)域中的輸出權(quán)值βt，利用||βt-βs||2項(xiàng)來(lái)實(shí)現(xiàn)兩域之間遷移學(xué)習(xí),找出源領(lǐng)域與目標(biāo)領(lǐng)域中相關(guān)的樣本,從而提升遷移學(xué)習(xí)對(duì)非平衡樣本的學(xué)習(xí)能力，建立分類(lèi)模型。該算法應(yīng)用于三維模型分類(lèi),能夠有效利用源域中的大量數(shù)據(jù)來(lái)幫助訓(xùn)練,通過(guò)遷移學(xué)習(xí)三維模型庫(kù)中同一粒度集下相似模型的數(shù)據(jù)，可解決類(lèi)不平衡問(wèn)題。實(shí)驗(yàn)結(jié)果表明，該算法在普林斯頓三維模型數(shù)據(jù)庫(kù)上的分類(lèi)結(jié)果的精度和穩(wěn)定性?xún)?yōu)于傳統(tǒng)的ELM分類(lèi)方法。