偽特權(quán)信息和SVM+

孫廣玲，董 勇，劉 志

(上海大學(xué) 通信與信息工程學(xué)院，上海 200072)

?

偽特權(quán)信息和SVM+

孫廣玲，董 勇，劉 志

(上海大學(xué) 通信與信息工程學(xué)院，上海 200072)

針對(duì)只有部分訓(xùn)練樣本擁有特權(quán)信息的特權(quán)學(xué)習(xí)，提出了偽特權(quán)信息及相應(yīng)的SVM+．一方面，對(duì)于無(wú)特權(quán)信息的樣本額外構(gòu)造偽特權(quán)信息，使得這部分樣本的松弛變量可在修正空間中預(yù)測(cè)，從而有效地提高了模型泛化能力．可用信息和隨機(jī)特征都是有效的偽特權(quán)信息．另一方面，將真正特權(quán)信息用偽特權(quán)信息取代，使得全部訓(xùn)練樣本的松弛變量都在惟一的修正空間中預(yù)測(cè)．在實(shí)踐中發(fā)現(xiàn)，至少對(duì)于某些真正的特權(quán)信息和二分類(lèi)問(wèn)題來(lái)說(shuō)，使用一個(gè)修正空間可獲得更優(yōu)的泛化能力．在手寫(xiě)數(shù)字和人臉表情識(shí)別問(wèn)題上進(jìn)行的實(shí)驗(yàn)結(jié)果顯示，采用偽特權(quán)信息的SVM+具備一定的優(yōu)勢(shì)．

特權(quán)學(xué)習(xí);偽特權(quán)信息;SVM+

利用特權(quán)信息的學(xué)習(xí)(Learning Using Privileged Information， LUPI)是近年來(lái)機(jī)器學(xué)習(xí)領(lǐng)域發(fā)展較快的一個(gè)方向[1-2]．其意圖在于模仿人類(lèi)“教”與“學(xué)”中的一個(gè)重要現(xiàn)象:在學(xué)生的學(xué)習(xí)階段，一個(gè)好的教師除了提供實(shí)例，還要提供相關(guān)的其他信息，而這些信息是在非學(xué)習(xí)階段(學(xué)生利用學(xué)習(xí)得來(lái)的知識(shí)獨(dú)立解決問(wèn)題而不再依賴(lài)于教師)不可獲得的，因此稱(chēng)為特權(quán)信息．在學(xué)習(xí)階段提供特權(quán)信息的意義是: 相對(duì)于只提供實(shí)例，可以使學(xué)生獲得更好的知識(shí)，從而提高其未來(lái)獨(dú)立解決問(wèn)題的能力．自然地，人們可以構(gòu)建體現(xiàn)類(lèi)似思想的機(jī)器學(xué)習(xí)模型，以使學(xué)習(xí)得來(lái)的模型擁有更強(qiáng)的泛化能力．相對(duì)于特權(quán)信息，稱(chēng)訓(xùn)練樣本和測(cè)試樣本都可獲得的信息為可用信息．

最早的屬于利用特權(quán)信息的學(xué)習(xí)模型是SVM+[2]．自SVM+提出之后，無(wú)論是模型、算法還是應(yīng)用方面，在利用特權(quán)信息的學(xué)習(xí)領(lǐng)域研究者們已發(fā)表了很多研究成果．對(duì)比屬于有監(jiān)督學(xué)習(xí)的SVM+，文獻(xiàn)[3]中研究了利用特權(quán)信息的無(wú)監(jiān)督聚類(lèi)問(wèn)題，并將其用于金融領(lǐng)域的預(yù)測(cè)模型[4]．文獻(xiàn)[5]中給出了特權(quán)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化相對(duì)于常規(guī)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化可獲得更快收斂速度的理論分析．文獻(xiàn)[6]中提出了Information-Theoretic Metric Learning+(ITML+)，試圖用特權(quán)信息修正可用信息空間中每一對(duì)訓(xùn)練樣本的損失，并用于RGBD中的人臉認(rèn)證和身份重認(rèn)證．文獻(xiàn)[7]中提出了Gaussian Process Classification+(GPC+)，特權(quán)信息被看做GPC隱函數(shù)中的噪聲，從而可以被用于較好地評(píng)價(jià)可用信息空間中訓(xùn)練樣本的可利用程度．文獻(xiàn)[8]中分析出SVM+的主要作用等效于在支持向量機(jī)(Support Vector Machine，SVM)的目標(biāo)函數(shù)中，利用特權(quán)信息給出每個(gè)訓(xùn)練樣本的權(quán)重．文獻(xiàn)[9]中提出基于Structural SVM+(SSVM+)的目標(biāo)定位方法，擴(kuò)展了之前基于特權(quán)學(xué)習(xí)的模型僅用于分類(lèi)的應(yīng)用場(chǎng)景．類(lèi)似地，文獻(xiàn)[10]中研究了利用特權(quán)信息的結(jié)構(gòu)化輸出條件回歸森林算法，用于定位人臉的特征點(diǎn)．文獻(xiàn)[11]中強(qiáng)調(diào)有相對(duì)排序關(guān)系的屬性作為特權(quán)信息或是文獻(xiàn)[12]中利用特權(quán)信息學(xué)習(xí)屬性排序?qū)τ谔嵘诸?lèi)器性能的作用，而這相對(duì)排序關(guān)系是基于一定的學(xué)習(xí)模型得到的，恰好可與SVM+的模型一致地形成一個(gè)整體．

上述研究無(wú)一不在強(qiáng)調(diào)特權(quán)信息的作用，但更多的研究目的是比較訓(xùn)練樣本有無(wú)特權(quán)信息時(shí)，分類(lèi)器性能的差異．然而存在另一方面的問(wèn)題是，由于獲取方法的特殊性，或者獲取的成本較高，或者其他原因，在很多現(xiàn)實(shí)應(yīng)用中，僅部分的訓(xùn)練樣本才擁有特權(quán)信息．對(duì)于此種情況，Vapnik提出了Partial SVM+(PSVM+)，對(duì)于有特權(quán)信息樣本的松弛變量，利用修正函數(shù)預(yù)測(cè)．對(duì)于無(wú)特權(quán)信息樣本的松弛變量，仍然利用決策函數(shù)預(yù)測(cè)[2]．這是自然和直觀的方法．但是在小樣本的學(xué)習(xí)問(wèn)題中，決策函數(shù)較高的VC(Vapnik-Chervonenkis)維使得無(wú)特權(quán)信息部分的樣本易產(chǎn)生過(guò)學(xué)習(xí)．固然可以只利用有特權(quán)信息的樣本，但在小樣本問(wèn)題中，樣本本身是“最寶貴”的資源，不可丟棄．因此，在保證利用所有樣本的前提下，筆者提出了對(duì)于無(wú)特權(quán)信息的樣本額外構(gòu)造一種特權(quán)信息，稱(chēng)為偽特權(quán)信息，使得這部分無(wú)特權(quán)信息的樣本也可以在修正空間中利用修正函數(shù)預(yù)測(cè)松弛變量，以有效地降低過(guò)學(xué)習(xí)的概率．筆者構(gòu)造了兩種偽特權(quán)信息，即訓(xùn)練樣本的可用信息和隨機(jī)特征．另外，也是在利用所有樣本的同時(shí)，還可以使得全部的訓(xùn)練樣本都采用偽特權(quán)信息而預(yù)測(cè)松弛變量．實(shí)驗(yàn)結(jié)果說(shuō)明，至少對(duì)于某些真正的特權(quán)信息和二分類(lèi)問(wèn)題來(lái)說(shuō)，該策略可以獲得更強(qiáng)的泛化能力．

1 采用偽特權(quán)信息的SVM+

由前分析可知，PSVM+分別用修正函數(shù)和決策函數(shù)預(yù)測(cè)有無(wú)特權(quán)信息這兩個(gè)樣本集的松弛變量．然而一個(gè)顯然的問(wèn)題是: 在小樣本的學(xué)習(xí)問(wèn)題中，用VC(Vapnik-Chervonenkis)維較高的決策函數(shù)直接預(yù)測(cè)無(wú)特權(quán)信息樣本的松弛變量易導(dǎo)致模型過(guò)學(xué)習(xí)．因此，對(duì)于無(wú)特權(quán)信息的樣本，可設(shè)想構(gòu)造偽特權(quán)信息，用于在修正空間和利用修正函數(shù)預(yù)測(cè)無(wú)特權(quán)信息樣本的松弛變量．依據(jù)文獻(xiàn)[2]中的分析，偽特權(quán)信息及修正空間的引入可提高無(wú)特權(quán)信息樣本學(xué)習(xí)的收斂速度，從而提高了整個(gè)模型的泛化能力．實(shí)踐中也證明了該策略的確可使在相同的數(shù)據(jù)集下，模型的泛化能力得到提升(見(jiàn)實(shí)驗(yàn)相關(guān)部分)．該模型在下文中稱(chēng)為形式Ⅰ．另一方面，在引入偽特權(quán)信息之后，模型中必然要考慮兩個(gè)修正函數(shù)的復(fù)雜度問(wèn)題，從而增加了整個(gè)模型的風(fēng)險(xiǎn)．筆者試圖從只保留一個(gè)修正空間的角度提出另一種模型．這時(shí)無(wú)非有兩種選擇:一種是只利用那部分有真正特權(quán)信息的樣本；另一種選擇是丟棄真正的特權(quán)信息，代之以偽特權(quán)信息．由于前者樣本數(shù)目直接決定了風(fēng)險(xiǎn)的界，而且在小樣本的問(wèn)題中，樣本是更加“寶貴”的資源，不可丟棄．因此，選擇后者并生成新的模型，稱(chēng)為形式II．此時(shí)所有訓(xùn)練樣本的特權(quán)信息皆為偽特權(quán)信息，且模型中只保留一個(gè)修正空間．下面給出這兩種形式模型的定義及求解．

1.1 形式Ⅰ

為部分樣本引入偽特權(quán)信息之后，與真正特權(quán)信息聯(lián)合預(yù)測(cè)樣本松弛變量并考慮兩個(gè)修正函數(shù)復(fù)雜度的，在原空間中的SVM+的目標(biāo)泛函及約束為

將其轉(zhuǎn)換至對(duì)偶空間中求解:

1.2 形式Ⅱ

將偽特權(quán)信息樣本擴(kuò)展至全部樣本，式(1)可變化為如下的形式:

同樣，將其轉(zhuǎn)換至對(duì)偶空間中求解:

上式中所有符號(hào)含義與形式Ⅰ中的相同．不難發(fā)現(xiàn)，該模型與SVM+的定義一致，只是有關(guān)特權(quán)信息的表示或計(jì)算用相應(yīng)的偽特權(quán)信息取代，因此也可視為SVM+的特例．

為了更顯明地表示上面兩種形式，下文中將形式Ⅰ簡(jiǎn)記為P3SVM+(Pseudo-Privileged information based Partial SVM+)，將形式Ⅱ簡(jiǎn)記為P2SVM+(Pseudo-Privileged information based SVM+)．至于這偽特權(quán)信息如何構(gòu)造，其一是選擇訓(xùn)練樣本的可用信息用作偽特權(quán)信息．在此種情況下，特權(quán)信息可視為與可用信息相同．其二是將服從一定分布的隨機(jī)變量用作偽特權(quán)信息，具體方法參見(jiàn)實(shí)驗(yàn)部分．兩種形式的模型都轉(zhuǎn)換至對(duì)偶空間并采用標(biāo)準(zhǔn)的二次規(guī)劃算法求解．

2 實(shí)驗(yàn)和分析

2.1 實(shí)驗(yàn)數(shù)據(jù)庫(kù)介紹

(1) 手寫(xiě)數(shù)字識(shí)別和MNIST數(shù)據(jù)庫(kù)．MNIST數(shù)據(jù)庫(kù)擁有大量手寫(xiě)數(shù)字圖片，且分辨率為28×28[13]．為了使分類(lèi)問(wèn)題更具難度，Vapnik和Vashist將這些圖片大小統(tǒng)一轉(zhuǎn)換成 10×10 的分辨率，并且只關(guān)注數(shù)字5和8之間的分類(lèi)問(wèn)題．用http://ml.nec-labs.com/download/data/svm+/mnist.priviledged中提供的轉(zhuǎn)換后的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，可用信息是100維的像素信息，特權(quán)信息是21維的屬性描述特征，例如某個(gè)數(shù)字具有對(duì)稱(chēng)性，可以給它定義一個(gè)實(shí)數(shù)來(lái)表征對(duì)稱(chēng)性的強(qiáng)度等．

2.2 MNIST5-8分類(lèi)數(shù)據(jù)集

選取訓(xùn)練集、驗(yàn)證集、測(cè)試集的樣本個(gè)數(shù)分別為70，4 002 和 1 866 個(gè)．其中70個(gè)訓(xùn)練樣本是從全部100個(gè)有屬性特權(quán)信息的樣本中隨機(jī)地抽取20次，學(xué)習(xí)各模型，然后在固定的 1 866 個(gè)測(cè)試樣本上測(cè)試．而各模型參數(shù)的最優(yōu)參數(shù)由獲得最高識(shí)別率的驗(yàn)證集確定．表1為各模型參數(shù)的取值情況．

表1 MNIST5-8分類(lèi)數(shù)據(jù)集實(shí)驗(yàn)各模型參數(shù)設(shè)置

表1中的P3SVM+A和P3SVM+R分別表示將可用信息和隨機(jī)特征用作偽特權(quán)信息的P3SVM+．類(lèi)似地，P2SVM+A和P2SVM+R分別表示將可用信息和隨機(jī)特征用作偽特權(quán)信息的P2SVM+．

隨機(jī)特征生成和維數(shù)選擇如下所述．

圖1 帶有屬性特權(quán)信息的MNIST5?8分類(lèi)數(shù)據(jù)集，不同數(shù)量特權(quán)信息樣本和不同模型識(shí)別率隨隨機(jī)特征維數(shù)的變化曲線圖2 帶有屬性特權(quán)信息的MNIST5?8分類(lèi)測(cè)試結(jié)果(所有模型的學(xué)習(xí)樣本總數(shù)都為70個(gè))

P3SVM+和P2SVM+涉及到偽特權(quán)信息中的隨機(jī)特征如何生成的問(wèn)題．筆者選擇的隨機(jī)分布是0-1均勻分布．為了進(jìn)一步地確定維數(shù)，進(jìn)行了以下測(cè)試: 當(dāng)有屬性特權(quán)信息訓(xùn)練樣本的個(gè)數(shù)分別為20，35，50，且維數(shù)分別為1，25，50，75，100時(shí)，測(cè)試了P3SVM+R及P2SVM+R的識(shí)別率，而其他參數(shù)分別與P3SVM+A及P2SVM+A相同．結(jié)果如圖1所示．依據(jù)這個(gè)結(jié)果，選擇隨機(jī)特征的維數(shù)是25．圖2顯示了不同模型的識(shí)別性能．其中，SVM+表示學(xué)習(xí)樣本只包含有屬性特權(quán)信息的樣本，SVM表示利用全部70個(gè)樣本但只是可用信息學(xué)習(xí)．從實(shí)驗(yàn)結(jié)果中可以看出，在只有20和35個(gè)屬性特權(quán)信息樣本的學(xué)習(xí)中，SVM+的表現(xiàn)是最差的；而當(dāng)樣本數(shù)增加到50時(shí)，其表現(xiàn)與PSVM+接近．另外一方面，對(duì)于PSVM+和P3SVM+A(R)來(lái)說(shuō)，不同數(shù)量的特權(quán)樣本對(duì)識(shí)別率的影響并不大．這個(gè)結(jié)果充分說(shuō)明，學(xué)習(xí)樣本的總量相對(duì)屬性特權(quán)信息樣本的數(shù)量而言，對(duì)提升分類(lèi)器的性能起更重要的作用．在3種不同特權(quán)信息樣本數(shù)的情況下，P3SVM+A(R)的表現(xiàn)優(yōu)于PSVM+的，P2SVM+A(R)的表現(xiàn)也優(yōu)于SVM的．值得關(guān)注的是，P3SVM+A(R)甚至低于SVM，與P2SVM+A(R)高于SVM的結(jié)果聯(lián)合分析，可以認(rèn)為真正特權(quán)信息和偽特權(quán)信息引入的修正空間并存，至少在該例當(dāng)中，的確增加了學(xué)習(xí)模型的風(fēng)險(xiǎn)．

2.3 Bosphorus人臉表情識(shí)別

從數(shù)據(jù)庫(kù)中隨機(jī)抽取65個(gè)人作為實(shí)驗(yàn)數(shù)據(jù)，身份無(wú)交疊地劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集，其中30個(gè)人是訓(xùn)練集，20個(gè)人是驗(yàn)證集，15個(gè)人是測(cè)試集．同樣地，實(shí)驗(yàn)中所有涉及識(shí)別率的結(jié)果都為交叉驗(yàn)證20次的平均數(shù)據(jù)．各模型最優(yōu)參數(shù)仍依據(jù)驗(yàn)證集確定．

表2 Bosphorus數(shù)據(jù)庫(kù)實(shí)驗(yàn)各模型參數(shù)設(shè)置

對(duì)于PSVM+，當(dāng)灰度特權(quán)信息樣本的比例變化時(shí)，相應(yīng)的最優(yōu)參數(shù)也有所區(qū)別，具體見(jiàn)表2．

隨機(jī)特征生成和維數(shù)選擇如下所述．

同樣生成服從0-1均勻分布的隨機(jī)特征．對(duì)于維數(shù)的選擇，進(jìn)行了類(lèi)似的實(shí)驗(yàn)，得到的結(jié)果如圖3所示．從曲線的變化趨勢(shì)可以看出，900維是比較合適的選擇．

圖3 Bosphorus數(shù)據(jù)庫(kù)不同數(shù)量特權(quán)信息樣本占總樣本比例和不同模型識(shí)別率隨隨機(jī)特征維數(shù)變化的曲線圖4 Bosphorus數(shù)據(jù)庫(kù)測(cè)試結(jié)果

圖4呈現(xiàn)的各模型整體的識(shí)別率，再次反映了P3SVM+A(R)相對(duì)于PSVM+以及P2SVM+A(R)相對(duì)于SVM的優(yōu)勢(shì)．至于該實(shí)驗(yàn)中體現(xiàn)出的其他問(wèn)題及相應(yīng)的分析，都與2.2節(jié)類(lèi)似，此處不再贅述．但是與2.2節(jié)結(jié)果不同的是，P3SVM+A(R)的識(shí)別率高于SVM的，也與P2SVM+A(R)的識(shí)別率基本一致．這說(shuō)明真正特權(quán)信息的具體選擇也在相當(dāng)程度上影響了模型學(xué)習(xí)的收斂速度，而不僅僅是模型的結(jié)構(gòu)．

3 總 結(jié)

筆者提出了將可用信息和隨機(jī)特征用作偽特權(quán)信息的P3SVM+模型和P2SVM+模型．P3SVM+模型的特點(diǎn)是偽特權(quán)信息與真正特權(quán)信息并存，P2SVM+模型的特點(diǎn)是全部樣本的特權(quán)信息都是偽特權(quán)信息．在MNIST5-8分類(lèi)數(shù)據(jù)集和Bosphorus人臉表情識(shí)別數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果，說(shuō)明了筆者所提模型具備一定的優(yōu)勢(shì)．今后的工作將著重于研究如何生成更有效的偽特權(quán)信息．

[1] VAPNIK V, VASHIST A, PAVLOVITCH N. Learning Using Hidden Information(Larning with Teacher)[C]//Proceedings of the International Joint Conference on Neural Networks. Piscataway: IEEE, 2009: 3188-3195.

[2]VAPNIK V, VASHIST A. A New Learning Paradigm: Learning Using Privileged Information[J]. Neural Networks, 2009, 22(5/6): 544-557.

[3]FEYEREISL J, AICKELIN U. Privileged Information for Data Clustering[J]. Information Sciences, 2012, 194: 4-23.

[4]RIBEIRO B, SILVA C, VIEIRA A, et al. Financial Distress Model Prediction Using SVM+[C]//Proceedings of the International Joint Conference on Neural Networks. Piscataway: IEEE, 2010: 5596729.

[5]PECHYONY D, VAPNIK V. On the Theory of Learnining with Privileged Information[C]//Advances in Neural Information Processing Systems 23: 24th Annual Conference on Neural Information Processing Systems. Vancouver: Neural Information Processing Systems Foundation, 2010: 1894-1902.

[6]XU X X, LI W, XU D. Distance Metric Learning Using Privileged Information for Face Verification and Person Re-identification[J]. IEEE Transactions on Neural Networks and Learning Systems, 2015, 26(12): 3150-3162.

[8]LAPIN M, HEIN M, SCHIELE B. Learning Using Privileged Information: SVM+and Weighted SVM[J]. Neural Networks, 2014, 53: 95-108.

[9]FEYEREISL J, KWAK S, SON J, et al. Object Localization Based on Structural SVM Using Privileged Information[C]//Advances in Neural Information Processing Systems27: 28th Annual Conference on Neural Information Processing Systems. Vancouver: Neural Information Processing Systems Foundation, 2014: 208-216.

[10]YANG H, PATRAS I. Privileged Information Based Conditional Structured Output Regression Forest for Facial Point Detection[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2015, 25(9): 1507-1520.

[11]SHARMANSKA V, QUADRIANTO N, LAMPERT C H. Learning to Rank Using Privileged Information[C]//Proceedings of the IEEE International Conference on Computer Vision. Piscataway: IEEE, 2013: 825-832.

[12]WANG S Z, TAO D C, YANG J. Relative Attribute SVM+learning for Age Estimation[J]. IEEE Transactions on Cybernetics, 2016, 46(3): 827-839.

[13]LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based Learning Applied to Document Recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[14]SAVRAN A, ALYüZ N, DIBEKLIOLU H, et al. Bosphorus Database for 3D Face Analysis[M]. Lecture Notes in Computer Science:5372. Heidelberg: Springer Verlag, 2008: 47-56.

[15]AHONEN T, HADID A, PIETIKAINEN M. Face Description with Local Binary Patterns: Application to Face Recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(12): 2037-2041.

(編輯：郭 華)

Pseudo-privileged information and SVM+

SUNGuangling，DONGYong，LIUZhi

(School of Communication and Information Engineering, Shanghai Univ., Shanghai 200072, China)

In machine learning, learning using privileged information(LUPI) tries to improve the generalization of the classifier by leveraging information only available during learning. In the scenario of privileged information(PI) possessed by partial training samples, pseudo-privileged information(PPI) and SVM+are investigated. The proposed models depend on two formulations. One is to construct PPI for the samples without PI alone. The formulation enables slacks of such samples predicted in the correcting space with an ultimate goal of improving the generalization of the classifier. Available information and random features are proved to be effective options for PPI. The other is to replace the genuine PI with PPI so as to predict the slacks of all training samples in the unique correcting space. It is confirmed that at least for certain genuine PI and two categories classification task, the latter one is capable of obtaining better generalization performance. Experiments are performed on written digits and facial expression recognition. The results have validated advantages of SVM+using PPI.

learning using privileged information; pseudo-privileged information; SVM+

2015-10-26

時(shí)間：2016-04-01

教育部科學(xué)技術(shù)研究重點(diǎn)資助項(xiàng)目(212053)；上海市自然科學(xué)基金資助項(xiàng)目(16ZR1411100)

孫廣玲(1975-)，女，副教授，E-mail: sunguangling@shu.edu.cn．

http://www.cnki.net/kcms/detail/61.1076.tn.20160401.1622.036.html

10.3969/j.issn.1001-2400.2016.06.018

TP391.41

A

1001-2400(2016)06-0103-06