多標(biāo)記學(xué)習(xí)算法的簡要概述

李星星

摘要：在如今的機器學(xué)習(xí)領(lǐng)域內(nèi)，不再是簡單的單標(biāo)記算法，其對象（樣本）具有多個語義（多個類標(biāo)）。像這樣的樣本數(shù)據(jù)可看作為多標(biāo)記數(shù)據(jù)樣本，所對應(yīng)的學(xué)習(xí)方法稱之為多標(biāo)記學(xué)習(xí)（Multi-label learning）法。

關(guān)鍵詞：機器學(xué)習(xí);單標(biāo)記學(xué)習(xí);多標(biāo)記學(xué)習(xí)

一、多標(biāo)記學(xué)習(xí)概述

在傳統(tǒng)的機器學(xué)習(xí)領(lǐng)域內(nèi)，大多數(shù)的樣本都僅僅只有一個語義，即僅僅和其中的一個類標(biāo)相互關(guān)聯(lián)，而且類與類之間也是互相排斥的，這種學(xué)習(xí)方法稱之為單標(biāo)記學(xué)習(xí)（ Single- label learning），所對應(yīng)的數(shù)據(jù)集則為單標(biāo)記數(shù)據(jù)集。單標(biāo)記學(xué)習(xí)也稱之為傳統(tǒng)的監(jiān)督學(xué)習(xí)（單示例、單標(biāo)記）。更加形式化來講，可令X為樣本空間，Y為類標(biāo)空間，那么機器學(xué)習(xí)的任務(wù)就是要從數(shù)據(jù)集中學(xué)到映射函數(shù)，其中為某一個樣本，而則為樣本Xi所對應(yīng)的類屬屬性，傳統(tǒng)的單標(biāo)記學(xué)習(xí)框架如圖1（a）圖所示。

二、多標(biāo)記學(xué)習(xí)的評價準(zhǔn)則

隨著機器學(xué)習(xí)的不斷發(fā)展，傳統(tǒng)的單標(biāo)記學(xué)習(xí)方法已經(jīng)發(fā)展的很成熟，并且已逐漸向多標(biāo)記學(xué)習(xí)模型轉(zhuǎn)變。為了判斷整個學(xué)習(xí)模型性能的好壞，通常用一些評價準(zhǔn)則來表述。一些經(jīng)典的單標(biāo)記評判準(zhǔn)則諸如，精度（Accuracy）， 查準(zhǔn)率（Precision）， 召回率（Recall）以及F值（F-value）等被廣泛應(yīng)用在單標(biāo)記學(xué)習(xí)過程中。然而，在現(xiàn)實世界的多標(biāo)記學(xué)習(xí)系統(tǒng)中，每一個對象（樣本）有一個或者更多的類標(biāo)，這將導(dǎo)致那些經(jīng)典的單標(biāo)記評價準(zhǔn)則無法很好的應(yīng)用在多標(biāo)記學(xué)習(xí)模型中。因此，自多標(biāo)記學(xué)習(xí)的快速發(fā)展以來，學(xué)術(shù)領(lǐng)域內(nèi)呈現(xiàn)出了大量的關(guān)于多標(biāo)記學(xué)習(xí)算法的評判準(zhǔn)則。對于多標(biāo)記學(xué)習(xí)模型性能的評價，本文也同樣采用了Average Precision （AP）， Coverage （CV）， Hamming Loss （HL）， One Error （OE） and Ranking Loss （RL）五個多標(biāo)記評價指標(biāo)來對整個體系進行分析[1-2]。

假設(shè)一個多標(biāo)記分類器為，對于任意一個樣本Xi均會被這個分類器預(yù)測為一個二值向量。值得注意的是，從多標(biāo)記學(xué)習(xí)系統(tǒng)中所獲得的實質(zhì)函數(shù)f（.0）經(jīng)常會被轉(zhuǎn)變?yōu)轭悩?biāo)排名函數(shù)rank（f.），但是其趨勢正好是相反的，舉一個案例對其進行解釋。比如說，對于某一個樣本Xi.Xi同時擁有類標(biāo)l l1，即l l1∈L，現(xiàn)假設(shè)， 那么。本論文中，筆者引進兩套評價準(zhǔn)則來計算多標(biāo)記學(xué)習(xí)系統(tǒng)的性能。第一套評價準(zhǔn)則是基于分類的評價指標(biāo)，如Hamming Loss （HL）;另一套評價標(biāo)準(zhǔn)則是根據(jù)類標(biāo)排名而來的，包括Average Precision （AP）， Coverage （CV）， Ranking Loss （RL） 以及One Error （OE），具體的多標(biāo)記評價準(zhǔn)則如下所述。

（1）Hamming Loss （HL）： 該評判準(zhǔn)則衡量了樣本在單個類標(biāo)上被錯誤歸類的百分比。即對每一個樣本來說，相關(guān)聯(lián)的類標(biāo)被預(yù)測為不相關(guān)的類標(biāo)，或者說不相關(guān)的類標(biāo)卻被預(yù)測為相關(guān)的類標(biāo)。HL值越小，整個分類器的預(yù)測性能就越好，尤其是當(dāng)HL值為0時，這時分類器的預(yù)測模型則是完美的。通常來說，其值不為0，總會伴隨著誤差。

（2）Average Precision （AP）： 評判準(zhǔn)則計算了樣本的所有的類標(biāo)中，排在樣本的某個標(biāo)記前的標(biāo)記依然是該樣本的相關(guān)標(biāo)記的比率。評判準(zhǔn)則AP值越大，整個分類器的預(yù)測性能則越優(yōu)越;尤其是當(dāng)AP取值為1時，分類器的性能最優(yōu)越。

（3）Coverage （CV）：該評價指標(biāo)衡量了在樣本測試集上，為了查找到樣本的所有相關(guān)聯(lián)的類標(biāo)所需要遍歷的平均深度。評判準(zhǔn)則CV值越小，分類器的預(yù)測性能越好;尤其是當(dāng)CV取值為0時，分類器的性能最優(yōu)越。

（4）Ranking Loss （RL）：該評價指標(biāo)描述了未被正確排序的類標(biāo)對的平均比率;即樣本無關(guān)聯(lián)的類標(biāo)比有關(guān)聯(lián)類標(biāo)排名更靠前。評判準(zhǔn)則RL值越小，分類器的預(yù)測性能就越好;尤其是當(dāng)RL取值為0時，分類器的性能最優(yōu)越。

（5）One Error （OE）： 該評判準(zhǔn)則描述了在樣本所有的預(yù)測類標(biāo)排序中，排名最靠前的類標(biāo)并非樣本相關(guān)聯(lián)的類標(biāo)所占的比率。One Error也是傳統(tǒng)的分類誤差。評判準(zhǔn)則OE值越小，分類器的預(yù)測性能就越好;尤其是當(dāng)OE值取0時，該分類器的分類性能最優(yōu)越。

從不同的角度上來分析，以上的所有多標(biāo)記評價標(biāo)準(zhǔn)在判斷多標(biāo)記學(xué)習(xí)算法的性能中扮演著關(guān)鍵性的作用。

參考文獻

[1] Zhang M L， Zhou Z H. ML-KNN： A lazy learning approach to multi-label learning[J]. Pattern Recognition， 2007， 40（7）： 2038-2048.

[2] Zhang， Minling， Jos， et al. Feature selection for multi-label naive Bayes classification[J]. Information Sciences， 2009， 179（19）： 3218-3229.