基于混淆矩陣的分類(lèi)器性能評(píng)價(jià)指標(biāo)比較

摘要：本文主要研究在模擬實(shí)驗(yàn)中，實(shí)驗(yàn)數(shù)據(jù)類(lèi)別是平衡也即是訓(xùn)練的數(shù)據(jù)類(lèi)別比例差別不大，實(shí)驗(yàn)結(jié)果關(guān)注的是正確率與錯(cuò)誤率，但是隨著實(shí)際問(wèn)題的處理，如信用卡錯(cuò)誤交易研究、疾病癥斷研究…，實(shí)驗(yàn)結(jié)果更多關(guān)注的是數(shù)據(jù)集中其中少類(lèi)的分類(lèi)精度，而不是整體的分類(lèi)情況，因此不平衡數(shù)據(jù)的分類(lèi)問(wèn)題[2]評(píng)價(jià)成為了實(shí)驗(yàn)員的挑戰(zhàn)。針對(duì)實(shí)際分類(lèi)模型評(píng)價(jià)時(shí)，有以下幾種方法：混淆矩陣（ConfusionMatrix）、接受者操作特性曲線（ROC Chart）、收益圖（Gain Chart）、提升圖（Lift Chart）、KS圖（KS Chart）。

關(guān)鍵詞：分類(lèi)問(wèn)題;ROC; Gain Chart：Lift Chart;KS圖（KS Chart）

機(jī)器學(xué)習(xí)中，分類(lèi)問(wèn)題是一種輸出屬性類(lèi)別的、離散的問(wèn)題，通過(guò)對(duì)樣本數(shù)據(jù)機(jī)器學(xué)習(xí)，可以將新輸入樣例指派到其中一個(gè)類(lèi)別中的問(wèn)題。那么模型的性能如何評(píng)價(jià)是我們研究的重點(diǎn)。在之前已經(jīng)有很多的工作者對(duì)此問(wèn)題進(jìn)行了分析，使用不同的方法來(lái)，如交叉驗(yàn)證的方法，選擇泛化誤差最小的模型。但是也有一些研究主要是對(duì)不同的分類(lèi)器的分類(lèi)精度進(jìn)行評(píng)價(jià)。

1 混淆矩陣[3]

1.1 混淆矩陣的建立

針對(duì)二類(lèi)數(shù)據(jù)問(wèn)題，在實(shí)驗(yàn)過(guò)程中，通過(guò)在訓(xùn)練數(shù)據(jù)上訓(xùn)練得到對(duì)應(yīng)的分類(lèi)器，然后在測(cè)試集上測(cè)試得到分類(lèi)器的分類(lèi)結(jié)果，通過(guò)將分類(lèi)預(yù)測(cè)結(jié)果與真實(shí)情況進(jìn)行比較，建立混淆矩陣的表格，如表1。

由表1可以計(jì)算的指標(biāo)[4]有：

在一般的分類(lèi)問(wèn)題中TP和TN越高越好，混淆矩陣中的4個(gè)元素的確定都依賴(lài)于實(shí)驗(yàn)者主觀設(shè)定的閾值0.5。如果只依靠混淆矩陣這種原始的方法，那么不經(jīng)過(guò)繁瑣的實(shí)驗(yàn)我們無(wú)法確認(rèn)哪個(gè)閾值是最好的。一些positive事件發(fā)生概率極小的不平衡數(shù)據(jù)集（imbalanced data），混淆矩陣精確率的評(píng)價(jià)可能效果不好。比如對(duì)信用卡交易是否異常做分類(lèi)的情形，很可能在成千上萬(wàn)的交易中只有1筆交易是異常的，我們這時(shí)候更關(guān)心的是這筆交易異常的，而不是其他交易成功的。在醫(yī)學(xué)界，我們臨床關(guān)心的犯病的病例，但是犯病的類(lèi)別占比比較少，那么一個(gè)將所有交易都判定為正常的分類(lèi)器或者是所有的病人都判定為正常人的準(zhǔn)確率是99.99%。這個(gè)數(shù)字雖然很高，但是沒(méi)有任何現(xiàn)實(shí)意義。

相比較于上面列舉的各種基于混淆矩陣建立的分類(lèi)模型評(píng)價(jià)方法，接受者操作特性曲線（ROC ChaIt）、收益圖（Gain Chart）、提升圖（Lift Chart）、KS圖（KS Chart）都對(duì)混淆矩陣的缺點(diǎn)的有改進(jìn)。

1.2 ROC曲線AUC面積[5]

ROC曲線也即是受試者工作特征曲線（Receiver OperatingCharacteristic Curve）。橫軸表示“False positive rate”數(shù)，即在所有真實(shí)值為Negative的數(shù)據(jù)中，被模型錯(cuò)誤的判斷為Positive的比例。縱軸表示“True positive rate”，即在所有真實(shí)值為Positive的數(shù)據(jù)中，被模型正確的判斷為Positive的比例。

ROC曲線上的一系列點(diǎn)，代表選取一系列的閾值（thre shold）產(chǎn)生的結(jié)果。ROC曲線上眾多的點(diǎn)，每個(gè)點(diǎn)都對(duì)應(yīng)著一個(gè)閩值的情況下模型的表現(xiàn)，多個(gè)點(diǎn)連起來(lái)就是ROC曲線了。

AUC（ Area Under Curve），即曲線下的面積，每一條ROC曲線對(duì)應(yīng)一個(gè)AUC值。AUC的取值在0與1之間，AUC -1，代表ROC曲線在縱軸上，預(yù)測(cè)完全準(zhǔn)確，0.5< AUC<1，代表ROC曲線在45度線上方，預(yù)測(cè)優(yōu)于50/50的猜測(cè)。AUC -0，代表ROC曲線在橫軸上，預(yù)測(cè)完全不準(zhǔn)確，需要選擇合適的閩值后，產(chǎn)出模型。

1.3 收益圖與提升圖[6]

收益圖，提升圖是用來(lái)評(píng)估模型找到數(shù)據(jù)中的正例與真實(shí)數(shù)據(jù)正例的比較?；煜仃囍杏幸粋€(gè)指標(biāo)RPP（Rate of positivepredictions），也是預(yù)測(cè)為正的比例。根據(jù)實(shí)驗(yàn)者設(shè)置的不同閩值，RPP的范圍為[0，1]。將累計(jì)RPP作為收益圖、提升圖的橫軸，縱軸為待評(píng)價(jià)模型在預(yù)測(cè)為正的樣例中預(yù)測(cè)正確的概率，也就是TPR（True Positive Rate），TPR稱(chēng)為收益值（Gain Value）。提升值（LiftValue）用TPR/RPP計(jì)算。針對(duì)一個(gè)模型的收益圖，若能快速達(dá)到很高的累計(jì)收益值，并很快趨于100%，則是較好的模型;而提升圖則是在很高的提升值上保持一段，或緩慢下降一段，然后迅速下降到1。

1.4 KS （Kolmogorov-Smirnov）曲線[7-9]

相對(duì)比與ROC曲線是把真正率和假正率當(dāng)作橫縱軸，而K-S曲線是把真正率和假正率都當(dāng)作是縱軸，橫軸則由選定的閾值來(lái)充當(dāng)。KS（Kolmogorov-Smirnov）值越大，表示模型能最大程度上將兩類(lèi)分開(kāi)。KS值介于0與1之間，通常來(lái)講，KS>0.2即表示模型有較好的預(yù)測(cè)準(zhǔn)確性。KS需要TPR和FPR兩個(gè)值：真正類(lèi)率（truepositive rate，TPR），分類(lèi)器所識(shí)別出的正樣例占所有正樣例的比例，計(jì)算公式為：

KS曲線是兩條線，其橫軸是閾值，縱軸是TPR（上面那條）與FPR（下面那條）的值，值范圍[0，1]。那么KS兩條曲線之間最大距離對(duì)應(yīng)的閾值，就是最能劃分模型的閩值。

2 模擬實(shí)驗(yàn)

此模擬實(shí)驗(yàn)使用的數(shù)據(jù)是ROCR包中的ROCR.simple數(shù)據(jù)，有200個(gè)數(shù)據(jù)，其中有樣本對(duì)應(yīng)的預(yù)測(cè)值和真實(shí)的標(biāo)簽。在預(yù)測(cè)值的基礎(chǔ)上利用caret包里的confusionMatrix可以得到結(jié)果。如表2所示。

在R軟件中利用ROCR中的performance函數(shù)得到了auc-0.8341875，得到此數(shù)據(jù)應(yīng)用的分類(lèi)器預(yù)測(cè)的結(jié)果還是可以的。并利用ggplot2軟件做出Roc的圖像，如圖1所示。

圖2所示的是收益、提升圖，對(duì)于收益圖，收益圖在以斜率為2的快速增加，然后又緩慢的增長(zhǎng)到1，而提升圖在1.8左右附近上保持一段然后迅速下降到1。由此可以看出，分類(lèi)的效果也是很不錯(cuò)的。

圖3中所示的是KS圖像，KS-value為0.6999297由此可以看到兩條曲線之間相差很大，分類(lèi)器的分類(lèi)性能較好。

3 結(jié)束語(yǔ)

針對(duì)于分類(lèi)問(wèn)題，可以有很多的不同的分類(lèi)性能評(píng)價(jià)指標(biāo)，本文在原有的混淆矩陣的基礎(chǔ)上建立的度量標(biāo)準(zhǔn)，分析其在類(lèi)別不均衡的數(shù)據(jù)中，分類(lèi)效果評(píng)價(jià)不準(zhǔn)確，因此建立了Roc、收益、提升圖、KS圖像，并通過(guò)模擬實(shí)驗(yàn)觀察這些評(píng)價(jià)指標(biāo)的度量性能。

參考文獻(xiàn)

[1]張濤.不平衡數(shù)據(jù)分類(lèi)研究及在疾病診斷中的應(yīng)用[J].黃河科技學(xué)院學(xué)報(bào)，2019 （05）：15-22..

[2]李永新.一種不平衡數(shù)據(jù)的分類(lèi)方法[J].蘭州理工大學(xué)學(xué)報(bào)，2008 （03）：87-90.

[3]Craig J C.A Confusion matrix for tactually presentedletters [J]. Perception&Psychophysics， 1979， 26 （5）： 409-411.

[4]周志華.機(jī)器學(xué)習(xí)[M].北京：清華大學(xué)出版，2018，28-35.

[5] Lobo J M，Jim 6 nez-Valverde A，Real R.AUC：a misleadingmeasure of the performance of predictive distributionmodels[J]. Global Ecology&Biogeography， 2 010，17 （2）：145-151.

作者簡(jiǎn)介

趙存秀（1987-），女，山西省晉中市人。碩士研究生學(xué)歷，中級(jí)（講師）。研究方向?yàn)榻y(tǒng)計(jì)機(jī)器學(xué)習(xí)。