一種基于混合采樣的非均衡數(shù)據(jù)集分類算法

張 明,胡曉輝,吳嘉昕

(蘭州交通大學(xué) 電子與信息工程學(xué)院,蘭州 730070)

1 引 言

大數(shù)據(jù)時(shí)代使得數(shù)據(jù)的知識(shí)獲取變得更加便捷,促進(jìn)了數(shù)據(jù)密集型科學(xué)的發(fā)展.分類是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘中重要的信息獲取手段之一,傳統(tǒng)的分類方法有線性判別分析法、決策樹、貝葉斯、Logistic回歸分析和支持向量機(jī)等[1-4],但傳統(tǒng)的分類算法沒有考慮數(shù)據(jù)的均衡性,在非均衡分類問題上仍面臨著巨大的挑戰(zhàn).所謂非均衡數(shù)據(jù),是指某一類樣本的數(shù)量明顯少于另一類樣本的數(shù)量,即多數(shù)類(負(fù)類)和少數(shù)類(正類)存在比例失衡[5].在非均衡數(shù)據(jù)集中少數(shù)類可能比多數(shù)類包含著更多有價(jià)值的信息,在這種情況下,正確識(shí)別少數(shù)類比正確識(shí)別多數(shù)類更加重要.

隨機(jī)森林[6]通過自助采樣[7]獲取樣本集,從而構(gòu)建決策樹得到很好的分類預(yù)測效果,常被用于數(shù)據(jù)集分類研究[8,9]中.但在實(shí)際應(yīng)用中,因?yàn)樗@得的數(shù)據(jù)常常表現(xiàn)為非均衡數(shù)據(jù)[10],所以在數(shù)據(jù)處理方面經(jīng)常引入欠采樣和過采樣方法,對于非均衡數(shù)據(jù)集的處理Chawla 等人提出了SMOTE算法[11],該算法通過人為構(gòu)造少數(shù)類樣本使得數(shù)據(jù)集趨于平衡.由于該方法沒有考慮到少數(shù)類內(nèi)部分布不均的現(xiàn)象,針對文獻(xiàn)[11],Han等人后來又在SMOTE方法的基礎(chǔ)上提出了Borderline-SMOTE方法[12],該方法把少數(shù)類樣本分為安全樣本、邊界樣本和噪聲樣本3 類,并對邊界樣本進(jìn)行近鄰插值.這些算法雖然都一定程度上改善了非均衡數(shù)據(jù)集處理的問題,但是因?yàn)檫@些算法都只是對少數(shù)類樣本進(jìn)行過采樣處理,所以最后可能會(huì)導(dǎo)致樣本集分類時(shí)出現(xiàn)過擬合現(xiàn)象.由于欠采樣方法可能會(huì)失去許多樣本的信息,而過采樣方法可能會(huì)使少數(shù)類樣本過擬合.本文提出了一種新的基于混合采樣的隨機(jī)森林算法(USI).在對非均衡數(shù)據(jù)分類的研究中,基于混合采樣的隨機(jī)森林算法(USI)與基于樣本特性欠采樣的隨機(jī)森林算法(RU)、基于IS欠采樣的隨機(jī)森林算法、基于SMOTE過采樣的隨機(jī)森林算法(SMOTE)、基于USMOTE過采樣的隨機(jī)森林算法以及基于隨機(jī)欠采樣與SMOTE相結(jié)合的隨機(jī)森林算法(RU-SMOTE)進(jìn)行比較,實(shí)驗(yàn)結(jié)果表明改進(jìn)算法(USI)進(jìn)一步提高了在非均衡數(shù)據(jù)集上的G-mean值,F-value值,具有更高的綜合分類準(zhǔn)確率.

2 傳統(tǒng)算法與原理

2.1 隨機(jī)森林

隨機(jī)森林[6]基本思想可概括為:包含多個(gè)決策樹的分類器.首先有放回地重復(fù)隨機(jī)抽取原始訓(xùn)練樣本集中一定量的樣本生成新的訓(xùn)練集,然后對這些訓(xùn)練集建立決策樹模型得到不同的分類結(jié)果,最后統(tǒng)計(jì)分類結(jié)果來決定最優(yōu)的分類結(jié)果.隨機(jī)森林算法詳細(xì)步驟如下:

1)設(shè)原始訓(xùn)練集為N,采用Bootstrap重抽樣方法[7]有放回地隨機(jī)抽取t個(gè)新樣本集,構(gòu)建t棵分類樹.每個(gè)樣本包含v個(gè)屬性;

2)在樣本v個(gè)屬性中進(jìn)行隨機(jī)特征選擇,選擇m(m

3)每棵決策樹不做任何修剪,最大限度地生長,多個(gè)決策樹形成的分類器組成隨機(jī)森林;

4)當(dāng)待測樣本X進(jìn)入該隨機(jī)森林后,隨機(jī)森林里的每個(gè)決策樹對其進(jìn)行判別,通過類似投票的方式將票數(shù)最多的類設(shè)為該樣本點(diǎn)的預(yù)測類別.

2.2 隨機(jī)欠采樣

在非均衡數(shù)據(jù)集處理中隨機(jī)欠采樣[13]方法主要是隨機(jī)刪除多數(shù)類中的一部分樣本,而對少數(shù)類樣本不做任何操作,由于在隨機(jī)刪除樣本的過程中存在隨機(jī)性和偶然性,會(huì)導(dǎo)致多數(shù)類樣本中的一些重要信息丟失,最終會(huì)影響在非均衡數(shù)據(jù)集中的綜合分類性能.

2.3 SMOTE算法

SMOTE算法[11]即合成少數(shù)類過采樣技術(shù).如圖1所示,

對每個(gè)少數(shù)類樣本X,得到其k近鄰,k取5,如5個(gè)最近鄰樣本Y1,Y2,Y3,Y4,Y5,然后在X與這5個(gè)樣本之間的連線上隨機(jī)生成新的少數(shù)類樣本Z1,Z2,Z3,Z4,Z5.它其實(shí)是對于隨機(jī)過采樣算法的一種改進(jìn)算法,隨機(jī)過采樣增加少數(shù)類樣本的方法只是通過簡單復(fù)制樣本,這樣容易產(chǎn)生過擬合的問題,會(huì)使模型學(xué)習(xí)到的信息過于特別而不夠泛化.SMOTE算法詳細(xì)步驟如下:

1)少數(shù)類中每一個(gè)樣本x,以公式(1)歐幾里得距離D計(jì)算它到少數(shù)類樣本集中所有樣本的距離,得到其k近鄰[14],通常k取5;

(1)

2)對少數(shù)類樣本集進(jìn)行分組,以歐幾里得距離最近的6個(gè)樣本分為1組;

3)根據(jù)公式(2),在每組樣本兩兩之間連線上隨機(jī)生成少數(shù)類樣本,加入樣本集;

4)當(dāng)少數(shù)類樣本與多數(shù)類樣本比例不成1:1,執(zhí)行步驟3).

Xnew=x+rand(0,1)*|x-t|

(2)

隨機(jī)欠采樣,SMOTE算法較好地改善了隨機(jī)森林處理非均衡數(shù)據(jù)集的問題,使得模型對樣本的分類預(yù)測正確率有所提高.但是隨機(jī)欠采樣方法會(huì)失去許多樣本的信息,而SMOTE過采樣方法會(huì)使樣本數(shù)據(jù)集的少數(shù)類過擬合.

3 分類算法改進(jìn)

3.1 稀疏域和密集域檢測

在非均衡數(shù)據(jù)集的處理上,由于欠采樣方法可能會(huì)失去許多樣本的信息,而過采樣可能會(huì)使少數(shù)類樣本過擬合.而且傳統(tǒng)的方法分類前,往往先將稀疏區(qū)域數(shù)據(jù)作為噪聲數(shù)據(jù)直接刪除.但是,由于在非均衡數(shù)據(jù)集中多數(shù)類樣本與少數(shù)類樣本數(shù)量差異較大,如果稀疏區(qū)域數(shù)據(jù)中的少數(shù)類樣本數(shù)量過多,直接刪除稀疏區(qū)域數(shù)據(jù)會(huì)使數(shù)據(jù)集更加非均衡.假設(shè)一個(gè)數(shù)據(jù)集T,多數(shù)類樣本集為D,少數(shù)類樣本集為S.針對以上問題,本文提出基于混合采樣的非均衡數(shù)據(jù)集算法.首先采用基于變異系數(shù)[15]的樣本檢測方法識(shí)別非均衡數(shù)據(jù)集的稀疏域和密集域,基本思想如下:

1)在數(shù)據(jù)集T中計(jì)算出對象t到其k近鄰距離之和的平均值,其中對象d為t的k近鄰,Nkdist(t)為d的k近鄰的個(gè)數(shù).每個(gè)點(diǎn)的密度用平均值的倒數(shù)表示

(3)

2)該對象k近鄰密度的標(biāo)準(zhǔn)差與它們的平均值的比值定義為t的變異系數(shù),即

(4)

3.2 稀疏域樣本處理

稀疏域:改進(jìn)的SMOTE—USMOTE

該方法首先把稀疏域中少數(shù)類樣本S分為安全樣本、邊界樣本和噪聲樣本3類,找出少數(shù)類的邊界樣本后,不僅從少數(shù)類樣本中求最近鄰,生成新的少數(shù)類樣本,而且在多數(shù)類樣本中求其最近鄰,生成新的少數(shù)類樣本,最后再對加入人工合成少數(shù)類后的稀疏域數(shù)據(jù)集進(jìn)行適當(dāng)?shù)那凡蓸犹幚韀16],這會(huì)使得少數(shù)類樣本更加接近其真實(shí)值.

1)在少數(shù)類樣本S中,計(jì)算每個(gè)樣本點(diǎn)pi與所有訓(xùn)練樣本的歐氏距離,獲得該樣本點(diǎn)的m近鄰,m=5.

2)在少數(shù)類樣本S中,設(shè)在m近鄰中有m′個(gè)屬于多數(shù)類樣本,顯然0≤m′≤m.若m′=m,pi被認(rèn)為是噪聲樣本;若m/2≤m′

3)計(jì)算邊界樣本點(diǎn)pi′與少數(shù)類樣本S的k近鄰,k=5.選出α比例的樣本點(diǎn)與pi′進(jìn)行隨機(jī)的線性插值,產(chǎn)生新的少數(shù)類,最后在多數(shù)類樣本D中選出1-α比例的樣本點(diǎn)與pi′進(jìn)行線性插值,隨機(jī)產(chǎn)生新的少數(shù)類,α=0.7.

4)對加入人工合成少數(shù)類后的稀疏域數(shù)據(jù)集進(jìn)行欠采樣處理,為了避免對多數(shù)類樣本進(jìn)行欠采樣時(shí)去掉過多有用信息的數(shù)據(jù),所以適當(dāng)減少清理的程度.對于數(shù)據(jù)集的每一個(gè)樣本pi,找到它的2個(gè)近鄰,如果樣本pi屬于多數(shù)類,當(dāng)分類后,它的2個(gè)近鄰屬于少數(shù)類時(shí),則去掉樣本pi;如果樣本pi屬于少數(shù)類,并且它的2個(gè)近鄰屬于多數(shù)類,則去掉pi的2個(gè)多數(shù)類近鄰.

5)稀疏域中重構(gòu)后的樣本集形成新的樣本集Train1.

3.3 密集域樣本處理

密集域:改進(jìn)的欠采樣算法—IS

對多數(shù)類樣本集D進(jìn)行劃分,首先采用k近鄰方法將多數(shù)類樣本集分為噪聲樣本、邊界樣本和安全樣本,然后在邊界樣本集中選定一個(gè)樣本點(diǎn)c,以c為圓心r為半徑形成的圓內(nèi),n表示在圓內(nèi)所包含的樣本數(shù)量.如果在圓內(nèi)的總樣本大于等于n/2,則刪除該樣本點(diǎn),否則保留樣本點(diǎn).具體流程如下:

1)采用k近鄰方法將多數(shù)類樣本集分為噪聲樣本、邊界樣本和安全樣本.刪除噪聲樣本,保留安全樣本[11];

2)在邊界樣本集中,選定樣本點(diǎn)c,確定以樣本點(diǎn)c為圓心,r為半徑的圓形區(qū)域,調(diào)整控制r大小使圓形區(qū)域內(nèi)的樣本數(shù)量為10;

3)如果在圓內(nèi)的總樣本數(shù)大于或等于5,則刪除該樣本點(diǎn),否則保留樣本點(diǎn).一直重復(fù)以上步驟直到達(dá)到設(shè)定的采樣樣本數(shù);

4)密集域中重構(gòu)后的樣本集形成新的樣本集Train2.

3.4 基于混合采樣的隨機(jī)森林算法流程

各樣本定義如下:設(shè)稀疏域樣本A大小LA、密集域樣本B大小LB、稀疏域樣本中的少數(shù)類樣本a1大小La1、稀疏域樣本中的多數(shù)類樣本a2大小La2、密集域樣本中的多數(shù)類樣本b1大小Lb1、密集域樣本中的少數(shù)類樣本b2大小Lb2.

USI算法的流程見圖2.該算法首先采用基于變異系數(shù)的稀疏點(diǎn)檢測方法識(shí)別非均衡數(shù)據(jù)集的稀疏域和密集域,設(shè)置變異系數(shù)閾值,如果樣本的變異系數(shù)大于該閾值,則劃分為稀疏域樣本集,否則為密集域樣本集;然后,對稀疏域中的少數(shù)類,采用USMOTE算法進(jìn)行過采樣,過采樣倍率為N;對于稀疏域中的多數(shù)類不做處理直接加入訓(xùn)練集中;最后,對于密集域中的多數(shù)類樣本,采用IS算法進(jìn)行欠采樣,欠采樣倍率為M.

N=La2/La1

(5)

M=Lb1/Lb2

(6)

本文提出的基于混合采樣的USI算法的具體步驟如下:

Step 1.遍歷S(fori:S)計(jì)算出每個(gè)樣本Xi的變異系數(shù).

a)以歐氏距離計(jì)算出樣本Xi到每個(gè)樣本的距離并加入G集合中,對G集合進(jìn)行排序;

b)找出Xi的k近鄰,計(jì)算樣本Xi分別到k個(gè)樣本的距離之和Gnum;

c)求得每個(gè)樣本的密度Td(Xi)=Gnum/k;

d)求出每個(gè)樣本的變異系數(shù)V(Xi).

Step 2.如果V(Xi)>Vp,Xi劃分到稀疏域A,否則劃分到密集域B.

Step 3.遍歷LA,如果Xi是少數(shù)類樣本,則加入集合a1;否則加入集合a2.

Step 4.對A中的a1樣本,采用改進(jìn)SMOTE的USMOTE算法以N倍采樣率生成新樣本,得到樣本集Ca1,此樣本集與a1,a2形成新樣本集Train1.

圖2 算法流程圖Fig.2 Algorithm flow chart

Step 5.在B集合中采用IS算法對多數(shù)類樣本以欠采樣倍率M形成新樣本集Train2.

Step 6.Train1和Train2形成訓(xùn)練集Train-data進(jìn)行訓(xùn)練.

Step 7.對新樣本集Train-data采用隨機(jī)森林進(jìn)行分類.

本文提出的基于混合采樣的隨機(jī)森林算法(USI)相比其他算法,首先通過引進(jìn)“變異系數(shù)”識(shí)別非均衡數(shù)據(jù)集的稀疏域和密集域,然后分別對稀疏域和密集域進(jìn)行改進(jìn)的過采樣和欠采樣方法,本文提出的USI算法克服了其他欠采樣方法如RU、IS算法可能會(huì)失去許多樣本的信息,而過采樣方法如SMOTE、USMOTE算法以及混合采樣RU-SMOTE算法可能會(huì)使少數(shù)類樣本過擬合等問題.

4 實(shí)驗(yàn)分析

4.1 非均衡數(shù)據(jù)分類研究評價(jià)準(zhǔn)則

在非均衡數(shù)據(jù)分類研究評價(jià)[17,18]中以TP表示少數(shù)類樣本被正確分類的樣本個(gè)數(shù),FN表示少數(shù)類樣本被錯(cuò)誤分類的樣本個(gè)數(shù),FP表示多數(shù)類樣本被錯(cuò)誤分類的樣本個(gè)數(shù),TN表示多數(shù)類樣本被正確分類的樣本個(gè)數(shù).設(shè)1為少數(shù)類,0為多數(shù)類.

真正率(查全率):即實(shí)際類別為1的樣本中,被模型正確分類的樣本所占比例:

TPR=TP/(TP+FN)

(7)

真負(fù)率:即實(shí)際類別為0的樣本中,被模型正確分類的樣本所占比例:

TNR=TN/(FP+TN)

(8)

假正率:即實(shí)際類別為0的樣本中,被模型錯(cuò)誤分類的樣本所占比例:

FPR=FP/(TN+FP)

(9)

假負(fù)率:即實(shí)際類別為1的樣本中,被模型錯(cuò)誤分類的樣本所占比例:

FPR=FN/(TP+FN)

(10)

精度(查準(zhǔn)率):即所有預(yù)測為1的樣本中,正確預(yù)測的樣本所占比例:

rPr=TP/(FP+TP)

(11)

4.1.1 F-value準(zhǔn)則

在非均衡數(shù)據(jù)評價(jià)標(biāo)準(zhǔn)中,F-value是一個(gè)綜合性的評價(jià)標(biāo)準(zhǔn)[20],如公式(12)所示:

(12)

其中TPR表示查全率,其公式如(7)所示,rPr表示查準(zhǔn)率,其公式如(11)所示.β是一個(gè)系數(shù),通常取值為1.根據(jù)F-value表達(dá)式可以看出,F-value可以正確的衡量分類器的每一項(xiàng)的性能,如果一個(gè)分類器分類后得到的召回率和精確率值都比較高,那么F-value的值也會(huì)比較高,表明該分類器性能較好,對少數(shù)類的識(shí)別精度越高.

4.1.2 G-mean準(zhǔn)則

G-mean評價(jià)標(biāo)準(zhǔn)中包含兩個(gè)子度量標(biāo)準(zhǔn)[21].第一個(gè)是TPR,它主要是用來衡量分類器對少數(shù)類樣本的靈敏度,其公式如(7)所示.第二個(gè)則是TNR,它主要是用來衡量多數(shù)類的識(shí)別性能,其對應(yīng)公式如(8)所示.將這兩個(gè)衡量標(biāo)準(zhǔn)結(jié)合得到G-mean評價(jià)指標(biāo),如公式(13):

(13)

其中TPR是分類器對少數(shù)類的分類精度,TNR是分類器對多數(shù)類的分類精度.根據(jù)G-mean的表達(dá)式可以看出,在不考慮TNR的值大小的前提下,不管TPR的數(shù)值大還是數(shù)值小都不能保證G-mean的值大.同樣,在不考慮TPR的值大小的前提下,不管TNR的數(shù)值大還是數(shù)值小都不能保證G-mean的值大,只有少數(shù)類預(yù)測準(zhǔn)確率和多數(shù)類預(yù)測準(zhǔn)確率都高的時(shí)候,G-mean值才會(huì)增加.因此可以說G-mean值能更加全面的評價(jià)分類器的性能.

4.2 數(shù)據(jù)集描述

UCI數(shù)據(jù)庫是加州大學(xué)歐文分校(University of CaliforniaIrvine)提出的用于機(jī)器學(xué)習(xí)的數(shù)據(jù)庫,UCI數(shù)據(jù)集是一個(gè)常用的標(biāo)準(zhǔn)測試數(shù)據(jù)集,為了評價(jià)本算法的性能,因此采用了

表1 數(shù)據(jù)表
Table 1 Sample data table

數(shù)據(jù)集維數(shù)少數(shù)類/多數(shù)類非均衡率credit17439/45618.78%pima819419/5688534.1%page1096/56314.5%iris429/1853.5%ecoli877/25929.7%german2510926/7652314.2%

UCI機(jī)器學(xué)習(xí)數(shù)據(jù)庫中的6組有代表性的非均衡數(shù)據(jù)集,如表1是數(shù)據(jù)特征信息,數(shù)據(jù)是結(jié)構(gòu)化數(shù)據(jù),需要對其做特征縮放,將特征縮放至同一個(gè)規(guī)格.數(shù)據(jù)預(yù)處理將訓(xùn)練集和測試集歸一化到[0,1]區(qū)間.如果樣本集中包含幾個(gè)類別,則選擇其中一類樣本或者將數(shù)量較少的幾類樣本合并后作為少數(shù)類,其余作為多數(shù)類.采用python語言進(jìn)行實(shí)驗(yàn),這6組非均衡數(shù)據(jù)集分別是credit數(shù)據(jù)集,pima數(shù)據(jù)集,page數(shù)據(jù)集,iris數(shù)據(jù)集,ecoli數(shù)據(jù)集,german數(shù)據(jù)集.每次實(shí)驗(yàn)將樣本集隨機(jī)劃分,80%為訓(xùn)練集20%為測試集.

4.3 實(shí)驗(yàn)分析與結(jié)果(不同算法在非均衡數(shù)據(jù)集上的比較)

表2為6種算法在6種數(shù)據(jù)集上的G-mean值比較,可以看出,本文提出的USI算法與基于樣本特性欠采樣(RU)的隨機(jī)森林算法、基于IS欠采樣的隨機(jī)森林算法(IS)、基于SMOTE過采樣的隨機(jī)森林算法(SMOTE)、基于USMOTE過采樣的隨機(jī)森林算法(USMOTE)以及基于隨機(jī)欠采樣與SMOTE相結(jié)合的隨機(jī)森林算法(RU-SMOTE)進(jìn)行比較,其G-mean值比其他算法都有較大幅度的提升.當(dāng)決策樹個(gè)數(shù)設(shè)置為9時(shí),credit數(shù)據(jù)集中RU算法的G-mean值是0.8991,IS算法的G-mean值是0.9031,SMOTE算法的G-mean值是0.9193,USMOTE算法的G-mean值是0.9263,RU-SMOTE算法的G-mean值達(dá)到0.9325,USI算法的G-mean值達(dá)到0.9693.說明credit數(shù)據(jù)集中稀疏域樣本點(diǎn)對分類性能影響較大,導(dǎo)致其他算法表現(xiàn)較差,而USI算法通過引進(jìn)變異系數(shù),采用改進(jìn)的混合采樣方法克服了以上問題.

表2 不同算法上的G-mean值對比
Table 2 Comparison of G-mean values on different algorithms

數(shù)據(jù)集G-meanRU ISSMOTE USMOTERU-SMOTEUSIcreditpimapageiris ecoli german0.89910.90570.77820.62810.62530.8482 0.90310.91350.78010.64310.67210.85050.9193 0.92930.78850.67590.68740.86440.92630.93830.81560.67930.76450.87730.93250.94020.81730.71320.79370.88130.96930.96360.85220.79340.89220.9076

圖3給出6種算法在選取的4組數(shù)據(jù)集(credit、page、pima、german數(shù)據(jù)集)上不同決策樹個(gè)數(shù)對應(yīng)的G-mean值,各算法的G-mean值均隨著決策樹個(gè)數(shù)增加而增加,剛開始增加較快,并最終趨于平穩(wěn).本文提出改進(jìn)的USI算法的G-mean值均比其他算法有一定幅度提高.說明USI算法對少數(shù)類樣本和多數(shù)類樣本的預(yù)測準(zhǔn)確率都有所提高.

表3 不同算法上的F-value值對比
Table 3 Comparison of F-value values on different algorithms

數(shù)據(jù)集G-meanRU ISSMOTE USMOTERU-SMOTEUSIcreditpimapageiris ecoli german0.87810.86230.77400.74710.62530.9105 0.88450.87330.77920.75610.74130.91660.9023 0.87660.78140.77650.78960.93320.91420.89350.78920.78660.78760.93620.92650.90520.80120.79320.79540.93910.9458 0.94060.84130.91450.78340.9552

表3為6種算法在6種數(shù)據(jù)集上的F-value值比較,可以看出,除了ecoli數(shù)據(jù)集,其他數(shù)據(jù)集上USI算法的F-value值均得到提高.當(dāng)決策樹個(gè)數(shù)設(shè)置為9時(shí),iris數(shù)據(jù)集中RU算法的F-value值是0.7471,IS算法的F-value值是0.7561,SMOTE算法的F-value值是0.7765,USMOTE算法的F-value值是0.7866,RU-SMOTE算法的F-value值達(dá)到0.7932,USI算法的F-value值達(dá)到0.9145.其中,USI算法性能大幅度提升.說明iris數(shù)據(jù)集中,其他算法可能會(huì)使樣本數(shù)據(jù)集的少數(shù)類過擬合,導(dǎo)致查全率和查準(zhǔn)率較低.USI算法通過引進(jìn)變異系數(shù)采用改進(jìn)的混合采樣方法克服了以上問題,提高了分類準(zhǔn)確率.

圖3 不同數(shù)據(jù)集上的G-mean值比較Fig.3 Comparison of G-mean values on different data sets

圖4 不同數(shù)據(jù)集上的F-value值比較Fig.4 Comparison of F-value values on different data sets

圖4給出6種算法在選取的4組數(shù)據(jù)集(credit、page、pima、german數(shù)據(jù)集)上不同決策樹個(gè)數(shù)對應(yīng)的F-value值,可以看出各算法的F-value值均隨著決策樹個(gè)數(shù)增加而增加.本文提出改進(jìn)的USI算法的F-value值均比其他算法有一定幅度提高.說明USI算法的綜合分類準(zhǔn)確率有所提高.

5 結(jié) 語

在非均衡數(shù)據(jù)集分類算法的研究中,由于欠采樣方法可能會(huì)失去許多樣本的信息,而過采樣方法可能會(huì)使少數(shù)類樣本過擬合.本文提出了一種基于混合采樣的算法(USI)來平衡數(shù)據(jù)集.該算法通過引進(jìn)變異系數(shù)界定稀疏域和密集域,對于稀疏域中的少數(shù)類樣本,采用改進(jìn)SMOTE算法的過采樣方法(USMOTE)合成新的少數(shù)類樣本,對于密集域中的多數(shù)類樣本,采用改進(jìn)的欠采樣方法(IS)形成新的多數(shù)類樣本,最后將平衡后的數(shù)據(jù)集送入由多個(gè)決策樹組成的分類器隨機(jī)森林中進(jìn)行訓(xùn)練,并與其他分類算法進(jìn)行比較,實(shí)驗(yàn)結(jié)果表明,本文提出的算法(USI)進(jìn)一步提高了在非均衡數(shù)據(jù)集上的G-mean值,F-value值,分類準(zhǔn)確率均優(yōu)于其他算法.