類別數(shù)據(jù)擬合優(yōu)度檢驗(yàn)功效模擬

劉遵雄

（華東交通大學(xué) 信息工程學(xué)院，南昌330013）

0 引言

類別數(shù)據(jù)廣泛應(yīng)用于教育、心理和經(jīng)濟(jì)等社會(huì)生活方面，如社會(huì)調(diào)查和心里測(cè)驗(yàn)等領(lǐng)域中使用的態(tài)度量表（Likert型數(shù)據(jù)）[1]。當(dāng)需要考慮收集的一組類別數(shù)據(jù)符合何種分布問(wèn)題時(shí)，一般采用擬合優(yōu)度檢驗(yàn)方法。類別數(shù)據(jù)擬合優(yōu)度檢驗(yàn)很多，有卡方（χ2）檢驗(yàn)和經(jīng)驗(yàn)分布類檢驗(yàn)（如Kolmogorov-Smirnov檢驗(yàn)）等，其中卡方檢驗(yàn)是離散類別數(shù)據(jù)分布檢驗(yàn)的首選，而經(jīng)驗(yàn)分布類檢驗(yàn)適用于連續(xù)分布數(shù)據(jù)的檢驗(yàn)。

擬合優(yōu)度檢驗(yàn)的功效（power）是指?jìng)鋼窦僭O(shè)H1為真時(shí)檢驗(yàn)方法拒絕零假設(shè)H0的能力，定義1-β，其中為犯第二類錯(cuò)誤的概率。類別數(shù)據(jù)擬合優(yōu)度檢驗(yàn)功效無(wú)法進(jìn)行解析表示，一般通過(guò)蒙特卡羅模擬來(lái)獲得功效近似值[2，3]。

本文在對(duì)類別數(shù)據(jù)擬合優(yōu)度檢驗(yàn)方法進(jìn)行研究的基礎(chǔ)上，使用卡方、Mann-Whitney和Kolmogorov-Smirnov檢驗(yàn)方法進(jìn)行10單位（實(shí)驗(yàn)結(jié)果種類）的均勻零假設(shè)分布對(duì)不同備擇分布數(shù)據(jù)的擬合優(yōu)度檢驗(yàn)，計(jì)算檢驗(yàn)方法的功效，并給以分析說(shuō)明。

1 檢驗(yàn)統(tǒng)計(jì)量及實(shí)驗(yàn)設(shè)置

1.1 類別數(shù)據(jù)擬合優(yōu)度檢驗(yàn)統(tǒng)計(jì)量

卡方（χ2）檢驗(yàn)法是最重要而典型的類別數(shù)據(jù)擬合優(yōu)度檢驗(yàn)方法，其對(duì)觀察頻數(shù)及期望頻數(shù)間的差異進(jìn)行比較，并利用差異的單調(diào)函數(shù)來(lái)衡量給定分布擬合數(shù)據(jù)的效果?？ǚ綑z驗(yàn)統(tǒng)計(jì)量表示為：

其中k是實(shí)驗(yàn)結(jié)果種類數(shù)，Oi和Ei分別是第i種實(shí)驗(yàn)結(jié)果的觀察和期望頻數(shù)（在以下統(tǒng)計(jì)量中出現(xiàn)時(shí)意義相同）。

Kolmogorov-Smirnov（KS）檢驗(yàn)[4]比較樣本的經(jīng)驗(yàn)分布函數(shù)（empirical cumulative distribution function,ecdf）和零假設(shè)H0情況下的理論經(jīng)驗(yàn)分布函數(shù)（cumulative distribution function,cdf）值差異的最大值，其中cdf可以看作服從[0，1]的均勻分布（U(0，1)）的隨機(jī)變量。對(duì)于離散類別數(shù)據(jù)，Kolmogorov-Smirnov檢驗(yàn)統(tǒng)計(jì)量S：

Mann-Whitney（MW）檢驗(yàn)[5]假設(shè)兩樣本分別來(lái)自除總體均值差別外完全相同的兩個(gè)總體，目的是檢驗(yàn)這兩個(gè)總體的均值是否有顯著的差別。假設(shè)服從零假設(shè)分布和備擇分布的兩樣本數(shù)各自為n0和n1，將這兩組樣本混合后進(jìn)行秩排序，得到兩組樣本的秩和R、R，計(jì)算U統(tǒng)計(jì)量：

1.2 檢驗(yàn)功效模擬實(shí)驗(yàn)設(shè)置

使用蒙特卡洛模擬方法求得各擬合優(yōu)度檢驗(yàn)的功效，選定零假設(shè)分布為10種實(shí)驗(yàn)結(jié)果的均勻分布，備擇分布分別為遞降分布、三角形分布和扁平分布（其10種實(shí)驗(yàn)結(jié)果的發(fā)生概率見(jiàn)表1）。模擬實(shí)驗(yàn)中的樣本大小分別為10，20，30，50，100和200（即對(duì)應(yīng)零均勻分布下每種實(shí)驗(yàn)結(jié)果的觀察數(shù)分別為1，2，3，5，10和20）。這些檢驗(yàn)的功效是由10000次模擬實(shí)驗(yàn)得到的，每次模擬將產(chǎn)生樣本數(shù)不同的零分布和備擇分布數(shù)據(jù)，檢驗(yàn)的置信水平設(shè)為0.05。

表1 檢驗(yàn)功效模擬實(shí)驗(yàn)零假設(shè)分布及備擇分布

作用于類別數(shù)據(jù)的這些統(tǒng)計(jì)量的模擬分布是離散的，為了獲得置信水平0.05下的檢驗(yàn)功效，這里采用線性插值方法[5]。假設(shè)α為檢驗(yàn)的置信水平，α1為小于α的一個(gè)置信水平，α2為大于α的一個(gè)置信水平，則α置信水平下檢驗(yàn)的功效計(jì)算為：

2 實(shí)驗(yàn)結(jié)果分析

2.1 遞降備擇分布

當(dāng)備擇分布為遞降分布時(shí)，在不同樣本情況下，通過(guò)蒙特卡洛模擬求得三種擬合度檢驗(yàn)χ2、KS和MW檢驗(yàn)的功效（如圖1），可見(jiàn)MW檢驗(yàn)功效最好，KS檢驗(yàn)功效次之，χ2檢驗(yàn)功效最差。在樣本大小至少是每個(gè)實(shí)驗(yàn)結(jié)果發(fā)生次數(shù)10以上時(shí)，三者的功效基本相當(dāng)（在0.87以上）。當(dāng)樣本大小為200時(shí)，三者的功效都幾乎為1。

圖1 均勻零分布遞降備擇分布下三種檢驗(yàn)的功效

3.2 三角形備擇分布

當(dāng)備擇分布為三角形分布時(shí)，在不同樣本情況下，三種擬合度檢驗(yàn)（χ2、KS和MW檢驗(yàn)）的功效如圖2。從中可以看出，當(dāng)類別數(shù)據(jù)的分布為三角形時(shí)，判別該數(shù)據(jù)是三角形分布還是均勻分布，三種檢驗(yàn)效果都不很好（即檢驗(yàn)功效低）；同比，χ2檢驗(yàn)功效較好，特別是樣本大小為200時(shí)，χ2檢驗(yàn)功效趨近1（為0.9745），KS檢驗(yàn)的功效等于0.579。

2.3 扁平備擇分布

在扁平備擇分布情況下，三種擬合度檢驗(yàn)χ2、KS和MW檢驗(yàn)對(duì)于不同樣本大小的功效如圖3。同比三角形備擇分布，三種檢驗(yàn)的功效更低。使用這三種檢驗(yàn)方法檢驗(yàn)扁平分布數(shù)據(jù)時(shí)，不能很好地將扁平分布數(shù)據(jù)與均勻分布數(shù)據(jù)分開。在此條件下χ2檢驗(yàn)的功效稍好

圖2 均勻零分布三角形備擇分布下三種檢驗(yàn)的功效

圖3 均勻零分布三角形備擇分布下三種檢驗(yàn)的功效

當(dāng)樣本大小為200時(shí)，χ2檢驗(yàn)的功效為0.664。而不管樣本大小如何，KS和MW兩檢驗(yàn)的功效都很低。

3 結(jié)論

使用三種方法進(jìn)行類別數(shù)據(jù)擬合優(yōu)度檢驗(yàn)，通過(guò)蒙特卡洛實(shí)驗(yàn)獲得檢驗(yàn)功效近似值，結(jié)果顯示沒(méi)有任何一種擬合優(yōu)度檢驗(yàn)方法適合任何情況下的數(shù)據(jù)擬合檢驗(yàn)，也就是說(shuō)要針對(duì)具體問(wèn)題選擇適當(dāng)?shù)臄M合優(yōu)度檢驗(yàn)方法。在零假設(shè)均勻分布，遞減、三角形和扁平備擇分布情況下，三種擬合優(yōu)度檢驗(yàn)（χ2、KS和MW檢驗(yàn)）中，χ2檢驗(yàn)是適應(yīng)性較強(qiáng)的類別數(shù)據(jù)擬合優(yōu)度檢驗(yàn)方法。同時(shí)本文將三種方法的檢驗(yàn)功效評(píng)級(jí)列于表2，為應(yīng)用人員選擇擬合優(yōu)度檢驗(yàn)方法提供參考。

表2 擬合優(yōu)度檢驗(yàn)功效評(píng)級(jí)