貝葉斯判別中對(duì)樣品判別的評(píng)價(jià)研究

張國儉

（晉中學(xué)院數(shù)學(xué)學(xué)院，山西晉中 030619）

貝葉斯統(tǒng)計(jì)是統(tǒng)計(jì)學(xué)的一個(gè)重要的學(xué)派，它應(yīng)用了先驗(yàn)信息、樣本信息、總體信息3種信息。而經(jīng)典統(tǒng)計(jì)只應(yīng)用了樣本信息和總體信息，所以，只要先驗(yàn)分布選取合理，會(huì)得到比經(jīng)典統(tǒng)計(jì)學(xué)更精確的結(jié)果[1-3]。

貝葉斯判別分析是貝葉斯統(tǒng)計(jì)在判別分析中的應(yīng)用[4]，在總體是正態(tài)分布的情況下，它的判別函數(shù)可以看成馬氏距離判別函數(shù)的推廣，特別是協(xié)方差矩陣相等的情況下。

貝葉斯判別雖然可以由后驗(yàn)概率來看樣品判別的優(yōu)劣，但對(duì)于兩個(gè)總體的后驗(yàn)概率相等或很接近的情況，判別便沒有了實(shí)際意義。對(duì)協(xié)方差矩陣相等的正態(tài)總體，在誤判損失相等情況下的貝葉斯判別進(jìn)行了研究，提出了待判域的概念，用以鑒別誤判損失沒有統(tǒng)計(jì)學(xué)意義的樣品；提出了判別系數(shù)的概念，用以對(duì)樣品判別的優(yōu)劣進(jìn)行評(píng)價(jià)。

1 準(zhǔn)備知識(shí)

定理1設(shè)G1和G2是兩個(gè)不同的p維正態(tài)總體，先驗(yàn)分布分別為p1和p2，均值向量分別為μ1和μ2，協(xié)方差矩陣相等且都為Σ，x0為一樣品值，記c(i|j)，i,j=1,2表示把屬于Gj的樣品誤判為Gi造成的損失，當(dāng)則判別準(zhǔn)則為：

定理2設(shè)G1,G2,…,Gk是k個(gè)不同的p維正態(tài)總體，其先驗(yàn)分布為p1,p2,…,pk，均值向量分別為μ1,μ2,…,μk，協(xié)方差矩陣相等且都為Σ，x0為一樣品值，記c(i|j)，i,j=1,2,…,k表示把屬于Gj的樣品誤判為Gi造成的損失，當(dāng)則判別準(zhǔn)則為

定理3設(shè)G1,G2,…,Gk是k個(gè)不同的p維正態(tài)總體，其先驗(yàn)分布分別為p1,p2,…,pk，協(xié)方差矩陣相等，且都為Σ，

則后驗(yàn)概率為：

對(duì)于x是p維隨機(jī)向量，有如下的結(jié)論：

定理4設(shè)x～Np(μ,Σ)，又Y=ATx+b，其中b為p維常向量，AT是l×p矩陣，rank(AT)=l，則Y～Nl(ATμ+b,ATΣA)[1]。

設(shè)x1,x2,…,xk是屬于k個(gè)不同的p維正態(tài)總體的隨機(jī)向量且相互獨(dú)立，記ci=P(Gi|x),i=1,2,…,k,則任一待判樣品是合理的。

定理5設(shè)xi～N(μi,Σ)，x=，i=1,2,…,k,ci為已知常數(shù)，則

證明顯然隨機(jī)變量x服從正態(tài)分布,求x的數(shù)學(xué)期望與方差：

因?yàn)閤1,x2,…,xk相互獨(dú)立，所以

其中I為p×p單位矩陣，

證畢。

定理6記，x～N(μ,c2Σ)，則

證明x是來自p維正態(tài)總體的任一樣品，由定理4知，隨機(jī)變量Wi(x)服從正態(tài)分布。求Wi(x)的數(shù)學(xué)期望與方差：

證畢。

定理7若x～N(μ,c2Σ)，記Wij(x)=Wi(x)-Wj(x)，i,j=1,2,…,k且i≠j，則

證明設(shè)

由x～N(μ,c2Σ) 及定理4知，W(x) 服從正態(tài)分布。

證畢。

2 顯著性檢驗(yàn)

貝葉斯判別可以用誤判概率或誤判損失來刻畫判別的優(yōu)劣，但這只是對(duì)判別標(biāo)準(zhǔn)的評(píng)價(jià)，對(duì)樣品可以用后驗(yàn)概率來進(jìn)行評(píng)價(jià)。但如果樣品屬于兩個(gè)總體的后驗(yàn)概率相等時(shí)，就無法對(duì)其進(jìn)行判別，即使把其歸為其中的一類，其判別的實(shí)際意義也不大。同理，如果樣品屬于兩個(gè)總體的后驗(yàn)概率雖然不等，但很接近，其實(shí)際意義也不大。故有必要對(duì)其進(jìn)行顯著性檢驗(yàn)。

對(duì)樣品的判別函數(shù)的差異進(jìn)行顯著性檢驗(yàn)。提出了待判域的概念，用以對(duì)數(shù)據(jù)指標(biāo)沒有明顯所屬的樣品進(jìn)行鑒別；提出了判別系數(shù)的概念，用以對(duì)樣品的判別優(yōu)劣進(jìn)行評(píng)價(jià)。

對(duì)一個(gè)固定的樣品來說，不同的觀測有不同的觀測向量，故可以把它看作一個(gè)隨機(jī)向量。設(shè)樣品x=(x1,x2,…,xp)T是p維空間中的一個(gè)隨機(jī)向量，由1的討論知，x～N(μ,c2Σ) 而具體的數(shù)據(jù)向量x0=(x10,x20,…,xp0)T看成x的一個(gè)觀測向量，對(duì)判別函數(shù)的差異做顯著性假設(shè)檢驗(yàn)。

2.1 兩個(gè)正態(tài)總體的情形

設(shè)G1和G2是兩個(gè)不同的p維正態(tài)總體，其先驗(yàn)分布為p1和p2，其均值向量分別為μ1和μ2，協(xié)方差矩陣相等且都為Σ。當(dāng)由定理1知，可以確定判別函數(shù)Wi(x),i=1,2。

不妨設(shè)W1(x0)>W2(x0)，對(duì)E(W1(x))>E(W2(x))做顯著性檢驗(yàn)：

提出假設(shè)

等價(jià)于(a1-a2)Tμ+(b1-b2)>0。

記d=(a1-a2)Tμ+(b1-b2)，

則假設(shè)等價(jià)為

由定理7知

故取檢驗(yàn)統(tǒng)計(jì)量為

拒絕域{u≥u1-α}[5]，其中u1-α為標(biāo)準(zhǔn)正態(tài)分布的下側(cè)1-α分位數(shù)。

{u≥u1-α}等價(jià)于W12(x)≥

定義1把上面的保留域{u

由定義1知道，如果x0落入待判域，說明判樣品x0到兩個(gè)總體的損失的差沒有統(tǒng)計(jì)學(xué)意義?？梢园褁0作為待觀察的對(duì)象。

檢驗(yàn)的p值為：p=1-Φ(u0)，其中u0是由x0算出的u值。

由p值的意思可知，p值越小，越拒絕原假設(shè)，判別越好。

定義2把R=1-p=Φ(u0)稱為樣品x0的判別系數(shù)。

由定義2知道，0

2.2 k 個(gè)不同的p 維正態(tài)總體的情形

設(shè)G1,G2,…,Gk是k個(gè)不同的p維正態(tài)總體，其先驗(yàn)分布分別為p1,p2,…,pk，均值向量分別為μ1,μ2,…,μk，協(xié)方差矩陣相等且都為Σ，當(dāng)時(shí)，由定理2知，判別準(zhǔn)則為

在這種情形下，對(duì)算出來的Wi(x0),i=1,2,…,k，進(jìn)行從大到小排序，只取前兩個(gè)，分別記為W(1)(x0),W(2)(x0)，不妨設(shè)W(1)(x0)>W(2)(x0)。

類似兩個(gè)正態(tài)總體，對(duì)E(W(1)(x))>E(W(2)(x))做顯著性檢驗(yàn)。

假設(shè)為

由定理5知

拒絕域{u′≥u1-α}。

若{u′W(2)(x0)沒有統(tǒng)計(jì)學(xué)意義，說明判x0屬于總體（1）和判x0屬于總體（2）的損失沒有統(tǒng)計(jì)學(xué)差別，x0可以被判屬于總體（1），也可以被判屬于總體（2），甚至還可以被判屬于其他總體。這時(shí)，x0是待判的。即待判域?yàn)閧u′

否則，W(1)(x0)>W(2)(x0)判x0屬于不同總體的損失有統(tǒng)計(jì)學(xué)意義。就可以說，x0到（1）這個(gè)總體的損失最小。判x屬于總體（1）。

判別系數(shù)為：R=，其中，是由x0算出的u′值。

3 不足及需要改進(jìn)的地方

（1）只研究了協(xié)方差陣相等的正態(tài)總體的情形，并且誤判損失相等的情形，其他情形沒有研究；

（2）對(duì)樣品的評(píng)價(jià)除了待判域和判別系數(shù)外還應(yīng)該考慮判別函數(shù)整體的評(píng)價(jià)，最好做個(gè)綜合指標(biāo)；

（3）沒有做實(shí)證研究，還需要做實(shí)證以檢驗(yàn)判別的誤判率的改進(jìn)程度。