一種求解假設(shè)檢驗(yàn)拒絕域和計(jì)算p-值的系統(tǒng)化方法

郭三剛, 張 琳

(陜西理工大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院， 陜西 漢中 723000)

1 假設(shè)檢驗(yàn)的描述與問題的提出

假設(shè)檢驗(yàn)是基于小概率事件推理原理，以在總體上的兩個(gè)相互對(duì)立假設(shè)之間做出統(tǒng)計(jì)抉擇的理論和方法。小概率事件推理原理必須與假設(shè)檢驗(yàn)結(jié)合起來才能正確使用，否則將會(huì)產(chǎn)生錯(cuò)誤[1]。

1.1 兩種假設(shè)與檢驗(yàn)統(tǒng)計(jì)量

假設(shè)檢驗(yàn)中有兩個(gè)假設(shè)：零假設(shè)H0(Null Hypothesis)和備擇假設(shè)H1(Alternative Hypothesis)，后者是檢驗(yàn)者需要證實(shí)的假設(shè)，前者是檢驗(yàn)中需要被檢驗(yàn)的假設(shè)，是與備擇假設(shè)對(duì)立的假設(shè)。通常，零假設(shè)和備擇假設(shè)由單個(gè)總體或多個(gè)總體某個(gè)或某些參數(shù)(數(shù)學(xué)期望或者方差)等之間的大小關(guān)系表示。令θ是上述參數(shù)構(gòu)成的標(biāo)量或向量，Θ0和Θ1分別表示零假設(shè)H0和備擇假設(shè)H1為真時(shí)所對(duì)應(yīng)的參數(shù)θ的取值集合[2]。

零假設(shè)和備擇假設(shè)都有兩種類型：簡(jiǎn)單假設(shè)和復(fù)合假設(shè)。為了正確使用小概率事件推理原理，零假設(shè)和備擇假設(shè)必須是互為對(duì)立的假設(shè)。但是，現(xiàn)行的教科書[2-4]有時(shí)使用不是互為對(duì)立的零假設(shè)和備擇假設(shè)，在邏輯上是錯(cuò)誤的。

假設(shè)檢驗(yàn)中，首先要有一個(gè)區(qū)分零假設(shè)和備擇假設(shè)差異性的數(shù)值指標(biāo)T，它是來自于總體的簡(jiǎn)單隨機(jī)樣本的函數(shù)，稱為檢驗(yàn)統(tǒng)計(jì)量。檢驗(yàn)統(tǒng)計(jì)量應(yīng)當(dāng)是零假設(shè)是否為真的靈敏標(biāo)記。在零假設(shè)為真時(shí)，檢驗(yàn)統(tǒng)計(jì)量的概率分布或近似分布是可知的，稱為零分布[5]。

1.2 小概率事件推理原理與假設(shè)檢驗(yàn)拒絕域的結(jié)構(gòu)

假設(shè)檢驗(yàn)是基于小概率事件推理原理的，即在一次隨機(jī)試驗(yàn)中，小概率事件幾乎是不可能發(fā)生的，如果發(fā)生了則它很可能不是小概率事件。假設(shè)檢驗(yàn)是如何利用小概率事件推理原理呢？首先，構(gòu)造小概率事件，即給定小概率α(也稱為顯著性水平)，在零假設(shè)H0為真時(shí)構(gòu)造小概率事件Aα，使得對(duì)于任意的θ∈Θ0，有[3]

P(Aα)≤α。

通常，在零假設(shè)為真時(shí)求檢驗(yàn)統(tǒng)計(jì)量T的數(shù)學(xué)期望(假定T的方差也存在)，根據(jù)切比雪夫不等式，可以證明T的值不可能遠(yuǎn)離其數(shù)學(xué)期望太多，遠(yuǎn)離太多的概率是很小的。這是我們確定小概率事件Aα的結(jié)構(gòu)和最終形式的理論基礎(chǔ)。小概率事件Aα對(duì)應(yīng)的檢驗(yàn)統(tǒng)計(jì)量T的取值區(qū)域稱為零假設(shè)為真時(shí)零假設(shè)的拒絕域，記為R(lbα1,ubα2)，其中α1、α2分別稱為左、右側(cè)顯著性水平。

下面根據(jù)前面對(duì)小概率事件結(jié)構(gòu)的分析介紹拒絕域的結(jié)構(gòu)和系統(tǒng)化求解方法。

(i)雙側(cè)假設(shè)檢驗(yàn)的拒絕域：如果零假設(shè)H0為真時(shí)T的值不能太大也不能太小，則零假設(shè)H0的拒絕域具有形式：

R(lbα1,ubα2)=(-∞,lbα1]∪[ubα2,+∞),

其中α1≤α/2,α2≤α/2,相應(yīng)的檢驗(yàn)稱為雙側(cè)假設(shè)檢驗(yàn)，且P(T≤lbα1)≤α1,P(T≥ubα2)≤α2。

(ii)左側(cè)假設(shè)檢驗(yàn)的拒絕域：如果零假設(shè)H0為真時(shí)，T的值不能太小，則拒絕域具有形式(-∞,lbα1]，其中α1≤α，相應(yīng)的檢驗(yàn)稱為左側(cè)假設(shè)檢驗(yàn)，且P(T≤lbα1)≤α1。

(iii)右側(cè)假設(shè)檢驗(yàn)的拒絕域：如果零假設(shè)H0為真時(shí)，T的值不能太大，則拒絕域具有形式[ubα2,+∞)，其中α2≤α，相應(yīng)的檢驗(yàn)稱為右側(cè)假設(shè)檢驗(yàn)，且P(T≥ubα2)≤α2。

特別地，當(dāng)假設(shè)檢驗(yàn)為雙側(cè)、且檢驗(yàn)統(tǒng)計(jì)量T為連續(xù)型時(shí)，取α1=α2=α/2，否則當(dāng)檢驗(yàn)統(tǒng)計(jì)量T為離散型時(shí)，取α1≤α/2,α2≤α/2，且α1、α2盡可能接近α/2；當(dāng)假設(shè)檢驗(yàn)為左側(cè)、且檢驗(yàn)統(tǒng)計(jì)量T為連續(xù)型時(shí)，取α1=α，否則當(dāng)檢驗(yàn)統(tǒng)計(jì)量T為離散型時(shí)，取α1≤α，且α1盡可能接近α；當(dāng)假設(shè)檢驗(yàn)為右側(cè)、且檢驗(yàn)統(tǒng)計(jì)量T為連續(xù)型時(shí)，取α2=α，否則當(dāng)檢驗(yàn)統(tǒng)計(jì)量T為離散型時(shí)，取α2≤α，且α2盡可能接近α。

根據(jù)拒絕域的上述定義，小概率事件Aα可以表示為

Aα={T|T∈R(lbα1,ubα2)}。

1.3 假設(shè)檢驗(yàn)的決策規(guī)則

1.4 假設(shè)檢驗(yàn)中的兩類錯(cuò)誤與控制

在假設(shè)檢驗(yàn)中，勢(shì)必會(huì)犯兩類錯(cuò)誤：零假設(shè)H0為真卻被拒絕，其概率不大于給定的顯著性水平α；零假設(shè)H0為假而卻被接受，其概率記為β，計(jì)算公式為

通常一個(gè)好的假設(shè)檢驗(yàn)方法，犯第一類錯(cuò)的概率P(Aα)要較小，即小于預(yù)先給定的顯著性水平α，另外，犯第二類錯(cuò)誤的概率β也要較小。但是，簡(jiǎn)單的分析發(fā)現(xiàn)這兩者不能都小，關(guān)于如何計(jì)算和控制犯兩類錯(cuò)誤的概率有較多的文獻(xiàn)討論[8-11]。

1.5 問題的提出

檢驗(yàn)統(tǒng)計(jì)量T選好以后，關(guān)鍵的步驟是如何獲得小概率事件，即零假設(shè)H0為真時(shí)零假設(shè)的拒絕域所對(duì)應(yīng)的事件。文獻(xiàn)[2,3,5]都沒有給出拒絕域的系統(tǒng)化求解方法。為了求拒絕域，文獻(xiàn)都是將可能是復(fù)合假設(shè)的零假設(shè)變成簡(jiǎn)單假設(shè)來做，這破壞了利用小概率事件推理原理的邏輯基礎(chǔ)。再如馬世榮[12]給出零假設(shè)拒絕域的一種模式化求解方法，但也同樣破壞了零假設(shè)可能是復(fù)合假設(shè)的現(xiàn)實(shí)。姜淑美[13]利用Neyman K. Pearson定理推導(dǎo)出單個(gè)正態(tài)總體均值或方差的單側(cè)假設(shè)檢驗(yàn)中拒絕域的一種方法，但在求解過程中也將復(fù)合的零假設(shè)簡(jiǎn)化為簡(jiǎn)單假設(shè)處理，且方法過于復(fù)雜。馮予等[14]給出了二點(diǎn)總體中未知參數(shù)p的雙側(cè)假設(shè)檢驗(yàn)的基本方法和泊松總體參數(shù)λ的單側(cè)假設(shè)檢驗(yàn)，但仍將單側(cè)假設(shè)檢驗(yàn)中復(fù)合的零假設(shè)改為簡(jiǎn)單假設(shè)求解拒絕域。曹曉剛等[15]給出了單個(gè)正態(tài)總體均值的假設(shè)檢驗(yàn)拒絕域一種分析求解方法，但沒有給出一般、可推廣性的系統(tǒng)化方法。羅榮華等[16]從抽樣誤差極限的角度提出了假設(shè)檢驗(yàn)的一種新思維，僅考慮正態(tài)總體均值的三種假設(shè)檢驗(yàn)，用觀察法給出零假設(shè)為真時(shí)其拒絕域的形式，沒有給出系統(tǒng)化求解方法。

本文給出了一種基于最優(yōu)化方法求解零假設(shè)為真時(shí)其拒絕域和計(jì)算p-值的系統(tǒng)化求解方法。這種方法對(duì)零假設(shè)中的任意參數(shù)θ∈Θ0，使得事件Aα={T|T∈R(lbα1,ubα2)}總是小概率事件，且滿足:

P(Aα)=P(T∈R(lbα1,ubα2))≤α。

2 零假設(shè)為真時(shí)其拒絕域的一種系統(tǒng)化求解方法

通常，要將文字描述的零假設(shè)和備擇假設(shè)抽象成用總體參數(shù)表達(dá)的等式或不等式的形式，一般地，有三種形式的零假設(shè)和備擇假設(shè)

H0:θ=θ0,H1:θ≠θ0;H0:θ≤θ0,H1:θ>θ0;H0:θ≥θ0,H1:θ<θ0;

通常，雙側(cè)假設(shè)檢驗(yàn)的檢驗(yàn)統(tǒng)計(jì)量T的分布不依賴于任何未知參數(shù)，即T的分布類型和分布函數(shù)是確定的。假定檢驗(yàn)統(tǒng)計(jì)量T的數(shù)學(xué)期望ET和方差DT都存在。假定三種零假設(shè)為真時(shí)，檢驗(yàn)統(tǒng)計(jì)量T的數(shù)學(xué)期望依次滿足：ET=m0，ET≥m0，ET≤m0，這里m0為常數(shù)。然后，依此條件得到零假設(shè)為真時(shí)零假設(shè)的拒絕域的結(jié)構(gòu)類型。

知道了零假設(shè)為真時(shí)其拒絕域的結(jié)構(gòu)類型，那么給定顯著性水平α，以及左右側(cè)顯著性水平α1和α2，就可以給出拒絕域R(lbα1,ubα2)的一種系統(tǒng)化求解方法。

2.1 檢驗(yàn)統(tǒng)計(jì)量T是連續(xù)型時(shí)拒絕域的系統(tǒng)化求解

分別就雙側(cè)、左側(cè)和右側(cè)假設(shè)檢驗(yàn)討論零假設(shè)為真時(shí)其拒絕域的系統(tǒng)化求解方法。

2.1.1 雙側(cè)假設(shè)檢驗(yàn)

根據(jù)假定：雙側(cè)假設(shè)檢驗(yàn)零假設(shè)為真時(shí)，檢驗(yàn)統(tǒng)計(jì)量T的概率分布不依賴于任何未知參數(shù)，故?(θ,θ0)∈Θ0，T的分布是相同的。于是，有

P(T∈R(lbα1,ubα2))=α,

即P(T≤lbα1)=α1,P(T≥ubα2)=α2,

查檢驗(yàn)統(tǒng)計(jì)量T的概率分位數(shù)表或者設(shè)法計(jì)算，協(xié)調(diào)地找到臨界值lbα1和ubα2,且lbα1要盡可能地大，ubα2要盡可能地小。

2.1.2 左側(cè)假設(shè)檢驗(yàn)

選擇α1=α，按照下式求解零假設(shè)H0的拒絕域：

(1)

2.1.3 右側(cè)假設(shè)檢驗(yàn)

選擇α2=α，按照下式求解零假設(shè)H0的拒絕域：

(2)

2.2 檢驗(yàn)統(tǒng)計(jì)量T是離散型時(shí)拒絕域的系統(tǒng)化求解

分別就雙側(cè)、左側(cè)和右側(cè)假設(shè)檢驗(yàn)討論零假設(shè)H0為真時(shí)其拒絕域的系統(tǒng)化求解方法。

2.2.1 雙側(cè)假設(shè)檢驗(yàn)

根據(jù)假定：雙側(cè)假設(shè)檢驗(yàn)的檢驗(yàn)統(tǒng)計(jì)量T的分布不依賴于任何參數(shù)，故?(θ,θ0)∈Θ0，T的分布是相同的。于是，有

P(T≤lbα1)=α1,P(T≥ubα2)=α2,

查檢驗(yàn)統(tǒng)計(jì)量T的概率分位數(shù)表或者設(shè)法計(jì)算，協(xié)調(diào)地找到臨界值lbα1和α1，ubα2和α2，使得lbα1要盡可能地大，ubα2要盡可能地小。

2.2.2 左側(cè)假設(shè)檢驗(yàn)

選擇α1≤α，且α1盡可能接近α，按照下式求解零假設(shè)H0的拒絕域：

(3)

2.2.3 右側(cè)假設(shè)檢驗(yàn)

選擇α2≤α，且α2盡可能接近α，按照下式求解零假設(shè)H0的拒絕域：

(4)

2.3 系統(tǒng)化方法得到的零假設(shè)拒絕域的優(yōu)點(diǎn)

2.1—2.2節(jié)的系統(tǒng)化方法求解的拒絕域保證了零假設(shè)H0為真時(shí)所有參數(shù)(θ,θ0)∈Θ0對(duì)應(yīng)的事Aα={T|T∈R(lbα1,ubα2)}都是小概率事件。

事實(shí)上，無論檢驗(yàn)統(tǒng)計(jì)量是連續(xù)型還是離散型，都有：

(1)對(duì)雙側(cè)假設(shè)檢驗(yàn)，?(θ,θ0)∈Θ0，有

(5)

(2)對(duì)左側(cè)假設(shè)檢驗(yàn)，?(θ,θ0)∈Θ0，有

(6)

(3)對(duì)右側(cè)假設(shè)檢驗(yàn)，?(θ,θ0)∈Θ0，有

(7)

3 p-值的系統(tǒng)化求解方法及p-值檢驗(yàn)的完備性

上述計(jì)算p-值的系統(tǒng)化方法能夠保證p-值檢驗(yàn)的完備性，下面以定理給出并證明之。

定理上述計(jì)算p-值的系統(tǒng)化方法能夠保證p-值檢驗(yàn)的完備性，即根據(jù)p-值和給定的顯著性水平α的相對(duì)大小，可以在零假設(shè)H0和備擇假設(shè)H1之間做出抉擇，即如果p-值大于α，則接受零假設(shè)H0；如果p-值小于或等于α，則拒絕零假設(shè)H0而接受備擇假設(shè)H1。

證明下面就雙側(cè)、左側(cè)和右側(cè)假設(shè)檢驗(yàn)分別證明。

(I)雙側(cè)假設(shè)檢驗(yàn)。再分兩種情況討論。

(i)如果P(T≥tobs)=min{P(T≥tobs),P(T≤tobs)},則p=2P(T≥tobs)。

如果p≤α，我們要證明tobs∈R(lbα1,ubα2)。不然，設(shè)lbα1

(8)

(ii)如果P(T≤tobs)=min{P(T≥tobs),P(T≤tobs)}，則p=2P(T≤tobs)。

如果p≤α，我們要證明tobs∈R(lbα1,ubα2)。不然，設(shè)lbα1

(9)

(II)左側(cè)假設(shè)檢驗(yàn)。如果

且零假設(shè)為真時(shí)其拒絕域?yàn)镽(lbα1,ubα2)=(-∞,lbα1]。那么，根據(jù)小概率事件推理原理以及p-值與給定的顯著性水平α之間的相對(duì)大小，在零假設(shè)H0和備擇假設(shè)H1之間做出統(tǒng)計(jì)推斷。

事實(shí)上，如果p>α，即

故tobs>lbα1，即檢驗(yàn)統(tǒng)計(jì)量T的觀察值tobs落入了零假設(shè)H0為真時(shí)的接受域，故接受零假設(shè)H0而拒絕備擇假設(shè)H1。

如果p≤α，則如果tobs>lbα1，則

(III)右側(cè)假設(shè)檢驗(yàn)。如果

且零假設(shè)為真時(shí)其拒絕域?yàn)閇ubα2,+∞)。那么，根據(jù)小概率事件推理原理以及p-值與給定的顯著性水平α之間的相對(duì)大小，在零假設(shè)H0和備擇假設(shè)H1之間做出統(tǒng)計(jì)推斷。

事實(shí)上，如果p>α，則

故tobs

如果p≤α，則如果tobs

證畢。

定理表明：按照本文所提出的計(jì)算p-值的系統(tǒng)化方法保證了p-值決策的完備性。p-值決策的完備性蘊(yùn)含著一種假設(shè)檢驗(yàn)方法，即給定顯著性水平α，依據(jù)p-值與顯著性水平α的相對(duì)大小對(duì)零假設(shè)和備擇假設(shè)做出統(tǒng)計(jì)推斷。

限于篇幅，關(guān)于拒絕域和p-值的系統(tǒng)化求解方法的應(yīng)用將另文介紹。

4 小 結(jié)

本文詳細(xì)介紹了假設(shè)檢驗(yàn)的基本理論與方法，將求解零假設(shè)拒絕域的問題轉(zhuǎn)化為一個(gè)最優(yōu)化問題，提出了一種求解零假設(shè)拒絕域和計(jì)算p-值的系統(tǒng)化方法，該方法能夠保證所得到的拒絕域?qū)α慵僭O(shè)為真時(shí)的所有參數(shù)對(duì)應(yīng)的事件都是小概率事件；另外，證明了p-值的系統(tǒng)化計(jì)算方法保證了p-值檢驗(yàn)的完備性。