跳出傳統(tǒng)假設(shè)檢驗方法的陷阱*
——貝葉斯因子在心理學研究領(lǐng)域的應用

*

(1.浙江大學心理與行為科學系，杭州，310028；2.Department of Psychology,LMU Munich,Munich,80802,Germany)

1 引 言

在心理學以及眾多社會科學的發(fā)展史上，假設(shè)檢驗作為一種簡單易用的推論統(tǒng)計工具，長期為研究者們所青睞。幾乎在每一篇心理學論文中，我們都能看到p值(往往是小于0.05，F(xiàn)isher,1926)的存在。然而，由于假設(shè)檢驗方法本身存在一定的局限性，實際研究中經(jīng)常會發(fā)生對p值意義的錯誤解讀和假設(shè)檢驗方法的濫用，甚至有的研究者還會在研究中進行p值操縱(p-hacking)——即通過增減被試、變量或嘗試不同的數(shù)據(jù)分析方法將p值控制在理想的范圍。這會導致發(fā)表的論文中出現(xiàn)假陽性的結(jié)果，進而誤導后續(xù)研究。近年來，很多科研工作者和科技論文期刊的編輯逐漸意識到假設(shè)檢驗的誤用和濫用所帶來的問題，并呼吁停止使用假設(shè)檢驗，更換其他統(tǒng)計方法。例如，美國的著名社會心理學期刊《基礎(chǔ)與應用社會心理學》(BasicandAppliedSocialPsychology)在2015年稱，虛無假設(shè)顯著性檢驗(null hypothesis significance testing procedure,NHSTP)是無效的，并宣布禁止研究者在投稿中加入假設(shè)檢驗，包括p值、t值、F值等(Trafimow,2015)。無獨有偶，2018年初美國政治學的頂級學術(shù)期刊——《政治分析》(PoliticalAnalysis)在社交網(wǎng)絡(luò)的官方賬號宣布，從2018年的第26期開始禁用p值(詳見該期刊2018年第26期第1卷Comments from the New Editor)。根據(jù)該刊的聲明，禁用p值主要原因是：“p值本身無法提供支持相關(guān)模式或假說之證據(jù)?！碑斎?，該觀點還有待商榷，但假設(shè)檢驗這一推論統(tǒng)計方法本身存在的問題卻不容小覷。筆者將試圖從假設(shè)檢驗的基本原理出發(fā)，為讀者揭示心理學界目前面對的統(tǒng)計困境。

2 傳統(tǒng)假設(shè)檢驗的問題

2.1 傳統(tǒng)假設(shè)檢驗的基本原理

頻率學派的假設(shè)檢驗主要是基于概率性質(zhì)的反證法所實現(xiàn)的推論統(tǒng)計方法，即承認如下前提：小概率事件(發(fā)生概率小于0.05的事件)在單次抽樣中不會發(fā)生。研究者先根據(jù)研究需要對總體做互斥的兩種假設(shè)，即虛無假設(shè)H0和備擇假設(shè)H1，選取合適的統(tǒng)計量，在假定虛無假設(shè)為真的情況下計算統(tǒng)計量及其對應的概率p。若p值小于預先確定的顯著性水平α(一般將顯著性水平α設(shè)定為0.05)，則說明觀察到了小概率事件。由于小概率事件在單次試驗中不會發(fā)生，因此認為虛無假設(shè)不成立，從而拒絕虛無假設(shè)，接受備擇假設(shè)；若p值大于顯著性水平α，則接受H0。

2.2 對傳統(tǒng)假設(shè)檢驗的批評

盡管假設(shè)檢驗在心理學以及其他科研領(lǐng)域應用多年，但其存在的問題也在一定程度上制約了學術(shù)研究的發(fā)展，目前學界針對假設(shè)檢驗的批評主要包括以下三方面(Rouder,Speckman,Sun,Morey,& Iverson,2009;Wagenmakers et al.,2018a)：

2.2.1 假設(shè)檢驗的結(jié)果不直觀

假設(shè)檢驗所得到的p值表示的是當虛無假設(shè)H0為真時，在多次重復試驗中觀測到與當前樣本數(shù)據(jù)D一致或更極端數(shù)據(jù)的概率。簡言之，p值是關(guān)于數(shù)據(jù)D在假設(shè)H0下的條件概率，即P(D|H0)，并非在觀察到當前樣本數(shù)據(jù)的前提下理論假設(shè)H0成立的后驗概率P(H0|D)。在概率論上，P(D|H0)并不等同于P(H0|D)，而后驗概率P(H0|D)才是判斷虛無假設(shè)H0概率大小的依據(jù)。然而，在實際研究中研究者們通常會以P(D|H0)的大小來決定是否拒絕一個理論假設(shè)，這在邏輯上顯然存在問題，也容易導致人們對p值意義的誤解。

2.2.2 假設(shè)檢驗無法為虛無假設(shè)的成立提供證據(jù)

通過假設(shè)檢驗的基本原理可知，當p值大于顯著性水平α時，由于不滿足小概率反證法的條件，這一結(jié)果不能直接作為支持虛無假設(shè)H0成立的證據(jù)。虛無假設(shè)一般是假設(shè)研究的不同條件之間不存在差異，而備擇假設(shè)一般是假設(shè)不同條件之間存在差異。由于大部分心理學研究都試圖獲得“顯著效應”，因此研究者大多期待備擇假設(shè)成立，即不同條件之間存在差異。然而，在心理學研究中并非只有差異性才具有學術(shù)價值和社會意義，比如證明不同群體(按不同性別、年齡、種族等變量分組)之間在認知功能上不存在差異有助于加深對其一般機制的理解，也可能有利于消除社會大眾對特定群體的歧視。對于這類研究，傳統(tǒng)的假設(shè)檢驗方法似乎無能為力。

2.2.3p值對樣本容量的變化較敏感

眾所周知，統(tǒng)計量(t、F等)會隨著樣本容量的增多變大，相應的p值也隨樣本容量的增多變小。即使在虛無假設(shè)為真的情況下，研究者仍可通過“p值操縱”推出p值小于0.05的假陽性結(jié)論：通過刻意擴大樣本容量，并實時關(guān)注整體的p值變化，一旦到了顯著性水平就停止增加被試量。這樣的推論結(jié)果顯然是毫無學術(shù)價值的。

假設(shè)檢驗的上述局限導致了研究者只能關(guān)注體現(xiàn)差異性的理論問題，而對涉及不變性或恒常性的理論問題束手無策，同時也給某些學術(shù)不當行為提供了野蠻生長的土壤?？偠灾睦韺W界迫切需要一種概念簡單直觀、能夠為虛無假設(shè)提供支持且不受樣本容量過多影響的統(tǒng)計方法，而貝葉斯因子(Bayes factor,BF)分析似乎是目前的一個合適選擇。

3 貝葉斯因子

3.1 貝葉斯因子的意義

頻率學派將隨機事件發(fā)生的頻率作為一種客觀指標，而貝葉斯學派則從觀察者的視角出發(fā)將概率理解為一種主觀不確定性。在貝葉斯統(tǒng)計中，能夠通過觀察到的數(shù)據(jù)輸出特定條件下對應的假設(shè)概率，這種量化后的數(shù)據(jù)結(jié)果可定義為后驗概率，即P(H|D)。一種較合適的比較假設(shè)的方法即比較后驗概率比，如以虛無假設(shè)H0和備擇假設(shè)H1為例：

①

這里的后驗概率比具有直接的意義：如果比值為20，那么在當前數(shù)據(jù)與已有先驗預期下，備擇假設(shè)成立的可能性是虛無假設(shè)的20倍。

另根據(jù)貝葉斯公式：

②

將包含H0和H1的②式各自代入①式中，消去P(D)可得：

③

④

貝葉斯因子BF10表示H1和H0對比的貝葉斯因子，反之，BF01即為H0和H1對比的貝葉斯因子。

由上也可看出，貝葉斯因子不等同于后驗概率，二者有不同的作用和含義。后驗概率是根據(jù)已知數(shù)據(jù)來決定我們對某個事實的信念(belief)，并做出結(jié)論；貝葉斯因子則描述數(shù)據(jù)本身傳遞了多少證據(jù)(Etz & Vandekerckhove,2018)。

3.2 貝葉斯因子的優(yōu)勢

貝葉斯因子的概念最早提出于在20世紀60年代中期(Jeffreys,1961)。由于當時計算機運行速度有限，貝葉斯因子難以計算。近年來，計算機科學的飛速進步，使得貝葉斯因子的廣泛應用成為可能。我們將貝葉斯因子的主要優(yōu)勢概括如下：

3.2.1 概念清晰，容易理解

根據(jù)上文給出的定義，若貝葉斯因子BF10=10，則說明在當前數(shù)據(jù)之下，備擇假設(shè)成立的可能性是虛無假設(shè)的10倍；而BF10=0.1，即BF01=10，則表明在當前數(shù)據(jù)之下，虛無假設(shè)成立的可能性是備擇假設(shè)的10倍。作為評估某理論成立可能性的指標，貝葉斯因子比p值更加直接和易于理解。

3.2.2 貝葉斯因子可以為虛無假設(shè)的成立提供證據(jù)

假設(shè)檢驗是先設(shè)定虛無假設(shè)，再以反證法檢驗備擇假設(shè)，但難以證明虛無假設(shè)成立。貝葉斯因子分析對虛無假設(shè)和備擇假設(shè)一視同仁，只是考察兩者成立的可能性的高低，因此同樣可以為虛無假設(shè)提供支持證據(jù)。后者適用于探究心理學領(lǐng)域的不變性、恒常性等問題。此外，由于貝葉斯因子作為虛無假設(shè)與備擇假設(shè)兩者成立概率的比值只是一種特例，因此它還適用于比較不同模型(或假設(shè))對實驗數(shù)據(jù)的解釋程度。

3.2.3 對于大樣本容量下的實驗效應，貝葉斯因子比p值更加嚴格

圖1是貝葉斯因子分析與虛無假設(shè)檢驗的臨界t值隨樣本容量變化的曲線圖。由圖1可見，p值等于0.05對應的臨界t

圖1 貝葉斯因子分析與虛無假設(shè)檢驗的臨界t值隨樣本容量變化曲線圖

圖中實線表示貝葉斯因子在備擇假設(shè)成立可能性是虛無假設(shè)3倍的情況下對應的t值，虛線表示p值等于0.05的情況下對應的t值。

值小于貝葉斯因子等于3對應的臨界t值，而且p值所對應的臨界t值隨著樣本容量的提高而不斷減小，而貝葉斯因子在達到一定的樣本容量之后其臨界t值反而隨樣本容量的提高而緩慢變大。因此，在某些情況下p值和貝葉斯因子對于同樣的數(shù)據(jù)有可能得出完全不同的結(jié)論；貝葉斯因子分析方法也在一定程度上能夠避免研究者不停收數(shù)據(jù)直到p值顯著才停止的錯誤做法。

3.2.4 貝葉斯因子可以結(jié)合理論假設(shè)的先驗概率與樣本數(shù)據(jù)進行統(tǒng)計推斷。

傳統(tǒng)的假設(shè)檢驗并不考慮理論成立的先驗概率，僅關(guān)注理論假設(shè)是否符合研究者當前收集到的數(shù)據(jù)。在貝葉斯因子分析中，我們可以結(jié)合前人的研究，整合先驗信息與當前數(shù)據(jù)，并計算理論假設(shè)成立條件下的后驗概率之比，從而判斷當前證據(jù)的強度是否足夠推翻(或支持)前人的理論。對于前人研究很少的效應，通常將虛無假設(shè)和備擇假設(shè)的先驗概率之比設(shè)置為1∶1；對于有充分證據(jù)支持的理論或者過于違背常識的假設(shè)，先驗概率之比可以設(shè)置得相對懸殊些。例如，Bem在其2011年的一項研究中通過假設(shè)檢驗的統(tǒng)計方法發(fā)現(xiàn)，被試能夠以顯著高于隨機水平的概率預知特定隨機事件的發(fā)生，并進而討論超感官知覺(extra sensory perception,ESP)存在的可能性(Bem,2011)。Rouder及同事用貝葉斯因子重新分析了Bem的數(shù)據(jù)，計算得出其貝葉斯因子BF10大約為40，即該效應存在的可能性是效應不存在可能性的40倍(Rouder & Morey,2011)。雖然其貝葉斯因子較高，但是由于超感官知覺本質(zhì)上違背了因果律，也從未得到任何科學研究的支持，其先驗概率顯然應該遠低于1/40，因此Bem的證據(jù)還不足以支持他的結(jié)論(Morey & Rouder,2011)。

3.3 評估貝葉斯因子大小的標準

貝葉斯因子分析能夠幫助研究者根據(jù)現(xiàn)有證據(jù)評估不同假設(shè)成立的可能性之比，并且在評估證據(jù)強度上也有一套獨立的標準(見表1)。

表1 貝葉斯因子BF10的不同數(shù)值對應的證據(jù)強度分類(調(diào)整自Jeffreys,1961;Wetzels & Wagenmakers,2012)

4 貝葉斯因子的計算

Jeffrey與Morey等在t檢驗的基礎(chǔ)上，發(fā)展了針對多因素方差分析、多元回歸分析的貝葉斯因子計算方法(如Rouder,Morey,Speckman,& Province,2012)。盡管貝葉斯因子在計算上相對復雜，但目前已經(jīng)有多款軟件支持貝葉斯因子的計算，如R語言中開發(fā)的BayesFactor軟件包[注]BayesFactor軟件包簡介與獲取詳見http://cran.r-project.org/web/packages/BayesFactor/index.html、可視化統(tǒng)計軟件JASP*

*JASP軟件包簡介與獲取詳見https://jasp-stats.org/等。這些軟件滿足了大部分心理學研究的統(tǒng)計需求。有關(guān)如何計算t檢驗、多因素方差分析的貝葉斯因子，以及如何應用貝葉斯因子進行統(tǒng)計推斷，本部分將結(jié)合上述兩款軟件包進行簡介。為使讀者能精準理解相關(guān)操作，筆者在附錄1、附錄2中分別提供了兩款軟件包的具體操作示例(在《應用心理學》雜志在線下載)。

4.1 BayesFactor工具包的特點與注意事項

BayesFactor工具包由Richard D.Morey等人共同開發(fā)，是一款仍在實時更新的R語言工具包。它可用于計算各種簡單實驗設(shè)計下的貝葉斯因子，具體適用設(shè)計類型包括列聯(lián)表、單樣本或雙樣本t檢驗設(shè)計、單因素或多因素方差分析和線性回歸模型。各常用設(shè)計的貝葉斯因子計算原理與過程已均有文章詳細介紹，如t檢驗(Rouder et al.,2009；Morey & Rouder,2011),線性回歸(Rouder & Morey,2012),方差分析(Rouder et al.,2012；Rouder,Engelhardt,McCabe,& Morey,2016；Rouder,Morey,Verhagen,Swagman,& Wagenmakers,2016；Wetzels,Grasman,& Wagenmakers,2012)等，本文不作贅述。筆者僅針對較為常用的模型與計算語句(如ttestBF，anovaBF等)提供輸入、輸出的操作示例(見附錄1)[注]更為詳細的從安裝、載入工具包開始介紹的英文原版BayesFactor使用簡可見https://cran.r-project.org/web/packages/BayesFactor/vignettes/manua.html。結(jié)合這些操作示例，筆者對BayesFactor工具包的特點與使用注意事項做如下概括：

(1)BayesFactor工具包通過調(diào)用特定函數(shù)語句，在原有R語言統(tǒng)計函數(shù)幫助下(可實現(xiàn)載入數(shù)據(jù)、初步分析數(shù)據(jù)內(nèi)容、準確進行傳統(tǒng)統(tǒng)計檢驗),進一步調(diào)節(jié)選用模型與參數(shù)，從而實現(xiàn)貝葉斯因子的計算與輸出。盡管該工具包在使用時包含了明確的指令輸入，但是它又同時包含了不透明、不易懂的默認參數(shù)設(shè)定，故會對初學者造成一定的使用困難。

(2)工具包受限于具體的輸入方式與極為局限的交互界面。如用于計算的輸入函數(shù)往往包含若干個默認的參數(shù)，而初學者可能會錯過、忽視若干可選設(shè)置或必選設(shè)置。故筆者建議研究者在使用初期結(jié)合BayesFactor工具包內(nèi)的函數(shù)說明手冊，詳細了解待使用功能的適用條件與待輸入?yún)?shù)類型，避免未修改默認參數(shù)而導致輸出并不適配當前分析條件的貝葉斯因子。

(3)特定實驗設(shè)計下導入的原始數(shù)據(jù)格式，與傳統(tǒng)統(tǒng)計檢驗用的數(shù)據(jù)格式有較大的差別。以重復測量方差分析為例，在以往的SPSS檢驗中，每一列均可為一種特定而具體的實驗條件，每一行為一次觀測或若干次觀測后平均的測量結(jié)果，并適當添加特殊列作為被試間分組變量。而在BayesFactor的數(shù)據(jù)導入中，默認的數(shù)據(jù)格式為每一列為特定的指標類型(如自變量和因變量)，每一行則為相應的自變量與因變量具體水平，其中自變量的命名需要為字符串格式以區(qū)分條件間異同，如包含被試間條件，則需要單獨一列以字符串格式保留的被試編號，才能有效區(qū)分與識別是否為同一名被試在不同觀測條件下的測量結(jié)果。在輸入每一條包含特定標題行變量的函數(shù)語句時，需要確保每一個變量名都與待分析數(shù)據(jù)的抬頭名嚴格一致才能有效運行特定函數(shù)語句。

(4)區(qū)別于傳統(tǒng)統(tǒng)計檢驗(如方差分析)，給定實驗條件與數(shù)據(jù)結(jié)果的貝葉斯因子并不是一個穩(wěn)定值，而是一個區(qū)間，且每一次計算得到的結(jié)果區(qū)間間存在一定的波動。這與貝葉斯因子計算過程中的蒙特卡洛模擬過程相關(guān)。為避免誤差較大時，挑選特定的貝葉斯因子結(jié)果進行選擇性報告，Morey建議在報告時提供當次的誤差范圍[注]Morey,R.D.對此給出的回復http://forum.cogsci.nl/index.php?p=/discussion/3259/how-to-report-the-results-of-anovabf，或結(jié)合JASP軟件等同時報告順序檢驗(sequential analysis)等可支持貝葉斯因子穩(wěn)定性的結(jié)果。

4.2 JASP軟件的特點

JASP是一個免費開源、具有圖形操作界面的統(tǒng)計分析軟件。相比于BayesFactor工具包而言，這是一個功能更全面、操作更友好、對熟悉使用SPSS軟件的研究人員更易上手的軟件。其底層基于BayesFactor工具包。除傳統(tǒng)的統(tǒng)計檢驗功能外，它還能實現(xiàn)諸如探索性因素分析、主成分分析、結(jié)構(gòu)方程模型等功能。本文則注重于其現(xiàn)階段能實現(xiàn)的貝葉斯因子計算功能，例如t檢驗(獨立、配對、單樣本)、相關(guān)分析(皮爾遜、斯皮爾曼和肯德爾相關(guān))、一致性檢驗、方差分析(單因素，協(xié)方差，重復測量)、線性回歸(也包括對數(shù)線性回歸)、列量表、二項分布和元分析。在附錄2中將分別提供使用JASP軟件進行獨立樣本t檢驗和重復測量方差分析的貝葉斯因子計算操作過程。結(jié)合這兩個操作示例，筆者對JASP軟件計算貝葉斯因子的特點與使用注意事項做如下概括：

(1)JASP軟件整體界面設(shè)計較為簡潔明快，導入數(shù)據(jù)后使用者根據(jù)待分析數(shù)據(jù)結(jié)構(gòu)進行相應的功能選擇，相關(guān)的功能與布局較符合多數(shù)研究者的已有習慣。在計算貝葉斯因子的同時，也可進行傳統(tǒng)的統(tǒng)計檢驗，輸出結(jié)果是可直接使用的三線表。

(2)JASP的結(jié)果呈現(xiàn)全面、規(guī)范，研究者可根據(jù)需要選擇所需的分析內(nèi)容，甚至可直接將相關(guān)的分析圖表用于科研論文中。

(3)JASP的分析功能亦具有一定的不透明性。如若缺乏對JASP中各個功能標簽的深入理解，使用者易錯過當前使用界面未提供但更合適的分析方式。因此，在不確定每一個標簽或參數(shù)是否選擇了最合適的選項時，筆者建議結(jié)合不同分析軟件比較細微的功能定位差異以增進理解，或通過相關(guān)論壇網(wǎng)站進行具體條目的交流與討論。*

*較有代表性的JASP & BayesFactor討論論壇地址：http://forum.cogsci.nl/index.php?p=/categories/jasp-bayesfactor

5 貝葉斯因子應用于心理學研究的注意事項

盡管貝葉斯因子相比傳統(tǒng)假設(shè)檢驗有著多方面的優(yōu)勢和便利，但貝葉斯因子并不是“萬金油”，也和假設(shè)檢驗一樣存在著難以在統(tǒng)計學框架下解決的問題。在將其應用于心理學研究之前，我們還需要了解以下幾點注意事項：

5.1 貝葉斯因子的數(shù)值是相對的，而不是絕對的

這一點在多元回歸分析等統(tǒng)計建模中尤其值得關(guān)注。比如BF12=100表示的是模型1成立的概率是模型2成立概率的100倍，但這并不能保證模型1就能很好地擬合數(shù)據(jù)，有可能兩個模型對數(shù)據(jù)的擬合效果都很差，只是模型2比模型1更差而已。

5.2 貝葉斯因子比p值更加嚴格，但仍然可能被操縱

盲目擴大樣本容量、選擇性報告、隨意剔除極端值都會影響貝葉斯因子的大小，從而導致與p值操縱類似的所謂的“B值操縱”。

5.3 貝葉斯因子無法根本性解決“發(fā)表偏倚”(publication bias)的問題

“發(fā)表偏倚”是指在同類研究中，達到統(tǒng)計顯著性(如p<0.05)的研究結(jié)果更容易被學術(shù)期刊發(fā)表的現(xiàn)象，這很容易對其他研究者產(chǎn)生誤導。上文提到過貝葉斯因子的評估標準，建立這一標準的主要目的是為了客觀地評估證據(jù)的強度，但如果這套標準(比如BF>3)和p<0.05同樣被奉為決定一篇文章能否發(fā)表的金科玉律，那么摒棄p值而采用貝葉斯因子只不過是“換湯不換藥”而已。所以在如何合理運用貝葉斯因子的評估標準，以及如何在使用貝葉斯因子的過程中避免發(fā)表偏倚這些問題上，還需要學界從統(tǒng)計學和心理學之外的角度進行討論和改善。

6 小 結(jié)

貝葉斯因子較傳統(tǒng)統(tǒng)計方法有很多優(yōu)勢，其中最突出的優(yōu)勢是對虛無假設(shè)和備擇假設(shè)一視同仁。這一方面能夠幫助研究者解決為虛無假設(shè)提供證據(jù)的問題，另一方面還能幫助研究者拓寬思路，使更多心理學熱點問題得到嚴謹?shù)幕卮?。此外，支持貝葉斯因子計算的統(tǒng)計軟件正在逐漸增多，貝葉斯因子分析本身也在不斷發(fā)展進步，這些都為貝葉斯因子分析在心理學研究領(lǐng)域的廣泛應用提供了條件。