基于心理學(xué)研究中元分析方法的系統(tǒng)評(píng)價(jià)

陳 維,黃 梅,張進(jìn)輔

(1.貴州師范大學(xué) 心理學(xué)院,貴州 貴陽 550001;2.西南大學(xué) 心理學(xué)部,重慶 北碚 400715)

0 引言

系統(tǒng)評(píng)價(jià)，也稱系統(tǒng)綜述，它主要針對(duì)某一具體研究問題，全面地收集已發(fā)表或未發(fā)表的研究結(jié)果，運(yùn)用減少偏倚的策略，逐個(gè)進(jìn)行嚴(yán)格評(píng)價(jià)和分析，并通過比較篩選標(biāo)準(zhǔn)，選擇出符合要求的文獻(xiàn)資料，在此基礎(chǔ)上進(jìn)行定性或定量的綜合分析，得出一個(gè)可靠有效的研究結(jié)果。一般地，若系統(tǒng)評(píng)價(jià)采用了以效應(yīng)量(ES)為基礎(chǔ)，綜合研究結(jié)果為目進(jìn)行統(tǒng)計(jì)推斷時(shí)，即元分析，可稱為定量型系統(tǒng)評(píng)價(jià)；而未使用元分析的系統(tǒng)評(píng)價(jià)，則稱為定性的系統(tǒng)評(píng)價(jià)。系統(tǒng)評(píng)價(jià)與元分析一樣，含有以下幾個(gè)步驟：確定研究問題；制定檢索策略；系統(tǒng)編碼；數(shù)據(jù)整理及分析；撰寫報(bào)告[1-5]。值得注意的是，其搜索策略與元分析、內(nèi)容分析以及文獻(xiàn)計(jì)量有相似的地方，但又不盡相同。

近年來，元分析雖作為一種重要的研究方法被廣泛應(yīng)用于心理學(xué)研究，但其在研究設(shè)計(jì)、數(shù)據(jù)分析和研究報(bào)告等方面還存有較大差異現(xiàn)象，勢必會(huì)讓學(xué)者們對(duì)該方法產(chǎn)生質(zhì)疑。鑒于此，筆者通過運(yùn)用系統(tǒng)評(píng)價(jià)這一方法，統(tǒng)計(jì)、分析1990年至2012年期間心理學(xué)學(xué)科領(lǐng)域中有關(guān)元分析的文獻(xiàn)資料，以期為相關(guān)研究提供借鑒。

1 研究方法

1.1 檢索策略

檢索時(shí)間 1990年1月1日—2012年12月31日。

檢索數(shù)據(jù)庫 以CNKI、萬方和維普為目標(biāo)數(shù)據(jù)庫，同時(shí)，定位于心理學(xué)領(lǐng)域(屬于哲學(xué)領(lǐng)域，而關(guān)于心理學(xué)研究人員發(fā)表于其它刊物，但不屬于心理學(xué)學(xué)科刊物的文章不予以分析；其它有心理命名的期刊，但不屬于哲學(xué)領(lǐng)域的心理學(xué)學(xué)科期刊不予以分析)。

檢索詞 “元分析”、“再分析”、“薈萃分析”、“匯總分析”、“整合分析”、“二次分析”、“集成分析”和“meta analysis”的文獻(xiàn)。

文獻(xiàn)納入和排除標(biāo)準(zhǔn) 納入所有已發(fā)表期刊、會(huì)議論文和碩博學(xué)位論文；應(yīng)用Endnote X7管理，排除重復(fù)資料。

1.2 資料提取和信息編碼

表1 納入資料基本情況Tab.1 The basic status of collecting data

期刊基本資料 通過逐篇全文閱讀資料，提取有關(guān)文獻(xiàn)的題名、發(fā)表時(shí)間、發(fā)表期刊或碩博論文以及研究類型(分為基礎(chǔ)理論和實(shí)際應(yīng)用)等信息。

元分析方法 依據(jù)元分析方法中涉及的內(nèi)容，主要針對(duì)ES類型、異質(zhì)性檢驗(yàn)、統(tǒng)計(jì)分析模型(固定效應(yīng)分析模型，F(xiàn)EM；隨機(jī)效應(yīng)分析模型，REM)、調(diào)節(jié)分析(MA)和發(fā)表偏倚(PB)等方面定性分類編碼(見表1)。

1.3 數(shù)據(jù)處理

所有數(shù)據(jù)采用IBM SPSS 21.0軟件進(jìn)行統(tǒng)計(jì)、分析，主要涉及描述統(tǒng)計(jì)及條形圖。

2 結(jié)果與分析

2.1 文獻(xiàn)納入結(jié)果

按以上檢索策略，排除重復(fù)的文獻(xiàn)資料，共計(jì)73篇相關(guān)資料全納入系統(tǒng)評(píng)價(jià)。其中發(fā)表期刊37篇(50.68%)，社會(huì)心理科學(xué)2篇，心理學(xué)探新2篇，心理學(xué)報(bào)6篇，心理科學(xué)進(jìn)展9篇，應(yīng)用心理學(xué)1篇，心理科學(xué)11篇，心理研究1篇，心理發(fā)展與教育2篇，其它心理期刊3篇；碩博學(xué)位論文12(16.44%)篇，會(huì)議論文24(32.88%)篇，由于會(huì)議論文無法獲取全文文獻(xiàn)，只參與研究類型的統(tǒng)計(jì)分析。

2.2 整體描述

由圖1可見，關(guān)于元分析的研究呈逐年上升趨勢，尤其是近幾年在實(shí)際應(yīng)用方面的研究較多，但基礎(chǔ)理論研究較少(僅13篇)，與實(shí)際應(yīng)用研究不相匹配，若排除介紹型綜述和因子分析方面的研究，涉及元分析方法的基礎(chǔ)理論研究相對(duì)更少。

圖1 1990—2012年有關(guān)元分析研究的發(fā)展趨勢Fig.1 The development trend of meta-analysis from 1990 to 2012

2.3 基礎(chǔ)理論

由表2可知：有關(guān)ES的研究，僅4篇綜述型研究提及(d族和r族)，其它9篇文獻(xiàn)主要是傳統(tǒng)綜述文章，針對(duì)元分析方法步驟的介紹，如搜集文獻(xiàn)，系統(tǒng)編碼，數(shù)據(jù)分析及撰寫報(bào)告；關(guān)于數(shù)據(jù)分析的細(xì)節(jié)方面，如異質(zhì)性檢驗(yàn)、合并模型、調(diào)節(jié)分析和發(fā)表偏倚等方面，幾乎沒有基礎(chǔ)理論研究關(guān)注。

表2 基礎(chǔ)理論研究基本情況Tab.2 The basic status of basic research

2.4 實(shí)際應(yīng)用

由表3可知：在ES上，主要集中于d族和r族，少數(shù)研究選擇腦區(qū)坐標(biāo)和P值，但也有“元分析”研究沒有涉及ES，是否真正屬于元分析，值得探討；在異質(zhì)性檢驗(yàn)上，其研究數(shù)量各占約一半，但僅1篇研究涉及到I2值，其解釋可能有誤；在合并模型上，主要選用REM，其中有一半研究不清楚選用的分析模型，也有可能直接忽略異質(zhì)性，選用REM進(jìn)行分析；在調(diào)節(jié)分析方面，86%的研究均涉及到，但沒有一篇研究將其與調(diào)節(jié)效應(yīng)分析區(qū)分開；在發(fā)表偏倚方面，僅39%的研究有所涉及，主要采用漏斗圖方法，而61%的研究沒有進(jìn)行檢驗(yàn)，其研究結(jié)論的推廣性可能有所夸大。

表3 實(shí)際應(yīng)用研究基本情況Tab.3 The basic status of applied research

3 討論

3.1 整體描述

總的來說，元分析基礎(chǔ)理論研究相對(duì)滯后，以致于元分析實(shí)際應(yīng)用研究質(zhì)量呈現(xiàn)良莠不齊的現(xiàn)象。筆者曾以超星、當(dāng)當(dāng)、亞馬遜和Google圖書4個(gè)數(shù)據(jù)庫為書庫來源，以“元分析”和“meta-analysis”為檢索詞，發(fā)現(xiàn)國外有關(guān)元分析方法的專業(yè)書籍就達(dá)數(shù)本。而國內(nèi)心理學(xué)學(xué)科中，目前尚無專門介紹元分析方法的書籍，只有7本心理學(xué)研究方法書籍中的章節(jié)對(duì)元分析略有介紹，而對(duì)元分析方法中的異質(zhì)性檢驗(yàn)、合并模型、調(diào)節(jié)分析及發(fā)表偏倚均沒做詳細(xì)介紹。可見，有關(guān)元分析方法的基礎(chǔ)理論研究有待進(jìn)一步加強(qiáng)。

3.2 關(guān)于元分析

研究發(fā)現(xiàn)，一些非元分析研究也命名為元分析，尚有必要再次審視元分析的本質(zhì)。依據(jù)Glass等[1,3,6-9]關(guān)于元分析的理解，將元分析定義為將相同問題的各研究結(jié)果轉(zhuǎn)化為同一可比較的尺度(ES)上，進(jìn)行定量的統(tǒng)計(jì)分析，應(yīng)包括確定問題，檢索策略，文獻(xiàn)篩選，系統(tǒng)編碼，數(shù)據(jù)分析及撰寫報(bào)告等步驟。可見，有研究雖含有元分析的所有步驟，但并沒有將結(jié)果轉(zhuǎn)化為ES進(jìn)行統(tǒng)計(jì)推斷，因此該研究不能稱之為元分析，只能稱為定性的系統(tǒng)評(píng)價(jià)，這也是元分析與系統(tǒng)評(píng)價(jià)的最根本區(qū)別。因此，本研究所檢索到的一些文獻(xiàn)資料可能不是元分析。

3.3 關(guān)于效應(yīng)量

縱觀元分析的應(yīng)用研究，ES的概念和種類不再局限于Cohen的研究范疇，如腦區(qū)坐標(biāo)。所以，元分析中的ES不再僅僅是一個(gè)與統(tǒng)計(jì)功效有關(guān)的統(tǒng)計(jì)量，只要是可比較的同一尺度均可稱為效應(yīng)量，即是一個(gè)直接描述研究問題的效應(yīng)大小指標(biāo)，其內(nèi)涵可從以下2點(diǎn)理解：效應(yīng)常指研究所關(guān)注的問題，即從哪個(gè)方面去描述效應(yīng)；量可理解為測量和大小，測量即依據(jù)效應(yīng)實(shí)施地可操作手段，而大小則為最后求得的數(shù)值[10-12]。

3.4 關(guān)于發(fā)表偏倚

在實(shí)際研究中，多以漏斗圖和失安全數(shù)(Nfs)來檢驗(yàn)發(fā)表偏倚，但嚴(yán)格地說，這2種方法并不是統(tǒng)計(jì)檢驗(yàn)。漏斗圖是一種簡單的圖示方法，除了用于觀察ES的分布情況以外，最重要的用途是用于分析那些樣本容量小或者精度小的研究出現(xiàn)較大效應(yīng)的現(xiàn)象，而不是僅作為診斷特定類型偏倚的工具[13-14]；而Nfs只能作為對(duì)發(fā)表偏倚的一種粗略估計(jì)，同樣缺乏統(tǒng)計(jì)檢驗(yàn)。有研究顯示：當(dāng)未發(fā)表研究的平均效應(yīng)與已發(fā)表研究的方向相反，Nfs則有可能得出誤導(dǎo)性的結(jié)果[14-15]，所以該法不再推薦使用。目前，有關(guān)發(fā)表偏倚的檢驗(yàn)方法已相對(duì)很成熟，并且統(tǒng)計(jì)功效也高于傳統(tǒng)方法，如：Begg相關(guān)、Egger回歸及剪補(bǔ)法。

3.5 關(guān)于異質(zhì)性檢驗(yàn)

目前，異質(zhì)性檢驗(yàn)主要基于HedgesQ檢驗(yàn)[16]，但Q服從χ2分布，易受納入研究數(shù)量的影響，并且沒有描述異質(zhì)性的大小信息。較少有研究關(guān)注一些的統(tǒng)計(jì)量，如H和I2。

3.6 關(guān)于統(tǒng)計(jì)分析模型

本研究發(fā)現(xiàn)，大多應(yīng)用研究都選用隨機(jī)效應(yīng)模型進(jìn)行分析，很少選用其它模型。究其原因：對(duì)于心理特質(zhì)這種潛變量，不同工具的測量都會(huì)導(dǎo)致額外的誤差，使得其在ES的合并上，更傾向于選擇隨機(jī)效應(yīng)模型而非固定效應(yīng)模型；元分析方法收集的數(shù)據(jù)存有天然的層級(jí)結(jié)構(gòu)，樣本嵌套于單個(gè)研究，單個(gè)研究又嵌套于元分析，勢必會(huì)影響統(tǒng)計(jì)模型的穩(wěn)定性。今后，傳統(tǒng)元分析與多水平模型融合形成的多水平元分析(亦稱混合效應(yīng)元分析)，能避免上述缺陷。但值得注意的是，上述模型都是基于傳統(tǒng)頻率論統(tǒng)計(jì)學(xué)，元分析的樣本量是否能滿足大樣本的穩(wěn)健性，是爭論的焦點(diǎn)。

3.7 關(guān)于調(diào)節(jié)分析

元分析的調(diào)節(jié)分析與一般調(diào)節(jié)分析有相似之處，但更多的是不同，本研究發(fā)現(xiàn)了兩者在應(yīng)用中存在著誤用和混淆等現(xiàn)象。因此，未來需要進(jìn)一步比較兩者的差異。