美國教育研究有效性審核評述與借鑒

劉五駒

研究成果是否成立的一個重要前提是研究本身的有效性如何。美國聯(lián)邦政府教育部于2002年成立了有效教育策略資料中心（What Works Clearinghouse，簡稱WWC），旨在對教育研究證據(jù)的科學化進行審核。WWC的工作已經(jīng)引起我國海峽兩岸有關人士的注意。[1]了解WWC的工作情況及其評審標準，對我國教育研究的科學化有借鑒意義。

一、WWC簡介

WWC是美國聯(lián)邦教育部所屬美國教育科學院（InstituteofEducationSciences，IES）的一個評估中心。WWC通過審核和綜合科學證據(jù)，部分地承擔起美國教育科學院進行嚴謹?shù)膶嵸|(zhì)性（relevant）調(diào)查、評估與統(tǒng)計國家教育系統(tǒng)的使命，其目的是為教育工作者、政策決定者、研究人員及社會大眾提供一個關于有效教育研究值得信賴的科學證據(jù)資料中心。為了幫助所有的學生和學校達到高的教育標準，教育工作者需要獲得什么是有效教育的更多證據(jù)，WWC稱，它的工作就是為了幫助教育工作者做出明智的決定，同時提供可信和可靠的證據(jù)。

依據(jù)與聯(lián)邦教育部的合同，現(xiàn)由美國數(shù)學政策研究公司（MathematicaPolicyResearch，Inc.）負責管理WWC。

WWC評審的顯著特點是，它不是直接評估現(xiàn)有研究成果的方案、策略或做法，而是對已經(jīng)存在的研究本身發(fā)現(xiàn)的情況進行審核（review）和報告（report）。例如，它審核研究中實驗組與對照組之間的詳細數(shù)據(jù)來判斷研究是否有充分的證據(jù)；通過公布某一主題領域中的一組研究成果，并采用不同的標準來比較它們的特點，從而實際上形成了對這組研究成果質(zhì)量的評估。只有在審核中滿足特定標準的基礎上，WWC才會撰寫報告，說明該項教育研究中的有關程序、策略或做法是否是有成效的。這些在研究中的有關程序、策略或做法可統(tǒng)稱為“介入”（intervention）。

教育工作者想要知道一個“介入”（教育研究中采用的教育程序、策略或做法）是否是有效的，可以由閱讀WWC的相關報告可知。通過報告研究者可以了解對介入研究文獻的審核所表明的特征，以及對該研究提供的證據(jù)鑒別評估的結(jié)果，從而清晰地了解該策略或方法最終的效用程度。只有當一項研究符合WWC審核標準時，WWC的報告才會包括研究結(jié)果的細節(jié)和總結(jié)，否則說明該研究缺乏符合WWC審核標準的證據(jù)。如果該研究沒能提供符合WWC審核標準的有效證據(jù)，并不意味著這個研究的介入是無效的，只是說明它缺少明確的證據(jù)來證明其有效性，也就是存疑。

WWC有多種工作成果形式，包括介入評估報告、主題報告、快速審核、實踐指南。介入評估報告（Intervention reports）是依據(jù)各等級的WWC證據(jù)標準，對主題領域內(nèi)有關介入的所有研究細節(jié)進行評估的。主題報告（Topicreports）匯編了一個地區(qū)關于該專題研究的眾多介入評估報告的信息，使WWC的使用者方便地比較這些介入的有效程度和影響大小?？焖賹徍耍╓WCquickreviews）的目的是為教育工作者和決策者及時地、客觀地提供對近期相關研究論文和報告的研究證據(jù)的質(zhì)量評估結(jié)果。實踐指南（practiceguides）為教育工作者在教室和學校中面臨的挑戰(zhàn)提供實用的建議。

WWC的審核有確定的主題領域，并逐步擴大，目前審核的主題領域包括以下11個部分。

（1）青少年讀寫介入（Adolescent Literacy Interventions）。它是針對4至12年級的學生，提高他們英文字母拼寫技能、閱讀流暢性、理解能力和一般讀寫成績的教學策略。

（2）開始閱讀介入（BeginningReadingInterventions）。它是針對5至8歲兒童，提高他們英文字母技能（音素意識、語音意識、字體意識和拼音）、閱讀流暢、理解或一般的閱讀成績的教育策略。

（3）兒童早期教育介入（EarlyChildhoodEducationInterventions）。它是為3至5歲且沒有進入過幼兒園的兒童設置的，重點在于為兒童提供入學做準備的認知和語言能力的教育策略。

（4）殘疾幼兒教育介入（EarlyChildhoodEducationInterventionsforChildrenwithDisabilities）。它主要針對3至5歲沒有上過幼兒園或?qū)W前教育的殘疾兒童，并為其為入學做準備提供教育策略。

（5）小學數(shù)學介入（Elementary School MathematicsInterventions）。它的重點是為幼兒園至5年級的學生，提供能提高他們數(shù)學成績的教學策略。

（6）英語學習者的介入（English Language LearnersInterventions）。它旨在提高小學生英語使用能力和學習成績的教學策略。

（7）高中數(shù)學介入（High School Mathematics Interventions）。它針對9至12年級的學生，提高他們代數(shù)、幾何、三角和微積分的學習成績的教學策略。

（8）中學數(shù)學介入（MiddleSchoolMathematics Interventions）。它旨在讓學生了解并掌握數(shù)學理論的概況，包括教學計劃、教學內(nèi)容，以及評估要求。

（9）學生的學習障礙（Students with Learning Disabilities）。介入的目的在于提高幼兒園至12年級（約5至18歲）有學習障礙的學生的學習成績。

（10）品格教育介入（CharacterEducationInterventions）。介入的目的在于發(fā)展學生的品格特征和綜合素質(zhì)的教育。

（11）預防輟學介入（Dropout Prevention Interventions）。它針對初中或高中的學生，主要是為了促使他們完成直到高中的學業(yè)。

許多單位和專家參與了WWC的工作，包括著名的蘭德公司、阿肯色大學、威斯康星大學、通訊發(fā)展公司等企業(yè)與學校。

WWC的研究組織是按主題領域來構(gòu)建的。一旦確定一個主題領域，就相應地建立一個審查組（ReviewTeam）。審查組由一名首席研究員，以及副首席研究員、內(nèi)容專家、項目協(xié)調(diào)員和審稿組成。此外，WWC還擁有由經(jīng)驗豐富的研究人員構(gòu)成的統(tǒng)計和技術分析組（Statistical，Technical，and Analysis Team），以及質(zhì)量評審組（Quality ReviewTeam）。

鑒于WWC工作涉及多方利益的重要性，美國聯(lián)邦教育部所屬的教育評價和區(qū)域促進國家中心（National Center for Education Evaluation and RegionalAssistance，NCEERA）針對實際或可能發(fā)生的利益沖突制定了具體的指導方針，既保障WWC審核的高品質(zhì)和公正性，也允許合理的質(zhì)疑。

WWC的工作是一種開放式的。WWC建有網(wǎng)站，[2]公布審核的專題領域、審核的程序和標準手冊、目前的審核項目及活動、審核的結(jié)果和報告，以及申請服務的電子郵箱地址和詳細的聯(lián)系方法。這種開放式的工作形式既保障了審核的質(zhì)量和公正性，也有利于審核結(jié)果的廣泛影響和應用。

二、WWC程序和標準手冊

WWC于2008年5月發(fā)布了經(jīng)修訂的“WWC標準（1.0版）”[3]，并于同年12月又發(fā)布了WWC程序和標準手冊（2.0版）”。[4]

WWC程序和標準手冊的正文除了前言共包括四個部分。

（一）主題領域和審核者

這部分內(nèi)容主要介紹了WWC目前開展的各主題領域，以及WWC的組織結(jié)構(gòu)和審核隊伍的情況。

（二）確定主題領域范圍、研究和介入措施

這一部分主要闡述WWC工作的主要程序。首先是確定審核的主題領域，旨在選擇那些介入成果具有廣泛影響的教育領域。其次是確定審核的范圍，包括主題領域的重點、主題領域中常用術語的概念、一般性標準、特定主題的參數(shù)和文獻檢索方法，這些都包括在WWC的協(xié)議中。第三是文獻檢索，WWC的工作人員常用的方法有：電子數(shù)據(jù)庫、網(wǎng)站搜索、廣泛征求專家和組織的建議、公眾意見。第四是資格篩選，在每個主題領域中，WWC廣泛收集發(fā)表和未發(fā)表的與主題具有潛在關聯(lián)的研究，然后進行篩選。篩選的一般性標準有三個：（1）論文發(fā)表的時限，以20年為限；（2）介入影響的初步分析，能否提供影響的有效證據(jù)；（3）研究的設計是否合格，重點在證據(jù)是否有科學性。在具體的不同研究中，篩選的標準有所不同。最后是經(jīng)過審核后各種介入的排序，即同一主題領域內(nèi)的各項介入性研究，依據(jù)WWC審核的等級結(jié)果進行列表排序，排序的結(jié)果可以在WWC的網(wǎng)站查到。

（三）審核過程和證據(jù)標準

審核過程之初，每一個未經(jīng)審核的研究分配給兩個小組進行獨立地審核。在審核完成后，舉行WWC審核協(xié)調(diào)會議，評論并研究兩組間的分歧和遺留問題。會議后形成一個綜述反映會議的研究決定。審核和協(xié)調(diào)過程通常在一兩個星期內(nèi)完成。

證據(jù)標準有不同的程度等級，用以確定研究是否提供了有力的證據(jù)。目前，只有精心設計和實施的隨機對照試驗（RCTs）被認為是提供了有力的證據(jù)可以符合證據(jù)標準；較弱的證據(jù)可以符合有保留的證據(jù)標準；證據(jù)不足時則不能符合證據(jù)標準。一個準實驗設計（QEDs）只有等值時才能符合有保留的證據(jù)標準。

下圖是WWC程序和標準手冊的審核過程，一項研究的評價等級受三個因素的影響。

隨機（Randomization）是指研究設計采用隨機對照試驗，隨機地分配兩組的研究對象。

自然減員（Attrition）是指隨機化的設計，原則上會使組間等值，但是隨著自然減員會造成組間的差異。大幅度的自然減員對介入組與對照組的初步等值容易產(chǎn)生不利影響。

等值（Equivalence）是指WWC要求具有高自然減員的隨機對照研究和所有的準實驗設計，介入組與對照組應是相等的。

WWC程序和標準手冊的審核過程圖

確定分析樣品的等值時，WWC常采用以下標準：（1）對特征差異性的報告，其標準差應小于0.25；（2）特征的基線（baseline）差異的標準差大于0.05時，必須進行統(tǒng)計學的調(diào)整。

（四）審核的總結(jié)

WWC程序和標準手冊第四部分包括5方面內(nèi)容：（1）介入報告的類型；（2）報告的編寫，由報告的草案、確保質(zhì)量的審核、教育科學院與外部同行的審核、報告的制定與發(fā)布四個部分組成；（3）報告由首頁、機構(gòu)報告和附錄三個部分組成；（4）介入評級制度，由六個正負面不同影響的等級構(gòu)成；（5）匯總與結(jié)果呈現(xiàn)，因為有的介入可能涉及多個主題領域，所以每個領域都有一個介入報告。

手冊除了上述主體部分，還包括一個參考文獻部分和7個附錄。這7個附錄闡述了WWC審核中采用的技術方法和規(guī)范，它包括：附錄A——評估自然損耗偏差，給出了具體的界定和詳細的計算方法與公式；附錄B——效果大小計算，包括學生水平分析和群體水平分析兩個部分，并都給出詳細的計算方法和公式；附錄C——聚類校正，包括了針對介入效果的統(tǒng)計分析與評估的意義不匹配時的校正方法；附錄D——Benjamini-Hochberg校正，它主要針對研究者在同時執(zhí)行多個假設檢驗時可能發(fā)生的偏差，此方法是由Benjamini&Hochberg于1995年提出的；附錄E——介入評級制度，其定義了符合標準證據(jù)的強與弱不同設計的標準和研究影響的特征；附錄F——指數(shù)計算的改進，它有助于讀者判斷介入效果的實際重要性；附錄G——證據(jù)的程度分類，其目的在于告訴讀者，介入的等級是在怎樣的證據(jù)基礎上做出的。

三、對WWC工作的評析

與我國常見的對教育科學研究項目的評價相比，WWC的工作呈現(xiàn)出明顯的中西方文化差異。我國教育研究往往側(cè)重于采用整體的、綜合的、理性推導的方法來分析、評價，并習慣使用枚舉法來佐證。西方學者則習慣于用分析的方法、實證的方法形而上地進行分析、評價。兩者并無絕對的對錯之分，而是互補為上。我們必須看到，各種復雜教育現(xiàn)象并不是都可以通過實證的方法來驗明其價值的。

對教育研究的評價直接涉及到學校、教育機構(gòu)、出版商、教育工作者的各方面的利益與聲譽，且教育現(xiàn)象錯綜復雜，不是一時一事就可以斷言其優(yōu)劣是非的，需要極其慎重和長期的觀察。美國大大小小的教育改革不可勝數(shù)，它們既直接影響著美國教育的發(fā)展，又牽扯著眾多利益關系，需要權威性的引導。如果由政府出面直接進行評價，一旦有錯，不僅會產(chǎn)生重大失誤，而且會抑制教育工作者教育改革創(chuàng)新的意愿，WWC的做法則比較好地解決了這一問題。它以美國聯(lián)邦教育部所屬教育科學院為權威，并不對研究本身直接做出價值判斷，而是對研究過程方法的科學性與證據(jù)的充分性，以及研究成果的影響程度做出客觀的評析，為教育工作者提供參考。

WWC的評審方式及審核標準在一定程度上促進了美國教育研究的科學化進程，同時也對其提出了更高的要求。眾多的教育改革思想、觀念及由此形成的教育方法策略，究竟有什么樣的效果？在多大程度上有效？以往廣大的教育工作者所能面對的主要是研究者的著述，如何取舍完全取決于每位教育工作者自己的主觀判斷，WWC的工作則為這種取舍提供了一定的客觀依據(jù)。以1989年開始的“觀念導向閱讀教學”（Concept Oriented Reading Instruction）為例，該項目至今已經(jīng)發(fā)表了超過49篇學術研究報告，但是這項課程研究沒有能符合WWC的審核標準，原因是實驗研究缺乏對照組、多項干擾因子介入、研究對象年齡不符，以及后續(xù)研究與文獻不合規(guī)范等。

不過，上述情況也有其值得注意的一面，且已經(jīng)引起了我國臺灣地區(qū)教育界有關人士的注意，他們認為WWC的標準嚴格，多數(shù)學術研究因經(jīng)費或規(guī)模所限，無法過關，易出現(xiàn)學術研究與政策制定上的落差。[5]

WWC從項目的申請、工作的程序和審核的標準，以及審核的詳細結(jié)果都充分采用了現(xiàn)代信息技術，并在網(wǎng)頁上公諸于眾。這樣的做法在一定程度上提高了審核的公開性、透明度，以及審核處理的速度。它不僅方便了廣大教育工作者的參與，同時也大大擴大了這些研究成果的影響力，特別是這種開放性的審核方法，大大擴展了研究者在主題領域內(nèi)審核的視野，使同一領域中的各種各樣的研究都有機會在國家級的評估舞臺上展現(xiàn)。

四、借鑒

1．我國教育科研管理的重心應向研究后期階段移動。目前我國教育科研的管理重點主要在項目的申報與審核上，而最后的研究成果究竟價值幾何？現(xiàn)實影響作用有多大？研究過程是否科學、規(guī)范，是否有充分的證據(jù)？這一系列后續(xù)研究成果的科學性與推廣性有待驗證，我們也缺少有效的評價機制。這并不利于真正有價值的研究成果得到確認，也不能產(chǎn)生廣泛的效用。WWC的做法是值得借鑒的，我國也可以在中央和省一級相關機構(gòu)中成立類似的評估中心，相應地放低教育科研的門檻，激勵教育工作者廣泛地參與教育科研，特別是為那些有潛在價值的，具有獨到創(chuàng)新思想的研究提供生存發(fā)展的空間，為那些確有價值的研究提付更充分的依據(jù)以獲得社會多種資源的支持。

2．改變我國教育科研中偏重理性思考、追求完美和理想化的結(jié)果、習慣于枚舉法求證的研究現(xiàn)象，把教育科研的重點放在教育實踐中的問題，更多地采用實證的研究方法對論據(jù)進行統(tǒng)計學分析，以求教育科學研究的科學化和規(guī)范化。這不是要弱化理論研究，而是要強化那些根植于教育實際生活土壤之中的理論研究，減少那些表面精致而無實際價值的虛假研究。

3．充分運用現(xiàn)代信息技術，使教育科研從立項到研究過程和結(jié)果的審核，以及審核的標準及程序做到公開化、透明化，讓處理過程、相關信息的傳播更快速化。WWC的工作為我們改變評估科研成果時主要依賴發(fā)表論文及論著數(shù)量的片面性，提供了一種新的途徑。

4．對我國基礎教育界中處于一線的教育工作者來說，對研究數(shù)據(jù)過高的統(tǒng)計學要求，以及對研究程序和文本的過分精致化要求使得研究者從促進科研素養(yǎng)的提高，逐漸異化為妨礙他們潛心于實際教育問題的深入觀察和分析研究，這種惡化現(xiàn)象大大影響了研究的科學化，也一定程度上浪費了研究者的時間與精力。教育工作者在研究中充分關注科學性、規(guī)范性的同時，可以把大量統(tǒng)計學分析工作交由類似WWC的機構(gòu)中，由專業(yè)統(tǒng)計人員協(xié)助完成統(tǒng)計程序。

［1］張曉菁．美國有效教育研究審核（WWC Review）簡介（臺灣駐美文化組）［EB/OL]．http://3w.mioerar.edu.tw/education/educationList.jsp，2009-05-31．

［2］中美教育質(zhì)量評價高級研修班．應試異化［N］.中國科技日報，2004-09-14．

［3］WWC．WhatWorksClearinghouseEvidenceStandards for Reviewing Studies［EB/OL］．http//ies.ed.gov/ncee/wwc/pdf/study_standardsfinal，2014-04-19．

［4］WWC．What Works Clearinghouse Procedures and Standards Handbook （Version2.0）［EB/OL］．http://ies.ed.gov/ncee/wwc/pdf/wwc_procedures_v2_standards_handbook，2014-04-19．

［5］林建妤．美國教育研究審核標準嚴格閱讀教學法之研究報告難過關（臺灣駐美文化組）［EB/OL］．http://3w.nioerar.edu.tw/education/educationList.jsp，2010-08-12．