運用Delphi法構(gòu)建形成性考核與總結(jié)性考核相結(jié)合的流行病學(xué)課程考試評價指標(biāo)體系

吳鑫 戴文杰 劉愛忠

摘要：論文運用Delphi法咨詢32名專家的意見，構(gòu)建了流行病學(xué)課程考試評價指標(biāo)體系，并確定了各指標(biāo)的權(quán)重。研究結(jié)果表明：專家們非常重視本項研究，專家意見的可信度高，結(jié)果可信。最終有2項一級指標(biāo)（形成性考核及總結(jié)性考核）、8項二級指標(biāo)（案例分析、研究設(shè)計等）、19項三級指標(biāo)（是否缺課等）納入了流行病學(xué)課程考試評價指標(biāo)體系。該量化體系可為其他院校流行病學(xué)及其他課程考核提供參考。

關(guān)鍵詞：Delphi法;形成性考核;總結(jié)性考核;流行病學(xué);評價指標(biāo)體系

中圖分類號：G642.0 ? ? 文獻標(biāo)志碼：A ? ? 文章編號：1674-9324（2016）42-0060-04

流行病學(xué)作為預(yù)防醫(yī)學(xué)中一門重要的基礎(chǔ)學(xué)科及方法學(xué)，具有很強的理論性及實踐性。然而，近年來各種突發(fā)公共衛(wèi)生事件的發(fā)生，充分暴露出我國公共衛(wèi)生人才現(xiàn)場調(diào)查研究和應(yīng)急反應(yīng)能力不強等問題[1]。因此，作為教育工作者，有必要進行反思及研究，進行相應(yīng)的教學(xué)改革和考試改革，以培養(yǎng)出適應(yīng)新形勢下疾病預(yù)防控制的高素質(zhì)公共衛(wèi)生應(yīng)用型人才。

作為高等教育教學(xué)改革的切入點，考試改革對推進高校教學(xué)改革，培養(yǎng)高素質(zhì)應(yīng)用型人才具有十分重要的導(dǎo)向作用。最新一篇《流行病學(xué)》課程考試改革的研究提出采取課堂案例討論（20%）、流行病學(xué)現(xiàn)場調(diào)查（30%）結(jié)合期末理論考試成績（50%）綜合考試模式評價學(xué)生成績，可全面提高學(xué)生的綜合能力和整體素質(zhì)[2]。然而，該考試改革方案缺乏科學(xué)的考核量化標(biāo)準(zhǔn)，實際應(yīng)用可操作性不強[2]。為此，本研究將利用Delphi法構(gòu)建形成性考核與總結(jié)性考核相結(jié)合的流行病學(xué)課程考試評價指標(biāo)體系，完善流行病學(xué)成績評定方法，推動流行病學(xué)教學(xué)改革，為培養(yǎng)高素質(zhì)應(yīng)用型的公共衛(wèi)生人才奠定基礎(chǔ)，并為其他醫(yī)學(xué)院?？荚嚫母锾峁﹨⒖肌?/p>

一、對象與方法

（一）對象

選擇在流行病學(xué)、衛(wèi)生統(tǒng)計學(xué)等相關(guān)領(lǐng)域工作達10年以上的32位專家組成專家咨詢組。

（二）方法

1.第1輪專家咨詢。在前期研究工作及參考國內(nèi)外資料[3-6]的基礎(chǔ)上，結(jié)合我院實際情況，自行設(shè)計專家咨詢表，形成第1輪專家咨詢表。咨詢表以電子郵件的形式寄予所咨詢的專家，并建議專家以電子郵件形式進行回復(fù)。問卷內(nèi)容主要包括：（1）本次調(diào)查的研究背景、研究目的。（2）專家基本信息表。主要包括專家姓名、職稱、從事專業(yè)和從業(yè)年限等。（3）填表說明及要求。（4）考試改革指標(biāo)評價表。由2個一級指標(biāo)、8個二級指標(biāo)及38個三級指標(biāo)構(gòu)成。每一個指標(biāo)評價分為5部分內(nèi)容，即備選指標(biāo)、評價內(nèi)容、重要性程度、熟悉程度和判斷依據(jù)。并設(shè)置修改意見欄，專家可增設(shè)指標(biāo)，亦可對備選指標(biāo)提出修改意見。

2.第2輪專家咨詢。結(jié)合專家意見和統(tǒng)計學(xué)結(jié)果對第1輪問卷進行修改、刪減與補充，形成第2輪專家咨詢表。問卷內(nèi)容包括：（1）對第1輪專家意見的反饋。（2）問卷填寫說明及要求。（3）考試改革指標(biāo)評價表。每個條目的重要性評價標(biāo)準(zhǔn)同第1輪，并附上第1輪的統(tǒng)計結(jié)果（指標(biāo)重要性評分的均數(shù)和標(biāo)準(zhǔn)差），供各位專家參考并再次作出判斷。（4）請各位專家對一級指標(biāo)及二級指標(biāo)的權(quán)重進行分配。

3.指標(biāo)賦值方法。參考有關(guān)文獻[7]對咨詢指標(biāo)的重要性程度、熟悉程度及判斷依據(jù)進行賦值。

4.指標(biāo)分析方法。（1）專家積極程度：由專家咨詢表的有效回收率來表示。（2）專家權(quán)威程度（Cr）：由專家對咨詢問卷中各指標(biāo)重要性程度做出判斷的依據(jù)（Ca）及專家對各指標(biāo)的熟悉程度（Cs））2個因素決定，計算公式為Cr=（Ca+Cs）/2。（3）專家意見的集中程度：由各指標(biāo)的專家意見得分均數(shù)和滿分比共同反映。（4）專家協(xié)調(diào)程度：由各指標(biāo)評價結(jié)果的變異系數(shù)和專家意見一致性系數(shù)表示。一致性系數(shù)是指專家組中各專家彼此間對每項指標(biāo)給出的評價意見是否存在較大分歧，用ω表示。ω值介于0—1之間，ω值愈大，表示一致性愈高[8]。

5.指標(biāo)刪選標(biāo)準(zhǔn)。以重要性賦值均數(shù)>3.50，滿分比>20%，且變異系數(shù)<20%為篩選標(biāo)準(zhǔn)，結(jié)合統(tǒng)計結(jié)果和專家意見篩選條目[9]。

（三）統(tǒng)計分析

運用Epi Data 3.1錄入數(shù)據(jù)并建立數(shù)據(jù)庫，應(yīng)用Excel2010和SPSS18.0軟件進行分析。用頻數(shù)、構(gòu)成比、均數(shù)、變異系數(shù)等指標(biāo)描述專家基本情況、專家積極程度、專家意見集中程度、專家協(xié)調(diào)程度，用卡方檢驗檢驗Kendall協(xié)調(diào)系數(shù)（ω）的統(tǒng)計學(xué)差異，設(shè)檢驗水準(zhǔn)α=0.05。

二、結(jié)果

（一）咨詢專家基本情況

共有31位專家完成了2輪咨詢，分別來自加拿大渥太華大學(xué)、華中科技大學(xué)、中南大學(xué)、第四軍醫(yī)大學(xué)、新疆醫(yī)科大學(xué)、西安交通大學(xué)、包頭醫(yī)學(xué)院、南華大學(xué)、廣東藥學(xué)院、湖南師范大學(xué)、河北聯(lián)合大學(xué)、沈陽醫(yī)學(xué)院、廈門大學(xué)、濰坊醫(yī)學(xué)院。其中男性22人，占71%，女性9人，占29%;平均工作年限為（25.80±6.34）年;教授職稱21人，占68%，副教授職稱7人，占23%;學(xué)科涉及流行病學(xué)、衛(wèi)生統(tǒng)計學(xué)、生物化學(xué)與分子生物學(xué)、臨床醫(yī)學(xué)等。

（二）專家積極程度

第1輪專家咨詢，發(fā)出咨詢表32份，回收31份，回收率為97%;第2輪咨詢表發(fā)放至參加第1輪咨詢的31位專家，回收率100%。說明專家們非常重視本項研究。

（三）專家意見的集中程度

第1輪德爾菲咨詢法調(diào)查，在確定的38項三級指標(biāo)中，得分均數(shù)在3.5分以上的指標(biāo)有36個，占總調(diào)查指標(biāo)的95%;滿分比為20%以上的指標(biāo)有31個，占總調(diào)查指標(biāo)的82%。根據(jù)第1輪專家反饋意見，在第2輪咨詢中新增加2項三級指標(biāo)，在40項備選三級指標(biāo)中，得分均數(shù)在3.5分以上的指標(biāo)有31項，占總調(diào)查指標(biāo)的78%，滿分比為20%以上的指標(biāo)有21項，占總調(diào)查指標(biāo)的53%。

（四）專家協(xié)調(diào)程度、權(quán)威程度

在第1輪德爾菲法咨詢中，變異系數(shù)在20%以下的三級指標(biāo)有13項，占總調(diào)查指標(biāo)的34%;在第二輪德爾菲法咨詢中，變異系數(shù)在20%以下的三級指標(biāo)有26個，占總調(diào)查指標(biāo)的65%。第1輪咨詢的協(xié)調(diào)系數(shù)ω=0.27，p﹤0.0001;第2輪咨詢的協(xié)調(diào)系數(shù)ω=0.74，p﹤0.0001。第2輪咨詢的協(xié)調(diào)高于第1輪。本次咨詢中，31位專家的權(quán)威程度均值為Cr=0.86。

（五）形成性考核與總結(jié)性考核相結(jié)合的《流行病學(xué)》課程考試評價指標(biāo)體系的初步建立

咨詢專家對2項一級指標(biāo)及8項二級指標(biāo)的權(quán)重進行了分配，其中2項一級指標(biāo)的權(quán)重和為1，形成性考核下屬的6項二級指標(biāo)的權(quán)重和為1，總結(jié)性考核下屬的2項二級指標(biāo)的權(quán)重和為1。對確定的二級指標(biāo)依據(jù)專家對其的權(quán)重分配大小進行歸一化權(quán)重分配，并對確定的三級指標(biāo)依據(jù)專家對其的重要性評分進行歸一化權(quán)重分配。根據(jù)篩選標(biāo)準(zhǔn)，最終確定了2項一級指標(biāo)、8項二級指標(biāo)及19項三級指標(biāo)（具體見表1）。

三、討論

Delphi法，即德爾菲法，又稱為專家評價法。是通過采取匿名的方式廣泛征求專家意見，經(jīng)過反復(fù)多次的信息交流和反饋修正，使專家的意見逐步趨向一致，最后根據(jù)專家的綜合意見，從而對評價對象做出評價的一種定量與定性相結(jié)合的預(yù)測、評價方法[10]。本課題咨詢專家成員均在其工作崗位工作10年以上，專家的權(quán)威程度均值為0.86，說明本次調(diào)查的專家具有豐富的理論與實踐經(jīng)驗，本研究的咨詢結(jié)果可信。2輪咨詢的一致性系數(shù)均有統(tǒng)計學(xué)意義，第2次咨詢的一致性系數(shù)ω=0.74，表明本次研究專家意見協(xié)調(diào)性好。

自20世紀(jì)90年代末我國各大高校開始施行課程考試改革以來，形成性考核已然成為課程考核的一部分，結(jié)合總結(jié)性考核，共同構(gòu)成了現(xiàn)行的高校課程考試體系[11]。然而，在多數(shù)高校的課程考試中，形成性考核的比重只占綜合考核的20%—30%，而總結(jié)性考核所占比重為70%—80%。這種在課程考核中過于側(cè)重總結(jié)性考核的考核方式，可能會導(dǎo)致學(xué)生“高分低能”的現(xiàn)象，促成學(xué)生養(yǎng)成不良的學(xué)習(xí)習(xí)慣，如：不注重平時的知識積累，完全依靠在期末考前短期突擊、死記硬背書本知識來應(yīng)付考試等。這將限制人才的發(fā)展，使得高校難以培養(yǎng)出適應(yīng)社會發(fā)展的創(chuàng)新性應(yīng)用型人才。再者，形成性考核形式單一，多數(shù)課程考核只包括課堂考勤、平時作業(yè)等，難以全面評價及培養(yǎng)學(xué)生的綜合素質(zhì)[12]。

在國內(nèi)，以往絕大部分高?！读餍胁W(xué)》課程考核以期末閉卷考試為主，后來，劉繼斌提出在流行病學(xué)課程考試中，應(yīng)充分考慮對學(xué)生流行病學(xué)綜合能力的評價，加大對實踐教學(xué)各環(huán)節(jié)考核的力度，適當(dāng)增加各類實踐課考試成績在總成績中所占比重。雖然也有某些高校在《流行病學(xué)》考核中增加了對實踐能力（案例分析和現(xiàn)場流行病學(xué)調(diào)查）的考核，且在最終的《流行病學(xué)》成績評定中占50%的比重，但因考試改革方案缺乏科學(xué)的考核量化標(biāo)準(zhǔn)，可操作性不強，難以有效推行[2]。并且，形成性考核形式單一，難以達到反饋教學(xué)、提升學(xué)生自主學(xué)習(xí)的能力。

本研究旨在建立一套科學(xué)的流行病學(xué)課程考試量化體系，提升學(xué)生的綜合素質(zhì)，推動流行病學(xué)教學(xué)改革。本次考試改革的特色主要體現(xiàn)在以下幾點：（1）將Delphi法引入流行病學(xué)考試改革，建立科學(xué)的考試量化標(biāo)準(zhǔn)。（2）充分體現(xiàn)形成性考核的作用，為教學(xué)提供反饋信息，促使教師有針對性地教學(xué);幫助學(xué)生調(diào)整學(xué)習(xí)策略，提升學(xué)生的綜合素質(zhì)及知識運用能力。（3）引導(dǎo)學(xué)生自主學(xué)習(xí)、深入學(xué)習(xí)。本研究引入了案例討論和研究設(shè)計的評價指標(biāo)，促使學(xué)生多閱讀課外資料（論著或國內(nèi)外相關(guān)文獻），培養(yǎng)學(xué)生信息獲取、分析問題、解決問題等的能力。（4）注重實踐操作。加入了案例分析、研究設(shè)計、期末實驗考核等指標(biāo)，旨在促使學(xué)生養(yǎng)成流行病學(xué)及數(shù)理統(tǒng)計學(xué)的思維模式，培養(yǎng)學(xué)生的實踐操作能力、語言表達能力及歸納總結(jié)能力。

目前，各大高校流行病學(xué)課程考核中形成性考核方式在綜合考核中所占比重不盡相同。為降低課程綜合考核對總結(jié)性考核的依賴度[12]，真正體現(xiàn)形成性考核的作用，我們認(rèn)為本次流行病學(xué)課程考試改革將是一次有益嘗試，可為其他院校流行病學(xué)及其他課程考核提供參考和借鑒。這套考試評價指標(biāo)體系將在實踐中進一步得到檢驗。

#案例討論：即將一個班的學(xué)生分為幾個小組，任課老師為每個小組分配不同的討論主題，各小組根據(jù)討論主題自選案例，在討論課上報告，以學(xué)生報告的案例為基礎(chǔ)，任課老師組織全班學(xué)生一起展開討論。

參考文獻：

[1]王重建，向浩，柳東如，等.我國突發(fā)公共衛(wèi)生事件應(yīng)急體系人才培養(yǎng)的思考[J].中華醫(yī)學(xué)雜志，2007，87（35）：2455-2457.

[2]劉婭，葉運莉，胡曉璞.《流行病學(xué)》課程考試改革初探[J].科技資訊，2011，（03）：201.

[3]梁秋實.德爾菲法在高中生寫作能力評價中的應(yīng)用[D].沈陽：沈陽師范大學(xué)，2008.

[4]邢禾，何廣學(xué)，劉劍君.德爾菲法篩選結(jié)核病防治知識調(diào)查指標(biāo)的研究與預(yù)試驗評價[J].中國健康教育，2006，22（02）：91-95.

[5]Al-Kadri，H M，Al-Moamary，M.S.，Roberts，C.，et al.Exploring assessment factors contributing to students' study strategies：literature review[J].Med Teach，2012，34 Suppl 1：S42-S50.

[6]Black P，Wiliam D.Assessment and classroom learning[J].Assess Educ，1998，5（1）：7-14.

[7]熊明洲，韓雪，劉愛忠，等.男同性戀性取向成因影響因素Delphi法分析[J].中國公共衛(wèi)生，2014，30（11）：1421-1424.

[8]孫振球，徐勇勇.醫(yī)學(xué)統(tǒng)計學(xué)[M].第4版.北京：人民衛(wèi)生出版社，2014.

[9]王軍，田岳鳳，張俊龍，等.德爾菲法構(gòu)建中醫(yī)學(xué)專業(yè)基礎(chǔ)模塊課程考核評價指標(biāo)體系[J].中國中醫(yī)藥現(xiàn)代遠(yuǎn)程教育，2014，12（20）：146-148.

[10]李惠艷，李秋潔，鄭守華，等.應(yīng)用德爾菲法構(gòu)建護士長管理能力指標(biāo)體系的研究[J].護理學(xué)雜志，2011，26（01）：7-9.

[11]吳昌提，林菊芳，陳寧紅.國內(nèi)外形成性評價述評——兼評開放教育形成性考核十年[J].現(xiàn)代遠(yuǎn)距離教育，2009（03）：66-69.

[12]林志強，張旭日.我國高校考試方式與考試制度改革研究[J].河南社會科學(xué)，2011，19（06）：136-138.

Application of Delphi Method to Establish Evaluation System of Epidemiology by Combining Formative Assessment with Summative Assessment

WU Xin，DAI Wen-jie，LIU Ai-zhong

（Department of Epidemiology and Health Statistics，School of Public Health，Central South University，Changsha，Hunan 410078，China）

Abstract：Two rounds of Delphi survey were adopted and thirty-two experts were invited to do the consultation. Then the evaluation system was established according to the selective standard and the suggestions of experts. According to the results of the consultation，two primary indexes，eight secondary indexes and nineteen indexes were included in the evaluation system. Experts attached great importance to this study and the results of the research were credible. The established evaluation system of epidemiology based on the Delphi method can provide reference for other medical school in evaluating students grades of epidemiology or other curriculums.

Key words：Delphi method;formative assessment;summative assessment;epidemiology;evaluation system