臨床教師培訓(xùn)項(xiàng)目效果評(píng)價(jià)指標(biāo)體系的構(gòu)建研究

孫 濤,張玉潔,張家亮, 林思宇

(首都醫(yī)科大學(xué)附屬北京同仁醫(yī)院教育處，北京 100730)

臨床教學(xué)是醫(yī)學(xué)教育的關(guān)鍵階段，是由以理論學(xué)習(xí)為主的醫(yī)學(xué)生向以臨床實(shí)踐工作為主的醫(yī)生轉(zhuǎn)變的主要環(huán)節(jié)[1]。醫(yī)學(xué)院校的教育教學(xué)任務(wù)有相當(dāng)一部分是在附屬醫(yī)院結(jié)合臨床實(shí)踐完成的，醫(yī)院承擔(dān)教學(xué)任務(wù)的醫(yī)務(wù)人員即為臨床教師[2]。附屬醫(yī)院的臨床帶教教師大多畢業(yè)于醫(yī)學(xué)院校，未能接受系統(tǒng)的教育心理學(xué)、教育學(xué)專業(yè)知識(shí)學(xué)習(xí)，專業(yè)教育教學(xué)技能和能力普遍不足[3-4]。目前全國各附屬醫(yī)院都在探索附屬醫(yī)院臨床教師培訓(xùn)項(xiàng)目效果評(píng)價(jià)方法，現(xiàn)階段較為常見的評(píng)價(jià)附屬醫(yī)院臨床教師培訓(xùn)項(xiàng)目效果的方法，是使用受訓(xùn)人員滿意度或訓(xùn)后考試成績來測評(píng)，該評(píng)價(jià)方法過于簡單、評(píng)價(jià)維度不夠廣，大多數(shù)的效果評(píng)價(jià)也都僅限于第一和第二層級(jí)的評(píng)估，并未開展深入的、反映學(xué)員行為轉(zhuǎn)變和組織績效變化的第三和第四層級(jí)的評(píng)估。為此，本研究以Kirkpatrick理論為指導(dǎo)，參考教育學(xué)、教育心理學(xué)的普適性要求，針對附屬醫(yī)院臨床教師教育教學(xué)的不足，有針對性地構(gòu)建臨床教師培訓(xùn)項(xiàng)目效果評(píng)價(jià)指標(biāo)體系，為提高臨床教師的教學(xué)能力和加強(qiáng)師資隊(duì)伍的建設(shè)提供參考。

1 研究方法與步驟

1.1 研究方法

1.1.1 柯氏評(píng)估模型 柯氏評(píng)估模型由美國Kirkpatrick提出，是世界上應(yīng)用最廣泛、操作性最強(qiáng)的培訓(xùn)評(píng)估工具，被稱為培訓(xùn)評(píng)估領(lǐng)域的經(jīng)典[5]，其將培訓(xùn)效果分為4個(gè)遞進(jìn)層次[6]：反應(yīng)層評(píng)估(一級(jí))，主要是了解學(xué)員對培訓(xùn)項(xiàng)目的滿意度；學(xué)習(xí)層評(píng)估(二級(jí))，主要是用來了解學(xué)員培訓(xùn)前后知識(shí)層面的變化；行為層評(píng)估(三級(jí))，主要是測定學(xué)員是否能將培訓(xùn)所學(xué)知識(shí)和技能運(yùn)用于日常工作中；成果層評(píng)估(四級(jí))，主要用來判斷培訓(xùn)對機(jī)構(gòu)和學(xué)員可能帶來的變化[7]。這種層級(jí)的劃分依據(jù)行為學(xué)的研究結(jié)果，由表及里，由觀念到行為，直至最終結(jié)果的變化，評(píng)估循序漸進(jìn)，從個(gè)人素質(zhì)能力提高的評(píng)估上升到組織績效的改善評(píng)估[8]。

1.1.2 層次分析法 層次分析法(Analytical Hierarchy Process，AHP)是一種將定性與定量分析相結(jié)合的系統(tǒng)分析方法[9]，其基本思想是把復(fù)雜問題條理化、數(shù)學(xué)化、模型化。就每一層次的相對重要性作為定量判斷，然后綜合相關(guān)人員判斷結(jié)果，確定權(quán)重。目前AHP法被廣泛運(yùn)用于社會(huì)學(xué)、經(jīng)濟(jì)學(xué)、管理學(xué)等諸多方面。

1.1.3 統(tǒng)計(jì)學(xué)處理 采用EpiData3.1、SPSS20.0、Yaahp10.0軟件進(jìn)行數(shù)據(jù)的錄入及統(tǒng)計(jì)處理。采用均數(shù)、標(biāo)準(zhǔn)差、變異系數(shù)等進(jìn)行描述；計(jì)算專家權(quán)威系數(shù)、肯德爾和諧系數(shù)。

1.2 研究步驟

1.2.1 成立研究小組 本研究小組包括6名成員，為本院科研、教學(xué)管理人員及骨干，均接受過省級(jí)及以上臨床教學(xué)師資培訓(xùn)，其中高級(jí)職稱2名，中級(jí)職稱2名，統(tǒng)計(jì)專家1名，研究生1名。

1.2.2 初步擬就指標(biāo)體系草案 專題小組成員經(jīng)討論初步形成培訓(xùn)指標(biāo)評(píng)價(jià)指標(biāo)體系草案，共包含一級(jí)指標(biāo)、二級(jí)指標(biāo)和三級(jí)指標(biāo)，分別為4、10和48個(gè)。

1.2.3 專家咨詢 ① 專家納入標(biāo)準(zhǔn)及概況。專家納入標(biāo)準(zhǔn)為：從事臨床、醫(yī)學(xué)教育、醫(yī)院管理領(lǐng)域的專家；具有10年以上相關(guān)工作經(jīng)驗(yàn)；本科及以上學(xué)歷；副高及以上職稱；有臨床教學(xué)管理經(jīng)驗(yàn)的優(yōu)先。此次研究按要求選取25名專家進(jìn)行專家咨詢。

② 發(fā)放咨詢表，回收意見。根據(jù)評(píng)價(jià)指標(biāo)體系草案設(shè)計(jì)專家咨詢評(píng)價(jià)表，進(jìn)行專家咨詢，采用親自發(fā)放及信件的方式咨詢，研究采用Likert評(píng)分法，每項(xiàng)指標(biāo)分別分為很重要、重要、一般、不重要、很不重要5個(gè)級(jí)別，并相應(yīng)賦予5、4、3、2、1分，專家對每項(xiàng)指標(biāo)的重要性進(jìn)行評(píng)價(jià)，同時(shí)可對每項(xiàng)指標(biāo)做出修改和刪除的意見，也可對專題小組成員未考慮到的項(xiàng)目進(jìn)行增設(shè)的建議。最后，計(jì)算各指標(biāo)權(quán)重，獲得一套標(biāo)準(zhǔn)、科學(xué)的培訓(xùn)效果評(píng)價(jià)指標(biāo)體系。

2 研究結(jié)果

2.1 專家意見協(xié)調(diào)程度和諧系數(shù)代表專家指標(biāo)意見的一致程度，使用W來表示，W值越大說明一致程度越高[10]，本研究2輪專家咨詢、3級(jí)指標(biāo)體系經(jīng)統(tǒng)計(jì)檢驗(yàn)P均<0.05。變異系數(shù)表示專家對某一指標(biāo)入選及權(quán)重的意見不一致的程度，使用CV來表示。本研究中，第1輪、第2輪專家咨詢變異系數(shù)(CV)大于0.1的指標(biāo)分別有28個(gè)、35個(gè)，分別占所有指標(biāo)的45.16%、60.34%，表明本研究變異系數(shù)較小，專家意見較一致(表1)。

2.2 專家的權(quán)威系數(shù)和積極程度專家權(quán)威系數(shù)是表示專家在特定學(xué)科研究領(lǐng)域權(quán)威程度指標(biāo)，使用Cr來表示，通常認(rèn)為Cr大于等于0.70為專家權(quán)威程度較高[11]，本研究中，2輪專家咨詢的權(quán)威系數(shù)分別為0.763、0.825，專家權(quán)威程度較高。專家積極程度通過問卷回收率來計(jì)算，專家積極程度大約等于50%為積極程度較高[12]，本研究的2輪專家咨詢問卷回收率分別為100.00%和、92.00%。

表1 專家意見協(xié)調(diào)程度

2.3 專家意見集中程度專家意見集中程度用專家滿分率、標(biāo)準(zhǔn)差和評(píng)分均值來表示。滿分率和評(píng)分均數(shù)越大、標(biāo)準(zhǔn)差越小則專家意見越集中。在本研究的第1輪專家咨詢中，滿分率、評(píng)分均數(shù)、標(biāo)準(zhǔn)差分別為0～99%、3.13～5.00、0～0.97，而在第2輪專家咨詢中，滿分率、評(píng)分均數(shù)、標(biāo)準(zhǔn)差分別為4%～100%、3.35～5.00、0～0.87，專家意見集中程度較高。

2.4 構(gòu)建指標(biāo)體系、計(jì)算權(quán)重使用層次分析法構(gòu)建指標(biāo)體系框架，指標(biāo)體系包括一級(jí)指標(biāo)4個(gè)、二級(jí)指標(biāo)11個(gè)、三級(jí)指標(biāo)43個(gè)，并計(jì)算各指標(biāo)權(quán)重值(表2、表3)。

表2 一級(jí)、二級(jí)指標(biāo)權(quán)重及一致性檢驗(yàn)

3 討 論

3.1 柯式四級(jí)評(píng)估體現(xiàn)了行為和結(jié)果的重要性從一級(jí)指標(biāo)的權(quán)重看，一級(jí)指標(biāo)中行為層、結(jié)果層比較重要，對行為層、結(jié)果層評(píng)估的目的在于評(píng)判附屬醫(yī)院臨床教師培訓(xùn)項(xiàng)目能否給醫(yī)學(xué)教育和臨床帶教帶來貢獻(xiàn)，臨床教師個(gè)人是否受益，這個(gè)層面的評(píng)估內(nèi)容也是組織培訓(xùn)的最終目的。這進(jìn)一步體現(xiàn)了柯式四級(jí)評(píng)估的重要性，體現(xiàn)了開展深層次評(píng)估的重要性[13]。

表3 附屬醫(yī)院臨床教師培訓(xùn)項(xiàng)目的效果評(píng)價(jià)指標(biāo)體系及權(quán)重

3.2 重視附屬醫(yī)院臨床教師在培訓(xùn)中的個(gè)人受益普遍認(rèn)為，附屬醫(yī)院臨床教師在培訓(xùn)可能最希望提高的是教育教學(xué)能力，但本研究發(fā)現(xiàn)，二級(jí)指標(biāo)中個(gè)人受益與教學(xué)活動(dòng)都是專家咨詢認(rèn)為非常重要的項(xiàng)目。本研究中，專家把附屬醫(yī)院臨床教師個(gè)人受益推薦為重要指標(biāo)之一，表明附屬醫(yī)院臨床教師和其他專業(yè)教育工作者有所不同，其不僅希望提高自己的教育教學(xué)技能，還希望提高個(gè)人綜合能力與素質(zhì)。當(dāng)然，臨床教師培訓(xùn)項(xiàng)目對附屬醫(yī)院臨床教師提高教學(xué)質(zhì)量也非常重視，在二級(jí)指標(biāo)中教學(xué)活動(dòng)的權(quán)重也比較高，表明專家一致認(rèn)為附屬醫(yī)院臨床教師項(xiàng)目要重視教師獨(dú)立進(jìn)行教學(xué)活動(dòng)能力和帶教技能的培養(yǎng)。

3.3 三級(jí)指標(biāo)對改善教學(xué)活動(dòng)有指導(dǎo)意義本研究構(gòu)建的43個(gè)三級(jí)指標(biāo)對教學(xué)活動(dòng)有指導(dǎo)意義。三級(jí)指標(biāo)中，結(jié)業(yè)考試成績、教德教風(fēng)端正、日?？己顺煽?、促進(jìn)個(gè)人發(fā)展、專業(yè)理論知識(shí)學(xué)習(xí)、基礎(chǔ)理論知識(shí)學(xué)習(xí)等6項(xiàng)指標(biāo)的權(quán)重最高，這就要求附屬醫(yī)院臨床教師培訓(xùn)項(xiàng)目的組織者要針對這些指標(biāo)，改進(jìn)課程設(shè)置和授課重點(diǎn)，提高臨床教師上述領(lǐng)域的能力；相反，三級(jí)指標(biāo)中，帶教老師與學(xué)員的比例設(shè)置、實(shí)行導(dǎo)師制管理、學(xué)員的檔案管理、患者與病種資源豐富、學(xué)員工資福利待遇、圖書資料及信息網(wǎng)絡(luò)建設(shè)等6項(xiàng)權(quán)重最低，提示附屬醫(yī)院臨床教師培訓(xùn)項(xiàng)目中可以適當(dāng)弱化上述項(xiàng)目，將更多的資源向權(quán)重高的傾斜，以提高資源的使用效率。

3.4 指標(biāo)體系具有較強(qiáng)的可操作性和實(shí)用性由于缺乏可操作性、實(shí)用性強(qiáng)的效果評(píng)價(jià)指標(biāo)體系，既往附屬醫(yī)院臨床教師培訓(xùn)工作的效果難以科學(xué)地評(píng)價(jià)和衡量，本研究以KirkPatrick理論模型為指導(dǎo)，使用多輪Delphi專家咨詢法建立了附屬醫(yī)院臨床教師培訓(xùn)項(xiàng)目評(píng)價(jià)指標(biāo)體系，該指標(biāo)體系更加關(guān)注臨床教師培訓(xùn)工作的連續(xù)性和長期性，具有較強(qiáng)的可操作性和實(shí)用性。當(dāng)然，由于附屬醫(yī)院臨床教師培訓(xùn)效果評(píng)價(jià)還處于探索階段，專家咨詢的數(shù)量和代表性仍有改善的空間，所以本研究構(gòu)建的指標(biāo)體系仍待實(shí)踐工作的驗(yàn)證，并在運(yùn)用過程中不斷完善，從而促進(jìn)附屬醫(yī)院臨床教師培訓(xùn)水平的進(jìn)一步提高。