基于表現(xiàn)性評價的計算機(jī)模擬病例在教育測評中的研究進(jìn)展

仝貝貝，康曉鳳，史潤澤，弓 宸

北京協(xié)和醫(yī)學(xué)院護(hù)理學(xué)院， 北京 100144

表現(xiàn)性評價(performance assessment，PA)是在真實(shí)情景下，通過客觀測驗(yàn)以外的行為表現(xiàn)，來測量和評價學(xué)生運(yùn)用先前獲得的知識解決真實(shí)問題能力的一種方法[1]。能力評估已成為醫(yī)學(xué)領(lǐng)域的一個重要組成部分，結(jié)合醫(yī)學(xué)課程操作性強(qiáng)的實(shí)際情況，醫(yī)學(xué)教育測評中運(yùn)用表現(xiàn)性評價法是適用的[2]。在醫(yī)學(xué)教育測評中廣泛應(yīng)用的計算機(jī)模擬病例考試主要是基于表現(xiàn)性評價實(shí)施的[3]。計算機(jī)模擬病例(compu- ter-based case simulation,CCS)是由計算機(jī)對患者診療環(huán)境進(jìn)行復(fù)雜的、沒有提示的、動態(tài)的和人機(jī)交互的模擬[4]。CCS作為一種成績評定的工具，其目的是在逼真的環(huán)境下，通過模擬時間的推進(jìn)和臨床病例情境的逐步展開來測量被試者管理患者的能力。1999年，美國率先將CCS應(yīng)用于國家執(zhí)業(yè)醫(yī)師資格考試(Un- ited States Medical Licensing Examination，USMLE)的第三階段[5]。2001年，中國醫(yī)科大學(xué)承擔(dān)國家醫(yī)學(xué)考試中心課題，開始國內(nèi)計算機(jī)模擬病例考試系統(tǒng)的建設(shè)與應(yīng)用研究[6]。文章將從基于表現(xiàn)性評價的CCS在教育測評中的實(shí)施背景、評價方案的構(gòu)建和應(yīng)用前景等幾個方面進(jìn)行分析,以期為提升計算機(jī)模擬病例的信效度提供依據(jù)。

1 實(shí)施背景

表現(xiàn)性評價有很長的歷史淵源，早期主要以質(zhì)性評價為主。隨著量性評價的出現(xiàn)，表現(xiàn)性評價步入低潮期。20世紀(jì)60年代后期，隨著心理測量評價范式的廣泛流行，使得表現(xiàn)性評價再次出現(xiàn)在人們的視野。在醫(yī)學(xué)領(lǐng)域，新出現(xiàn)的表現(xiàn)性評價的形式是計算機(jī)模擬病例(CCS)[7]。

為了培養(yǎng)21世紀(jì)新型創(chuàng)新人才，世界各地都在進(jìn)行基礎(chǔ)教育課程的改革。隨著改革的不斷深入，在目前的評價改革中，表現(xiàn)性評價的地位越來越突出。表現(xiàn)性評價的目標(biāo)是通過真實(shí)的情景任務(wù)來實(shí)施和測驗(yàn)的，表現(xiàn)性任務(wù)又具有真實(shí)性、情境性和復(fù)雜性，因此，在完成學(xué)習(xí)任務(wù)時，學(xué)生必須做出建構(gòu)反應(yīng)，而不僅僅是選擇反應(yīng)[8]。表現(xiàn)性評價著重關(guān)注學(xué)生的綜合能力，以及邏輯思維、態(tài)度、情感、價值觀等內(nèi)在傾向性的評價[9]。與以“點(diǎn)對點(diǎn)”的形式推進(jìn)的滿堂灌的課程教學(xué)和零碎知識點(diǎn)的評價目標(biāo)不同，將表現(xiàn)性評價統(tǒng)整到CCS中，實(shí)現(xiàn)了課程設(shè)計和評價設(shè)計同時開展的轉(zhuǎn)變，同時，也可驅(qū)動學(xué)生進(jìn)行深度學(xué)習(xí)[10]。表現(xiàn)性評價的一些基本設(shè)計和原則來源于建構(gòu)主義理論，尤其是建構(gòu)主義學(xué)習(xí)理論。在表現(xiàn)性評價的實(shí)施過程中，學(xué)生要深度參與其中，擔(dān)當(dāng)學(xué)習(xí)主體的角色，主動構(gòu)建答案或進(jìn)行活動。

建構(gòu)主義學(xué)習(xí)理論認(rèn)為，在學(xué)習(xí)過程中，學(xué)習(xí)不是被動地接受知識，而是積極地參與到知識構(gòu)建的過程中，鼓勵學(xué)習(xí)者進(jìn)行批判性地思考問題。從建構(gòu)主義角度來看，當(dāng)學(xué)習(xí)者接觸到不符合現(xiàn)有模式的新信息或體驗(yàn)時，學(xué)習(xí)者必須重新設(shè)計現(xiàn)有的方案或構(gòu)建新的方案，因此，激活先前的知識對學(xué)習(xí)過程至關(guān)重要[11]。計算機(jī)模擬病例通過模擬臨床情景，為醫(yī)學(xué)生提供了重新構(gòu)建理論知識的平臺，有助于促進(jìn)醫(yī)學(xué)生臨床思維的培養(yǎng)，同時，也有利于對醫(yī)學(xué)生的知識水平和臨床能力進(jìn)行測評。表現(xiàn)性評價作為一種評價方法，在醫(yī)學(xué)教育測評中起著十分重要的作用。

2 評價方案的構(gòu)建

CCS教學(xué)設(shè)計的框架部分基于Cook的e-Learn- ing研究模型，該模型的潛在優(yōu)勢包括靈活性、可控性以及可以收集數(shù)據(jù)進(jìn)行評估和反饋[12]。該框架使用4個教學(xué)設(shè)計級別來描述教育活動：第一個級別是教學(xué)媒體，包括教科書、講座、電腦模擬等；第二個級別是教學(xué)形式，包括計算機(jī)模擬、模擬患者、模擬臨床沉浸和過程模擬；第三個級別是教學(xué)方法，包括自我指導(dǎo)的學(xué)習(xí)和教師指導(dǎo)的學(xué)習(xí)兩種；第四個級別是展示形式，包括反饋、保真度、模擬器類型、場景和團(tuán)隊(duì)組成。在每個級別上，所做的選擇都取決于活動的實(shí)際學(xué)習(xí)需求和目標(biāo)。

表現(xiàn)性評價方案的設(shè)計一般由三部分構(gòu)成:確定評價目標(biāo)、設(shè)置表現(xiàn)性任務(wù)、制訂評價標(biāo)準(zhǔn)[13]。

2.1 確定評價目標(biāo)

任何一個評價方案的設(shè)計與實(shí)施，都必須先回答“評價類型和評價目的是什么”，以及“為什么進(jìn)行評價”[14]。從理論層面講，評價的目的是實(shí)踐與自我反思；從實(shí)踐層面講，學(xué)生學(xué)業(yè)表現(xiàn)性評價的目的在于使每個學(xué)生的獨(dú)特性、復(fù)雜性和真實(shí)性得到彰顯，運(yùn)用評價幫助每個學(xué)生都能夠認(rèn)識到自己的獨(dú)特意義和自我價值[15]。在臨床教學(xué)中，表現(xiàn)性評價目的在于通過評價來促進(jìn)和支持學(xué)習(xí)，激發(fā)學(xué)生的學(xué)習(xí)動機(jī)，提高自信心和滿意度，增強(qiáng)臨床決策能力，并且能通過評價學(xué)生的實(shí)際操作能力和解決問題能力，提高學(xué)生的臨床勝任力；在職業(yè)資格認(rèn)定中，表現(xiàn)性評價旨在有效考察候選人的實(shí)踐能力及問題解決能力，為提高資格認(rèn)定的預(yù)測效度提供有力保障。

2.2 設(shè)置表現(xiàn)性任務(wù)

表現(xiàn)性評價是通過對被評價者在具體情境中完成任務(wù)的實(shí)際表現(xiàn)進(jìn)行觀察分析來完成的[9]。表現(xiàn)性任務(wù)設(shè)置，實(shí)質(zhì)是依據(jù)評價目標(biāo)設(shè)計情境和活動，是一個將評價目標(biāo)情境化的過程。教育家艾斯納指出，評價任務(wù)設(shè)置應(yīng)盡量滿足八條原則，其同樣適用于表現(xiàn)性任務(wù)設(shè)計[16]：①能真正反映情境中遇到的問題和任務(wù)，必須要能評定出學(xué)生的所知與所能；②要盡量展示出學(xué)生對問題的思考、觀察和推理；③要體現(xiàn)其所秉承的共同體的價值觀；④可以是個體或小組合作形式完成的；⑤對于同一個目標(biāo)，應(yīng)允許設(shè)計多個表現(xiàn)性任務(wù)；⑥表現(xiàn)性任務(wù)設(shè)計應(yīng)具有課程適應(yīng)性；⑦表現(xiàn)性評價并不是簡單地體現(xiàn)學(xué)生部分感知問題的能力，而是要體現(xiàn)學(xué)生在完成任務(wù)時所表現(xiàn)出的對事物或問題結(jié)構(gòu)的敏感性及整體的控制能力；⑧表現(xiàn)性評價應(yīng)重視學(xué)生的主體性，必須是對學(xué)生有意義的，讓學(xué)生參與到問題解決中來，并幫助學(xué)生在任務(wù)完成過程中表現(xiàn)得更好。表現(xiàn)性任務(wù)設(shè)置是否科學(xué)、清晰、可操作，決定了評價實(shí)施的有效性。

2.3 制訂評價標(biāo)準(zhǔn)

評價標(biāo)準(zhǔn)的制訂是順利實(shí)施評價的基本保障。表現(xiàn)性評價是用來衡量學(xué)生在完成任務(wù)過程中的表現(xiàn)及其成果的一套標(biāo)準(zhǔn)，主要包括典型的學(xué)習(xí)行為語言描述和等級判斷[17]。實(shí)質(zhì)上是依據(jù)具體表現(xiàn)性評價目標(biāo)，分級描述學(xué)生在評價活動中或結(jié)果上應(yīng)有的表現(xiàn)過程，需滿足：①明確提供具體、清晰的表現(xiàn)標(biāo)準(zhǔn)，用具體、可測術(shù)語陳述表現(xiàn)標(biāo)準(zhǔn)；②可行性是指學(xué)生按照既定的標(biāo)準(zhǔn)應(yīng)該能達(dá)到的，應(yīng)該是可實(shí)施、可操作的；③可信是指依據(jù)評價標(biāo)準(zhǔn)得出測驗(yàn)結(jié)果的一致性、穩(wěn)定性及可靠性。好的評價標(biāo)準(zhǔn)的制訂，既要有制訂和修改評分規(guī)則所依據(jù)的準(zhǔn)則，也需要在評分規(guī)則設(shè)計過程中給出各種事宜的最佳時間順序。對于評價來說，一套有用的評分方法和指導(dǎo)原則，不僅可以用來判斷設(shè)計工作的有效性，還可以幫助學(xué)生提高自我評價能力。在CCS考試中，考生完成病例會產(chǎn)生一個執(zhí)行列表，是對考生表現(xiàn)的完整記錄，展示了考生在模擬時間里的每一個執(zhí)行行為[18]。比如：美國USMLE評分是基于三個類別的整體績效進(jìn)行評分，即臨床推理、診斷績效和患者管理。雖然，每個類別的得分不同，但是累積的最終得分是加權(quán)的：臨床推理50%，診斷性能40%，患者管理10%[19]。

3 應(yīng)用前景

3.1 教學(xué)培訓(xùn)考核

計算機(jī)模擬病例具有時間和地點(diǎn)的便利性，病例中的虛擬患者具有交互性。因此，CCS已廣泛應(yīng)用于單個病例的程序開發(fā)、教學(xué)培訓(xùn)和考核評價。通過積極地調(diào)用學(xué)生的知識，擴(kuò)大模擬體驗(yàn)，加強(qiáng)主動學(xué)習(xí)過程，彌補(bǔ)學(xué)習(xí)知識和獲得經(jīng)驗(yàn)知識之間的差距，促進(jìn)其學(xué)習(xí)特定的疾病或技能[20]。比如：在仿真實(shí)驗(yàn)室中，學(xué)生在有限的時間內(nèi)學(xué)習(xí)臨床處置時，往往會對分析臨床情況感到有壓力，并且易焦慮[21]，可使用CCS作為學(xué)生進(jìn)入仿真模擬實(shí)驗(yàn)前過渡的準(zhǔn)備工作；將CCS與面對面的模擬體驗(yàn)相結(jié)合，可通過回憶所學(xué)教材和加強(qiáng)對知識學(xué)習(xí)來提高學(xué)生學(xué)習(xí)的潛力[22]；借助高仿真模擬器，構(gòu)建良好的場景，結(jié)合多站式評估任務(wù)，能可靠地評估參與者的臨床能力。

3.2 職業(yè)資格認(rèn)定

CCS逐漸成為職業(yè)資格認(rèn)定的重要手段。美國醫(yī)學(xué)考試委員會和聯(lián)邦醫(yī)學(xué)委員會聯(lián)合發(fā)起了評估中心項(xiàng)目(the assessment center program，ACP)，借助CCS用于幫助州醫(yī)學(xué)會對那些臨床能力受到質(zhì)疑的醫(yī)師進(jìn)行能力評價；德克薩斯大學(xué)研究者開發(fā)CCS，識別急診住院醫(yī)師在患者管理中的錯誤[18]。護(hù)理專業(yè)同樣重視采用CCS和虛擬患者以評價實(shí)踐能力。質(zhì)性研究[22]和臨床研究[23-25]均顯示，CCS在不同的層面上有助于學(xué)生能力的提高：①明晰護(hù)理照顧的角色和模式；②提供個性化學(xué)習(xí)體驗(yàn)；③彌補(bǔ)課堂及臨床教學(xué)罕見危重病例缺陷；④學(xué)習(xí)臨床問題處理優(yōu)先次序，增進(jìn)臨床推理能力；⑤降低焦慮水平，提升臨床工作自信心。主管注冊護(hù)士考試(NCLEX-RN)的美國國家護(hù)士聯(lián)合委員會(NCSBN)研究指出，只要實(shí)施方案滿足特定的設(shè)計條件，模擬可以替代50%的傳統(tǒng)臨床經(jīng)驗(yàn)[26]。

4 對我國實(shí)施基于表現(xiàn)性評價的CCS教育測評的建議

4.1 職業(yè)能力測評中應(yīng)重視考察真實(shí)的臨床實(shí)踐能力

我國現(xiàn)行臨床醫(yī)師和護(hù)士資格考試，在全面考察候選人的專業(yè)素質(zhì)等方面，仍以臨床知識為主，較難考察到候選人在真實(shí)情境中的臨床行為[27]。為了能全面、有效地考察候選人的臨床實(shí)踐能力，選拔合格的人才進(jìn)入醫(yī)療行業(yè)，職業(yè)資格認(rèn)定機(jī)構(gòu)要深刻理解表現(xiàn)性評價的價值與意義，重視候選人員在真實(shí)臨床情境中的工作表現(xiàn)和實(shí)踐性知識，逐步將表現(xiàn)性評價引入資格認(rèn)定之中，提高評價的預(yù)測效度，甄選出優(yōu)秀的申請者。

4.2 應(yīng)加強(qiáng)教師表現(xiàn)性評價技能培訓(xùn)

虛擬病例設(shè)計與真實(shí)的臨床醫(yī)患互動有一定差距，評價的預(yù)測效度有待提升。首先，應(yīng)確保情境與任務(wù)具有挑戰(zhàn)性和真實(shí)性[28]。真實(shí)性是表現(xiàn)性評價目標(biāo)的基本特征，挑戰(zhàn)性是評價核心素養(yǎng)的前提。只有確保情境及任務(wù)的真實(shí)性，才能使評價者有機(jī)會測評到學(xué)生在真實(shí)情境中應(yīng)用知識和解決問題的能力，才能有效地推論出學(xué)生在類似任務(wù)中的表現(xiàn)。只有確保情景和任務(wù)的挑戰(zhàn)性，才能激發(fā)學(xué)生的潛力，誘導(dǎo)其體現(xiàn)核心素養(yǎng)行為的發(fā)生。其次，應(yīng)強(qiáng)化情境和任務(wù)聯(lián)系[29]。情境與任務(wù)是表現(xiàn)性評價題目的形式要件，任務(wù)是在某個特定情境中進(jìn)行的，情境為任務(wù)的完成提供必要的線索。情境與任務(wù)相互依托、相互支持，使表現(xiàn)性評價考查學(xué)生在特定情境中解決問題的能力成為可能。如果情境和任務(wù)相互脫離，評價形式與評價內(nèi)容會出現(xiàn)兩張皮的情況，即任務(wù)并沒有真正嵌套在情境中，表現(xiàn)性評價的效度勢必會降低。只有健全試題審查與改進(jìn)機(jī)制，確保表現(xiàn)性評價的效度、信度及公平性，才能真正發(fā)揮表現(xiàn)性評價的積極作用，促進(jìn)我國醫(yī)學(xué)教育教學(xué)與評價實(shí)踐的深刻變革。

4.3 應(yīng)重視CCS教育測評質(zhì)量研究

評估醫(yī)學(xué)生常用的方法是模塊式的，每一個模塊考核都會給出一個分?jǐn)?shù)，學(xué)生通過所有的模塊考核后，即可畢業(yè)，但是這種模式存在很多弊端[30]。僅依靠背誦和記憶獲得的考試分?jǐn)?shù)，來評判一個醫(yī)學(xué)生的臨床資質(zhì)是無效的。為了更好地評估學(xué)生的能力水平，對基于表現(xiàn)性評價的計算機(jī)模擬病例評估的研究得到開展和應(yīng)用[31]。計算機(jī)模擬病例的評估方法可以測評被試者安全實(shí)踐技能水平和能力，還能區(qū)分新手和專家組不同的表現(xiàn)水平[32]。CCS模擬教學(xué)策略在醫(yī)學(xué)教育中應(yīng)用廣泛，但國內(nèi)關(guān)于這些學(xué)習(xí)策略使用的實(shí)效性研究，尤其是以學(xué)生視角為主，關(guān)注學(xué)生和患者結(jié)局的研究仍顯不足[22]。此外，CCS考試中有數(shù)百個可供選擇的臨床操作，有超過20%的考生做出過至少一次危險的操作，并且在每個臨床病例的危險操作傾向不同，考試中的危險操作可以潛在地反映被試者在實(shí)際臨床工作中做出相似操作的傾向[33]。臨床醫(yī)護(hù)人員、教育者、模擬專家和研究人員應(yīng)致力于將計算機(jī)模擬朝科學(xué)的方向發(fā)展，了解模擬科學(xué)的認(rèn)知狀態(tài)，是推進(jìn)模擬科學(xué)的關(guān)鍵，也將使未來與提高模擬科學(xué)相關(guān)的研究成為可能[34]。

綜上所述，表現(xiàn)性評價作為一種新興的評價方式，隨著計算機(jī)在考試施測、評分等環(huán)節(jié)中發(fā)揮越來越重要的作用，已經(jīng)在計算機(jī)模擬病例考試中開發(fā)和試點(diǎn)應(yīng)用。借鑒表現(xiàn)性評價的研究和應(yīng)用經(jīng)驗(yàn)，有助于推進(jìn)我國計算機(jī)模擬病例的開發(fā)和研究進(jìn)程，提升教育測評的信效度。