線上線下不同教學模式下醫(yī)學統(tǒng)計學考試的測評分析

徐 濤，姜晶梅，薛 芳，王子興，韓 偉

中國醫(yī)學科學院基礎醫(yī)學研究所 北京協(xié)和醫(yī)學院基礎學院 流行病與衛(wèi)生統(tǒng)計學系，北京 100005

2020年春季學期開始時，國內(nèi)正處于新型冠狀病毒肺炎疫情的防控期間，而且國外疫情從4月份開始呈暴發(fā)態(tài)勢，外來輸入型病例對國內(nèi)疫情防控造成很大威脅，為阻斷疫情向校園蔓延，確保師生生命安全和身體健康，多數(shù)高校開展了網(wǎng)絡線上教學模式[1-3]。北京協(xié)和醫(yī)學院在整個2020年春季學期都開展了全面的線上教學模式，醫(yī)學統(tǒng)計學課程的期末考試采用了線上開放式考試模式；2020年秋季學期采用了線上線下混合教學，醫(yī)學統(tǒng)計學期末考試仍然采用了線上開放式考試模式；2021年春季學期采用了線下教學和線下閉卷考試模式。本研究旨在運用教育測量學理論和教育統(tǒng)計學方法，對3次連續(xù)學期的醫(yī)學統(tǒng)計學考試進行區(qū)分度和難度評價分析，以發(fā)現(xiàn)和解決課程安排、線上線下教學模式和考題設計、測評方法等方面的問題，為評定教學效果和教學質(zhì)量提供依據(jù)，也為不同教學模式和測評方法的合理應用提供支持。

對象和方法

對象北京協(xié)和醫(yī)學院2020年春季學期、秋季學期和2021年春季學期選修醫(yī)學統(tǒng)計學課程的研究生。

教學實施2020年春季學期采用線上教學和線上開放式考試模式。期末考試采用完全開放式測評，考試時間為2.5 h，考卷包括7個綜合應用題和1個實驗設計題，綜合應用題要求學生對具體數(shù)據(jù)進行分析，分別測試其用SPSS軟件對統(tǒng)計描述、t檢驗、卡方檢驗、置信區(qū)間、秩和檢驗、相關(guān)分析等基本分析方法的靈活應用，實驗設計題要求學生對一個具體科研假設進行統(tǒng)計學設計。該學期共有98名學生選修統(tǒng)計學，包括基礎班41名，臨床班57名。

2020年秋季學期采用線上線下混合教學和線上開放式考試模式。期末考試仍采用完全開放式測評，但考試時間為2 h，考卷包括5個綜合應用題和1個實驗設計題，綜合應用題要求學生對具體數(shù)據(jù)進行分析，分別測試其用SPSS軟件對卡方檢驗、置信區(qū)間、秩和檢驗、相關(guān)分析等基本分析方法的靈活應用，實驗設計題要求學生對一個具體科研假設進行統(tǒng)計學設計。該學期共有129名學生選修統(tǒng)計學，包括基礎班64名，臨床班65名。

2021年春季學期采用線下教學和線下考試模式。期末考試包括閉卷筆試和開卷軟件操作考試兩部分，筆試試卷包括選擇題、填空題、案例分析題(20分)和計算題，軟件操作考試為實例數(shù)據(jù)的SPSS軟件分析，滿分共100分。該學期共有86名學生選修統(tǒng)計學，包括基礎班33名，臨床班53名。

數(shù)據(jù)管理與分析采用EP 13.1軟件編制數(shù)據(jù)錄入程序，進行數(shù)據(jù)錄入與管理。由2名數(shù)據(jù)管理員獨立錄入并校對。采用SAS 9.4軟件進行統(tǒng)計分析，計量資料以均數(shù)±標準差表示，分類資料以例數(shù)表示?；A班和臨床班平均成績的比較采用t檢驗，3個學期平均成績的比較采用方差分析，并用Student-Newman-Keuls(SNK)檢驗進行多重比較。統(tǒng)計檢驗用雙側(cè)檢驗，P<0.05為差異有統(tǒng)計學意義。

結(jié) 果

試卷成績比較2020年春季學期、秋季學期和2021年春季學期期末考試的平均成績分別為78.76±12.73、82.61±10.08、73.67±14.50，3個連續(xù)學期的平均成績比較差異有統(tǒng)計學意義(F=13.731，P<0.001)。2020年春季學期、秋季學期基礎班和臨床班平均成績比較差異無統(tǒng)計學意義(t=0.336，P=0.738；t=1.070，P=0.287)，而2021年春季學期基礎班的平均成績高于臨床班，差異有統(tǒng)計學意義(t=2.400，P=0.019)(表1)。

表1 3次考試平均成績比較

區(qū)分度分析2020年春季學期的線上教學和線上開放式考試的區(qū)分度分析結(jié)果顯示，8道考題中有7道考題(87.5%)的區(qū)分度優(yōu)秀(D均≥0.4)，只有應用3(t檢驗)的區(qū)分度一般尚可(D=0.26)，沒有區(qū)分度差的考題?？偡值膮^(qū)分度為0.38，總體區(qū)分度良好(表2)。

表2 線上教學和線上開放式考試的區(qū)分度分析

2020年秋季學期的線上線下混合教學和線上開放式考試的區(qū)分度分析結(jié)果顯示，6道考題中只有3道考題(50%)的區(qū)分度優(yōu)秀(D均≥0.4)，應用1(均數(shù)差的置信區(qū)間)的區(qū)分度良好(D=0.33)，應用5(率差的置信區(qū)間)的區(qū)分度一般尚可(D=0.26)，應用4(卡方檢驗)的區(qū)分度差(D=0.17)?？偡值膮^(qū)分度為0.26，總體區(qū)分度一般(表3)。

表3 線上線下混合教學和線上開放式考試的區(qū)分度分析

2021年春季學期的線下教學和線下閉卷考試的區(qū)分度分析結(jié)果顯示，填空題、案例分析題和綜合應用題的區(qū)分度優(yōu)秀(D均≥0.4)，計算題以及基礎理論匯總的區(qū)分度良好(D=0.38；D=0.37)，選擇題的區(qū)分度一般尚可(D=0.26)，沒有區(qū)分度差的考題。總分的區(qū)分度為0.33，總體區(qū)分度良好(表4)。

表4 線下教學和線下考試的區(qū)分度分析

難度分析2020年春季學期的線上教學和線上開放式考試的難度系數(shù)分析結(jié)果顯示，難題和較難題3道，中等難度題1道，較易題和易題共4道(50%)?？季淼目偡蛛y度系數(shù)為0.79，總體難度適中(表5)。

表5 線上教學和線上開放式考試的難度系數(shù)分析

2021年秋季學期的線上線下混合教學和線上開放式考試的難度系數(shù)分析結(jié)果顯示，難題1道，中等難度題1道，較易題和易題共4道(66.7%)?？季淼目偡蛛y度系數(shù)為0.83，總體難度較容易(表6)。

表6 線上線下混合教學和線上開放式考試的難度系數(shù)分析

2021年春季學期的線下教學和線下考試的難度系數(shù)分析結(jié)果顯示，案例分析為難題，填空題、綜合應用題以及基礎理論匯總為中等難度，計算題為較易題，選擇題為易題?？季淼目偡蛛y度系數(shù)為0.74，總體難度適中(表7)。

表7 線下教學和線下考試的難度系數(shù)分析

討 論

對2020年春季學期的線上教學和線上開放式考試模式、秋季學期的線上線下混合教學和線上開放式考試模式和2021年春季學期的線下教學和線下閉卷考試模式的3次醫(yī)學統(tǒng)計學考試成績進行分析發(fā)現(xiàn)，2020年秋季學期的基礎班和臨床班的平均成績都略高于其他2個學期，2020年春季學期和2020年秋季學期2次開放式考試中，基礎班和臨床班的平均成績差異無統(tǒng)計學意義。但是2021年春季學期線下考試，臨床班的平均成績顯著低于基礎班，可能原因有2個，首先，基礎班成績都在60分以上，而臨床班有3名學生的考試成績在40分以下；其次，2021年春季學期，疫情得到有效控制，各臨床醫(yī)院基本恢復了正常運行，臨床專業(yè)研究生開始進行臨床輪轉(zhuǎn)，對于其基礎理論課學習有一定影響。

對3個學期不同教學模式和不同測評方法進行區(qū)分度和難度分析發(fā)現(xiàn)，2020年春季學期第1次進行線上教學和線上開放式考試的總體區(qū)分度良好，各類考題中除t檢驗應用的區(qū)分度一般，其他題目的區(qū)分度都達到優(yōu)秀，而且沒有區(qū)分度差的考題。但是2020年秋季學期第2次進行線上開放式考試的總體區(qū)分度一般，只有50%考題的區(qū)分度優(yōu)秀(D≥0.4)，有1/3考題的區(qū)分度一般或較差。分析原因可能是以下幾個方面，首先，2020年春季學期是第1次進行開放式考試，雖然是開卷考試，但是同學們都是居家考試且有明確的時間限制，相互間不容易進行交流溝通；其次，這種考試方式在本校是首次采用，同學們無法提前從上幾屆同學處獲得有效提示，所以此次考試的區(qū)分度比較好。2020年秋季學期進行線上線下混合教學，部分學生在教室上課，另一部分在線上同步直播，線上的同學只能看到PPT不能看到教室的黑板。同時，實施開放式考試時，同學們在學校宿舍、實驗室等場所聚集在一起，可以一邊考試一邊進行溝通交流；而且由于是第2次進行開放式考試，很多同學在考試前已經(jīng)從上一屆同學處了解很多考試技巧甚至上次的考題，所以此次考試雖然去掉了第1次開放式考試中區(qū)分度最低的t檢驗應用和得分率最高的統(tǒng)計描述，但整體區(qū)分度仍然不高。從難度分析可見，第2次開放式考試整體難度偏易，除靈活多變的實驗設計題外，其他綜合應用題都偏容易。2021年春季學期線下考試的總體區(qū)分度良好，除選擇題的區(qū)分度一般外，其他類型考題的區(qū)分度都優(yōu)秀或良好，而且沒有區(qū)分度差的考題；難度分析也可見，此次考試的整體難度適中，多數(shù)題型都是中等難度，難度太大和太容易的題目都較少，這可能與閉卷考試中對基礎理論的考查更全面且對基礎理論的掌握程度要求較高有關(guān)系。

作為線下常規(guī)教學的一種補充，線上教學模式也可以在醫(yī)學統(tǒng)計學教學中發(fā)揮很好的輔助作用[10-12]。在線上教學模式逐步發(fā)展成常規(guī)教學形式的情況下，線上考試也將成為一種新型的考試模式。線上考試可分為閉卷考試和開放式考試兩種。線上閉卷考試和線下閉卷考試在試題設計方面基本類似，只是電子試卷和紙質(zhì)試卷的區(qū)別，但是線上閉卷考試只能在學校機房進行，或者在各自的獨立考場利用雙機位進行監(jiān)場，執(zhí)行難度較大。線上開放性考試由于其開放的性質(zhì)，對于試題設計、考查內(nèi)容和綜合應用題的數(shù)據(jù)庫都有較高要求，必須做到新穎獨到，以保證同學們無法從上幾屆同學處獲取考題相關(guān)信息。而且開放性考試也要盡量保證學生們能夠做到獨立答題，盡量控制好考題量和考試時間的銜接，使學生們沒有多余時間交流答題甚至相互抄襲。

綜上，本研究結(jié)果顯示，線下閉卷考試區(qū)分度較好，可以很好地區(qū)分學習良好和略差的學生。兩次線上考試的區(qū)分度差異較大，第1次線上開放式考試的區(qū)分度優(yōu)于線下考試，但第2次線上開放式考試的區(qū)分度明顯較差，說明在線上進行開放式考試測評時，需要對考試內(nèi)容和考核方式進行更深入的調(diào)整，使之能夠更好地反映學生們的學習狀況。如果設計得當，線上考試也可達到難度適中而且區(qū)分度良好的效果。此外，需要進一步加強醫(yī)學生對統(tǒng)計學軟件綜合應用的能力，使學生能靈活運用統(tǒng)計學知識解決醫(yī)學科研中的實際問題。