基于多平臺(tái)的健康評(píng)估在線課程考核評(píng)價(jià)指標(biāo)體系的構(gòu)建研究

齊秀杰，高 寒，馬 瑩，黃金鳳，劉 雪，麻經(jīng)緯

長春醫(yī)學(xué)高等?？茖W(xué)校，吉林長春 130031

學(xué)生學(xué)習(xí)成果是檢驗(yàn)在線教學(xué)質(zhì)量的重要指標(biāo)，如何通過客觀、科學(xué)的教學(xué)評(píng)價(jià)指標(biāo)對(duì)學(xué)生學(xué)習(xí)成果進(jìn)行評(píng)價(jià)已成為在線教學(xué)必須關(guān)注的問題之一。健康評(píng)估課程是護(hù)理專業(yè)的核心課程，因其具有理論性強(qiáng)、對(duì)實(shí)操技能要求高的特點(diǎn)，增加了在線課程考核評(píng)價(jià)的難度，特別是形成性評(píng)價(jià)的難度。目前，對(duì)健康評(píng)估課程考核評(píng)價(jià)的研究多聚焦于線下課程、結(jié)果性評(píng)價(jià)方面[1]，考核內(nèi)容多以“理論+技能”為主，對(duì)在線課程考核評(píng)價(jià)的研究則較少見[2]?；谝陨涎芯楷F(xiàn)狀，在兼顧形成性評(píng)價(jià)和結(jié)果性評(píng)價(jià)的基礎(chǔ)上，本研究整合平臺(tái)優(yōu)勢(shì)，以學(xué)堂在線(醫(yī)苑在線)和云班課平臺(tái)內(nèi)置模塊為考核評(píng)價(jià)基本指標(biāo)，擬探討各指標(biāo)之間的權(quán)重分配，形成基于多平臺(tái)的健康評(píng)估在線課程考核評(píng)價(jià)指標(biāo)體系，為健康評(píng)估線上課程的考核評(píng)價(jià)提供參考?，F(xiàn)報(bào)告如下。

1 研究方法

1.1 成立研究小組

研究小組由1名教授、3名副教授、4名講師和1名助教組成，其中教授與副教授長期從事護(hù)理專業(yè)教學(xué)管理工作，講師長期從事健康評(píng)估課程教學(xué)工作，助教從事教學(xué)輔助工作。

1.2 確定評(píng)價(jià)指標(biāo)

1.2.1指標(biāo)的來源

學(xué)堂在線(醫(yī)苑在線)和云班課平臺(tái)是目前在線教學(xué)中應(yīng)用比較廣泛，且相對(duì)成熟的平臺(tái)。其中學(xué)堂在線(醫(yī)苑在線)平臺(tái)內(nèi)置考核評(píng)價(jià)模塊，涵蓋視頻學(xué)習(xí)、作業(yè)成績、考試成績、討論回復(fù)、期末成績和線下成績6個(gè)部分。云班課平臺(tái)設(shè)置輕直播功能，該功能可使教師邊上課邊了解學(xué)生的學(xué)習(xí)狀態(tài)，且可動(dòng)態(tài)記錄每一位學(xué)生的學(xué)習(xí)行為。本研究以上述平臺(tái)內(nèi)置考核評(píng)價(jià)模塊為依據(jù)，初步擬定考核評(píng)價(jià)指標(biāo)。

1.2.2確定評(píng)價(jià)指標(biāo)

根據(jù)學(xué)堂在線(醫(yī)苑在線)和云班課平臺(tái)內(nèi)置考核評(píng)價(jià)模塊，初步確定學(xué)生在線學(xué)習(xí)成果考核評(píng)價(jià)指標(biāo)：一級(jí)指標(biāo)2項(xiàng)(Ⅰ-1 過程性評(píng)價(jià)、Ⅰ-2 結(jié)果性評(píng)價(jià))、二級(jí)指標(biāo)7項(xiàng)(Ⅱ-1云班課成績、Ⅱ-2視頻成績、Ⅱ-3作業(yè)成績、Ⅱ-4考試成績、Ⅱ-5討論回復(fù)、Ⅱ-6期末考試成績、Ⅱ-7線下成績)。

1.3 專家共識(shí)會(huì)議(consensus development conference，CDC )

CDC是指由各相關(guān)專家、群體、代表等以投票、排序或其他達(dá)成共識(shí)的互動(dòng)方法(公開討論的方式)，針對(duì)決策或研究發(fā)現(xiàn)進(jìn)行評(píng)估，再將這些多元化的決議整合出最重要的指導(dǎo)建議的方法[3]。CDC可以為專家提供面對(duì)面交流和討論的機(jī)會(huì)，從而產(chǎn)生更多的建議和意見[4]。本研究擬采用CDC初步確定基于學(xué)堂在線(醫(yī)苑在線)和云班課平臺(tái)的健康評(píng)估在線課程評(píng)價(jià)指標(biāo)的各項(xiàng)分值。具體步驟：遴選參會(huì)專家，召開共識(shí)會(huì)議，確定基于學(xué)堂在線(醫(yī)苑在線)和云班課平臺(tái)的健康評(píng)估在線課程考核評(píng)價(jià)指標(biāo)的各項(xiàng)分值，評(píng)價(jià)各項(xiàng)指標(biāo)分值分配方案并確定各級(jí)指標(biāo)權(quán)重。按照CDC遴選專家的相關(guān)原則[5]，遴選10名護(hù)理教育領(lǐng)域?qū)＜?，召開CDC。納入標(biāo)準(zhǔn)：具有中級(jí)及以上職稱；具有5年及以上教齡；承擔(dān)健康評(píng)估在線課程教學(xué)任務(wù)或從事護(hù)理專業(yè)教學(xué)管理工作；使用學(xué)堂在線(醫(yī)苑在線)、云班課平臺(tái)進(jìn)行教學(xué)；自愿參與本研究。排除標(biāo)準(zhǔn)：未使用學(xué)堂在線(醫(yī)苑在線)、云班課平臺(tái)進(jìn)行教學(xué)者；愿意參與本研究，但不能保證一直參與到研究結(jié)束者。召開CDC, 請(qǐng)與會(huì)專家就基于學(xué)堂在線(醫(yī)苑在線)和云班課平臺(tái)的健康評(píng)估在線考核評(píng)價(jià)指標(biāo)各項(xiàng)分值發(fā)表意見并進(jìn)行討論，直到意見統(tǒng)一。

1.4 初步分配方案的驗(yàn)證

1.4.1構(gòu)建層次結(jié)構(gòu)模型

基于CDC達(dá)成的初步分配方案，采用層次分析法(analytic hierarchy process，AHP)，運(yùn)用yaahp 10.0軟件構(gòu)建各級(jí)指標(biāo)層次結(jié)構(gòu)模型。

1.4.2計(jì)算各級(jí)指標(biāo)權(quán)重

采用yaahp 10.0軟件，根據(jù)初步分配方案中各級(jí)指標(biāo)分?jǐn)?shù)的高低，遵循Saaty1-9標(biāo)度法[6]，構(gòu)建各級(jí)指標(biāo)兩兩比較的要素判斷矩陣，采用冪法對(duì)已經(jīng)構(gòu)建的判斷矩陣的次序一致性和基本一致性進(jìn)行檢驗(yàn)，并計(jì)算各級(jí)指標(biāo)層次總排序權(quán)重。

1.5 數(shù)據(jù)處理與統(tǒng)計(jì)分析

采用SPSS 22.0軟件和yaahp 10.0軟件分析數(shù)據(jù)。其中，專家一般資料采用描述性統(tǒng)計(jì)分析。采用冪法對(duì)判斷矩陣次序一致性和基本一致性進(jìn)行檢驗(yàn)，一致性比例CR值<0.10表示判斷矩陣通過一致性檢驗(yàn)，層次總排序權(quán)重合理。

2 結(jié)果

2.1 專家一般資料

專家年齡33～50歲，平均(42.00±5.44)歲；工作年限7～24年，平均(16.90±6.69)年。專家一般資料見表1。

表1 專家一般資料(n=10)

2.2 各級(jí)指標(biāo)分值初步分配方案

通過1次CDC初步形成基于學(xué)堂在線(醫(yī)苑在線)和云班課平臺(tái)的健康評(píng)估在線課程考核評(píng)價(jià)指標(biāo)分值初步分配方案(以下簡稱“初步分配方案”)，見表2。

表2 各級(jí)指標(biāo)分值初步分配方案

2.3 初步分配方案的驗(yàn)證結(jié)果

2.3.1健康評(píng)估在線考核評(píng)價(jià)指標(biāo)體系層次結(jié)構(gòu)模型

健康評(píng)估在線考核評(píng)價(jià)指標(biāo)體系層次包括決策層、準(zhǔn)則層(即一級(jí)指標(biāo))、方案層(即二級(jí)指標(biāo))，結(jié)構(gòu)模型見圖1。

圖1 健康評(píng)估在線考核評(píng)價(jià)指標(biāo)體系層次結(jié)構(gòu)模型

2.3.2各級(jí)指標(biāo)一致性檢驗(yàn)結(jié)果

采用冪法檢驗(yàn)判斷矩陣次序一致性和基本一致性并計(jì)算各級(jí)指標(biāo)排序權(quán)重。各級(jí)指標(biāo)權(quán)重均通過檢驗(yàn)一致性檢驗(yàn)(CR值均<0.10)。各級(jí)指標(biāo)一致性檢驗(yàn)及排序權(quán)重結(jié)果見表3。

表3 各級(jí)指標(biāo)一致性檢驗(yàn)及排序權(quán)重結(jié)果

3 討論

3.1 研究結(jié)果的可靠性分析

從指標(biāo)來源、使用研究方法兩方面分析研究結(jié)果的可靠性。首先，指標(biāo)體系設(shè)立的一級(jí)指標(biāo)兼顧了過程性評(píng)價(jià)和結(jié)果性評(píng)價(jià)，這與劉永兵等[7]的研究一致，尤其是新教育改革實(shí)施后，形成性評(píng)價(jià)作用日益凸顯[8]。指標(biāo)體系所設(shè)立的二級(jí)指標(biāo)均來源于學(xué)堂在線(醫(yī)苑在線)和云班課平臺(tái)。云班課平臺(tái)是目前使用較廣泛的形成性評(píng)價(jià)平臺(tái)[9]，該平臺(tái)能夠記錄學(xué)生的學(xué)習(xí)軌跡，為教師提供可信的教學(xué)質(zhì)量報(bào)告和數(shù)據(jù)[10]。本研究將云班課成績納入過程性評(píng)價(jià)指標(biāo)，指標(biāo)來源可靠。學(xué)堂在線(醫(yī)苑在線)平臺(tái)能夠較好地對(duì)學(xué)生的學(xué)習(xí)情況進(jìn)行監(jiān)控[11]，該平臺(tái)設(shè)立的考核評(píng)價(jià)模塊構(gòu)成了二級(jí)指標(biāo)的主要來源，包括視頻成績、作業(yè)成績、討論成績、考試成績。值得注意的是本研究中的考試成績是指學(xué)生期中測(cè)試成績，反映了學(xué)生階段性的學(xué)習(xí)成果，有利于幫助學(xué)生更好地查缺補(bǔ)漏。上述指標(biāo)較為全面地對(duì)健康評(píng)估在線課程學(xué)習(xí)過程進(jìn)行了評(píng)價(jià)。綜上所述，指標(biāo)來源可靠。其次，研究方法方面，本研究在確定指標(biāo)權(quán)重分配的時(shí)候主要用到了CDC和AHP。目前，CDC主要被用于臨床指南的確定，是一種公認(rèn)的較為權(quán)威的方法，該方法主要針對(duì)決策或研究發(fā)現(xiàn)進(jìn)行評(píng)估，再將這些多元化的決議整合出重要的指導(dǎo)建議[3]。本研究依托于學(xué)堂在線(醫(yī)苑在線)和云班課平臺(tái)內(nèi)置評(píng)價(jià)指標(biāo)，形成了指標(biāo)體系的初稿，然后采用CDC形成專家共識(shí)，方法得當(dāng)。在權(quán)重分析方面，AHP是一種定性和定量結(jié)合的方法，被廣泛應(yīng)用于決策中[12]，減少了評(píng)價(jià)的主觀性。學(xué)生成績的評(píng)價(jià)具有多層次、多指標(biāo)性。所以選用AHP分析該問題具有一定的科學(xué)性。上述方法的使用保證了指標(biāo)體系構(gòu)建過程的規(guī)范性和合理性，進(jìn)而使研究結(jié)果具有可靠性。

3.2 指標(biāo)體系的科學(xué)性分析

從指標(biāo)體系內(nèi)容和權(quán)重兩方面分析指標(biāo)體系的科學(xué)性。

3.2.1指標(biāo)體系內(nèi)容

各級(jí)指標(biāo)體系的內(nèi)容均是以學(xué)生為中心，基本涵蓋了學(xué)生的課前考勤、課中授課、慕課學(xué)習(xí)、課后隨堂測(cè)試、完成作業(yè)和討論等在線教學(xué)的全過程，基本涵蓋了課前、課中和課后三個(gè)階段，彌補(bǔ)了現(xiàn)有評(píng)價(jià)指標(biāo)體系不能對(duì)學(xué)生課前、課中和課后學(xué)習(xí)效果進(jìn)行評(píng)價(jià)的不足[13]，能夠較為全面反映出學(xué)生的學(xué)習(xí)情況，指標(biāo)內(nèi)容設(shè)置科學(xué)。

3.2.2指標(biāo)權(quán)重分配

受限于在線教學(xué)時(shí)空分離的特點(diǎn)[14]，所以評(píng)價(jià)仍以結(jié)果性評(píng)價(jià)為主，過程性評(píng)價(jià)為輔，這種考核評(píng)價(jià)權(quán)重與現(xiàn)有研究一致[15]。本研究中，一級(jí)指標(biāo)權(quán)重分配為：Ⅰ-1過程性評(píng)價(jià)(0.275)、Ⅰ-2結(jié)果性評(píng)價(jià)(0.725)，權(quán)重分配較為合理。二級(jí)指標(biāo)權(quán)重分配情況依次為：Ⅱ-6期末考試成績(0.526)、Ⅱ-7線下成績(0.199)Ⅱ-2視頻成績(0.100)、Ⅱ-3作業(yè)成績(0.075)、Ⅱ-4考試成績(0.050)、Ⅱ-1云班課成績(0.025)、Ⅱ-5討論回復(fù)(0.025)，期末考試成績主要是指學(xué)生期末考試卷面成績，線下成績則是指學(xué)生實(shí)訓(xùn)報(bào)告、實(shí)訓(xùn)考核成績。其中，期末考試成績權(quán)重為0.526，反映了學(xué)生健康評(píng)估理論知識(shí)掌握情況。健康評(píng)估課程是護(hù)理專業(yè)核心課程，也是護(hù)理專業(yè)由基礎(chǔ)通向臨床的橋梁課程，只有掌握了良好的理論基礎(chǔ)才能更好地進(jìn)行護(hù)理實(shí)踐，所以，本研究中期末考試成績權(quán)重最大。另一方面，健康評(píng)估課程著重培養(yǎng)的是學(xué)生的護(hù)理評(píng)估能力，所以，除了扎實(shí)的理論，學(xué)生還應(yīng)掌握身體評(píng)估、常見癥狀評(píng)估等技能，所以技能考核十分重要。在本研究中，學(xué)生實(shí)訓(xùn)技能的考核結(jié)果以線下成績的形式體現(xiàn)，該部分權(quán)重為0.199，權(quán)重分配較為合理。以上兩方面兼顧理論和實(shí)訓(xùn)，從兩大方面呈現(xiàn)了學(xué)生的結(jié)果性考核。依托于學(xué)堂在線(醫(yī)苑在線)平臺(tái)的精品在線課是健康評(píng)估課程開展在線學(xué)習(xí)的重要資源之一，學(xué)生通過觀看在線視頻，能夠完成課前預(yù)習(xí)、課后復(fù)習(xí)，實(shí)現(xiàn)課中有目的的學(xué)習(xí)。學(xué)生該部分成績是考核評(píng)價(jià)的基礎(chǔ)，所以，該部分權(quán)重為0.100。課后作業(yè)是對(duì)學(xué)習(xí)成果的檢測(cè)，能夠幫助老師了解學(xué)生知識(shí)掌握情況，在教學(xué)反饋系統(tǒng)中具有重要的作用，所以，該部分權(quán)重為0.075。考試成績是學(xué)生階段性學(xué)習(xí)成果的展示，即期中考試成績，在形成性評(píng)價(jià)中，因其同作業(yè)成績相比缺乏一定的連貫性，所以，其權(quán)重為0.050，課后討論是對(duì)學(xué)習(xí)成果的進(jìn)一步升華和提煉，更適合自主學(xué)習(xí)能力較強(qiáng)、學(xué)習(xí)積極性高的同學(xué)，所以學(xué)生在該部分的成績可能存在一定的差異，同其他成績相比重要性略遜，所以，該部分權(quán)重為0.025。云班課成績是學(xué)生日常考勤和參與輕直播學(xué)習(xí)的體現(xiàn)，因大部分學(xué)生學(xué)習(xí)態(tài)度較端正，缺乏一定的鑒別性，同其他成績相比重要性略遜，所以，該部分權(quán)重為0.025。上述5個(gè)指標(biāo)從各個(gè)維度反應(yīng)了學(xué)生的過程性評(píng)價(jià)結(jié)果，權(quán)重分配合理。綜上所述，指標(biāo)體系具有一定的科學(xué)性。