在線形成性測評在遠程開放教育中的應(yīng)用效果評價

李水藍，馬　俊

(長沙廣播電視大學(xué)，湖南長沙　410005)

在線形成性測評在遠程開放教育中的應(yīng)用效果評價

李水藍，馬俊

(長沙廣播電視大學(xué)，湖南長沙410005)

內(nèi)容摘要：遠程教育的質(zhì)量保證問題一直備受國內(nèi)外遠程教育機構(gòu)的重視，國家開放大學(xué)于2005年啟動注重過程評價的在線形成性測評。為描述國家開放大學(xué)在線形成性測評的現(xiàn)狀，研究人員于2015年1月長沙電大直屬教學(xué)點學(xué)員來校領(lǐng)取準考證之際，開展了在線形成性測評應(yīng)用效果的問卷調(diào)查。調(diào)查主要包括實施效果的自我評價以及在實施過程中遇到的困難與挑戰(zhàn)。自我評價將學(xué)習者的滿意度作為衡量在線形成性測評質(zhì)量的重要評價內(nèi)容，并從平臺設(shè)計、內(nèi)容設(shè)計、教師輔導(dǎo)與學(xué)習條件4個維度進行實證分析。研究發(fā)現(xiàn)學(xué)生的整體滿意度較高，優(yōu)質(zhì)的教師輔導(dǎo)服務(wù)能夠更好地支持學(xué)生完成在線形成性測評，給學(xué)生帶來愉快的學(xué)習體驗。此外，調(diào)查發(fā)現(xiàn)學(xué)生完成在線形成性測評的障礙主要集中在學(xué)習時間不足、內(nèi)容設(shè)計脫離成人學(xué)習實際等問題。通過研究總結(jié)了在線形成性測評的優(yōu)勢與不足，并提出改進意見，對開放教育形成性測評的改進具有參考價值。

關(guān)鍵詞：在線形成性測評；形成性評價；滿意度調(diào)查；開放教育

一、前言

(一)在線形成性評價

“形成性評價”的概念是美國哲學(xué)家 Scriven于1967年論及課程改革時首次提出(陳玉餛,1999)。形成性評價注重對學(xué)生的學(xué)習過程進行評價，重視學(xué)生在學(xué)習中的體驗以及師生之間的交流，是科學(xué)測評學(xué)生學(xué)習效果，反饋學(xué)習信息，促進學(xué)生自主學(xué)習，提高學(xué)生綜合素質(zhì)和能力的重要途徑。

隨著計算機信息技術(shù)的迅速發(fā)展，與課程整合的不斷深入，信息技術(shù)逐漸拓展至輔助評價領(lǐng)域，成為一種新的課堂教學(xué)評價技術(shù)。在線形成性評價是指對以網(wǎng)絡(luò)作為學(xué)習載體的學(xué)習者的學(xué)習情況進行評價的活動或過程，這種評價是以學(xué)習者為中心來研究其學(xué)習的背景、手段、方法及取得的效果，從而尋求適合學(xué)生的學(xué)習方式或是考查學(xué)生的學(xué)習質(zhì)量。在線測評系統(tǒng)借鑒網(wǎng)上考試的形式，引入了形成性測試與評價的思想，成為一種新的形成性評價工具。

(二)在線形成性評價在遠程開放教育中的應(yīng)用

在較長一段時間內(nèi)，國家開放大學(xué)的形成性評價一直只有單一的紙質(zhì)作業(yè)形式。由于其存在“作業(yè)的內(nèi)容和形式死板、陳舊，評價面有限，加之操作上的不規(guī)范，致使考核的可信度極低，區(qū)分度幾乎為零”(趙向華,2004)等問題。2005年春季，國家開放大學(xué)分批對不同專業(yè)的14門課程推行基于網(wǎng)絡(luò)的課程考核改革試點工作。此后改革不斷深入推進，截止2015年秋季，國家開放大學(xué)共計推出在線形成性評價課程77門，其中本科課程40門，?？普n程37門。

參加國家開放大學(xué)基于網(wǎng)絡(luò)的課程形成性考核的學(xué)生通過形成性測評系統(tǒng)完成考核。根據(jù)專業(yè)特點和教學(xué)目的，設(shè)計不同的課程評價方案，每項形成性考核任務(wù)均設(shè)立提交的截止日期，在截止日期前可重復(fù)提交，截止日期后學(xué)生無法提交。課程形成性考核成績所占的比例從30%至100%不等，形成性考核任務(wù)形式多樣，主要包括客觀題、論述題、小組討論、案例分析、調(diào)查報告、小論文等。學(xué)生登錄平臺選課后，需根據(jù)任務(wù)時間安排，單擊相應(yīng)課程“任務(wù)列表”進行答題。任務(wù)提交后，客觀題由系統(tǒng)自動評分，主觀題則需評閱教師評閱并給出建議。所有參與在線形成性測評的課程均需“雙及格”，即形成性考核和終結(jié)性考核需同時及格，若形成性測評成績未達60分，則不能參加終結(jié)性考試。

本研究以長沙廣播電視大學(xué)在籍學(xué)員為對象，采取定量與定性相結(jié)合的方法，對在線形成性測評的應(yīng)用效果進行評價，以研究在線形成性測評與學(xué)生的學(xué)之間的關(guān)系，并針對影響學(xué)員完成在線形成性考核的主要因素提出改進建議，為在線形成性測評系統(tǒng)的完善提供參考意見。

二、研究現(xiàn)狀

國內(nèi)不少學(xué)者對遠程開放教育在線形成性評價的實施效果進行了探索。陳軍等(2008) 以開放教育《宏微觀經(jīng)濟學(xué)》課程考核的實踐為例，指出有68.5%的學(xué)習者認為課程教學(xué)改革和考核方式的改革對平時的學(xué)習和知識掌握以及應(yīng)用有幫助；92.4%的學(xué)習者認為對學(xué)習過程的監(jiān)控、發(fā)現(xiàn)學(xué)習中存在的問題有作用。謝毅敏(2011)認為大多數(shù)學(xué)生對形成性考核持肯定態(tài)度，如76.9%的學(xué)生認為完成形成性考核任務(wù)對理解教材幫助很大或者有幫助，80.6%的學(xué)生認為參與國家開放大學(xué)的網(wǎng)上形成性考核對提高自己使用網(wǎng)絡(luò)的技能、查找網(wǎng)上資源的技能很有幫助或者有幫助。

在完成在線形成性測評的困難研究方面，張建華(2007)根據(jù)網(wǎng)上作業(yè)退回原因的分析，發(fā)現(xiàn)技術(shù)水平仍然是許多教師和學(xué)生參加基于網(wǎng)絡(luò)的形成性考核的困難和障礙之一。周霞(2010)基于此指出影響學(xué)生參與在線形成性測評的其它三種現(xiàn)實障礙，即個別化學(xué)習障礙、自主選課障礙和情感障礙。胡春華(2010)指出基于網(wǎng)絡(luò)的形成性評價存在著導(dǎo)學(xué)功能體現(xiàn)不足、階段性特征明顯、考核環(huán)節(jié)設(shè)計不盡合理等問題。

由研究綜述可以發(fā)現(xiàn),以往研究大多停留在理論推演或者簡單的案例研究上,沒有提供充分的實踐證據(jù),因此關(guān)于在線形成性測評的實證研究正是需要積極探索的領(lǐng)域。

三、研究設(shè)計

(一)研究對象

本研究以長沙廣播電視大學(xué)直屬教學(xué)點在籍學(xué)員為調(diào)查對象。調(diào)查始于期末考試前受試來校領(lǐng)取準考證之際，由研究人員闡明意圖后學(xué)生當場填寫問卷。本次調(diào)查共發(fā)放問卷300份，回收問卷296份，回收率為98.67%；有效問卷290份，有效率為96.67%。有效被試中，男生107名，女生 183 名，男女生所占比例分別為36.8%和63.2%。

(二)問卷設(shè)計

根據(jù)文獻調(diào)查并結(jié)合研究主題與目的，研究者初步歸納形成了一個由自我評價及存在的困難組成的問卷初稿。問卷重點圍繞學(xué)員的自我評價設(shè)計，鑒于預(yù)測時，學(xué)習者提出其在表達對問題的態(tài)度和看法時，并不能清楚地描述每一個項目符合程度對應(yīng)的李克特五級量表的具體等級，為此，問卷調(diào)整為三點量表，選項分別為滿意、一般、不滿意，分值依次為3、2、1。

問卷客觀題用于研究學(xué)習者對在線形成性評價的滿意度，主觀題用于調(diào)查學(xué)習者遇到的障礙和困難?？陀^題包括4個維度17道題。其中1—4題為個人信息，包括性別、年齡、專業(yè)及參考科目數(shù)等信息，5—8題為平臺設(shè)計，9—11為內(nèi)容設(shè)計，12—15為教師輔導(dǎo)，16—17為學(xué)習條件。問卷信度的Alpha值為0.788。

(三)數(shù)據(jù)分析

問卷數(shù)據(jù)采用SPSS17.0進行分析。通過統(tǒng)計問卷各維度的均值、標準差分析學(xué)習者對在線形成性測評的滿意度，并對學(xué)習者的個人特征與滿意度進行差異性檢查，以判斷學(xué)習者個人特征是否對滿意度產(chǎn)生影響。主觀題調(diào)查結(jié)果進行人工統(tǒng)計，并采用Excel進行分析。

四、研究結(jié)果

(一)學(xué)生滿意度調(diào)查

1.學(xué)生對在線形成性測評的總體滿意度。學(xué)生對開放教育在線形成性測評的總體滿意度均值為2.53(見表1)，且標準差較低，說明學(xué)生對在線形成性評價的整體滿意度較高，各個方面的滿意度趨于一致。

表1　學(xué)生對網(wǎng)絡(luò)形考滿意度均值

在上述四個維度，有一項滿意度均值超過整體均值(M=2.53)，為教師輔導(dǎo)；三項低于整體均值(M=2.53)，分別為內(nèi)容設(shè)計、平臺設(shè)計、學(xué)習資源與學(xué)習條件(見表2)。教師輔導(dǎo)的滿意度最高(M=2.66)，說明完成在線形成性測評的過程中，教師的支持服務(wù)比較到位，學(xué)生認可度較高。其次滿意度較高的是學(xué)習資源與條件(M=2.42)，對在線形成性評價滿意度最低的是內(nèi)容設(shè)計(M=2.23)，這表明設(shè)計者亟需根據(jù)開放教育的特點改進形考內(nèi)容設(shè)計。

表2　學(xué)習者對在線形成性考核各維度的滿意度

2.不同性別學(xué)生滿意度差異。學(xué)習者對在線形成性測評滿意度的所有維度中，女生的滿意度高于男生(見表3)。不同性別的學(xué)員在各個維度的滿意度趨于一致(見圖1)。

表3　不同性別學(xué)生對在線形成性測評的滿意度

圖1　不同性別學(xué)生對在線形成性測評的滿意度

為了分析性別對滿意度是否有顯著影響，進行獨立樣本T檢驗。檢驗結(jié)果顯示，學(xué)生在4個維度中雙側(cè)檢驗sig值均大于0.05，即學(xué)生性別對平臺設(shè)計、內(nèi)容設(shè)計、學(xué)習條件及輔導(dǎo)教師助學(xué)各維度均不存在顯著性別差異(見表4)。

表4　性別對學(xué)生滿意度影響差異性檢驗

表5　不同年齡段學(xué)習者滿意度

3.不同年齡段學(xué)生的滿意度差異。問卷調(diào)查者中20歲以下27名，20—35歲207名，35—45歲53名，45歲以上3名，本研究對不同年齡段學(xué)習者對國家開放大學(xué)在線形成性測評的滿意度的差異性進行了探討(見表5)。數(shù)據(jù)顯示，不同年齡段的學(xué)習者在各個維度上的滿意度不一致，但趨勢趨于一致。如在內(nèi)容設(shè)計方面，各年齡段學(xué)習者滿意度差異不大。在平臺設(shè)計、教師輔導(dǎo)、學(xué)習條件方面，四個年齡段對教師輔導(dǎo)的滿意度較高，對平臺設(shè)計的滿意度較低。在上述三個方面，45歲以上學(xué)習者的滿意度均高于其它年齡段的學(xué)習者。這說明學(xué)生個體的學(xué)習經(jīng)驗不同，滿意度也不同。

為了探討不同年齡段學(xué)習者的滿意度是否有顯著差異，本研究采用Kruskal Wallis 檢驗(見表6)?？梢钥闯?，每個維度中的sig.值均大于0.05，說明年齡段對學(xué)生滿意度無顯著影響。

表6　不同年齡段學(xué)習者滿意度差異性檢驗

4.不同專業(yè)學(xué)生滿意度差異。本次調(diào)查問卷共涉及到18個專業(yè)的學(xué)生，分別比較不同專業(yè)學(xué)生的滿意度(見表7)。可以看出,不同專業(yè)學(xué)員的滿意度不同。其中，工程造價、會計學(xué)、行政管理、藥品經(jīng)營與管理專業(yè)的滿意度居前，各維度滿意度均高于平均值；土木工程、建筑施工與管理、法學(xué)三個專業(yè)的滿意度較低，各維度滿意度均低于平均值。一村一大學(xué)員有三個維度的滿意度低于“一般”(均值為2)，分別為平臺設(shè)計(均值為1.08)、內(nèi)容設(shè)計(均值為1.78)與學(xué)習條件(均值為1.33)。反映出該專業(yè)學(xué)員除教師輔導(dǎo)(均值為2.7)外，對在線形成測評的其他設(shè)計認可度均不高，存在悲觀情緒。

表7　不同專業(yè)學(xué)習者滿意度差異

計算機信息管理建筑施工與管理金融人力資源社會工作市場營銷土木工程行政管理學(xué)前教育藥品經(jīng)營與管理藥學(xué)一村一大其他均值2.422.332.832.33標準差0.5770.2870.764均值2.252.172.632.25標準差0.3540.2360.5300.354均值2.452.332.552.40標準差0.5700.2360.5420.652均值2.72.002.72.30標準差0.3260.4080.3260.447均值2.192.422.502.69標準差0.5630.2360.5350.372均值2.831.8892.672.83標準差0.1440.3850.2890.289均值2.172.222.252.00標準差0.1440.5090.661均值2.452.232.672.46標準差0.4740.3360.4030.533均值2.172.392.332.33標準差0.5630.2510.4650.408均值2.752.332.942.50標準差0.50.125均值2.412.392.702.41標準差0.390.3890.3320.302均值1.081.682.751.33標準差0.1440.1920.4330.289均值2.331.962.482.28標準差0.4060.4530.4250.520a32558331066411330

注： 問卷調(diào)查表中“其他”類有30位學(xué)員未填寫就讀專業(yè)等個人信息。

表8　不同科目數(shù)學(xué)生滿意度差異

5.不同科目數(shù)學(xué)生滿意度差異。本研究比較了已參與在線形成性測評不同科目數(shù)的學(xué)生滿意度(見表8)?？梢钥闯觯煌颇繑?shù)學(xué)生的滿意度不一樣。在平臺設(shè)計與教師輔導(dǎo)方面，隨著參與在線形成性測評課程數(shù)的增加，學(xué)生的滿意度降低。這可能是由于在線形成性測評課程越多，入口越多，考核形式更復(fù)雜多樣，輔導(dǎo)教師工作壓力越大。在內(nèi)容設(shè)計與學(xué)習條件方面，3—5門課程參與數(shù)的學(xué)習者滿意度最低，隨后隨著參與在線形成性測評課程數(shù)的增加，學(xué)生的滿意度上升。這說明當網(wǎng)絡(luò)形成性考核門數(shù)超過5門，學(xué)習者對在線形成性評價比較適應(yīng)，對形考內(nèi)容的設(shè)計更為接受并能較快地查找到相關(guān)資源有準備地完成形考任務(wù)。

(二)影響學(xué)生完成在線形成性評價存在的主要因素

對學(xué)員完成在線形成性測評存在的障礙進行調(diào)查發(fā)現(xiàn)：學(xué)習時間相對不足，工學(xué)矛盾突出，很難有時間完成的學(xué)習者最多，達164人，占學(xué)生總?cè)藬?shù)的比例為56.55%；形考任務(wù)多，截止時間不一致，容易忘記,占54.83%；作業(yè)難度較大，偏離學(xué)習基礎(chǔ)，占29.66%；受計算機技術(shù)水平及上網(wǎng)條件的限制，占28.97%；缺少學(xué)習資源，課程助學(xué)功能不強，占27.59%；師生交互不及時，缺乏協(xié)作交流，占21.38% (見表9)。

五、結(jié)論與建議

(一)結(jié)論

1.學(xué)習者對在線形成性測評的滿意度較高。由表2可看出，學(xué)習者在各個維度上的滿意度的均值均高于2.1，說明學(xué)習者對在線形成性測評的使用比較滿意。滿意度最高的是教師輔導(dǎo)，即在完成網(wǎng)絡(luò)形考作業(yè)的過程中，獲得教師事前、事中、事后及時到位的支持服務(wù)。在線形成性考核相較于傳統(tǒng)的紙質(zhì)作業(yè)，在平臺設(shè)計和教師支持服務(wù)方面有很大不同。開放教育傳統(tǒng)的作業(yè)練習冊，班主任老師期初發(fā)放，期末收齊交予授課教師進行評閱，學(xué)習者與教師之間缺乏互動、交流，不能充分激發(fā)學(xué)生的積極性與主動性。良好的學(xué)習行為的產(chǎn)生需要更注重及時反饋的學(xué)習平臺，在線形成性測評則為學(xué)習者提供了這樣的環(huán)境。網(wǎng)絡(luò)技術(shù)環(huán)境下，教師可通過在線評閱及成績查詢及時掌握學(xué)員的學(xué)習狀態(tài)、學(xué)習中遇到的困難，并促進學(xué)員之間的對話、問題解決和信息共享。

2.學(xué)習者相對對內(nèi)容設(shè)計滿意度較低。本研究針對學(xué)生對內(nèi)容設(shè)計滿意度調(diào)查，相對而言，學(xué)生對內(nèi)容設(shè)計的滿意度較低(M=2.23)。由表3、表5、表7可看出，不同性別不同年齡不同專業(yè)不同考核課程的學(xué)習者滿意度均不高，說明學(xué)生不認可在線形成性測評系統(tǒng)考核內(nèi)容的設(shè)計與其自身的學(xué)習基礎(chǔ)、學(xué)習能力、學(xué)習需求相匹配。如一村一大學(xué)員在內(nèi)容設(shè)計的滿意度僅為1.78，低于“一般”(均值為2)。因此，未來在線形成性測評系統(tǒng)在后續(xù)使用中，如何根據(jù)開放教育各專業(yè)學(xué)員生源特點、學(xué)習基礎(chǔ)、知識背景設(shè)計突出成人學(xué)習的實踐性特點的考核內(nèi)容，是應(yīng)予優(yōu)先考慮的問題。

3.學(xué)習者的性別和年齡對滿意度的影響不顯著。從不同性別學(xué)習者的滿意度可看出，對在線形成性測評的滿意度，女生均高于男生。但男性與女性在四個維度的滿意度差異不明顯。在年齡差異上，相對來說，年齡較大者對平臺設(shè)計、教師輔導(dǎo)及學(xué)習條件的滿意度強于年齡較輕者，但在統(tǒng)計中表現(xiàn)不明顯，主要原因可能是本次調(diào)查樣本中，以青年學(xué)習者居多，他們具有較嫻熟的技術(shù)操作能力。

4.學(xué)習時間不足是學(xué)生完成在線形成性測評的主要障礙。開放教育的學(xué)習者大多是在職的成人學(xué)習者，工作、生活忙碌，因而“工學(xué)矛盾”“生學(xué)矛盾”突出。如表9所示，被試中有164人提到“工學(xué)矛盾突出，很難有時間完成”，占學(xué)生總?cè)藬?shù)的一半以上。這就需要設(shè)計者在平臺設(shè)計上多下功夫，為學(xué)生打破空間、時間的限制進行學(xué)習提供方便，保障學(xué)員隨時隨地可進行有效學(xué)習；同時促進學(xué)員知識和技能的發(fā)展，提高實踐能力，緩解工學(xué)矛盾。

(二)建議

在線形成性測評強調(diào)以學(xué)生的學(xué)為中心的設(shè)計理念，強化學(xué)生的主體地位。本研究針對系統(tǒng)存在的缺陷提出如下改進意見：

1.統(tǒng)一各課程各次作業(yè)形考完成時間，在任務(wù)截止前一星期由系統(tǒng)自動發(fā)送短信進行友情提醒。

2.完善網(wǎng)絡(luò)形考平臺的硬件設(shè)施，以保障網(wǎng)絡(luò)鏈接速度、頁面登錄的流暢性等。

3.增加平臺的舒適度和親切感，注重人性化因素，簡化操作流程，開設(shè)自由討論區(qū)，增加互動功能，實現(xiàn)生生、師生互動。

4. 豐富網(wǎng)絡(luò)課程資源，尤其是與考核成績直接相關(guān)的重點內(nèi)容以及擴充知識面的補充材料，充分發(fā)揮資源的導(dǎo)學(xué)與助學(xué)作用。

參考文獻：

[1]陳玉錕.教育評價學(xué)[M].北京:人民教育出版社,1999:139—140.

[2]趙向華.對電大形成性考核基本問題的再認識[J].廣東廣播電視大學(xué)學(xué)報,2004,(4): 15—18.

[3]陳軍，張光燦.網(wǎng)絡(luò)化形成性考核評價淺探——以開放教育《宏微觀經(jīng)濟學(xué)》課程考核的實踐為例[J].遠程教育雜志，2008，(2):58—60.

[4]謝毅敏.學(xué)生需求視角下的網(wǎng)絡(luò)形成性考核平臺優(yōu)化設(shè)計[J].中國遠程教育，2011，(12):68—70.

[5]張建華，蔣國珍.基于網(wǎng)絡(luò)的形成性考核的有效性和時效性分析[J].開放教育研究，2007，(2):105—108.

[6]周霞.基于網(wǎng)絡(luò)的形成性考核障礙與對策[J].天津電大學(xué)報，2010，(6):17—18.

[7]胡春華.基于網(wǎng)絡(luò)形成性考核改革初探[J].遼寧廣播電視大學(xué)學(xué)報，2010，(3):15—17.

Evaluation of the Application Effect of Online Formative Assessment in Distance Open Education

LI Shui—lan， MA Jun

Abstract:The quality assurance of distance education has been highly valued by the distance education institutions at home and abroad. In this context, the National Open University has started the online formative assessment since 2005. In order to describe the status quo of the online formative assessment, researchers carried out questionnaire survey on the application effect of online formative evaluation in January 2015 when the students of Changsha radio and TV University directly under the teaching point went to the school to receive the admission ticket. The investigation mainly included the self—evaluation ofthe implementation effect and the difficulties and challenges encountered in the implementation process. Self—evaluation will be taken as a measure of the degree of satisfaction of the online formative assessment from four dimensions including the platform design, content design, teaching and learning conditions. The study found that overall satisfaction of students was high, the superior counseling services support students to complete the online formative assessment and give students a pleasant learning experience. In addition, the survey found that the barriers to complete the online formative assessment mainly focused on the lack of study time, content design from the practical adult learning.

Key words:online formative assessment; formative assessment; satisfaction survey; open education

收稿日期：2016—02—20

基金項目：湖南廣播電視大學(xué)2014年度校級課題“遠程開放教育基于網(wǎng)絡(luò)的形成性考核研究——以長沙電大為例”(XDK2014—C—32)。

作者簡介：李水藍(1981—)，女，長沙廣播電視大學(xué)講師，碩士；

中圖分類號：G728

文獻標識碼：A

文章編號：1009—5152(2016)02—0001—06

馬俊(1971—),女，長沙廣播電視大學(xué)副教授。