陳耀禮 唐萬(wàn)梅
摘 要:構(gòu)建學(xué)生在線考試滿意度模型,分析變量對(duì)滿意度影響程度,進(jìn)而提出改進(jìn)策略,對(duì)提升在線考試的質(zhì)量有著重要的理論意義和現(xiàn)實(shí)意義。本研究以重慶某高校300名學(xué)生為研究對(duì)象,通過(guò)發(fā)送調(diào)查問(wèn)卷的方式收集數(shù)據(jù),使用SPSS和AMOS軟件統(tǒng)計(jì)分析數(shù)據(jù),然后使用結(jié)構(gòu)方程模型進(jìn)行路徑分析。統(tǒng)計(jì)分析結(jié)果顯示:高校學(xué)生在線考試總體滿意度一般。結(jié)構(gòu)方程模型路徑分析結(jié)果顯示:潛在變量“考試壞境”對(duì)總體滿意度影響最大,潛在變量“試卷管理”對(duì)總體滿意度影響最小。跟蹤調(diào)查發(fā)現(xiàn),針對(duì)各潛在變量下因素負(fù)荷量較大的測(cè)量變量提出相應(yīng)建議及改進(jìn)措施,可有效提升學(xué)生在線考試滿意度。
關(guān)鍵詞:在線考試;滿意度;結(jié)構(gòu)方程模型
中圖分類號(hào):G4 文獻(xiàn)標(biāo)志碼:A 文章編號(hào):2096-0069(2019)02-0034-06
收稿日期:2018-11-20
基金項(xiàng)目:重慶市教育規(guī)劃重點(diǎn)項(xiàng)目(2017-GX-116);重慶師范大學(xué)研究生科研創(chuàng)新項(xiàng)目(NYKC17022);重慶師范大學(xué)教改項(xiàng)目(XYJG16005、201625)
作者簡(jiǎn)介:陳耀禮(1995— ),男,重慶人,重慶師范大學(xué)碩士研究生,主要研究方向?yàn)閷W(xué)習(xí)分析、教育信息化;唐萬(wàn)梅(1965— ),女,重慶人,重慶師范大學(xué)教授,博士,主要研究方向?yàn)闄C(jī)器學(xué)習(xí)、在線教育、翻轉(zhuǎn)課堂等。
引言
考試作為各類人才選拔和檢測(cè)知識(shí)水平的一種重要手段,是目前檢測(cè)知識(shí)和考核人才的重要、高效方式[1]。在高校課程考核中,考試可以客觀評(píng)價(jià)考生的素質(zhì)水平、考試狀態(tài)和教師的教育水平、教育質(zhì)量。傳統(tǒng)考試通常以紙筆為工具,隨著教育信息化的不斷推進(jìn),以計(jì)算機(jī)和網(wǎng)絡(luò)為主要平臺(tái)的在線考試逐漸成為主流[2][3]。在線考試在試卷管理、考試管理、試題評(píng)閱、考試結(jié)果分析等方面比傳統(tǒng)筆試更具優(yōu)勢(shì),因此目前在各大高校各大學(xué)科中得以廣泛應(yīng)用[4]。
目前,基于在線考試的研究更多側(cè)重于推進(jìn)與應(yīng)用,對(duì)在線考試滿意度影響因素的研究較為缺乏。結(jié)構(gòu)方程模型整合了因素分析和路徑分析兩種分析方法,在建立邏輯關(guān)系的基礎(chǔ)上解決了抽象概念即潛變量的問(wèn)題,通常被教育學(xué)者用來(lái)進(jìn)行教育管理因素分析[5][6][7]。利用結(jié)構(gòu)方程模型法研究高校學(xué)生在線考試滿意度與潛在影響因素間的關(guān)系,對(duì)推動(dòng)在線考試和高校教育信息化的發(fā)展有著積極意義。
一、研究方法
(一)用戶滿意度調(diào)查法
用戶滿意度調(diào)查法[8],是指通過(guò)量化、評(píng)級(jí)或口頭調(diào)查等方法來(lái)調(diào)查用戶對(duì)產(chǎn)品或服務(wù)的滿意程度的方法,以獲取用戶對(duì)該產(chǎn)品或者服務(wù)的看法,從而提升產(chǎn)品質(zhì)量和改進(jìn)服務(wù)水平。通常來(lái)說(shuō),用戶滿意度是用戶在購(gòu)買某種商品或享受某種服務(wù)時(shí),對(duì)商品或服務(wù)所體現(xiàn)出的價(jià)值與用戶期望價(jià)值的一種實(shí)際心理反差[9]。本文在在線考試滿意度研究過(guò)程中引入用戶滿意度調(diào)查法,在構(gòu)建在線考試滿意度模型后,設(shè)計(jì)在線考試滿意度調(diào)查問(wèn)卷,對(duì)學(xué)生用戶進(jìn)行滿意度調(diào)查,以了解學(xué)生對(duì)在線考試的綜合滿意程度。
(二)結(jié)構(gòu)方程模型法
結(jié)構(gòu)方程模型[10]是利用變量的協(xié)方差矩陣來(lái)分析變量間關(guān)系的一種方法,一個(gè)完整的結(jié)構(gòu)方程模型應(yīng)包含潛在變量、測(cè)量變量與誤差變量[11]。結(jié)構(gòu)方程模型通常采用極大似然估計(jì)法對(duì)模型進(jìn)行參數(shù)估計(jì),分析模型的參數(shù)估計(jì)結(jié)果可獲得自變量對(duì)因變量的直接影響效果、間接影響效果或總影響效果。[12]結(jié)構(gòu)方程模型方法需事先建立概念模型,大致過(guò)程為,首先對(duì)無(wú)法直接測(cè)量關(guān)系的變量間建立關(guān)系模型,然后根據(jù)模型關(guān)系,推測(cè)并找出可測(cè)量的觀察變量。結(jié)構(gòu)方程模型建構(gòu)要經(jīng)過(guò)模型設(shè)定、模型檢驗(yàn)和模型修正等幾個(gè)步驟[13],本文使用結(jié)構(gòu)方程模型法,旨在得出各潛在變量及測(cè)量變量對(duì)在線考試總體滿意度的影響程度。
二、測(cè)量與分析
(一)構(gòu)建假設(shè)模型
本研究以福內(nèi)利(Fornell)[14]提出的影響用戶滿意度因素為理論指導(dǎo),結(jié)合在線考試出題、考試、閱卷等方面的特點(diǎn),構(gòu)建以學(xué)生用戶滿意度為主的在線考試滿意度評(píng)價(jià)指標(biāo)體系,并以“試卷管理”“考試環(huán)境”“試題安排”“考試公平”和“考試便捷”作為潛在變量的類別參數(shù)(依次用A、B、C、D、E代替),每個(gè)潛在變量下設(shè)置多個(gè)測(cè)量變量(依次用A1-A5、B1-B4、C1-C4、D1-D4、E1-E4代替),構(gòu)建出SEM假設(shè)模型,如圖1所示。
(二)問(wèn)卷內(nèi)容
本研究針對(duì)重慶某高校計(jì)算機(jī)學(xué)院316名學(xué)生進(jìn)行了問(wèn)卷調(diào)查,共發(fā)放問(wèn)卷316份,回收有效問(wèn)卷300份,回收率為95%。問(wèn)卷指標(biāo)分值設(shè)置采用李克特量表(Likert Scale)[15]五點(diǎn)計(jì)分法,在線考試滿意度評(píng)價(jià)指標(biāo)體系如表1所示。
(三)問(wèn)卷信度、效度分析
將有效問(wèn)卷中各個(gè)測(cè)量指標(biāo)評(píng)價(jià)數(shù)據(jù)導(dǎo)入SPSS和AMOS軟件進(jìn)行信度、效度分析。
信度分析如表2所示。潛在變量的克朗巴哈α系數(shù)(Cronbach’s Alpha,簡(jiǎn)稱CA)在0.838~0.902之間,總量表的信度系數(shù)為0.919,表示調(diào)查問(wèn)卷具有較高的信度。
效度分析如表3所示。對(duì)問(wèn)卷數(shù)據(jù)進(jìn)行KMO值和Bartlett球形檢驗(yàn),結(jié)果顯示顯著性P值為0.000(P<0.001),通過(guò)Bartlett球形檢驗(yàn),KMO值=0.894>0.70,表示樣本數(shù)據(jù)效度良好,適合進(jìn)行因子分析。
根據(jù)標(biāo)準(zhǔn)化回歸系數(shù)和誤差變異量可以計(jì)算潛變量的組合信度(Composite Reliability,簡(jiǎn)稱CR),組合信度可作為檢驗(yàn)潛在變量的信度指標(biāo)。[16]平均方差提取量(Average Variance Extracted,簡(jiǎn)稱AVE)可直接顯示被潛在變量所解釋的變異量有多少來(lái)自測(cè)量誤差,AVE值越大,相對(duì)測(cè)量誤差就越小。[17]一般判別標(biāo)準(zhǔn)是要大于0.5。AVE值在0.6016~0.6529之間,說(shuō)明測(cè)量變量對(duì)潛在變量的解釋性較好。
(四)問(wèn)卷結(jié)果分析
對(duì)“你對(duì)目前的在線考試總體上滿意嗎?(題項(xiàng)符號(hào)F1)”一題進(jìn)行統(tǒng)計(jì),統(tǒng)計(jì)結(jié)果如圖2所示。分析問(wèn)卷初期統(tǒng)計(jì)結(jié)果,學(xué)生用戶對(duì)在線考試滿意度評(píng)價(jià)均值為3.47(滿分為5),滿意程度一般,因此有必要繼續(xù)采取結(jié)構(gòu)方程模型分析法,得出各變量對(duì)總體滿意度的影響程度及影響力大小,進(jìn)而針對(duì)影響力較大的變量提出改進(jìn)措施,以提升在線考試總體滿意度。
(五)模型檢驗(yàn)與修正
以“試卷管理(A)”為潛在變量,A1、A2、A3、A4、A5、A6為觀察變量,在AMOS軟件中設(shè)計(jì)并分析測(cè)量模型A,如圖3所示。結(jié)果顯示:模型路徑系數(shù)均大于0.5,但顯著性系數(shù)P=0.000<0.05、自由度卡方比值=5.724>3、AGFI=0.865<0.9、RMSEA=0.126>0.08,未達(dá)適配指標(biāo)的臨界值,該測(cè)量模型需要進(jìn)行模型修正。同理,在AMOS軟件中分別將“考試環(huán)境(B)”“試題安排(C)”“考試公平(D)”“考試便捷(E)”作為潛在變量,對(duì)應(yīng)以B1-B4、C1-C4、D1-D4、E1-E4作為觀察變量設(shè)計(jì)測(cè)量模型B、測(cè)量模型C、測(cè)量模型D、測(cè)量模型E。
修正假設(shè)模型A:觀察AMOS Output中的Modification Indices(修正指標(biāo))發(fā)zz現(xiàn)假設(shè)模型A中測(cè)量變量A1的測(cè)量誤差e1同測(cè)量變量A6的測(cè)量誤差e6間存在共變關(guān)系,測(cè)量變量A5的測(cè)量誤差e5同測(cè)量變量A6的測(cè)量誤差e6也存在共變關(guān)系。為降低卡方值,改善各個(gè)適配指標(biāo)值以達(dá)模型適配,可添加一個(gè)雙向箭頭來(lái)釋放測(cè)量誤差間共變關(guān)系,或刪除某一測(cè)量變量及其誤差[18]。模型A修改后如圖4所示,各適配指標(biāo)均達(dá)適配標(biāo)準(zhǔn),表示模型契合度良好。以此標(biāo)準(zhǔn),分別檢驗(yàn)和修正假設(shè)模型B、假設(shè)模型C、假設(shè)模型D、假設(shè)模型E。
當(dāng)假設(shè)模型A、B、C、D、E均達(dá)到適配標(biāo)準(zhǔn)后,設(shè)計(jì)滿意度假設(shè)模型F如圖5所示。導(dǎo)入數(shù)據(jù)后發(fā)現(xiàn)模型某些適配指標(biāo)低于臨界值,經(jīng)模型修正后,模型能夠收斂識(shí)別,如圖6所示,因此可根據(jù)模型路徑系數(shù)和Output Text(AMOS輸出文檔)中相關(guān)適配指標(biāo)系數(shù)得出結(jié)論[19]。
(六)影響因素分析
觀察圖6,五個(gè)潛在變量與滿意度變量路徑上的值是指變量轉(zhuǎn)化為標(biāo)準(zhǔn)分?jǐn)?shù)后計(jì)算得出標(biāo)準(zhǔn)化路徑系數(shù)[20],從直接效應(yīng)來(lái)看,“考試環(huán)境(B)”對(duì)在線考試滿意度影響最大,“試卷管理(A)”對(duì)在線考試滿意度影響最小,影響能力第二到第四的分別是“試題安排(C)”“考試便捷(E)”“考試公平(D)”。
本模型中,表示測(cè)量變量對(duì)潛在變量的貢獻(xiàn)率和影響力越大,因素負(fù)荷量值介于0.50~0.95之間最優(yōu)。[21]
按照潛在變量影響力大小順序來(lái)看,潛在變量“考試環(huán)境(B)”的測(cè)量變量中,因素負(fù)荷量大于0.8的有B2(校園考場(chǎng)的硬件環(huán)境)=0.91,B3(考試平臺(tái)的操作與實(shí)用環(huán)境)=0.86;潛在變量“試題安排(C)”的測(cè)量變量中,因素負(fù)荷量大于0.8的有C3(簡(jiǎn)答、論述類主觀題數(shù)量)=0.87,C4(選擇、判斷類客觀題數(shù)量)=0.97;潛在變量“考試便捷(E)”的測(cè)量變量中,因素負(fù)荷量大于0.8的有E2(考試設(shè)備不限,可自行選擇)=0.80,E4(考試場(chǎng)地不限,可自行選擇)=0.90;潛在變量“考試公平(D)”的測(cè)量變量中,因素負(fù)荷量大于0.8的有D2(集中統(tǒng)一考試)=0.81,D3(考試采用局域網(wǎng))=0.90;潛在變量“試卷管理(A)”的測(cè)量變量中,因素負(fù)荷量大于0.8的有A2(隨機(jī)組卷)=0.89,A3(客觀題電腦自動(dòng)評(píng)閱,主觀題教師手動(dòng)評(píng)閱)=0.85。
此外,潛在變量“考試公平(D)”與“考試便捷(E)”間系數(shù)為0.81,表示兩潛在變量間存在相關(guān)性,其原因是在線考試的便捷性很大程度上會(huì)影響在線考試的公平性,如考試場(chǎng)地不受限制,在便捷的同時(shí)可能會(huì)出現(xiàn)作弊現(xiàn)象,影響考試公平。潛在變量“試卷管理(A)”與“考試環(huán)境(B)”間、e4與e5、e10與e11等誤差變量間也存在一定相關(guān)性,在提出改進(jìn)策略時(shí)需兼顧考慮。
三、改進(jìn)與反饋
(一)改進(jìn)策略
按潛在變量影響力大小順序,依次對(duì)每個(gè)潛在變量下因素負(fù)荷量大于0.8的測(cè)量指標(biāo)提出改進(jìn)策略,并對(duì)改進(jìn)策略進(jìn)行問(wèn)卷回訪,檢驗(yàn)改進(jìn)策略能否提升學(xué)生在線考試總體滿意度。
(1)考試環(huán)境方面:考試環(huán)境的改進(jìn)主要分為考場(chǎng)環(huán)境和考試平臺(tái)環(huán)境。一是考場(chǎng)的硬件設(shè)施需要改善。經(jīng)調(diào)查發(fā)現(xiàn),高校機(jī)房設(shè)施多為老舊電腦,學(xué)生體驗(yàn)感較差,建議高校及時(shí)更新“老舊壞”設(shè)備。二是考試平臺(tái)操作性、實(shí)用性需要提高??荚嚻脚_(tái)作為在線考試最重要的一環(huán),除了要易于操作,還要便于學(xué)習(xí),甚至可以打造成集作業(yè)、復(fù)習(xí)、練習(xí)、測(cè)驗(yàn)、考試于一體的綜合學(xué)習(xí)平臺(tái)。
(2)試題安排方面:試題安排的改進(jìn)主要考慮題型設(shè)置是否合理。一是考慮到學(xué)生信息素養(yǎng)能力(如打字速度)存在差異,因此簡(jiǎn)答、論述等主觀題數(shù)量不宜設(shè)置過(guò)多。此外,如果主觀題數(shù)量過(guò)多,容易出現(xiàn)錯(cuò)別字,增加學(xué)生抵觸情緒。二是在線考試題型應(yīng)更多傾向或轉(zhuǎn)化為選擇、判斷類客觀題型,如計(jì)算題可轉(zhuǎn)化為選擇或填空題,計(jì)算題需要煩瑣的計(jì)算公式和步驟,在線操作不方便,學(xué)生仍需在草稿紙上計(jì)算,導(dǎo)致在線考試的價(jià)值無(wú)法全部體現(xiàn)。
(3)考試便捷方面:考試便捷性的改進(jìn)主要體現(xiàn)在如何選擇考試時(shí)間、考試場(chǎng)地和考試設(shè)備。一是考試設(shè)備不限,可自行選擇。在線考試設(shè)備的不限制,會(huì)直接影響考試場(chǎng)地的選擇,如使用手機(jī)、平板電腦等移動(dòng)設(shè)備進(jìn)行在線考試,意味著隨時(shí)隨地都可進(jìn)行考試,極大地提升了在線考試的便捷性。二是考試場(chǎng)地不限,可自行選擇。考試場(chǎng)地的不限制打破了考試必須統(tǒng)一考場(chǎng)的傳統(tǒng),能節(jié)省部分資源,但如何提高考試公平性仍待解決,因此目前便捷性的改進(jìn)更適合平時(shí)測(cè)驗(yàn)和課后作業(yè)等非正式考試。
(4)考試公平方面:考試公平性的改進(jìn)主要體現(xiàn)在如何有效控制作弊現(xiàn)象。一是仍需集中統(tǒng)一考試。雖然在線考試提供了隨時(shí)隨地參加考試的可能,但涉及期末考試或其他重要考試時(shí)仍需統(tǒng)一時(shí)間和場(chǎng)地,這樣既便于管理,又能有效抑制作弊,保證考試公平。二是考試可采用無(wú)互聯(lián)網(wǎng)連接的局域網(wǎng),學(xué)生登錄學(xué)生端,在同一網(wǎng)絡(luò)下考試,教師登錄教師端,實(shí)時(shí)監(jiān)控與提醒。
(5)試卷管理方面:試卷管理的改進(jìn)主要分為出題和評(píng)閱兩方面。出題方面,可采用隨機(jī)組卷,在保證題型相同時(shí)題目不同,類似A、B卷,或在保證題目相同時(shí)題目順序不同。評(píng)閱方面,為提高試卷評(píng)閱的準(zhǔn)確性,客觀題由電腦自動(dòng)評(píng)閱,主觀題由教師手動(dòng)評(píng)閱。
(二)效果反饋
在對(duì)提出的五方面進(jìn)行策略改進(jìn)后,對(duì)同一批受訪對(duì)象中兩個(gè)班級(jí)的學(xué)生進(jìn)行跟蹤問(wèn)卷調(diào)查,問(wèn)卷設(shè)置仍采用李克特量表五點(diǎn)計(jì)分法,問(wèn)卷發(fā)放116份,回收有效問(wèn)卷107份,問(wèn)卷指標(biāo)體系如表4所示。
對(duì)問(wèn)卷數(shù)據(jù)進(jìn)行統(tǒng)計(jì),統(tǒng)計(jì)結(jié)果如圖7所示,和提出改進(jìn)策略前總體滿意度相比,提出改進(jìn)策略后,總體滿意度平均分值為4.4,較之前的3.47有顯著提升。
四、結(jié)論
本研究在理論與數(shù)據(jù)的支持下,構(gòu)建了基于高校學(xué)生用戶的在線考試滿意度結(jié)構(gòu)方程模型,針對(duì)模型分析所得出的結(jié)論,分別從考試環(huán)境、試題安排、考試便捷、考試公平、試卷管理方面提出了五大改進(jìn)策略,在提出改進(jìn)策略后的跟蹤調(diào)研中發(fā)現(xiàn),以上五個(gè)方面的改進(jìn)策略能有效促進(jìn)在線考試的優(yōu)化升級(jí),提高在線考試的效益水平,提升學(xué)生在線考試的綜合滿意度。
參考文獻(xiàn)
[1]譚紅春,金力,高潔.通用在線考試系統(tǒng)的開(kāi)發(fā)與設(shè)計(jì)[J].齊魯工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版),2016,30(5):51-54.
[2]GUO P,YU H F,YAO Q.The Research and Application of Online Examination and Monitoring System[C]//IEEE Inter-national Symposium on It in Medicine and Education.IEEE,?2011:497-502.
[3]ULLAH A,XIAO H,LILLEY M.Profile Based Student Authen-tication in Online Examination[C]//International Conference? ?on Information Society.IEEE,2012:109-113.
[4]厲浩,何建敏,佘明.高校招生考試滿意度的測(cè)度模型與實(shí)證分析[J].統(tǒng)計(jì)與決策,2015,(18):109-113.
[5]陳巧云.基于結(jié)構(gòu)方程模型的高校教育信息化學(xué)生評(píng)價(jià)研究[J].電化教育研究,2016,(8):78-85.
[6]楊文正,熊才平,丁繼紅,等.教育信息資源質(zhì)量滿意度影響因素及機(jī)制研究:基于296份中學(xué)教師調(diào)查問(wèn)卷的結(jié)構(gòu)方程模型分析[J].中國(guó)電化教育,2014,(5):104-112.
[7]方旭,崔向平,楊改學(xué).慕課學(xué)習(xí)支持服務(wù)滿意度研究:基于結(jié)構(gòu)方程模型的視角[J].開(kāi)放教育研究,2016,22(5):76-85.
[8]朱俊亞.用戶滿意度影響因素研究:基于產(chǎn)品創(chuàng)新的視角[D].成都:西南交通大學(xué),2017.
[9]WIRTZ J,LEE M C.An Examination of the Quality and Con-text-Specific Applicability of Commonly Used Customer Satis-faction Measures[J].Journal of Service Research (S1094-6705),2003,5(4):345-355.
[10]吳明隆.結(jié)構(gòu)方程模型[M].重慶:重慶大學(xué)出版社,2012.
[11]程開(kāi)明.結(jié)構(gòu)方程模型的特點(diǎn)及應(yīng)用[J].統(tǒng)計(jì)與決策,2006,(10):22-25.
[12]榮泰生.AMOS與研究方法[M].重慶:重慶大學(xué)出版社,2009.
[13]KLINE R B.Principles and Practice of Structural Equation Modeling[J].Journal of the American Statistical Association(S0162-1459),2011,(12):101.
[14]Fornell Claes.A National Customer Satisfaction Barometer:The Swedish Experience[J].Journal of Marketing (S0022-2429),1992,56(1):6-21.
[15]JAMIESON S.Likert Scale:How to (ab)Use Them[J].Medical Education(S0308-0110),2005,38(12):1217-1218.
[16]張虎,田茂峰.信度分析在調(diào)查問(wèn)卷設(shè)計(jì)中的應(yīng)用[J].統(tǒng)計(jì)與決策,2007,23(21):25-27.
[17]OHBA M.Software Reliability Analysis Models[J].IBM Journal of Research and Development(S0018-8646),1984,28(4):428-443.
[18]吳明隆.結(jié)構(gòu)方程模型:AMOS的操作與應(yīng)用[M].重慶:重慶大學(xué)出版社,2009.
[19]邱皓政,林碧芳.結(jié)構(gòu)方程模型的原理與應(yīng)用[M].北京:中國(guó)輕工業(yè)出版社,2009.
[20][21]溫忠麟,侯杰泰,馬什赫伯特.結(jié)構(gòu)方程模型檢驗(yàn):擬合指數(shù)與卡方準(zhǔn)則[J].心理學(xué)報(bào),2004,36(2):186-194.
(責(zé)任編輯 喬磊)
Abstract: Constructing students’online test satisfaction model,analyzing the influence of variables on satisfaction,and then proposing improvement strategies have important theoretical and practical significance for improving the quality of online exams. In this study,300 students from a university in Chongqing were selected as research subjects.Data were collected by sending questionnaires; statistical data were analyzed using SPSS and AMOS software,and then path analysis was performed using structural equation modeling.The results of statistical analysis show that the overall satisfaction of college students’online exams is moderate.The results of structural equation model path analysis show that the potential variable“test environment”has the greatest impact on overall satisfaction, and the potential variable“test paper management”has the least impact on overall satisfaction.The follow-up survey found that the corresponding recommendations and improvement measures for the measurement variables with large load factors under various potential variables can effectively improve students’online test satisfaction.
Key words: online test;satisfaction;structural equation modeling