線上教學(xué)效果的實證研究

■林慧君

（湛江幼兒師范?？茖W(xué)校，廣東 湛江 524037）

一、線上教學(xué)效果研究

2020年上半年，一場突如其來的新冠疫情使得大部分學(xué)校教育由線下教學(xué)轉(zhuǎn)換為依托網(wǎng)絡(luò)、平臺開展的線上教學(xué)，教學(xué)媒體、教學(xué)方法、教學(xué)評價方式等發(fā)生了很大的改變。所有的老師和學(xué)生都在學(xué)習(xí)網(wǎng)絡(luò)環(huán)境下教和學(xué)的技術(shù)、方法、評價方式等，努力適應(yīng)新環(huán)境、新平臺、新技術(shù)。一學(xué)期的線上教學(xué)任務(wù)基本完成，線上教學(xué)效果如何？本文將對線上教學(xué)效果開展實證研究，為學(xué)校教育教學(xué)質(zhì)量監(jiān)控、線上教學(xué)方法的改進提供事實依據(jù)和決策支持，為線上線下教學(xué)融合應(yīng)用提供支持服務(wù)。

目前線上教學(xué)效果的實證有不少的研究成果，如孫慧玲等[1]通過對學(xué)生期末卷面考試成績進行對比分析，得出傳統(tǒng)授課、MOOC及翻轉(zhuǎn)課堂教學(xué)三種不同的教學(xué)方法對期末卷面成績影響的差異無顯著性的結(jié)論；李小娟等[2]則使用結(jié)構(gòu)方程探究了線上學(xué)習(xí)中學(xué)生課程閱讀、總結(jié)反思等行為對教學(xué)績效的影響等。現(xiàn)有的線上教學(xué)效果的實證研究文獻存在如下問題。

（1）從理論層面指出了線上教學(xué)對學(xué)生成績的潛在影響，但是使用數(shù)據(jù)評估線上教學(xué)效果的實證研究有限，且大部分實證研究采用問卷調(diào)查或訪談的方式獲取數(shù)據(jù)，此類數(shù)據(jù)存在樣本量小、誤報錯報、問卷回收率低、抽樣方法不科學(xué)等問題。

（2）實證研究的數(shù)據(jù)以學(xué)生自主匯報效果（self-reported effect）方式來收集，該類數(shù)據(jù)帶有學(xué)生主觀意識，無法反映學(xué)生的真實水平和線上教學(xué)的實際效果。

（3）實證研究的數(shù)據(jù)來源局限于線上教學(xué)課程，為橫向數(shù)據(jù)。一個專業(yè)由不同性質(zhì)的課程組成，課程與課程之間學(xué)生成績不具備可比性，學(xué)生能力的差異也會帶來遺漏變量偏誤或選擇性偏誤問題。

筆者抽取了某高校2019—2020學(xué)年度學(xué)生的各門課程考試成績，其中第一學(xué)期為線上教學(xué)，第二學(xué)期為線下教學(xué)。首先對線下教學(xué)和線上教學(xué)數(shù)據(jù)進行整理和描述性統(tǒng)計，直觀展現(xiàn)了數(shù)據(jù)統(tǒng)計的初步結(jié)果，發(fā)現(xiàn)線上教學(xué)課程學(xué)生卷面成績和標(biāo)準(zhǔn)化成績比線下教學(xué)課程的成績有所提升，但在不同組別的學(xué)生中提升程度不同。

假設(shè)線上教學(xué)有可能對不同成績組學(xué)生的影響存在差異。為研究這種差異，我們構(gòu)建模型，使用DID（Difference In Difference，雙重差分法）衡量線上教學(xué)對學(xué)生成績的平均處置效應(yīng)（average treatment effect），排除部分潛在的內(nèi)生性問題，識別線上教學(xué)和學(xué)生成績之間是否為因果關(guān)系；將樣本數(shù)據(jù)按照平均成績的5分位數(shù)劃分為5個成績組，然后將成績組虛擬變量與DID變量交乘，對模型進行OLS估算，分析結(jié)果，同時對模型進行了安慰劑檢驗以及穩(wěn)健性檢驗。本論文闡述了整個實證過程以及相關(guān)的結(jié)論。

二、樣本數(shù)據(jù)及假設(shè)

本研究共抽取了273名學(xué)生162門課程成績，共有20087個觀測值。

首先對數(shù)據(jù)進行整理，去除缺失值和分?jǐn)?shù)小于10分的觀測值（這些觀測值是由學(xué)生缺席考試所造成的），去除少于10人選修的課程。數(shù)據(jù)經(jīng)整理后，我們得到10699個觀測值。

然后對數(shù)據(jù)進行描述性統(tǒng)計，計算學(xué)生各學(xué)期平均成績、標(biāo)準(zhǔn)差和四分位數(shù)，縱向?qū)Ρ染€上、線下教學(xué)學(xué)生成績。表1所示為統(tǒng)計情況，第二行為考試卷面分?jǐn)?shù)的均值，第三行為標(biāo)準(zhǔn)差，第四至六行分別為分?jǐn)?shù)的四分位數(shù)，列（1）至列（4）分別表示全樣本、第一學(xué)期樣本、第二學(xué)期樣本、第一第二學(xué)期的卷面分?jǐn)?shù)均值差。

由表1以看出，使用線上教學(xué)模式的第二學(xué)期的平均成績較使用線下教學(xué)模式的第一學(xué)期的平均成績高2.15分，且差異在0.01的水平上顯著；成績的變化在各分位數(shù)上也有所不同，P25和P50均增加了3分，而上四分位數(shù)P75僅增加1分。

表1 描述性統(tǒng)計

根據(jù)上述描述性統(tǒng)計結(jié)果，我們作出如下假設(shè):線上教學(xué)對不同成績組學(xué)生的影響存在差異。

三、DID回歸模型

對于高校而言，各門課程性質(zhì)不同，難易程度不同，授課老師不同，課程與課程之間不具備可比性，且含有大量的選修課程，學(xué)生在選課時帶有主觀意愿，與學(xué)生的興趣、學(xué)生個人的學(xué)習(xí)能力等方面有關(guān)。要解決不同課程之間成績無法比較以及選課過程存在的問題，一種可行的方法是使用計量手段去除部分內(nèi)生性并識別相關(guān)的因果效應(yīng)。

我們采用課程內(nèi)標(biāo)準(zhǔn)成績?nèi)〈煽冏鳛楸唤忉屪兞?。具體計算方法如式（1）。

基準(zhǔn)回歸模型采取經(jīng)典DID設(shè)置，如式（2）所示。

其中被解釋變量CMarki,j,t為觀測值的標(biāo)準(zhǔn)成績；θi、φj分別為學(xué)生層面和課程層面的固定效應(yīng)；Tt為學(xué)期虛擬變量，若觀測值屬于第一學(xué)期，則Tt=1，反之為0；Onlinej,t為DID變量，若學(xué)年t的課程j為線上教學(xué)，則Onlinej,t=1，反之為0；Numj,t為連續(xù)型控制變量，表示課程j在學(xué)年t時的選修人數(shù)；εij,t為隨機誤差；個體固定效應(yīng)θi和課程固定效應(yīng)φj吸收了所有不隨學(xué)生、課程而變化的因素；如學(xué)生能力差異、不同課程的難度差異均會被固定效應(yīng)捕捉，Tt則捕捉了第一和第二學(xué)期之間的平均成績差異，在該設(shè)定下，雙重差分估計量 β 估計 ΔE[CMark│Treatj=1]-ΔE[CMark|Treatj=0]，表示相較于第二學(xué)期不使用線上教學(xué)而言，采用線上教學(xué)為學(xué)生成績帶來了額外變化。因此，為線上教學(xué)對學(xué)生成績的平均處置效應(yīng)（Average Treatment Effect,ATE）。

其中，Bki為成績組虛擬變量 ，k∈{1,2,3,4,5}。若學(xué)生i處于成績組k中，則Bki=1。以中等成績的學(xué)生band=3為基準(zhǔn)成績組，將k=3排除在加分之外。此時，β0為雙重差分估計量，捕捉線上教學(xué)對基準(zhǔn)組學(xué)生成績的影響；而β0+βk則估計線上教學(xué)對成績組k的影響。該識別策略為三重差分設(shè)定，因此引進了成績組和課程的交互固定效應(yīng)φj,k來捕捉各個課程中不同成績組的異質(zhì)性。我們使用最小二乘法OLS來估計基準(zhǔn)回歸（2）和（3）。表2所示為各回歸變量的基本情況。

表2 回歸變量

四、結(jié)果分析及模型校驗

（一）結(jié)果分析

附表1 中列（1）和列（3）為回歸（2）雙重差分法估計結(jié)果。列（1）中，在沒有控制課程固定效應(yīng)情況下，線上教學(xué)的虛擬變量在0.01的水平下顯著為正。列（2）和列（3）逐步控制了課程固定效應(yīng)和選修人數(shù)，DID估計量β約為1，且均在0.05的水平下顯著為正。上述結(jié)果表明，與線下教學(xué)相比，線上教學(xué)使學(xué)生的標(biāo)準(zhǔn)成績提升約1分。其次，我們注意到在控制課程選修人數(shù)后，學(xué)期虛擬變量Tt不顯著，這說明在控制組中，第一學(xué)期和第二學(xué)期的平均分?jǐn)?shù)在統(tǒng)計意義上沒有顯著差異。

附表1 中列（4）和列（5）回歸（3）的估計結(jié)果。其中，第二行為β0的估計結(jié)果，反映線上教學(xué)對基準(zhǔn)成績組（band 3）的邊際影響?？梢奃ID估計量為負(fù)，且在統(tǒng)計意義上不顯著，因此我們認(rèn)為，線上教學(xué)對于中等成績組的學(xué)生的作用并不明顯，且有可能產(chǎn)生負(fù)面影響。圖1所示為式（2）中βk的估計結(jié)果，其中橫坐標(biāo)表示成績區(qū)間；縱坐標(biāo)為估計值；實心圓點表示估計量；而垂直實線則表示估計量的90%置信區(qū)間。我們發(fā)現(xiàn)，β1和β5的估計量均顯著為正，而β2和β4估計量為正，但并不顯著。這說明我們有90%的把握認(rèn)為，線上教學(xué)讓線下教學(xué)成績最差20%的學(xué)生平均提升3.152個標(biāo)準(zhǔn)分，成績最好20%的學(xué)生平均提升3.837分。而對于線下教學(xué)中等成績學(xué)生而言，我們沒有90%以上的把握說明線上教學(xué)能提升他們的成績。

附表1 基準(zhǔn)回歸結(jié)果

圖1 基準(zhǔn)回歸結(jié)果

（二）因果關(guān)系檢驗

在回歸模型中，我們使用雙重差分法捕捉線上教學(xué)對學(xué)生成績的處置效應(yīng)。為了驗證雙重差分設(shè)置是否能準(zhǔn)確識別兩者之間的因果關(guān)系，我們對模型進行安慰劑檢驗，具體步驟如下:

（1）去除2019—2020學(xué)年第二學(xué)期線上教學(xué)的樣本；

（2）隨機抽取19門課程作為虛擬處理組（imaginary treatment group）；

（3）對回歸進行估算，并重復(fù)該過程1000次，然后作出βk的概率分布圖。

圖2 所示為安慰劑檢驗的結(jié)果。其中，橫坐標(biāo)為βk的估計值；縱坐標(biāo)表示βk；黑色實線為βk的概率密度分布函數(shù)；灰色點表示每次安慰劑回歸中βk的取值；垂直實線從左至右分別為估計值分布的10%、50%、90%分位數(shù)；黑色三角形則表示使用真實處理組時的估計值?？梢姡耴的估計值分布大致為均值為0的正態(tài)分布，且使用真實處理組的估計量均大于分布的90%分位數(shù)。因此我們認(rèn)為，基準(zhǔn)回歸結(jié)論并不是偶然的結(jié)果。

圖2 安慰劑檢驗結(jié)果

（三）穩(wěn)健性檢驗

附表 2中列（2）和列（4）為式（2）的結(jié)果，圖 3所示為βk的系數(shù)圖。據(jù)圖3（Panel A），與圖1類似，我們發(fā)現(xiàn)與基準(zhǔn)成績組相比，線上教學(xué)對成績最差20%和最好20%的學(xué)生的積極影響最大，他們的平均卷面成績分別提高了1.564分和2.33分。圖3（Panel B）則使用相對排名Ranking作為被解釋變量，最差20%成績組的DID估計量為0.0882，且在0.1的水平下顯著，這表明在線上教學(xué)模式中，平均成績倒數(shù)20%的學(xué)生的相對排名平均能提高8.8%。值得注意的是，β5的估計值接近于0，這說明對于成績最好的學(xué)生而言，雖然他們的線上教學(xué)的課程卷面分?jǐn)?shù)顯著提高（如圖1 Panel A），但對他們的排名并不會產(chǎn)生顯著影響，他們的相對排名不會隨著分?jǐn)?shù)的提高而繼續(xù)上升。對于中等學(xué)生而言，如附表2列（4）所示，β0估計為負(fù)，這說明在線上教學(xué)模式中，中等成績的學(xué)生排名有可能下降，與基準(zhǔn)回歸結(jié)果一致。

附表2 穩(wěn)健性檢驗

圖3 穩(wěn)健性檢驗

五、結(jié)語

通過模型結(jié)果的分析，我們發(fā)現(xiàn)，當(dāng)教學(xué)模式由線下轉(zhuǎn)為線上后，成績較差組與中等成績組學(xué)生的成績差距在縮小，而優(yōu)秀成績組和中等成績組的差距卻被拉大，這意味著中等成績組學(xué)生在線上教學(xué)中相較其他成績組學(xué)生表現(xiàn)不佳，我們認(rèn)為導(dǎo)致該結(jié)果的原因有以下幾點。

1.對于優(yōu)秀成績組的學(xué)生（band 5）而言，他們具有較強的學(xué)習(xí)自覺性、專注力、理解能力和學(xué)習(xí)基礎(chǔ)。在疫情期相對隔離的環(huán)境下進行線上學(xué)習(xí)時，來自外界因素的干擾降低，這便使這部分學(xué)生的成績得以進一步提高。

2.中等學(xué)生（band 3）的自我監(jiān)控能力較弱[13-14]，他們在學(xué)習(xí)中更依靠教師的督促和答疑。此外。同學(xué)間合作學(xué)習(xí)對于中等生而言更加重要[15]。然而在線上教學(xué)模式中，師生互動、學(xué)生間合作的時間被大大壓縮，因此，線上學(xué)習(xí)對中等成績組的積極性相對于其他成績組而言并不明顯。

3.對于平均成績最差的20%的學(xué)生而言，由于該組學(xué)生的成績基數(shù)小，故成績提高更加明顯；成績較差的學(xué)生相對更容易受到外界“非學(xué)習(xí)”因素的干擾（如電子產(chǎn)品），而在疫情期居家的線上學(xué)習(xí)中，相對封閉的環(huán)境、家長的監(jiān)督反而一定程度地保障了他們的學(xué)習(xí)時間和質(zhì)量。另外，線上教學(xué)允許學(xué)生反復(fù)觀看教學(xué)錄像，這一定程度上彌補了學(xué)生在理解能力、學(xué)習(xí)能力上的不足，使他們的標(biāo)準(zhǔn)化成績有所提升。

由此可見，我們在開展線上教學(xué)時應(yīng)更多地關(guān)注中等成績組的學(xué)生群體，探究中等成績組表現(xiàn)不佳的原因，對癥下藥，提升線上教學(xué)模式在各個成績組中的積極效果。