基于前門調整法的“項目式學習”過程考核設計與課程質量評價

錢 辰 曠 怡 章 兢

基于前門調整法的“項目式學習”過程考核設計與課程質量評價

錢 辰1曠 怡1章 兢2,3

（1. 湘潭大學自動化與電子信息學院，湖南 湘潭 411105； 2. 湖南大學電氣與信息工程學院，長沙 410006； 3. 湘潭大學專業(yè)認證指導中心，湖南 湘潭 411105）

工程教育是我國高等教育的重要組成部分，而工程教育專業(yè)認證是國際通行的工程教育質量保障制度，也是實現(xiàn)工程教育國際互認和工程師資格國際互認的重要基礎?！绊椖渴綄W習”是應對工程教育專業(yè)認證考察學生能力要求的一種新興課程教學方法，因為受學生“惰性”等混雜因子影響，常規(guī)課程質量評價中的考試成績無法真實反映學生在學習中所能獲得的能力提升。本文引入因果推斷科學的前門調整法，在面臨難以控制與觀測的混雜因子時，一方面指導優(yōu)化項目式學習的教學與考核設計，以改進混雜因子對學習和成果兩方面的不利影響；另一方面用于評價項目教學法對于學生學習成果的真實因果效應。

項目式學習；前門調整法；因果推斷；專業(yè)認證；課程質量評價

0 引言

我國的高等教育不斷發(fā)展，自2016年6月正式加入《華盛頓協(xié)議》以來，我國工程教育專業(yè)認證工作不斷推進，通過認證的專業(yè)數(shù)量正在不斷增長，專業(yè)認證成為我國教育領域的一大重點。

現(xiàn)如今很多課程老師為了提高課堂效果，獲得更高的課程目標達成度，采用“項目式學習（project- based learning, PBL）”教學方法，以學生為中心，以真實項目或案例為主題，讓學生自主學習或小組討論，從而在學習過程中獲得自我能力的提升。但PBL教學方法在實際應用中的效果并不理想，因為其中很多同學無法達到自主學習的狀態(tài)，教學中的作業(yè)任務并未自主完成而是借用其他同學的作業(yè)去交差，小組討論中也沒有發(fā)揮積極作用，但是其在最后考試中反而取得了不錯的成績，所以最后的成績所反映出來的效果不能真正地表達學生的實際能力。也就是說，有很多難以控制與觀測的混雜因子在同時影響著學生的項目式學習過程與最后的考試成績，項目式學習課程現(xiàn)狀因果圖如圖1所示。

由此可見，在面臨難以控制與觀測的混雜因子時，需要解決兩個問題：①是否有清晰易懂的推理模型能夠為提出的諸多問題提供明確的答案，設計項目式學習的教學與考核，以改進混雜因子對學習和成果兩方面的影響；②是否有適應性強的計算公式能夠根據(jù)所掌握的數(shù)據(jù)回答因果問題，評價項目教學法對于學生學習成果的真實因果效應。

本文將因果推斷科學的前門調整法遷移應用到課程教學設計與質量評價中。一方面，在面臨無解的混雜因子時，教師運用因果圖，著手尋找不受混雜因子影響的中介變量，也就是新的教學或考核環(huán)節(jié)，在減少混雜因子影響的同時，能形成使用前門調整公式的條件；另一方面，運用前門調整公式作為教學方法對學生學習成果因果效應的被估量，利用課程觀測數(shù)據(jù)來估計真實的因果效應。

1 理論與方法

1.1 因果理論與因果圖

因果理論的發(fā)展與因果模型自1998年《科學》雜志刊登了一篇名為《大數(shù)據(jù)的處理程序》最早提出了“大數(shù)據(jù)（big data”，短短數(shù)十年已發(fā)展成為一門重要的學科[1]?，F(xiàn)常用的因果模型通常指由朱迪亞·珀爾等于2000年左右提出基本概念，至今已經發(fā)展成為一門橫跨統(tǒng)計學與計算機學科的重大任務，其重點在于關于干預的建模與推理。Bernhard將其稱作新一代信息革命的燃料[2]。其主要概念是將事物或者事件用節(jié)點進行表示，再用帶箭頭的線段來表示其因果關系。

圖2是為了嚴格處理因果關系問題而針對數(shù)據(jù)集所提出的一種結構因果模型（structural causal model, SCM）概念的圖形化因果模型關聯(lián)集。其給出的圖形定義為，如變量是變量的子變量，即有箭頭從指向，則稱為的直接因果原因，箭頭代表的是到的概率或者說是貢獻值，表示有與無時出現(xiàn)的差值[3]。

圖2 因果模型

圖2中，真正的因果效應→與由叉接合←→誘導的和之間的偽相關混合在一起，這里的就叫混雜因子，若作為不可觀測的混雜因子，影響→的因果效應時，因果效應就無法通過條件期望計算，這時需要采用隨機試驗計算因果效應或者采用傳統(tǒng)統(tǒng)計學方法進行回歸分析。但在工程教育領域中，采用隨機試驗分析課程目標達成度的方法無法使用，工程教育具有全員覆蓋性，隨機試驗不現(xiàn)實，同樣用回歸分析的方法計算因果效應的方法過于繁瑣，不便于在教育領域的推廣與應用。因果圖提供了一種將數(shù)據(jù)與因果信息相結合的可選語言，可使用后門調整法、前門調整法等直觀的方法解決因果推斷問題，這使因果圖非常適合在工程教育領域應用。

1.2 do算子與后門調整

因果學可以將認知能力分為三種層級：觀察能力（seeing）、行動能力（doing）和想象能力（imagining）[4]，其中第二層級的行動能力代表實施“干預”?！案深A”就是控制一個變量，以影響其他變量，是判定因果關系的一個重要操作。如果控制一個變量，導致其他變量的概率分布，則可以說明前者是后者的因[5]。通過干預可以確定多個變量間因果關系的存在性，這也是現(xiàn)如今很多科學方法常用的手段，例如控制變量法及隨機對照實驗等。然而在很多情境下，實施干預去確定因果關系的成本及風險都難以估計，如前文所言，在具有全員覆蓋性的教育領域，實施干預的舉措就難以完成。這就使得在這些情境下，需要通過一些舉措觀測現(xiàn)有數(shù)據(jù)去預測干預的效果。

這里需要調用“do算子”來表達預測實施了干預的結果，do算子的引用是因果理論與傳統(tǒng)統(tǒng)計學最為顯著的區(qū)別?！癲o”代表了行動，可以表達因果關系第二層級的一個經典問題，即“如果我們實施了某種行動，這將會帶來何種結果？”，缺乏do算子的條件概率僅僅反映了因果關系第一層級的觀察所得到的結果。其中do()對于因果圖來說就是刪除指向的所有箭頭。

例如圖2中，當混雜因子可測量時，可以使用后門調整法計算對的因果效應(|do())。

后門路徑可以定義為所有和之間以指向的箭頭為開始的路徑，如果可以阻斷所有的后門路徑，也就意味著完成了去混雜[6]?？刂萍纯勺钄嗪箝T路徑，后門調整就是通過對去混變量集的控制阻斷從到的所有后門路徑；對于數(shù)學公式，此時，do()等同于see()，(do(),)(,)，表達的意思是，在控制了一個充分的去混因子集之后，留下的相關性，就是真正的因果效應。

由do算子運算可以推導出后門調整公式為

此公式計算的是變量對于變量的因果效應，其中變量為變量對變量因果效應中的混雜因子。通過公式，可以在可觀測的情況下，直接通過數(shù)學計算得到到的因果效應。

1.3 前門調整法

在不可測量的情況下，已無法通過后門路徑簡化計算，此時可以選用前門調整法，在不可測量的情況下去除混雜，從而計算到的因果效應。

如果一個變量集合滿足以下條件：切斷了所有到的有向路徑；到沒有后門路徑；所有到的后門路徑都被阻斷，則稱變量集合滿足有序變量（,）的前門準則。也就是說，當計算因果效應時發(fā)現(xiàn)對的因果效應被一組變量混雜，又被另一組變量介導，且變量不受變量的影響，便能知道這里可以利用前門調整法從觀測數(shù)據(jù)中估計對的因果效應。當意識到這點之后，在面臨無解的混雜因子時，首先應想到尋找不受混雜因子影響的中介變量[7]。

加入中介變量的因果模型如圖3所示，此模型滿足前門調整法的使用條件，所以到的因果效應(|do())可以使用前門調整公式表達為

此公式計算的是變量X對于變量Y的因果效應，其中變量M是變量X對變量Y因果效應的中介變量。

2 因果模型搭建與分析

2.1 因果模型搭建

回到圖1的因果圖所展示出的問題，因為混雜原因無法真實找到項目教學法對于學生學習效果的因果效應，所以本文目的即是去除影響兩個變量的混雜因子?，F(xiàn)如今的評價方式大多使用考試成績作為反映學生能力的具體體現(xiàn)，將考試成績作為課程目標達成情況的考察標準，但是考試成績可由多種途徑提高，例如老師考前劃重點、學生考前刷真題等，這類因素可以使一些實際能力未能達標的同學由考試成績的數(shù)值反映為達標。

若想要知道項目式學習本身對學生學習效果的因果效應，則需主要研究(考試成績|do(項目式學習))，現(xiàn)在教育常規(guī)評價的是(考試成績|項目式學習)，這種條件概率公式表示學習產出達成的概率（）是以觀察到學生參加了實驗為條件的。注意(考試成績|項目式學習)與(考試成績|do(項目式學習))完全不同，觀察到（seeing）和進行干預（doing）有本質的區(qū)別，兩者的混淆成為高等教育評價社會失信之源。完全由(考試成績|項目式學習)統(tǒng)治的高等教育評價是荒誕的。

因此，本文使用因果推斷的方法計算課程目標達成度，即計算項目式學習對于考試成績的因果效應，需要排除影響項目式學習與考試成績間因果效應的混雜因子?，F(xiàn)將“學生作業(yè)抄襲”“學生在小組討論中劃水”“學生考前刷真題”“作弊”等因素歸類為“惰性”，作為項目式學習對于考試成績因果效應中的混雜因子。然而“惰性”大多為學生自身主觀的消極因素，無法觀測，無法使用后門調整法去除混雜。由朱迪亞·珀爾的前門調整法可知，在面臨無解的混雜因子時，應立即著手尋找不受混雜因子影響的中介變量，從而使用前門調整法從觀測數(shù)據(jù)中估計對的影響[8]。

對于項目式學習與課程目標達成情況的中介變量，本文選用“成果展示”?！俺晒故尽敝傅氖菍W生在完成自己以項目為基礎的作業(yè)后，在課堂上進行展示并由其他學生進行投票打分。以“成果展示”作為項目式學習到課程目標達成情況的中介變量，是因為現(xiàn)在大多數(shù)的老師意識到以面向成果導向的工程教育專業(yè)認證注重的是以解決實際問題為目標的學生能力，而不是傳統(tǒng)的以考察學生知識點掌握能力為終極目標的分數(shù)教育，由此，需要一個過程性評價[9]。所以這里要求學生在課堂上展示自己所完成的以項目為基礎的作業(yè)。

某校信息安全課程因果模型如圖4所示，在這里，代表項目式學習，代表課程目標達成情況，代表混雜因子惰性，代表成果展示。

圖4 某校信息安全課程因果模型

2.2 基于前門調整法的模型分析

觀察圖4可以知道，因為未采取任何措施，惰性同樣影響著學生的成果展示成績，即混雜因子影響了中介變量，所以有指向的箭頭，這導致混雜因子無法在引入中介變量后得到有效的控制和去除。

所以如果要使用前門調整法，就必須屏蔽混雜因子對于成果展示的影響，取消掉到的箭頭。課程可以在大綱中明確要求學生每人至少參加一次以項目為基礎的成果展示，將不參加成果展示則不能參與期末考試作為硬性要求，因為項目式學習作業(yè)次數(shù)多，且難以每次嚴格管理，而成果展示每個人只有一次，可以做到嚴格管理成果展示這一環(huán)節(jié)且精確評分，這些舉措就阻斷了惰性這一混雜因子對于過程評價即“成果展示”的影響，消除了因果圖中指向的箭頭。改進后的課程因果模型如圖5所示，這一舉措使中介變量“屏蔽”了混雜因子的影響，因此適合使用前門標準來分析項目式學習對于考試成績的因果效應。

圖5 改進后的課程因果模型

對于這樣的因果模型，可以發(fā)現(xiàn)公式中看不到（惰性因子）的存在，這使此方法在未采集到任何數(shù)據(jù)的時候就成功地排除了混雜因子。其次，因果推斷引擎作為一種問題處理機器，以“假設”為基礎，接收“問題”輸入，產生輸出“被估量”[10]。被估量可視作一種針對問題中目標量的計算方法。前門調整和后門調整公式就是兩個被估量。公式左邊代表提出問題“對的影響是什么”，而公式右邊是被估量，即是回答左邊提出問題的一種方法，此被估量以條件概率的形式表示，不包含關于do算子的有關數(shù)據(jù)，也就是說與關于實際干預的數(shù)據(jù)無關，只包含觀測到的數(shù)據(jù)[11]。這意味著它無需依賴隨機對照實驗，可以直接根據(jù)數(shù)據(jù)估計出來。

3 數(shù)據(jù)分析

3.1 數(shù)據(jù)來源

本文選用某校2019級通信工程班信息安全課程101人成績，成績包括項目式學習的作業(yè)成績，學生以項目為基礎的成果展示的成績，以及考試成績。對于：“0”“1”分別代表著學生項目式學習平時成績不合格和平時成績合格。對于：“0”“1”“2”分別代表著學生在成果展示的成績中取得“不及格”“及格”與“優(yōu)秀”。對于：“0”“1”“2”分別代表著學生在期末考試中取得“不及格”“及格”與“優(yōu)秀”。

對于此課程的課程目標達成度分析，本文采用將(≥1|do(=1))的值大于70%視為課程目標達成度合格的方法。

3.2 數(shù)據(jù)處理

將101位同學的各項成績進行分類，在平時成績合格和不合格的情況下，成果展示成績取得“不及格”“及格”與“優(yōu)秀”人數(shù)見表1。

表1 各平時成績級別下的成果展示成績人數(shù) 單位: 人

由表1可以計算，在項目式學習平時成績不合格的同學中，成果展示環(huán)節(jié)成績不及格的概率為(=0|=0)=57.69%，成績及格的概率為(=1|=0)= 38.46%，成績優(yōu)秀的概率為(=2|=0)=3.85%；在項目式學習平時成績合格的同學中，成果展示環(huán)節(jié)成績不及格的概率為(=0|=1)=13.33%，成績及格的概率為(=1|=1)=57.33%，成績優(yōu)秀的概率為(=2|=1)=29.33%。

對已有數(shù)據(jù)進行進一步處理，得到在項目式學習平時成績兩個不同成績級別及成果展示環(huán)節(jié)三個不同成績級別的條件下，考試成績取得“不及格”“及格”與“優(yōu)秀”人數(shù)見表2。

表2 平時成績和成果展示各成績級別下的不同考試成績級別人數(shù) 單位: 人

將表2中數(shù)據(jù)代入后門調整公式可知，如果學生按照要求分別取得成果展示成績?yōu)椤安患案瘛薄凹案瘛迸c“優(yōu)秀”，那么他們在這種條件下，可能取得不同的考試成績級別的概率見表3。

表3 實驗假設后各成果展示成績級別下的考試成績級別概率 單位: %

最后由前門調整公式可知，如果學生按照要求參加項目式學習并且平時成績合格的話，那么學生在考試中取得成績的概率見表4。

表4 實驗假設后項目式學習不同成績級別下的考試成績級別概率 單位: %

在這里，數(shù)據(jù)中(|do(=0))可以表達為“如果學生未能按照要求完成項目式學習任務的話，那么其在考試成績中所能取得某種成績的概率為……”，同理，(|do(=1))可以表達為“如果學生按照要求完成項目式學習任務的話，那么其在考試成績中所能取得某種成績的概率為××××××”

從以上數(shù)據(jù)可以看出，學生如果按照要求完成項目式學習任務的話，那么在期末考試中及格的概率為(=1|do(=1))=64.92%，其在期末考試中獲得優(yōu)秀的概率為(=2|do(=1))=18.81%。所以(≥1|do(=1))=83.73%。

現(xiàn)如今的國內課程目標達成度分析普遍使用平均分算分法、15%分位法等，類似方法太過于考慮數(shù)據(jù)而忽略了數(shù)據(jù)生成過程中的混雜因素。

去除與未去除混雜的課程目標達成度情況見表5，對比不使用因果推斷僅用條件概率算出的課程目標達成度情況(=1|=1)=65.33%，(=2|=1)= 25.33%，所得出的(≥1|=1)=90.66%，有明顯的區(qū)別。若按條件概率所得到的課程目標達成度計算，混雜原因會使課程目標達成度的值普遍較高，這可能讓一些實際并未合格的課程在未去除混雜的情況下也在條件概率的數(shù)據(jù)下顯示合格，這明顯不符合工程教育專業(yè)認證的目的，因此去除混雜計算課程目標達成度的因果推斷方法更符合工程教育專業(yè)認證的要求。

表5 去除與未去除混雜的課程目標達成度情況

由以上數(shù)據(jù)可得，(≥1|do(=1))=83.73%＞70%，所以可以知道本課程的課程目標達成度合格。去除混雜后的數(shù)據(jù)直接反映了學生參加課程教學對于期末考試成績的因果效應，而去除“惰性”混雜因子后的考試成績可以反映出學生自身的學習成果產出，也就說明了此數(shù)據(jù)更能反映學生的課程目標達成度情況。

3.3 變量選取分析

本文中變量本質為項目式學習這種教學方法，而度量一種教學方法主要是觀察學生自身的改變，通?？梢赃x用參與度來度量教學方法。參與度的高低需要數(shù)值來進行區(qū)分，故本文選取平時成績的合格與否，賦值“1”“0”作為參與度高或低的區(qū)分。實際上依據(jù)課程的教學情況，可以對參與度有更多的檔次分層。

對于中介變量，本文選用以項目為基礎的成果展示，在項目式學習中起到兩大關鍵作用：首先是對干預有預測作用，即在不進行隨機試驗的情況下也可以模擬隨機試驗的效果；第二，在教學大綱中加入成果展示環(huán)節(jié)，對學生在學習的投入有積極的促進作用。在不同的課程中可以根據(jù)實際教學情況有不同的選取方式，例如在需要進行實驗的課程中選取實驗作為中介變量，但要保證混雜因子對中介變量無影響，需對實驗的環(huán)境與評價方式進行一些設計，比如采用人工智能評價方法去評測結果。

在本文中，變量是采用學生的期末考試數(shù)據(jù)，但實際上項目式學習這種教學方式本身就產生了多元化的過程和考核結果，在不同課程的課程目標達成情況分析中，可以選取不同的考核數(shù)據(jù)，或是多次的考核結果數(shù)據(jù)，因為在本文圖1中，變量的選取并不影響變量是變量的因，變量是變量的果，同理，在圖5中，變量既是變量的果，也是變量的果，變量間的因果關系都不會因為的構成而發(fā)生變化。

4 結論

本文引用了因果推斷方法中的do算子及后門標準、前門標準的概念，將之遷移到教育領域，提出構建基于前門調整法的“項目式學習”過程考核設計與課程質量評價方法，在工程教育具有全員覆蓋性、無法實施隨機對照試驗的前提下，采用基于觀測數(shù)據(jù)的自然實驗方法，有效去除數(shù)據(jù)關聯(lián)中的混雜影響，從而推斷出項目式學習對學生學習成果的真實因果效應。本文方法是結合教學實踐的有益探索，對專業(yè)認證實施有積極促進作用。

[1] 王東明, 陳都鑫. 因果推斷: 起源和發(fā)展[J]. 控制工程, 2022, 29(3): 464-473.

[2] 王天思. 大數(shù)據(jù)中的因果關系及其哲學內涵[J]. 中國社會科學, 2016(5): 22-42, 204-205.

[3] 白永梅, 孫華鴿, 杜建. 知識圖譜: 一種系統(tǒng)性構建因果圖的方法[J]. 首都醫(yī)科大學學報, 2022, 43(4): 584-591.

[4] 朱迪亞·珀爾, 達納·麥肯齊. 為什么[M]. 江生, 于華, 譯. 北京: 中信出版社, 2019.

[5] SCRIVEN M. “The methodology of evaluation”. In perspectives of curriculum evaluation[M]. Chicago: Rand McNaliy and Company, 1967.

[6] 金華, 方積乾. 因果推斷中的混雜控制[J]. 生物數(shù)學學報, 2001(3): 362-366.

[7] PEARL J. Causality: models, reasoning, and infer- ence[M]. Camb: Cambridge University Press, 2000.

[8] GILLIES D. Causality: models, reasoning, and infer- ence by Judea Pearl[J]. The British Journal for the Philosophy of Science, 2001, 52(3): 613-622.

[9] 郭嬌, 吳寒天. 大數(shù)據(jù)時代的因果推斷——教育政策評估的新路徑[J]. 重慶高教研究, 2022, 10(4): 39-48.

[10] 涂良川. 因果推斷證成強人工智能的哲學敘事[J]. 哲學研究, 2020(12): 110-121.

[11] 李家寧, 熊睿彬, 蘭艷艷, 等. 因果機器學習的前沿進展綜述[J/OL]. 計算機研究與發(fā)展, 2021.

Examination design and course quality evaluation of “project-based learning” process based on front-door adjustment

QIAN Chen1KUANG Yi1ZHANG Jing2,3

(1. College of Automation and Electronic Information, Xiangtan University, Xiangtan, Hu’nan 411105; 2. College of Electrical and Information Engineering, Hu’nan University, Changsha 410006; 3. Accreditation Guidance Center, Xiangtan University, Xiangtan, Hu’nan 411105)

Engineering education is an important part of higher education in China, and engineering education professional certification is an internationally accepted engineering education quality assurance system, and it is also an important basis for achieving international mutual recognition of engineering education and engineer qualification. “Project-based learning” is a new course teaching method to meet the requirements of engineering education professional certification to examine students’ ability. Because of the influence of students’ “inertia” and other hybrid factors, the examination results in the conventional course quality evaluation can not truly reflect the ability improvement that students can obtain in learning. This paper introduces the “front-door adjustment” of causal inference science. When facing the confounding factors that are difficult to control and observe, on the one hand, it guides and optimizes the teaching and examination design of project-based learning to improve the adverse effects of confounding factors on learning and results. On the other hand, it is used to evaluate the real causal effect of project-based teaching method on students’ learning results.

project-based learning; front-door adjustment; causal inference; professional certifi- cation; course quality evaluation

湖南省學位與研究生教育教改研究重大項目（2020JGSZ016）

湖南省新工科研究與實踐項目（202012）

2022-07-01

2022-09-02

錢 辰（1998—），男，安徽省黃山市人，碩士研究生，主要研究方向為人工智能。