從數(shù)據(jù)視角透析認(rèn)知追蹤：框架、問題及啟示

孫建文 栗大智 彭 晛 鄒 睿 王 佩

(1.華中師范大學(xué) 教育大數(shù)據(jù)應(yīng)用技術(shù)國家工程實驗室，湖北武漢 430079；2.華中師范大學(xué) 國家數(shù)字化學(xué)習(xí)工程技術(shù)研究中心，湖北武漢 430079；3.華中師范大學(xué) 圖書館，湖北武漢 430079)

一、引 言

云計算、大數(shù)據(jù)、人工智能等技術(shù)的發(fā)展，推動教育從數(shù)字化、網(wǎng)絡(luò)化向智能化躍升，為突破個性化學(xué)習(xí)技術(shù)瓶頸，實現(xiàn)“因材施教”的千年夢想提供了歷史機遇(楊宗凱, 2019)。教育情境可計算、學(xué)習(xí)主體可理解、學(xué)習(xí)服務(wù)可定制是個性化學(xué)習(xí)面臨的三大挑戰(zhàn)，其中，學(xué)習(xí)主體是教育系統(tǒng)的核心要素，對學(xué)習(xí)主體的精準(zhǔn)洞察是開展“因材施教”的前提(劉三女牙等, 2020)。認(rèn)知追蹤作為數(shù)據(jù)驅(qū)動的學(xué)習(xí)主體建模技術(shù)，已成為近年來國內(nèi)外智能教育領(lǐng)域的研究熱點(Piech et al., 2015; Khajah et al., 2016; Zhang et al., 2017; 徐墨客等, 2018; 李菲茗等, 2019; 劉恒宇等, 2019; 黃振亞, 2020; Liu et al., 2021)。

認(rèn)知追蹤(Knowledge Tracing, KT)，也被譯為“知識追蹤”，本研究認(rèn)為譯作“認(rèn)知追蹤”更能表達其追蹤對象是主體的人，而非客體的知識這一意蘊。認(rèn)知追蹤的思想源于美國著名心理學(xué)家阿特金森(Atkinson & Paulson, 1972)，1995年被美國卡耐基梅隆大學(xué)科比特等(Corbett & Anderson, 1995)引入智能導(dǎo)學(xué)系統(tǒng)，并提出貝葉斯認(rèn)知追蹤方法(Bayesian Knowledge Tracing, BKT)，其任務(wù)是根據(jù)學(xué)生的答題記錄，對學(xué)生的知識掌握狀態(tài)進行建模，目標(biāo)是預(yù)測學(xué)生答對下一道題的概率。2015年，美國斯坦福大學(xué)皮希等(Piech et al., 2015)首次將深度神經(jīng)網(wǎng)絡(luò)技術(shù)用于認(rèn)知追蹤，提出一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的深度認(rèn)知追蹤方法(Deep Knowledge Tracing, DKT)，預(yù)測性能顯著提升。深度認(rèn)知追蹤方法順應(yīng)了人工智能技術(shù)發(fā)展趨勢，引起了學(xué)者的關(guān)注，DKVMN( Zhang et al., 2017)、SKVMN(Abdelrahman & Wang, 2019)、SAKT(Pandey & Karypis, 2019)、KQN(Lee & Yeung, 2019)、GKT(Nakagawa et al., 2019)、AKT(Ghosh et al., 2020)以及HMN(Liu et al., 2021)等模型先后涌現(xiàn)。

認(rèn)知追蹤的快速發(fā)展，促進了人工智能與教育教學(xué)的交叉融合。然而，多項研究使用相同的數(shù)據(jù)集和模型，卻得到不同的實驗結(jié)果，原因是不同學(xué)者對數(shù)據(jù)集的處理操作不一，導(dǎo)致實驗結(jié)果出現(xiàn)差異。該問題也引起部分學(xué)者的關(guān)注，如威爾遜等(Wilson et al., 2016)對深度認(rèn)知追蹤方法的數(shù)據(jù)處理方法提出疑問，認(rèn)為應(yīng)刪除數(shù)據(jù)集的重復(fù)記錄，按照學(xué)習(xí)系統(tǒng)使用過程實際順序進行排列。后續(xù)研究大多采納了這一建議。有學(xué)者(Xiong et al., 2016)從數(shù)據(jù)角度就深度認(rèn)知追蹤方法大幅提升預(yù)測性能提出三點質(zhì)疑，并從數(shù)據(jù)重復(fù)性、支架題目影響、多技能題目處理三方面，將數(shù)據(jù)分為三個子集，并通過實驗證明數(shù)據(jù)處理方式對實驗結(jié)果的顯著影響。這對后續(xù)研究有較大的參考價值，如GIKT、qDKT等模型均直接采用這一數(shù)據(jù)集劃分方式(Yang et al., 2020; Sonkar et al., 2020)。近年，多位學(xué)者從不同角度討論如何對數(shù)據(jù)進行更合理的操作(Zhang et al., 2017; Lee & Yeung, 2019; Xu & Davenport, 2020)。此外，更多論文僅對數(shù)據(jù)處理進行簡單描述，或只給出數(shù)據(jù)集的基本統(tǒng)計信息。數(shù)據(jù)處理的不一致不僅會造成模型性能偏差，更會導(dǎo)致難以直接、公平地比較不同學(xué)者的創(chuàng)新工作，阻礙認(rèn)知追蹤領(lǐng)域的知識發(fā)展及學(xué)術(shù)共同體的成長，從而制約整個方向的可持續(xù)發(fā)展。其原因在于：一是研究偏好。人工智能與教育的交叉促進了認(rèn)知追蹤的發(fā)展，同時也沿襲了人工智能研究領(lǐng)域普遍存在的“重模型、輕數(shù)據(jù)”慣性。谷歌研究員桑巴希萬等(Sambasivan et al., 2021)指出，學(xué)者們往往青睞模型創(chuàng)新，很少專門圍繞數(shù)據(jù)展開研究，但數(shù)據(jù)質(zhì)量在很大程度上決定了模型及后續(xù)應(yīng)用的成敗，造成數(shù)據(jù)級聯(lián)問題。二是數(shù)據(jù)認(rèn)知。人們對數(shù)據(jù)的操作是否合理很大程度源于對數(shù)據(jù)內(nèi)涵的理解是否準(zhǔn)確，而數(shù)據(jù)的含義通常由其邏輯和業(yè)務(wù)背景決定。不同的認(rèn)知追蹤數(shù)據(jù)集產(chǎn)生于不同的學(xué)習(xí)系統(tǒng)，背后有不同的教學(xué)設(shè)計與策略，由此帶來數(shù)據(jù)一致性認(rèn)知挑戰(zhàn)。

綜上，隨著認(rèn)知追蹤成為研究熱點，其數(shù)據(jù)處理不一致問題愈發(fā)凸顯。已有研究大多從問題本身出發(fā)，很少考慮數(shù)據(jù)產(chǎn)生的教育場景、概念邏輯以及建模過程。因此，提出一種兼具理論指導(dǎo)與實際可操作性的數(shù)據(jù)分析框架，促進對認(rèn)知追蹤數(shù)據(jù)內(nèi)涵的深層理解和規(guī)范操作變得很有必要。本研究通過調(diào)研分析，提出一種以認(rèn)知追蹤問題域的基本對象及相互關(guān)系為核心的概念框架，并運用該框架對數(shù)據(jù)處理過程中的關(guān)鍵問題進行一致性分析及提出規(guī)范化建議，最后結(jié)合認(rèn)知追蹤的研究趨勢，討論未來智能教育的發(fā)展。

二、概念框架

(一)數(shù)據(jù)集調(diào)研

本研究聚焦于2015年深度認(rèn)知追蹤提出以來，新模型不斷涌現(xiàn)但數(shù)據(jù)處理不一致現(xiàn)象愈發(fā)嚴(yán)重這一問題展開調(diào)研。研究者以2015—2021年為文獻檢索時間范圍，在中國知網(wǎng)、Springer、ACM、arXiv和Web of Science等數(shù)據(jù)庫中，分別以“知識追蹤”“認(rèn)知追蹤”“Knowledge Tracing”為關(guān)鍵詞，搜得93篇文獻，排除未明確描述數(shù)據(jù)集的文獻，最終得到論文35篇，涉及18個數(shù)據(jù)集、29個模型及改進算法(見圖1),包括ASSISTments系列數(shù)據(jù)集(50.5%)、Statics數(shù)據(jù)集(13.3%)、Algebra系列數(shù)據(jù)集(12.4%)和Synthetic-5數(shù)據(jù)集(10.5%)。

圖1 樣本文獻中各數(shù)據(jù)集使用頻次分布

1.ASSISTments系列

ASSISTments是美國伍斯特理工學(xué)院開發(fā)的在線學(xué)習(xí)平臺(Feng et al., 2009)，其數(shù)據(jù)集包含四個子集：ASSISTments2009-2010(ASS09)、ASSISTments 2012-2013(ASS12)、ASSISTments2014-2015(ASS15)、ASSISTments Challenge。據(jù)統(tǒng)計，至少有66篇論文使用了該系列數(shù)據(jù)集，使用ASS09數(shù)據(jù)集的論文超過18篇(Heffernan, 2019)。該數(shù)據(jù)集以題目—日志的形式收集學(xué)生數(shù)據(jù)，其中行是學(xué)生回答某道題的記錄，內(nèi)容包括學(xué)生和題目的交互特征，如是否回答正確、是否求助等。此外，數(shù)據(jù)集還記錄了學(xué)校、班級等學(xué)生屬性特征，以及題目編號、位置等題目特征。ASS09由2009—2010年采集的數(shù)據(jù)構(gòu)成，被分成“非技能建構(gòu)數(shù)據(jù)(Non-skill builder data)”和“技能建構(gòu)數(shù)據(jù)(Skill builder data)”兩部分，后者又被稱為掌握學(xué)習(xí)數(shù)據(jù)，即學(xué)生必須連續(xù)正確回答三道題才算掌握了該項技能。從頻次分布圖看，該數(shù)據(jù)集使用最為廣泛。ASS12由2012—2013年采集的數(shù)據(jù)構(gòu)成，特點是在ASS09數(shù)據(jù)集基礎(chǔ)上增加了挫折程度、困惑程度、注意力集中程度、厭倦程度等特征描述學(xué)生的情感狀態(tài)。ASS15由2014—2015年采集的數(shù)據(jù)構(gòu)成，僅包含100個單技能題目，沒有支架題目，特征數(shù)較少。ASSISTments Challenge源于2017年國際數(shù)據(jù)挖掘競賽，其特點是特征較為豐富，共82個特征，但較少被使用。

2.Algebra系列

Algebra是2010年國際知識發(fā)現(xiàn)和數(shù)據(jù)挖掘競賽KDD Cup發(fā)布的公開數(shù)據(jù)集(Stamper et al., 2010)，包含Algebra Ⅰ 2005-2006、Algebra Ⅰ 2006-2007、Bridge to Algebra 2006-2007等三個開發(fā)數(shù)據(jù)集，以及Algebra Ⅰ 2008-2009、Bridge to Algebra 2008-2009兩個挑戰(zhàn)數(shù)據(jù)集。其中，開發(fā)數(shù)據(jù)集包含學(xué)生真實答題結(jié)果在內(nèi)的所有完整信息，旨在幫助參賽者熟悉數(shù)據(jù)格式和訓(xùn)練模型。挑戰(zhàn)數(shù)據(jù)集不含學(xué)生答題結(jié)果，需要參賽者給出預(yù)測結(jié)果并提交。多數(shù)研究只使用Algebra開發(fā)數(shù)據(jù)集。

3.Statics

Statics是一門大學(xué)在線課程收集的數(shù)據(jù)，包含361092條記錄，涉及335名學(xué)生和85項技能，共包含46個特征(Steif & Bier, 2014; Koedinger et al., 2010)。

4.Synthetic-5

Synthetic-5(又稱為Simulated-5)是深度認(rèn)知追蹤方法的提出者皮希構(gòu)造的模擬數(shù)據(jù)集，模擬了4000名學(xué)生50道題的答題情況，且學(xué)生答題序列相同。題目從五個模擬技能中抽取，每道題對應(yīng)一項技能，重復(fù)實驗20次，最后評估平均準(zhǔn)確度和標(biāo)準(zhǔn)誤差。

(二)認(rèn)知追蹤概念框架

綜上，當(dāng)前研究主要面向自主學(xué)習(xí)場景，以學(xué)生做題為主要學(xué)習(xí)活動，以預(yù)測學(xué)生的技能掌握狀態(tài)或者答對下一題的概率為目標(biāo)。從系統(tǒng)論角度看，學(xué)生、技能與題目構(gòu)成了認(rèn)知追蹤問題域的三大核心要素，但認(rèn)知追蹤的適用場景并不限于此。隨著智能教育技術(shù)的發(fā)展，認(rèn)知追蹤可廣泛應(yīng)用于多主體協(xié)作學(xué)習(xí)、多步驟問題解決、多層次知識能力診斷等更開放、復(fù)雜、高階的學(xué)習(xí)場景。為了不失一般性，本研究將“知識”和“問題”分別作為“技能”和“題目”兩個元素的泛化概念，建立了以“學(xué)生(Student)—知識(Knowledge)—問題(Problem)”三個對象以及六類關(guān)系為核心的認(rèn)知追蹤概念框架(SKP，見圖2)。

認(rèn)知追蹤概念框架旨在建立對認(rèn)知追蹤的數(shù)據(jù)化認(rèn)知與概念化分析框架，從更廣泛的意義上理解多場景認(rèn)知追蹤的數(shù)據(jù)元素及其關(guān)系，為如何基于數(shù)據(jù)的產(chǎn)生場景及教育意義進行數(shù)據(jù)處理提供分析工具，從源頭解決當(dāng)前普遍存在的數(shù)據(jù)處理不一致或欠規(guī)范問題。認(rèn)知追蹤概念框架包括三個對象和六類關(guān)系。

圖2 認(rèn)知追蹤概念框架

1.基本對象

學(xué)生、知識和問題構(gòu)成了認(rèn)知追蹤數(shù)據(jù)處理過程的三個基本對象。其中，學(xué)生對象包括個人基本信息及其在不同學(xué)習(xí)場景留下的學(xué)習(xí)行為信息；知識對象包括知識名稱、類型、層次等基本屬性，以及知識描述等信息；問題對象包括問題類型、難度、區(qū)分度等基本屬性，以及題干、答案、提示、解析等內(nèi)容語義信息。

2.交互關(guān)系

一是同類對象之間的交互，常被用作輔助信息融入認(rèn)知追蹤建模過程。其中，“學(xué)生—學(xué)生”交互關(guān)系主要體現(xiàn)在多主體協(xié)作學(xué)習(xí)場景，包括學(xué)生協(xié)作過程中形成的社交角色、互動行為和內(nèi)容等信息；“知識—知識”交互主要用于描述知識結(jié)構(gòu)或性質(zhì)關(guān)系，包括知識圖譜的上下位、先后修等關(guān)系，以及具有互逆性質(zhì)的知識之間的關(guān)系等；“問題—問題”交互主要體現(xiàn)在問題序列背后的教學(xué)設(shè)計思想，如多個主干問題之間的遞進關(guān)系、主干問題與支架問題之間的主次關(guān)系、多步驟問題之間的依賴關(guān)系等。

二是不同對象之間的交互，是認(rèn)知追蹤建模過程使用的主要信息。其中，“學(xué)生—問題”交互主要用于描述學(xué)生回答或解決問題過程中產(chǎn)生的各類內(nèi)容或行為信息，包括作答內(nèi)容以及請求提示、查看答案或解析過程等行為信息；“問題—知識”交互主要用于描述問題與知識之間的關(guān)聯(lián)關(guān)系，包括一對一、一對多、多對一和多對多等，如一對一表示一個問題僅關(guān)聯(lián)一個知識點，一對多表示一個問題關(guān)聯(lián)多個知識點；“學(xué)生—知識”交互用于描述學(xué)生對簡單技能、高階能力等不同層次知識的掌握狀態(tài)。

(三)基于認(rèn)知追蹤概念框架的特征分類

認(rèn)知追蹤數(shù)據(jù)集大多含有豐富的特征，對特征的概念化分類是對數(shù)據(jù)內(nèi)涵理解及后續(xù)處理分析的認(rèn)知基礎(chǔ)。數(shù)據(jù)集雖然源于不同的學(xué)習(xí)平臺和應(yīng)用場景，其特征較為豐富，但均可按認(rèn)知追蹤概念框架統(tǒng)一分類，從而為在更高層次建立對特征含義的共識性理解提供可能。

三、關(guān)鍵問題

基于認(rèn)知追蹤概念框架，本研究匯總了上述35篇論文對三個高頻數(shù)據(jù)集的處理方式及相關(guān)信息(見表一)。其中，數(shù)據(jù)集命名的字母表示原始數(shù)據(jù)集，數(shù)字表示經(jīng)過處理后得到的子集，原始數(shù)據(jù)集的統(tǒng)計信息均來自官方網(wǎng)站，相關(guān)模型或論文對應(yīng)的處理方式均引自原文。

由表一可知，除Statics在多個文獻中的處理方式基本一致外，其他數(shù)據(jù)集在不同研究中的處理方式均存在明顯問題，具體可分為三類：一是未明確說明處理方式；二是描述的處理方式相同但統(tǒng)計信息不一致，如數(shù)據(jù)集a-16使用a-4的處理方法(Sonkar et al., 2020)，得到不同的統(tǒng)計信息；三是統(tǒng)計信息一致但處理方式不同，如a-7、c-2先后被同一團隊的兩篇論文使用(Minn et al., 2018; Minn et al., 2019)，文中對數(shù)據(jù)處理的描述不同，但給出的統(tǒng)計信息一致。結(jié)合表一，本研究重點圍繞以下五個問題展開討論。

(一)數(shù)據(jù)重復(fù)

表一中近一半的研究工作涉及數(shù)據(jù)去重處理。ASS09、Alge05等數(shù)據(jù)集均存在大量的學(xué)習(xí)行為重復(fù)記錄。雖然研究者無法從源頭查證重復(fù)記錄如何產(chǎn)生，但學(xué)生在學(xué)習(xí)平臺的操作屬于時序行為，學(xué)生不會在同一時間回答多個問題，產(chǎn)生多條記錄。有研究(Xiong et al., 2016)表明，這些重復(fù)數(shù)據(jù)實為冗余信息，可直接刪除。

一般而言，學(xué)生在學(xué)習(xí)平臺上進行答題等操作后，后臺數(shù)據(jù)庫會生成語義豐富的學(xué)習(xí)行為記錄，并在此基礎(chǔ)上構(gòu)建基于多特征的認(rèn)知追蹤模型(Sun et al., 2021)，這是提升學(xué)習(xí)者建模能力的有效途徑。因此，數(shù)據(jù)采集的特征豐富性、記錄完整性是保障數(shù)據(jù)質(zhì)量的基本要求，也是影響模型性能的關(guān)鍵因素。對于開放、復(fù)雜的智能學(xué)習(xí)環(huán)境以及大規(guī)模用戶使用場景，如何高保真、高效地記錄海量學(xué)習(xí)者的并發(fā)行為，是智能教育系統(tǒng)設(shè)計與實現(xiàn)需解決的基礎(chǔ)性問題。

德州儀器（TI）是世界上最大的半導(dǎo)體公司之一。德州儀器始終致力于提供創(chuàng)新半導(dǎo)體技術(shù)，幫助客戶開發(fā)世界最先進的電子產(chǎn)品。德州儀器的模擬、嵌入式處理以及無線技術(shù)不斷深入至生活的方方面面，從數(shù)字通信娛樂到醫(yī)療服務(wù)、汽車系統(tǒng)以及各種廣泛的應(yīng)用，無所不在。

表一 樣本文獻數(shù)據(jù)集統(tǒng)計信息及處理方式比較

(二)數(shù)據(jù)順序

數(shù)據(jù)順序指學(xué)習(xí)行為記錄輸入模型的先后。通常，認(rèn)知追蹤建模會以學(xué)生真實答題順序組織數(shù)據(jù)，這有利于模型捕捉數(shù)據(jù)中蘊含的學(xué)生認(rèn)知狀態(tài)變化規(guī)律，從而獲得精準(zhǔn)的預(yù)測結(jié)果。但也有部分研究考慮模型輸入的答題序列長度對齊、按相同技能或?qū)W生重組答題序列等因素對數(shù)據(jù)進行專門處理，截斷或打亂學(xué)生答題行為數(shù)據(jù)的原始順序。例如，表一的數(shù)據(jù)集a-1，將題目對應(yīng)技能按編號重新排序后再輸入模型(Piech et al., 2015)。

從智能教育系統(tǒng)視角看，學(xué)生的學(xué)習(xí)行為序列可能蘊涵了特定的教學(xué)策略或設(shè)計思想。例如，ASSISTments平臺依據(jù)掌握學(xué)習(xí)理論設(shè)計和組織題目序列，學(xué)生按題目預(yù)設(shè)順序作答反映了一種預(yù)期的認(rèn)知狀態(tài)變化模式或規(guī)律，即連續(xù)答對多道相同技能的題目意味著該生大概率掌握了該技能。其次，教育心理學(xué)研究發(fā)現(xiàn)(Rohrer et al., 2015)，學(xué)生做數(shù)學(xué)題的過程中，不同技能的題目交叉出現(xiàn)比連續(xù)出現(xiàn)更有助于提升學(xué)習(xí)效果。

(三)支架題目

支架題目(Xiong et al., 2016)的設(shè)計思想源于支架式教學(xué)理論，旨在幫助學(xué)生穿越最近發(fā)展區(qū)，把認(rèn)知引到更高水平。在學(xué)習(xí)平臺上，支架題目與主題目所考察的技能相同或相近，但通常難度較低。表一中，部分研究認(rèn)為，認(rèn)知追蹤的建模過程不應(yīng)同等對待支架題目，因此直接刪除了支架題目(Xiong et al., 2016; Liu et al., 2020; Xu & Davenport, 2020; Sonkar et al., 2020)。實際上，支架題目作答行為是學(xué)生做題序列的有機組成部分，從數(shù)據(jù)真實性和完整性角度看，保留支架題目數(shù)據(jù)有利于更準(zhǔn)確地建模學(xué)生認(rèn)知狀態(tài)的變化。

對智能教育系統(tǒng)而言，支架是一種廣泛用于多種學(xué)習(xí)場景的導(dǎo)學(xué)策略，其形式不限于題目，包括推進、提示、暗示等，目的是推動學(xué)生思考、保持學(xué)習(xí)動力。在認(rèn)知追蹤應(yīng)用場景中，支架題目的設(shè)計也體現(xiàn)了這一思想。當(dāng)學(xué)生遇到難題時，引導(dǎo)其解決支架類問題可有效促進學(xué)習(xí)。因此，支架題目作答行為數(shù)據(jù)通常隱含了學(xué)生認(rèn)知水平提升這一重要信息。以ASSISTments平臺為例，若學(xué)生答題記錄既包含主題目，又包含支架題目，且連續(xù)答對多個支架題目，這意味著學(xué)生經(jīng)歷了最近發(fā)展區(qū)的認(rèn)知發(fā)展過程，并從支架題目的引導(dǎo)中掌握了相應(yīng)的技能。

(四)技能缺失

針對部分答題記錄缺失對應(yīng)的技能信息，相關(guān)研究一般直接刪除記錄(Zhang et al., 2017; Ha et al., 2018; Abdelrahman & Wang, 2019; Lee & Yeung, 2019; Ghosh et al., 2020; Gan et al., 2020)，或填充一個固定值(Piech et al., 2015; Khajah et al., 2016; Wilson et al., 2016)。前者雖然保證了數(shù)據(jù)的真實性，但會丟失大量有用信息，尤其是缺失記錄占比較高對模型性能影響較大。后者為了處理簡單，把所有技能缺失記錄填充為一個新值，這會帶來大量數(shù)據(jù)噪聲，導(dǎo)致模型學(xué)到更多的錯誤模式。

技能缺失折射出智能教育領(lǐng)域普遍存在的一個難題——智能化知識組織與資源標(biāo)注。對學(xué)科知識的精細化組織，以及資源內(nèi)容的深層次加工和語義化標(biāo)注，是構(gòu)建智能教育知識基礎(chǔ)設(shè)施的核心任務(wù)。教育知識圖譜正是該方向的研究熱點，即在傳統(tǒng)人工構(gòu)建知識體系、標(biāo)注知識資源的基礎(chǔ)上，利用數(shù)據(jù)和知識雙向驅(qū)動的方式往半自動或自動化方向發(fā)展。因此，對于技能缺失問題，簡單刪除記錄或者填充固定值的做法都不合理，應(yīng)考慮如何有效利用數(shù)據(jù)集的已有信息，運用相應(yīng)策略補全缺失值。

(五)多技能題目

1.問題描述

在智能導(dǎo)學(xué)、自適應(yīng)學(xué)習(xí)等認(rèn)知追蹤應(yīng)用場景中，一道題通常不只關(guān)聯(lián)一項技能，而是關(guān)聯(lián)多項技能，此類題目可被稱為多技能題目(Xiong et al., 2016)。例如，一道求矩陣點積的題目可能關(guān)聯(lián)向量運算、多項式運算等技能。認(rèn)知追蹤建模首先需要對特征進行編碼，研究者通常采用機器學(xué)習(xí)領(lǐng)域主流的獨熱編碼方式處理單技能題目(one-hot encoding)，但對多技能題目的編碼尚未達成共識。

2.典型方法

多技能題目的編碼方法可分為兩種：一是使用拆分策略，即將“一條包含多技能的記錄”拆成“多條只含單技能的記錄”；二是采取組合策略，即將“同一道題目包含的多個技能”組合為“一個新的技能”并重新編碼。以兩條答題記錄為例(見圖3左)：第一行記錄了某學(xué)生回答第11題的信息，該題與編號為21、22號的兩項技能相關(guān)，學(xué)生回答正確；第二行記錄了該生回答第12題的信息，該題對應(yīng)編號為21、22和23等三項技能，學(xué)生回答錯誤。

若按拆分策略處理，研究者會得到拆分格式數(shù)據(jù)，原始樣本數(shù)據(jù)第一行記錄被拆分為兩行，除技能編號不同外，其余信息都相同。同理，拆分原始樣本數(shù)據(jù)第二行可得到三行數(shù)據(jù)(見圖3右上)。若按組合策略處理，研究者會得到組合格式數(shù)據(jù)，原始樣本數(shù)據(jù)第一行技能(21，22)被視為一種新的技能，并被編碼為31。同理，第二行技能被編碼為32(見圖3右下)。

圖3 多技能題目的兩種編碼方法示例

對于拆分格式數(shù)據(jù)，以深度神經(jīng)網(wǎng)絡(luò)為代表的模型容易學(xué)到兩項技能交替出現(xiàn)的模式，由此帶來額外且顯著的性能優(yōu)勢(Khajah et al., 2016)，但同時也造成數(shù)據(jù)冗余，因此近年的研究逐漸轉(zhuǎn)向組合方式(Nakagawa et al., 2018; Choffin et al., 2019; Xu & Davenport, 2020; Sonkar et al., 2020)。組合格式數(shù)據(jù)雖然保證了一條記錄描述一道題，但同時也造成技能間關(guān)聯(lián)信息的缺失。例如，兩個組合而成的新技能31和32，雖然都包含了技能21和22，但重新編碼后無法體現(xiàn)這一關(guān)聯(lián)信息。

3.多熱編碼方法

從模型輸入編碼角度，以上兩種數(shù)據(jù)處理方法均采用基于技能編號的獨熱編碼。為解決這兩種方法存在的固有弊端，研究者提出多熱編碼方法(multi-hot encoding)，即通過構(gòu)建一個矩陣，保存題目和技能之間的交互關(guān)系，然后通過內(nèi)積運算得到題目對應(yīng)的多熱編碼，模型輸出可采用多個技能對應(yīng)預(yù)測概率的平均值。

多熱編碼方法的優(yōu)勢包括：一是既保存了題目和多個技能的原始對應(yīng)關(guān)系，又可以表示不同題目與多個技能之間的關(guān)聯(lián)性，有助于模型發(fā)現(xiàn)組合技能和其他技能的關(guān)系，更具可解釋性；二是每個時間步只需輸入一道題的記錄，而不是用多個時間步處理同一道題，更符合認(rèn)知追蹤序列化建模的內(nèi)在邏輯；三是減少數(shù)據(jù)重復(fù)出現(xiàn)的同時保證了信息的完整性，并能夠與拆分、組合兩種格式的數(shù)據(jù)相互轉(zhuǎn)換。

四、啟 示

作為人工智能與教育交叉的產(chǎn)物，認(rèn)知追蹤誕生于“小數(shù)據(jù)+傳統(tǒng)機器學(xué)習(xí)”主導(dǎo)的20世紀(jì)90年代(以BKT為代表)，暴發(fā)于“大數(shù)據(jù)+深度神經(jīng)網(wǎng)絡(luò)”(以DKT為代表)引領(lǐng)的新一代人工智能時代，成為智能教育不斷演進的縮影。數(shù)據(jù)驅(qū)動是認(rèn)知追蹤的固有基因，貫穿了從學(xué)習(xí)行為數(shù)據(jù)采集、處理、建模到應(yīng)用等整個生命周期。本研究從認(rèn)知追蹤數(shù)據(jù)產(chǎn)生及利用的場景、模態(tài)、模型、范式、價值等方面剖析其研究趨勢，也得出對未來智能教育發(fā)展的啟示。

(一)場景拓展：從自主學(xué)習(xí)到多模式混合學(xué)習(xí)

回溯認(rèn)知追蹤的發(fā)展史，從貝葉斯認(rèn)知追蹤到深度認(rèn)知追蹤，可謂是經(jīng)歷了一場從應(yīng)用創(chuàng)新到模型創(chuàng)新的研究思潮變化。以貝葉斯認(rèn)知追蹤方向為主的研究共同體，注重從具體教學(xué)場景切入，尤其是結(jié)合各類智能導(dǎo)學(xué)系統(tǒng)開展以個體自主學(xué)習(xí)為主要模式的應(yīng)用創(chuàng)新。反之，側(cè)重深度認(rèn)知追蹤方向的研究人員專注于模型創(chuàng)新，特別是近年受益于人工智能技術(shù)的不斷創(chuàng)新與突破，新模型不斷涌現(xiàn)。未來，一方面隨著認(rèn)知追蹤建模技術(shù)的沉淀與成熟，回歸教育應(yīng)用是必然趨勢；另一方面，構(gòu)建相互融通的學(xué)習(xí)場景、靈活多元的學(xué)習(xí)方式、彈性多能的組織管理是人工智能賦能教育的主要目標(biāo)(黃榮懷等, 2019; 曹培杰, 2020)。認(rèn)知追蹤也將順應(yīng)智能教育的整體發(fā)展趨勢，突破當(dāng)前以個體自主學(xué)習(xí)為主的應(yīng)用場景，拓展到多空間融合、多主體協(xié)同、多模態(tài)交互等更加復(fù)雜多元的學(xué)習(xí)場景。

(二)模態(tài)跨越：從單一學(xué)習(xí)行為到多模態(tài)數(shù)據(jù)融合

長期以來，大多數(shù)認(rèn)知追蹤模型僅基于學(xué)生答題結(jié)果這一單一的學(xué)習(xí)行為數(shù)據(jù)。近年來，部分學(xué)者開始使用更多語義豐富的特征，如認(rèn)知追蹤概念框架下學(xué)生對象的屬性信息、問題對象的屬性信息、“學(xué)生—問題”交互信息等，構(gòu)建基于多特征的認(rèn)知追蹤模型(Sun et al., 2021)，以提升其預(yù)測能力。當(dāng)前，智能感知、可穿戴設(shè)備、物聯(lián)網(wǎng)等技術(shù)的發(fā)展，以及自然語言處理、計算機視覺、語音識別、生理信息識別等智能技術(shù)的不斷成熟，有助于實現(xiàn)面向智能學(xué)習(xí)環(huán)境的多模態(tài)、細粒度、高價值學(xué)習(xí)大數(shù)據(jù)的自動采集，使多模態(tài)學(xué)習(xí)分析成為驅(qū)動智能教育研究的新趨向(王一巖等, 2021)。在這一趨勢下，認(rèn)知追蹤將會跨越單一行為模態(tài)，逐漸發(fā)展成為行為、心理、生理等多模態(tài)數(shù)據(jù)融合驅(qū)動，從多維度、多層次洞察學(xué)習(xí)者，構(gòu)建更加精準(zhǔn)的學(xué)習(xí)者模型。

(三)模型白化：從深度學(xué)習(xí)算法黑箱到可解釋分析

從貝葉斯認(rèn)知追蹤到深度認(rèn)知追蹤，變的不僅是技術(shù)路線，認(rèn)知追蹤的預(yù)測準(zhǔn)確率也得到顯著提升(AUC值提升近30%)。但是由于神經(jīng)網(wǎng)絡(luò)固有的“黑箱”特性，難以通過模型內(nèi)部的變量或參數(shù)理解學(xué)習(xí)者認(rèn)知建模的具體原理，無法揭示模型可能學(xué)到的有教育意義的信息(如學(xué)習(xí)者在答題過程中的學(xué)習(xí)率、猜測率、失誤率等)，降低了對模型預(yù)測結(jié)果的增值利用或信任程度。當(dāng)前，深度神經(jīng)網(wǎng)絡(luò)技術(shù)已廣泛應(yīng)用于智能教育領(lǐng)域。教育注重揭示教育現(xiàn)象或行為之間的因果關(guān)系，未來智能教育在研究如何構(gòu)建更精準(zhǔn)、高效機器學(xué)習(xí)模型的同時，會更加強調(diào)對模型決策過程的可解釋分析(劉三女牙等, 2021)。深度神經(jīng)網(wǎng)絡(luò)隱層白化、因果推理計算等人工智能領(lǐng)域的最新技術(shù)進展(Chen et al., 2020)，將有助于揭示深度認(rèn)知追蹤模型內(nèi)部的工作機理，實現(xiàn)對學(xué)習(xí)者的錯因追溯、歸因分析等更具教育價值的服務(wù)。

(四)范式轉(zhuǎn)變：從數(shù)據(jù)驅(qū)動到數(shù)據(jù)與知識聯(lián)合驅(qū)動

智能教育深受人工智能技術(shù)進展影響，其發(fā)展史就是一部與人工智能技術(shù)共舞的歷史。自1956年達特茅斯會議首次提出人工智能概念以來，人工智能歷經(jīng)知識驅(qū)動、以知識工程為代表的AI 1.0時代，到數(shù)據(jù)驅(qū)動的、以深度學(xué)習(xí)為代表的AI 2.0時代，當(dāng)前正處于從數(shù)據(jù)驅(qū)動到“數(shù)據(jù)+知識”聯(lián)合驅(qū)動的技術(shù)轉(zhuǎn)型期，雙輪驅(qū)動的智能技術(shù)研究范式正在成為趨勢，AI 3.0時代正在來臨(張鈸等, 2020)。隨著技術(shù)的進步，智能教育也將突破過去以外顯學(xué)習(xí)行為識別為代表的淺層次感知技術(shù)瓶頸，進一步實現(xiàn)對學(xué)習(xí)情景、意圖或狀態(tài)的深層次理解。同時，知識圖譜增強的認(rèn)知計算方法將賦予機器更強的推理和決策能力，能夠在“師—機—生”交互、群體協(xié)作等復(fù)雜的認(rèn)知活動中提供更具策略性的學(xué)習(xí)支架與教學(xué)輔助。認(rèn)知追蹤將在建模能力、解釋分析、因果推斷等方面受益于知識圖譜技術(shù)，“數(shù)據(jù)+知識”聯(lián)合驅(qū)動也將成為認(rèn)知追蹤與智能教育的主要研究范式。

(五)價值回歸：從技術(shù)意識壟斷回歸教育價值本位

在人工智能與教育的深度融合過程中，過度關(guān)注技術(shù)帶來的效益而忽略了教育本身的需求，造成了人工智能對教育的意識壟斷(楊欣, 2021)。作為智能教育發(fā)展的縮影，認(rèn)知追蹤同樣染上了濃厚的人工智能意識壟斷色彩。如同當(dāng)前如火如荼的智能搜題、智能解題、智能批閱等智能教育應(yīng)用，以深度認(rèn)知追蹤為代表的認(rèn)知追蹤研究直接順從了教育領(lǐng)域的既得利益，在線答題與技能掌握成為認(rèn)知追蹤難以擺脫的“人設(shè)”，模型改進與性能提升成為部分研究者孜孜不倦的“唯一”追求。隨之而來的是古德哈特定律的應(yīng)驗，更多的研究者會根據(jù)深度認(rèn)知追蹤的發(fā)展態(tài)勢和標(biāo)準(zhǔn)優(yōu)化自己的行為，強化認(rèn)知追蹤的技術(shù)意識壟斷。未來，研究者亟需回歸教育價值本位，從教育的角度推動認(rèn)知追蹤和智能教育創(chuàng)新發(fā)展，適應(yīng)未來社會強調(diào)以人為本、注重關(guān)鍵能力與核心素養(yǎng)培養(yǎng)的時代主題。

總之，智能時代的教育革命已然來臨，大數(shù)據(jù)及人工智能技術(shù)加持下的認(rèn)知追蹤必將突破當(dāng)前研究邊界，開拓新的學(xué)術(shù)方向，并將帶動認(rèn)知追蹤研究及應(yīng)用回歸教育本源。具體而言，我們首先需從認(rèn)知追蹤數(shù)據(jù)產(chǎn)生的學(xué)習(xí)場景與教育意義出發(fā)，建立對認(rèn)知追蹤概念框架與數(shù)據(jù)處理的共識，破解當(dāng)前普遍存在的“重模型、輕數(shù)據(jù)”問題；其次，順應(yīng)智能教育的發(fā)展潮流，推動認(rèn)知追蹤研究與應(yīng)用轉(zhuǎn)型：從個體自主學(xué)習(xí)到多模式混合學(xué)習(xí)、從單一學(xué)習(xí)行為到多模態(tài)數(shù)據(jù)融合、從深度學(xué)習(xí)算法黑箱到可解釋分析、從數(shù)據(jù)驅(qū)動到數(shù)據(jù)與知識聯(lián)合驅(qū)動，以及從技術(shù)意識壟斷回歸教育價值本位。