楊曉哲 王晴晴 蔣佳龍
[摘? ?要] 已有大量研究關(guān)注課堂中的師生對話,并對其進(jìn)行了不同類型的編碼與分析,但目前的編碼仍受到專業(yè)人員的水平與時間限制。為提高課堂對話編碼速度,實現(xiàn)自動化的課堂對話分類與即時反饋,采用人工智能技術(shù),利用神經(jīng)網(wǎng)絡(luò)分析模型對課堂中的提問、回答、反饋進(jìn)行自動編碼。研究發(fā)現(xiàn):該模型實現(xiàn)了基于語義的課堂對話質(zhì)量評估,能夠在短時間內(nèi)實現(xiàn)課堂師生對話中IRE模型的分水平評估,即對提問層次水平、回答層次水平和反饋層次水平進(jìn)行評估與分類;構(gòu)建了全面、快速、準(zhǔn)確的課堂對話評估方式,成為進(jìn)一步理解課堂中學(xué)習(xí)發(fā)生過程的關(guān)鍵環(huán)節(jié),為大規(guī)模課堂智能分析奠定重要基礎(chǔ)。
[關(guān)鍵詞] 師生對話; 機器學(xué)習(xí); 自動分類; 人工智能
[中圖分類號] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A
[作者簡介] 楊曉哲(1988—),男,福建泉州人。副教授,博士,主要從事教育信息化、信息科技、學(xué)習(xí)科學(xué)研究。E-mail:yangxz@vip.163.com。
基金項目:國家社會科學(xué)基金2022年度教育學(xué)一般課題“中小學(xué)課堂智能分析的標(biāo)準(zhǔn)建構(gòu)與應(yīng)用研究”(課題編號:BHA220144)
一、引? ?言
課堂對話是課堂環(huán)境中發(fā)生的社會化建構(gòu)過程,也是課堂中進(jìn)行知識共享、構(gòu)建群體認(rèn)知的重要環(huán)節(jié)。對話有助于學(xué)生展開批判性思維,通過相互理解來加深學(xué)習(xí)效果。有效的課堂對話應(yīng)該發(fā)生在師生之間,并遵循目的性、互惠性、支持性和積累性的方式展開。然而,在真實的課堂教學(xué)中,對話質(zhì)量存在巨大差異,有時僅限于簡單的問答,沒有展開平等、深入和開放的對話過程。為了提高課堂對話的有效性,教師同伴之間采取相互觀察的方式,通過相互提醒和建議以改進(jìn)教學(xué)。教育研究者還利用課堂視頻錄像等方式進(jìn)行課堂對話編碼,以提高反饋的準(zhǔn)確性。然而,這種手動編碼方式耗時且難以為教師提供及時有效的反饋,對教學(xué)改進(jìn)的作用非常有限。因此,提高課堂對話編碼速度并實現(xiàn)即時反饋對于課堂對話自動分類至關(guān)重要。為此,本研究采用機器學(xué)習(xí)模型和人工智能技術(shù)對課堂師生對話進(jìn)行自動分類編碼。通過機器學(xué)習(xí)訓(xùn)練,實現(xiàn)對課堂師生對話的快速自動編碼,分析課堂師生對話的質(zhì)量,為教師改進(jìn)教學(xué)提供可行途徑。
二、研究現(xiàn)狀與文獻(xiàn)綜述
(一)課堂對話研究
課堂對話是一種在課堂環(huán)境中教師與學(xué)生之間、學(xué)生與學(xué)生之間的多向交流互動,能夠增強知識理解與建構(gòu)。已有研究表明,有效的課堂對話能促進(jìn)學(xué)習(xí)成就的達(dá)成[1]。對于課堂對話模式分類的探索起源已久,研究者通過話語分析方法建立了分層描述框架,提出了“啟動—響應(yīng)—反饋(IRF)”結(jié)構(gòu)[2],這被認(rèn)為是課堂對話模式的經(jīng)典模型結(jié)構(gòu)。該結(jié)構(gòu)有助于區(qū)分課堂中對話的關(guān)聯(lián)與關(guān)系。之后,米恩(Mehan)采用民族志方法,對IRF結(jié)構(gòu)作了新的詮釋,提出IRE結(jié)構(gòu),即“教師啟動—學(xué)生回應(yīng)—教師評價”[3]。米恩強調(diào)了課堂對話中教師反饋對學(xué)生的評價作用??ㄆ濐D(Cazden)用民族志方法完善了IRE結(jié)構(gòu),豐富了其變式[4]。IRE對話框架自建立以來,一直作為課堂互動分析的重要結(jié)構(gòu)模型被廣泛地應(yīng)用。
教師在教學(xué)中可以使用課堂對話來發(fā)展和鞏固學(xué)生的學(xué)習(xí),利用學(xué)生的已有知識并幫助學(xué)生成為獨立的學(xué)習(xí)者。史密斯(Smith)發(fā)現(xiàn),允許學(xué)生更多參與的課堂話語導(dǎo)致了更多的批判性思維和更好的學(xué)習(xí)效果[5]。麥考密克(McCormick)和多納托(Donato)分析了班會、教師日記、訪談等各種數(shù)據(jù)來源,發(fā)現(xiàn)教師在課堂對話中為學(xué)生學(xué)習(xí)提供了重要支架[6]。雖然課堂中對話的重要性得到認(rèn)可,但長期以來課堂對話存在兩個傾向:一是,教師對課堂中對話的重要性關(guān)注不足。沃林(Waring)的研究指出,在大量、連續(xù)的IRE指令下,學(xué)生的主動性很難被滿足,教師也很少讓學(xué)生自主地提出開放性的問題,這是造成課堂對話質(zhì)量與水平低下的原因之一[7]。二是,教師作為話語協(xié)調(diào)者,常常操縱和主導(dǎo)著課堂對話?;粑炙迹℉aworth)發(fā)現(xiàn),小學(xué)生在小組任務(wù)中進(jìn)行討論時,常模仿教師的話語模式,這限制了學(xué)生在討論中的自由[8]。因此,進(jìn)一步發(fā)展IRE對話的分類編碼,不僅應(yīng)關(guān)注結(jié)構(gòu),還需構(gòu)建結(jié)構(gòu)下的分水平編碼,這將成為深度理解課堂對話的關(guān)鍵。
“對話式教學(xué)與學(xué)習(xí)”(Dialogic Teaching-and-Learning)這一概念由羅哈斯—德拉蒙德等人提出,他們發(fā)現(xiàn)參與者之間的對話式互動,即對話式教學(xué)與學(xué)習(xí)對教師和學(xué)生建構(gòu)知識的過程有很大的幫助[9]。“對話式教學(xué)與學(xué)習(xí)”尤其強調(diào)利用語言的力量來激發(fā)和擴展學(xué)生的理解、思考和學(xué)習(xí),并鼓勵學(xué)生公平地參與課堂對話。如此,課堂對話就既有教師課前預(yù)設(shè)的部分,也有課堂中生成的部分。課堂對話過程不全是教師設(shè)定好的問題,還包括教師在課堂中不斷生成的問題。學(xué)生參與對話的過程會改變和影響整個課堂對話的內(nèi)容與質(zhì)量。從“對話式教學(xué)與學(xué)習(xí)”的視角出發(fā),整個課堂對話的過程中,無論是提問、回答還是反饋,都可以呈現(xiàn)為不同的水平和層次。教師既可以提出簡單的、有標(biāo)準(zhǔn)答案的問題,也可以提出開放性的、需要推理回答的問題。開放性的對話能夠進(jìn)一步激發(fā)學(xué)習(xí)者元認(rèn)知和反思的過程。學(xué)生對于探討沒有標(biāo)準(zhǔn)答案的開放式問題表現(xiàn)出極大熱情,應(yīng)當(dāng)鼓勵學(xué)生對觀點進(jìn)行深入的闡釋、推理和論證[10]。對課堂對話質(zhì)量的研究備受關(guān)注,如克利巴德(Kliebard)等基于課堂話語將教學(xué)活動分為結(jié)構(gòu)化、誘導(dǎo)、回答和反饋,以此劃分一個個“話語周期”并得到 “師生話語的相對占比”,進(jìn)而分析課堂中的對話質(zhì)量[11]。
隨著對課堂對話研究的深入,越來越多的編碼框架能夠?qū)φn堂話語進(jìn)行量化觀察和分析。近十年來,國際課堂對話評價指標(biāo)不斷更新,研究者總結(jié)出它們一般包括事實類話語、個人信息分享、分析式話語、歸納式話語和推斷式話語等編碼類別。國內(nèi)學(xué)者提出的ITIAS分類系統(tǒng)(Information Technology-based Interaction Analysis System)中,進(jìn)一步將教師提問劃分為封閉性提問和開放性提問[12]。有研究者提出,從邀請解釋、明確推理、表達(dá)想法等維度來衡量教師課堂教學(xué)話語的效度,并提出了課堂教學(xué)對話分析SEDA(Scheme for Educational Dialogue Analysis)方案[13]。有研究者設(shè)計了一個根據(jù)教師提問和學(xué)生不同反饋的特征分類編碼框架[14],亦有研究者構(gòu)建了基于人工智能的課堂分析標(biāo)準(zhǔn)架構(gòu)——高品質(zhì)課堂智能分析標(biāo)準(zhǔn)(CEED),該標(biāo)準(zhǔn)包括三個方面(課堂效益、課堂公平、課堂民主)和九個維度,并整合多模態(tài)數(shù)據(jù)進(jìn)行課堂對話分析[15]。
盡管編碼體系取得了長足發(fā)展,但課堂對話分析還是較依賴經(jīng)過培訓(xùn)的研究人員進(jìn)行手工標(biāo)注來完成。隨著技術(shù)發(fā)展,通過攝像等方式對課堂進(jìn)行記錄,后期采取人工編碼的方式,特別是結(jié)合NVivo等常用軟件對課堂進(jìn)行編碼,能大大提高課堂對話編碼的效率。盡管有了軟件的輔助,但是課堂對話編碼仍然需要耗費大量的時間,無法立即反饋給一線教師。教師無法及時得到關(guān)于課堂對話進(jìn)展情況的反饋。這已被證明是導(dǎo)致低質(zhì)量課堂對話的一個重要因素。因此,如何實現(xiàn)課堂對話自動、快速地編碼分析對改進(jìn)課堂對話非常重要。
(二)課堂對話的自動分類研究
自動分類是一種計算機獨立運行,根據(jù)數(shù)據(jù)進(jìn)行自動識別分類的技術(shù)。與手動分類相比,自動分類的速度更快,也更能節(jié)約人力、物力。文本自動分類越來越受到各行各界應(yīng)用層面的關(guān)注。使用基于規(guī)則的文本分類方法已經(jīng)被用于大量行業(yè)場景之中。例如:使用文本自動分類區(qū)分垃圾郵件內(nèi)容。傳統(tǒng)的文本分類往往依靠一定的明確規(guī)則,甚至有的時候要限定一些特定的關(guān)鍵詞。然而,近年來,隨著人工智能技術(shù)的發(fā)展,采用有監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)等方式的文本分類應(yīng)用越發(fā)廣泛。與傳統(tǒng)文本分類相比,機器學(xué)習(xí)方式只需要預(yù)先對一定的文本進(jìn)行分類標(biāo)簽的人工標(biāo)注,然后通過機器學(xué)習(xí)的方式進(jìn)行數(shù)據(jù)集的訓(xùn)練,就能夠提升文本分類的準(zhǔn)確度和靈活性。例如:運用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行文本段落與句子分類[16];基于Attention-based C-GRU神經(jīng)網(wǎng)絡(luò)進(jìn)行文本分類[17];基于錄音文本進(jìn)行自動分類[18]。有監(jiān)督的深度學(xué)習(xí)更好地利用了神經(jīng)網(wǎng)絡(luò)算法,實現(xiàn)了更加精準(zhǔn)、高效的文本分類。庫薩利(Kowsari)等研究發(fā)現(xiàn),基于深度學(xué)習(xí)的模型對各種文本分類任務(wù)的效率有顯著提高[19]。此外,已有不少研究采用了有監(jiān)督學(xué)習(xí)對文本進(jìn)行情感分類。例如:有研究者提出了基于GRU對文檔進(jìn)行多標(biāo)簽情感分類的GRU+Attention 模型[20],還有研究者采用有監(jiān)督學(xué)習(xí)進(jìn)行學(xué)習(xí)成績預(yù)測、輟學(xué)率預(yù)測等[21],亦有研究者采用雙向LSTM模型進(jìn)行文本情感分類[22]。
現(xiàn)有研究中,已有少量研究通過自動編碼的方式對課堂話語進(jìn)行自動或半自動分析,并探索使用機器學(xué)習(xí)進(jìn)行課堂話語的自動編碼。福特(Ford)等設(shè)計了一個語言環(huán)境分析系統(tǒng)(LENA)。該系統(tǒng)能夠記錄并自動檢測課堂語言環(huán)境信息,采用機器學(xué)習(xí)訓(xùn)練的方式,對課堂中包括教師教授、師生對話和小組活動在內(nèi)的不同事件時間段進(jìn)行了分類[23]。研究者還嘗試用人工智能技術(shù)對課堂話語分類進(jìn)行自動識別判斷[24]。布蘭查德(Blanchard)等開發(fā)了能夠自動檢測課堂回答的模型,這一模型能對課堂對話中的問題和回答進(jìn)行自動編碼,采用自動化課堂對話問答模型能夠?qū)φn堂中的問答環(huán)節(jié)進(jìn)行文本判定和區(qū)分[25]。國內(nèi)學(xué)者針對信息化環(huán)境下課堂話語的特點,從話語分析的維度,利用貝葉斯分類器實現(xiàn)了課堂話語的半自動化分析[26];對不同學(xué)科的課堂對話進(jìn)行自動編碼與分析探索,構(gòu)建了數(shù)學(xué)課堂的話語分析體系[27];借助人工編碼與機器學(xué)習(xí)相結(jié)合的方法對大規(guī)模中小學(xué)課堂進(jìn)行話語分析,發(fā)掘了中小學(xué)課堂“以基礎(chǔ)知識類對話為基礎(chǔ)、多元對話組合推進(jìn)”的對話模式[28]。
盡管已有研究對課堂對話的自動分類已經(jīng)能夠?qū)崿F(xiàn)整體歸類分析,區(qū)分一般形式的對話,包括判斷不同的課堂時間段類型,但尚未實現(xiàn)對課堂對話的質(zhì)量分水平判定,以往研究中的自動編碼分析尚無法實現(xiàn)不同對話層次的分類與不同對話水平的質(zhì)量評估,應(yīng)用于診斷課堂對話質(zhì)量時存在一定的局限性,難以給出更具針對性的教學(xué)改進(jìn)建議。這正是本研究的重點突破范疇。
三、研究過程與方法
(一)數(shù)據(jù)集
課堂視頻數(shù)據(jù)集為研究團隊的實驗項目學(xué)校所提供的課堂實錄素材。課堂視頻數(shù)據(jù)集由1008節(jié)課組成,其中,小學(xué)672節(jié)課,初中336節(jié)課。對每節(jié)課堂視頻進(jìn)行課堂話語的文字轉(zhuǎn)錄,得到共計358410條話語。課堂視頻采取整節(jié)課全程錄制的方式,真實地保留了課堂的全過程,完整地記錄了課堂中教師的聲音,以及學(xué)生發(fā)言回答的聲音。
(二)編碼框架
課堂話語分析存在多種不同的編碼框架。課堂分析的出發(fā)點和觀察視角不同,由此產(chǎn)生的編碼框架的價值和指向也不同。采用什么樣的編碼框架能夠更全面地描述對話及其質(zhì)量呢?雖然不同研究者的定義與方法之間存在差異,但也有相似之處??傮w而言,面向師生對話的交互功能包括以下幾點:(1)能引起深層思考的邀請,如教師提出真實的問題并進(jìn)一步要求明確說明和解釋;(2)進(jìn)行解釋與推理;(3)進(jìn)行批判性思維訓(xùn)練、挑戰(zhàn),并在此基礎(chǔ)上進(jìn)行知識建構(gòu);(4)在知識間產(chǎn)生鏈接和關(guān)聯(lián);(5)試圖通過解決分歧達(dá)成共識[29]。也有研究團隊以社會文化理論為基礎(chǔ),提出側(cè)重微觀層面分析的對話分析編碼方案SEDA,分解為8個組、33個類別。如以I( Iinvite Elaboration or Reasoning) 代表邀請解釋/推理,其中,I又可細(xì)分為I1~I(xiàn)6,I1代表邀請解釋或證明他人想法,I2代表邀請評估他人想法,I3代表基于已有想法邀請推理,I4代表邀請?zhí)峁├碛?,I5代表邀請預(yù)測,I6代表邀請細(xì)化或舉例。又如,以P(Positioning and Coordination)代表定位與協(xié)調(diào),P可細(xì)分為P1~P6,P1代表總結(jié)概括,P2代表比較,P3代表提出解決方案,P4代表轉(zhuǎn)變觀點,P5代表質(zhì)疑,P6代表同意或不同意[13]。此后,亦有學(xué)者對此框架進(jìn)行精簡以便更好地應(yīng)用于研究與實踐。SEDA及其衍生編碼框架囊括了課堂對話的方向與類別,能夠幫助探究師生如何在課堂對話中進(jìn)行推理、反思、啟發(fā)。
基于以上編碼框架,研究團隊提出一種維度更聚焦、指向分水平更明確的課堂對話編碼框架。研究團隊以I-R-E(啟動—回應(yīng)—評價)編碼框架為基礎(chǔ),在每個維度上作了進(jìn)一步劃分與闡釋。最終構(gòu)建了課堂對話分水平編碼框架,將課堂中的教師或?qū)W生提問分為三個層次水平,相關(guān)編碼規(guī)則見表1。
(三)處理步驟
將所有的課堂視頻提取音頻信息,通過智能技術(shù)實現(xiàn)語音轉(zhuǎn)錄成文字。在數(shù)據(jù)標(biāo)簽部分,根據(jù)編寫的“IRE分級編碼規(guī)則”,20名研究人員經(jīng)培訓(xùn)后各自進(jìn)行獨立編碼。完成首輪編碼后,就編碼不一致部分進(jìn)行討論與修改,以提高編碼可靠性。初始數(shù)據(jù)的編碼是后期機器學(xué)習(xí)編碼數(shù)據(jù)的重要依據(jù)。
本研究基于上述數(shù)據(jù)集構(gòu)建了一個課堂對話自動分類模型,將處理后的數(shù)據(jù)分為“訓(xùn)練集” “驗證集”“測試集”。訓(xùn)練結(jié)束后,驗證模型的準(zhǔn)確性。最后使用最優(yōu)模型對新的課堂對話數(shù)據(jù)進(jìn)行自動分類預(yù)測。
(四)課堂對話分類模型實現(xiàn)
預(yù)訓(xùn)練模型具備較好的穩(wěn)定性和可擴展性,在特定領(lǐng)域的任務(wù)場景中,僅需要采用標(biāo)注好的數(shù)據(jù)集對模型進(jìn)行調(diào)整訓(xùn)練,即可得到特定任務(wù)場景的預(yù)測模型。預(yù)訓(xùn)練的優(yōu)點在于提供了一種更好的參數(shù)初始化方式,使得在目標(biāo)任務(wù)上收斂速度更快,在特定場景使用時不需要單獨標(biāo)注大量的語料來進(jìn)行訓(xùn)練,大大降低了下游任務(wù)所需的樣本數(shù)據(jù)和計算算力,節(jié)約時間,提升效率。
BERT是一種基于Transformers雙向編碼器表示的(Bidirectional? Encoder? Representation? From Transformers, BERT) 預(yù)訓(xùn)練語言模型。Bert具有很強的泛化能力,從而為下游特定任務(wù)創(chuàng)建更精準(zhǔn)的預(yù)測模型。同卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)相比,Bert模型在訓(xùn)練過程中采用了掩碼語言模型(Masked Language Model,MLM)和下一句預(yù)測(Next Sentence Predict,NSP)兩個方法作為預(yù)訓(xùn)練過程中的任務(wù),利用 Self-attention機制可以獲取雙向上下文信息,能夠?qū)W習(xí)句子與句子間的關(guān)系等更多特征,特別適合預(yù)測對話分類等具有深層語義特征的任務(wù)問題。使用Bert有兩個步驟,第一步,采用大量無監(jiān)督的語料進(jìn)行語言模型預(yù)訓(xùn)練;第二步,再運用少量標(biāo)注的語料進(jìn)行微調(diào)來完成具體任務(wù)。從0開始預(yù)訓(xùn)練需要花費巨大的計算資源,為節(jié)約資源,本文選擇Bert-base-Chinese預(yù)訓(xùn)練好的模型進(jìn)行微調(diào),微調(diào)即利用標(biāo)記好的語料對通用語言模型的參數(shù)進(jìn)行調(diào)整,從而得到具體的分類模型。
首先,對課堂對話數(shù)據(jù)進(jìn)行編碼,轉(zhuǎn)為模型需要的編碼格式,使用輔助標(biāo)記符[CLS]和[SEP]表示句子的開始和分隔,對于單句分類,只需要一個句子輸入,不需要分隔SEP標(biāo)記,得到token_ids、category、seq_len、mask。然后根據(jù)特征轉(zhuǎn)換得到對應(yīng)的embedding,這里的embedding是三種embedding的組合,分別是token、segment、position級別。獲得句子級的嵌入表達(dá)后用encoder模型進(jìn)行訓(xùn)練,訓(xùn)練算法為BERT專用的Adam算法,損失函數(shù)采用二元交叉熵?fù)p失函數(shù),可對BERT進(jìn)行微調(diào)處理和反饋。最后,采取全連接層得到概率分布的分類標(biāo)簽整體情況。
如表2所示,使用Bert進(jìn)行課堂對話分類任務(wù)訓(xùn)練時,我們通常先構(gòu)造一個Bert Model,然后由它從輸入語句中提取特征,每一個epoch后會在驗證集上進(jìn)行驗證,并給出相應(yīng)的f1值,如果f1值大于此前最高分,則保存模型參數(shù),否則flags加1。如果flags大于3,即連續(xù)3個epoch模型的性能都沒有繼續(xù)優(yōu)化,則停止訓(xùn)練過程。當(dāng)長時間沒有優(yōu)化則自動停止訓(xùn)練,保存最優(yōu)分類模型。
四、結(jié)果與分析
(一)數(shù)據(jù)集描述
確定課堂對話數(shù)據(jù)集來自1008節(jié)課,共計358410條話語。按照6∶2∶2的比例劃分為訓(xùn)練集、驗證集和測試集。如表3所示,對IRE進(jìn)行三類數(shù)據(jù)的分配設(shè)置,并進(jìn)一步對分水平的IRE進(jìn)行數(shù)據(jù)分配設(shè)置(見表4)。
(二)分類模型評估結(jié)果
經(jīng)過隨機劃分訓(xùn)練集、驗證集和測試集,重復(fù)進(jìn)行模型微調(diào)訓(xùn)練后取平均值作為最終的評估結(jié)果。本研究采用準(zhǔn)確率(Precision)、召回率(Recall)、F1數(shù)值(F1 Score)作為課堂對話分類模型效果的評價指標(biāo)。表5為IRE三類分類整體指標(biāo)的評估情況,整體準(zhǔn)確率達(dá)79.57%。其中,提問I的識別準(zhǔn)確率最高,為84.11%,回答R的準(zhǔn)確率達(dá)81.84%,反饋E的準(zhǔn)確率為72.75。從F1數(shù)值整體來看,達(dá)到了78.73%,表明該模型整體預(yù)測處于較高水平。
表6為IRE分水平整體指標(biāo)的評估情況。在F1數(shù)值(表明預(yù)測準(zhǔn)確率)上,排名前四的是I2、E1、E2、I1。判斷準(zhǔn)確率較低的是E3,準(zhǔn)確率為58.63%。在分水平整體準(zhǔn)確率上,達(dá)到了73.07%,整體上達(dá)到了較好的準(zhǔn)確率水平。因此,在IRE整體分類判斷水平評估上,該模型的預(yù)測結(jié)果能夠在真實課堂中展開分類自動判斷。
經(jīng)過檢驗,課堂對話分類模型信效度良好,且與人工編碼的結(jié)果接近。結(jié)果表明,該模型有助于對課堂對話的分類和分水平診斷分析。通過對課堂對話自動化分析,能較準(zhǔn)確識別課堂對話中IRE模型中的不同水平,能夠?qū)μ釂枌哟嗡?、回答層次水平和反饋層次水平進(jìn)行評估。這種全面、快速、準(zhǔn)確的課堂對話評估方式是本研究的重要發(fā)現(xiàn)。
五、研究探討與反思
(一)研究貢獻(xiàn)與局限性
本研究采用機器學(xué)習(xí)的方式,開創(chuàng)性地在課堂編碼領(lǐng)域里嘗試對課堂對話進(jìn)行IRE自動化分水平編碼與質(zhì)量評估。其主要貢獻(xiàn)包括:在理論層面,基于經(jīng)典的課堂對話IRE模型,進(jìn)一步結(jié)合以往研究,建構(gòu)了IRE分水平的編碼框架。該框架能夠基于語義,針對課堂對話的質(zhì)量進(jìn)行分水平判定與分析,關(guān)注了課堂對話中封閉的、簡單的、推理的、開放的等不同層級的問題、回答與反饋。在實踐層面,自動化分析極大地減少了課堂對話編碼的時間與難度,降低了人工工作量。本研究采用的框架不僅便于教師教學(xué)反思與理解,自動編碼的方式也能為教師和學(xué)生提供更多及時的反饋,也將有助于學(xué)生思考參與課堂的過程。本研究實現(xiàn)了課堂對話自動編碼IRE的突破性進(jìn)展。
本研究同樣具有一定的局限性:一是,采用了機器學(xué)習(xí)的算法模型并經(jīng)過多次訓(xùn)練與測試,但課堂對話中的有些話語判斷依舊存在偏差。例如:教師講授時帶有疑問語氣的表達(dá),易被機器錯誤判定為教師提問,仍需通過進(jìn)一步的算法和數(shù)據(jù)集修正來解決這一問題。二是,本研究所使用的Bert-base-Chinese中,考慮到傳統(tǒng)NLP對中文分詞顆粒度存在一定的切分適配問題,其在細(xì)粒度級別上進(jìn)行的判斷還不夠精準(zhǔn),存在一定誤差。
(二)基于課堂師生對話內(nèi)容的自動分類反思
基于課堂多維度數(shù)據(jù),采用人工智能技術(shù)實現(xiàn)智能診斷與智能反饋,能幫助我們研究教與學(xué)認(rèn)知的復(fù)雜規(guī)律,亦是人工智能在教育領(lǐng)域內(nèi)應(yīng)用的主要方向之一[30]。首先,在理論層面上,構(gòu)建師生對話模型的分類標(biāo)準(zhǔn),是基于課堂師生對話內(nèi)容的自動分類與分析研究的基礎(chǔ)。建構(gòu)合理、高效的分水平模型框架,有助于實現(xiàn)自動化編碼對內(nèi)容語義的理解,有助于一線教師加強教學(xué)反思并加深對教學(xué)規(guī)律的理解。本研究基于經(jīng)典課堂對話模型所構(gòu)建的三級分類標(biāo)準(zhǔn)與細(xì)節(jié),能更有效地關(guān)注到課堂中開放的、平等的、帶有推理性和啟發(fā)性的提問、回答及反饋,這將有助于教師把握課堂對話的教學(xué)效果。其次,提升反饋的時效性與有效性是課堂對話自動分類與評估研究應(yīng)用于實踐的導(dǎo)向。在課堂中,教師在管理學(xué)生與進(jìn)行知識傳授之間分身乏術(shù),課堂話語的短時性也致使教師在獨立完成教學(xué)時很難注意到對話的分布與質(zhì)量,課堂反饋對教師來說尤其重要。提升反饋的時效性,使教師在課后能及時反思,通過反思促進(jìn)有效對話、提升對話質(zhì)量并提高課堂管理技能,同時,這種反饋可以用于專業(yè)教師培訓(xùn)[31]。此外,有效的形成性反饋也可以幫助學(xué)生更好地理解對話,促進(jìn)他們的思維和學(xué)習(xí)[32]。以往研究中,利用ASR技術(shù)實現(xiàn)對課堂對話中教師提問與學(xué)生回答對話片段的區(qū)分[25],但尚未對課堂對話進(jìn)行更進(jìn)一步的分層評估。本研究通過機器學(xué)習(xí),實現(xiàn)了課堂對話自動化分析,基于語義對課堂對話進(jìn)行了IRE模型中的不同水平分類,同時實現(xiàn)了快速分析。本研究基于中國課堂的語境與語義進(jìn)行了課堂對話自動分類與評估的探索,在前人研究基礎(chǔ)上進(jìn)行了拓展。
(三)課堂對話自動分類與評估研究面臨的挑戰(zhàn)
課堂對話自動分類與評估得益于對語音等數(shù)據(jù)的捕捉與分析技術(shù)。大數(shù)據(jù)的支持使得對課堂對話教學(xué)的大規(guī)模研究以及大范圍的國際比較研究成為可能。但隨著算法與大數(shù)據(jù)逐步應(yīng)用于教育教學(xué)研究,其中的倫理問題也愈發(fā)凸顯,數(shù)據(jù)的采集和使用安全問題不僅涉及基本隱私,更會在深入研究中產(chǎn)生更多倫理問題和數(shù)據(jù)安全隱患。因此,教育研究人員仍需非常謹(jǐn)慎。一方面,所有的數(shù)據(jù)收集都應(yīng)該在符合學(xué)術(shù)、道德倫理標(biāo)準(zhǔn)和尊重隱私的前提下進(jìn)行;另一方面,要特別警惕人工智能技術(shù)在各種應(yīng)用場景中的技術(shù)錯誤、數(shù)據(jù)偏差與推理誤判。盡管人工智能基于海量的數(shù)據(jù),使用相對準(zhǔn)確的算法進(jìn)行計算,但是仍然存在一定的偏差可能性,仍需警惕數(shù)據(jù)的假象,避免過分看重數(shù)據(jù)分析的結(jié)果,將課堂學(xué)習(xí)的過程簡單化、標(biāo)簽化和模式化。如何理解課堂中的對話依舊是一個變化、動態(tài)、復(fù)雜的過程,技術(shù)無法解決所有問題,未來研究應(yīng)著眼于進(jìn)一步探索人機協(xié)同的新方式,使人工智能以更融合的方式打開課堂“黑箱”、理解課堂教學(xué),為課堂研究本身提供更全面的數(shù)據(jù)與證據(jù)支持。
[參考文獻(xiàn)]
[1] MERCER N, HENNESSY S, WARWICK P. Dialogue, thinking together and digital technology in the classroom: some educational implications of a continuing line of inquiry[J]. International journal of educational research, 2019,97:187-199.
[2] SINCLAIR J M H, COULTHARD M. Towards an analysis of discourse: the English used by teachers and pupils[M].London: Oxford University Press, 1975.
[3] MEHAN H. “What time is it, Denise?”: asking known information questions in classroom discourse[J].Theory into practice, 1979,18(4):285-294.
[4] CAZDEN C B. Classroom discourse: the language of teaching and learning[M].Michigan:Pearson Education,1988.
[5] SMITH D G. College classroom interactions and critical thinking[J].Journal of educational psychology, 1977,69(2):180-190.
[6] MCCORMICK D E, DONATO R. Teacher questions as scaffolded assistance in an ESL classroom[C]//HALL J K,VERPLAETSE L S.Second and foreign language learning through classroom interaction. New York: Routledge, 2000:183-201.
[7] WARING H Z. Moving out of IRF (Initiation-Response-Feedback): a single case analysis[J]. Language learning, 2009,59(4):796-824.
[8] HAWORTH A. Bakhtin in the classroom: what constitutes a dialogic text? Some lessons from small group interaction[J]. Language and education, 1999:13(2), 99-117.
[9] ROJAS-DRUMMOND S, TORREBLANCA O, PEDRAZA H, et al. “Dialogic scaffolding”: enhancing learning and understanding in collaborative contexts[J].Learning, culture and social interaction, 2013,2(1),11-21.
[10] 石雨晨,曹曙,劉群英.學(xué)生參與小學(xué)《道德與法治》論證式議題教學(xué)的學(xué)習(xí)體驗[J].全球教育展望,2022,51(10):87-104.
[11] KLIEBARD H M.The patterning of classroom discourse[J].Journal of teacher education, 1966,17(4), 469-480.
[12] 顧小清,王煒.支持教師專業(yè)發(fā)展的課堂分析技術(shù)新探索[J].中國電化教育,2004(7):18-21.
[13] HENNESSY S, ROJAS-DRUMMOND S, HIGHAM R, et al. Developing a coding scheme for analysing classroom dialogue across educational contexts[J]. Learning, culture and social interaction, 2016,9:16-44.
[14] 周平紅,張屹,楊喬柔,白清玉,陳蓓蕾,劉崢.智慧教室中小學(xué)生協(xié)同知識建構(gòu)課堂話語分析——以小學(xué)科學(xué)課程為例[J].電化教育研究,2018,39(1):20-28.
[15] 楊曉哲.基于人工智能的課堂分析架構(gòu):一種智能的課堂教學(xué)研究[J].全球教育展望,2021,50(12):55-65.
[16] KIM J, LEE M. Robust lane detection based on convolutional neural network and random sample consensus[C]//Neural Information Processing: 21st International Conference, ICONIP 2014. Kuching, Malaysia:? Springer International Publishing, 2014: 454-461.
[17] 楊東,王移芝.基于Attention-based C-GRU神經(jīng)網(wǎng)絡(luò)的文本分類[J].計算機與現(xiàn)代化,2018(2):96-100.
[18] 張彥楠,黃小紅,馬嚴(yán),等.基于深度學(xué)習(xí)的錄音文本分類方法[J].浙江大學(xué)學(xué)報(工學(xué)版),2020,54(7):1264-1271.
[19] KOWSARI K, JAFARI M K, HEIDARYSAFA M, et al. Text classification algorithms: a survey[J]. Information, 2019,10(4):2-12.
[20] XIE Y, LIANG R, LIANG Z, et al. Speech emotion classification using attention-based LSTM[J].IEEE/ACM transactions on audio, speech, and language processing, 2019, 27(11): 1675-1685.
[21] XING W, DU D. Dropout prediction in MOOCs: using deep learning for personalized intervention[J]. Journal of educational computing research, 2019, 57(3): 547-570.
[22] 任勉,甘剛.基于雙向LSTM模型的文本情感分類[J].計算機工程與設(shè)計,2018,39(7):2064-2068.
[23] FORD M, BAER C T, XU D, et al.The LENA language environment analysis system[EB/OL]. (2008-09-01)[2022-07-11]. https://www.lena.org/wp-content/uploads/2016/07/LTR-03-2_Audio_Specifications.pdf.
[24] SONG Y, LEI S, HAO T, et al. Automatic classification of semantic content of classroom dialogue[J]. Journal of educational computing research, 2021, 59(3): 496-521.
[25] BLANCHARD N, BRADY M, OLNEY A M, et al. A study of automatic speech recognition in noisy classroom environments for automated dialog analysis[C]//Artificial Intelligence in Education: 17th International Conference, AIED 2015. Madrid, Spain: Springer International Publishing, 2015:23-33.
[26] 高桂平.數(shù)字化課堂話語行為分類及方法研究[J].中國信息技術(shù)教育,2014(8):66-68.
[27] 曹一鳴,宋宇,趙文君,等.面向教育2030的數(shù)學(xué)課堂對話人工智能評價體系構(gòu)建研究[J].數(shù)學(xué)教育學(xué)報,2022,31(1):7-12.
[28] 宋宇,鄔寶嫻,郝天永.面向知識建構(gòu)的課堂對話規(guī)律探析[J].電化教育研究,2021,42(3):111-119.
[29] VRIKKI M, WHEATLEY L, HOWE C, et al. Dialogic practices in primary school classrooms[J]. Language and education, 2019, 33(1):85-100.
[30] 楊曉哲,任友群.教育人工智能的下一步——應(yīng)用場景與推進(jìn)策略[J].中國電化教育,2021(1):89-95.
[31] WANG Z, PAN X, MILLER K F,et al.Automatic classification of activities in classroom discourse[J]. Computers & education, 2014,78:115-123.
[32] 孫眾,于子淳.人工智能課堂教學(xué)分析與改進(jìn):人在回路的協(xié)同機制[J].電化教育研究,2023,44(1):116-122.
Analysis of Classroom Teacher-Student Dialogue Based on Artificial Intelligence: Automatic Classification and Sub-level Construction of IRE
YANG Xiaozhe1,? WANG Qingqing1,? JIANG Jialong2
(1.The Institute of Curriculum & Instruction, East China Normal University, Shanghai 200062
2.College of Computer and Cyber Security, Fujian Normal University, Fuzhou Fujian 350007)
[Abstract] A large number of studies have focused on teacher-student dialogues in the classroom and different types of coding and analysis have been conducted for them, but the current coding is still limited by the level and time of professionals. In order to improve the coding speed of classroom dialogues and realize automatic classroom dialogue classification and instant feedback, a neural network analysis model is adopted to automatically encode questions, answers and feedback in class through artificial intelligence technology. The results show that the model realizes semantic-based quality assessment of classroom dialogues, and can realize the sub-level assessment of IRE model in classroom teacher-student dialogues in a short period of time, i.e., to assess and classify the questioning level, the answering level and the feedback level. This study constructs a comprehensive, fast and accurate classroom dialogue assessment method, which becomes a key link to further understand the learning process in the classroom, and lays an important foundation for large-scale classroom intelligent analysis.
[Keywords] Teacher-Student Dialogue; Machine Learning; Automatic Classification; Artificial Intelligence