多維度特征融合的教學(xué)行為智能分析模式構(gòu)建

趙剛 朱文娟 胡碧靈 夏青 劉閃 初潔

[摘? ?要] 分析課堂教學(xué)行為是揭示課堂教學(xué)規(guī)律的一個(gè)重要途徑。如何利用信息技術(shù)手段處理與分析累積的海量教學(xué)視頻公開課中的教學(xué)行為，成為當(dāng)前改革教學(xué)過程評(píng)價(jià)服務(wù)的熱點(diǎn)之一。由于教學(xué)中教學(xué)行為具有教學(xué)性、有序性、關(guān)聯(lián)性等固有教育特性，使得基于深度學(xué)習(xí)的視頻分割與識(shí)別技術(shù)仍然無法有效理解教學(xué)場景和教學(xué)行為。因此，文章設(shè)計(jì)了包含“基于視聽覺特征的教學(xué)行為分析編碼系統(tǒng)、教學(xué)行為聽覺特征識(shí)別、教學(xué)行為視覺特征識(shí)別、教學(xué)分析過程數(shù)據(jù)可視化呈現(xiàn)”四個(gè)核心要素的一種多維度特征融合的教學(xué)行為智能分析模式，提出了“視覺特征為主、聽覺特征為主、融合特征為主”三條實(shí)踐路徑，以厘清教學(xué)行為智能分析要素的關(guān)系，并以視覺特征為主的實(shí)踐路徑初步分析了43節(jié)課堂教學(xué)視頻，提取了時(shí)間維度上的教學(xué)行為視覺特征，以期為“一師一優(yōu)課、一課一名師”“教師研修”等教學(xué)行為智能分析活動(dòng)提供借鑒。

[關(guān)鍵詞] 教學(xué)行為; 多維度特征; 智能分析; 人工智能技術(shù)

[中圖分類號(hào)] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

[作者簡介] 趙剛（1981—），男，江西奉新人。教授，博士，主要從事多媒體技術(shù)與處理、智能學(xué)習(xí)分析研究。E-mail：zhaogang@mail.ccnu.edu.cn。朱文娟為通訊作者，E-mail：zwj@mails.ccnu.edu.cn。

一、引? ?言

課堂教學(xué)行為研究通過分析教學(xué)場景中教師和學(xué)生行為的顯著性特征，歸納師生教學(xué)行為的種類、活動(dòng)率、轉(zhuǎn)換率等深層次特征，幫助教師全面了解教學(xué)情況，促進(jìn)教師專業(yè)技能發(fā)展[1]?；谝曨l的課堂教學(xué)行為分析為優(yōu)化課堂教學(xué)過程、提高教學(xué)質(zhì)量提供了可能[2]。然而，目前基于視頻的教學(xué)行為分析仍普遍采用人工參與機(jī)制[3]，即按照固定時(shí)間分割后，安排分析人員觀察和分析教學(xué)內(nèi)容，分析人員根據(jù)主觀的經(jīng)驗(yàn)識(shí)別其中的教學(xué)行為[4]。在人工智能方面，視聽覺的視頻分割與識(shí)別方法在新聞[5]、體育[6]、監(jiān)控[7]等領(lǐng)域已從技術(shù)研究走向技術(shù)應(yīng)用。在教學(xué)領(lǐng)域中，也有研究利用該方法對(duì)學(xué)生異常行為進(jìn)行識(shí)別[8-9]，但是，教學(xué)中的教學(xué)行為具有教學(xué)性、有序性、關(guān)聯(lián)性等固有教育特性，沒有充分考慮教學(xué)行為的教學(xué)含義，仍然難以取得理想的分割與識(shí)別效果，難以為后續(xù)分析提供理想的支持依據(jù)。因此，文章深入分析教學(xué)行為（非言語行為、言語行為）在教學(xué)場景中的表現(xiàn)形式和特點(diǎn)，提取各行為主體（教師、學(xué)生）的視覺、聽覺、語義等多維度特征信息，結(jié)合時(shí)序行為檢測(cè)、語義分析等技術(shù)，提出一種智能化的教學(xué)行為分析模式，實(shí)現(xiàn)教學(xué)場景中教學(xué)行為的高效、精準(zhǔn)分割與識(shí)別，滿足海量教學(xué)視頻分析的需求。

二、教學(xué)行為分析方法概述

（一）教學(xué)行為分析方法的起源與發(fā)展

課堂教學(xué)行為研究起源較早，并且一直是教育領(lǐng)域的研究熱點(diǎn)，對(duì)教學(xué)行為的深入研究是開展教學(xué)分析的重要基礎(chǔ)。目前，教學(xué)行為分析方法主要分為教學(xué)行為分類與編碼和教學(xué)行為量化分析兩種方法。

教學(xué)行為分類與編碼是一種對(duì)教學(xué)行為進(jìn)行分類，再進(jìn)行編碼的方法，主要?dú)w納為弗蘭德斯分析方法及其衍生分析方法和TIMSS方法。弗蘭德斯分析方法及其衍生分析方法起源于1963年弗蘭德斯提出的弗蘭德斯互動(dòng)分析系統(tǒng)（FIAS）[10]，該系統(tǒng)明確了課堂中師生言語行為類型，弗蘭德斯的局限性在于過于重視教師在課堂教學(xué)中的行為（7個(gè)類別），忽視了學(xué)生行為（2個(gè)類別）。我國學(xué)者提出了不同的分析系統(tǒng)以適應(yīng)不同環(huán)境下、不同學(xué)科的課堂教學(xué)行為分析。面向不同教學(xué)環(huán)境，2004到2016年，我國學(xué)者顧小清[11]、方海光[12]、穆肅[13]、張屹[14]和蔣立兵[3]對(duì)FIAS進(jìn)一步細(xì)分了行為類型，分別提出了基于信息技術(shù)的互動(dòng)分析編碼系統(tǒng)（ITIAS）、針對(duì)數(shù)字化課堂教學(xué)環(huán)境的改進(jìn)型弗蘭德斯互動(dòng)分析系統(tǒng)（iFIAS）、針對(duì)信息化教學(xué)環(huán)境的課堂教學(xué)行為分析系統(tǒng)（TBAS）、智慧教室環(huán)境下的課堂教學(xué)互動(dòng)分析編碼系統(tǒng)和智慧教室環(huán)境下的高校課堂教學(xué)行為分析系統(tǒng)（CTBAS）。面向不同學(xué)科，鄭長龍?zhí)岢隽薈PUP化學(xué)課堂結(jié)構(gòu)模型[15];劉向永結(jié)合小學(xué)英語教學(xué)的特征，修改和完善了iFIAS系統(tǒng)[16]。TIMSS方法提出的編碼系統(tǒng)比弗蘭德斯互動(dòng)分析系統(tǒng)更為細(xì)致[13]，將教師言語行為和學(xué)生言語行為分類至三級(jí)編碼[17]。

獲取課堂教學(xué)行為編碼后，利用教學(xué)行為量化分析方法對(duì)教學(xué)行為以及教學(xué)過程進(jìn)行量化分析。教學(xué)行為量化分析法主要包括S-T教學(xué)分析、時(shí)序列分析、分類分析等方法。S-T教學(xué)分析方法是一種利用數(shù)據(jù)采集的方式把課堂師生教學(xué)行為量化為教師行為和學(xué)生行為數(shù)據(jù)，并通過數(shù)據(jù)圖形化的技術(shù)手段，簡潔明了地反映課堂教學(xué)的定量化教學(xué)分析方法[18]。時(shí)序列分析法是在時(shí)間的維度上，對(duì)教學(xué)過程進(jìn)行統(tǒng)計(jì)分析，從而總結(jié)教學(xué)過程規(guī)律的一種動(dòng)態(tài)教學(xué)行為量化分析方法[19-20]。

根據(jù)以上研究分析可知，教學(xué)行為分析的研究已較為成熟，然而，目前的教學(xué)行為分類體系忽視了對(duì)行為的視覺特征與聽覺特征的細(xì)化，與人工智能技術(shù)結(jié)合分析應(yīng)用具有一定的困難。因此，本研究在以上教學(xué)行為分析方法的基礎(chǔ)上，對(duì)教學(xué)過程中教師和學(xué)生行為的視覺特征和聽覺特征進(jìn)行細(xì)化，初步構(gòu)建與優(yōu)化適合人工智能技術(shù)分析應(yīng)用的教學(xué)行為分析方法。

（二）教學(xué)行為分析的應(yīng)用局限

為了分析教學(xué)行為分析領(lǐng)域關(guān)注的研究主題與研究熱點(diǎn)，本文以Web of Science數(shù)據(jù)庫核心數(shù)據(jù)合集和中國知網(wǎng)（CNKI）為數(shù)據(jù)來源，選取“教學(xué)行為”“教學(xué)互動(dòng)行為”“互動(dòng)分析”“S-T”“TIMSS”等相關(guān)主題的碩博畢業(yè)論文和教育技術(shù)領(lǐng)域?qū)W術(shù)期刊論文共2682篇。

如圖1所示，1992年—2019年，期刊論文和碩博論文數(shù)量均呈現(xiàn)緩慢增長趨勢(shì)，隨著MOOC等網(wǎng)絡(luò)在線平臺(tái)的發(fā)展，在2017年，對(duì)教學(xué)行為分析的相關(guān)研究達(dá)到了最高峰。本文首先利用CiteSpace文獻(xiàn)分析軟件，選擇節(jié)點(diǎn)類型為“Term”對(duì)相關(guān)論文進(jìn)行共詞分析。Term來源包括文章標(biāo)題、摘要及關(guān)鍵詞，得到了代表中心性和被引頻次都比較高的關(guān)鍵詞;然后，利用詞云圖對(duì)論文關(guān)鍵詞進(jìn)行可視化分析，直觀地展示高頻關(guān)鍵詞在文獻(xiàn)中的共現(xiàn)情況（如圖2所示）。從詞云元素大小來看，頻率較高的關(guān)鍵詞有“課堂交互”“教師教學(xué)行為”“有效教學(xué)”“個(gè)案研究”“新手教師”“Nvivo”等。

具體文獻(xiàn)分析顯示：教學(xué)行為分析的熱點(diǎn)領(lǐng)域是利用教學(xué)行為分析系統(tǒng)，結(jié)合個(gè)案研究法，評(píng)測(cè)師生教學(xué)行為與教學(xué)現(xiàn)象、教學(xué)環(huán)境、學(xué)科教學(xué)等之間的關(guān)聯(lián)關(guān)系，典型研究如司治國等對(duì)比分析英語新手教師的課堂教學(xué)行為的特點(diǎn)和存在的問題[21]。大部分研究利用Nvivo質(zhì)性分析工具或采用計(jì)算機(jī)輔助結(jié)合定時(shí)分割的方式對(duì)教學(xué)行為數(shù)據(jù)進(jìn)行采集與處理，例如：一節(jié)50分鐘的課，3秒采集一次，采集1000個(gè)采樣點(diǎn)，實(shí)現(xiàn)課堂教學(xué)視頻中的師生教學(xué)行為分析[22]，此類研究的數(shù)據(jù)樣本規(guī)模較小，并且需要研究者人工識(shí)別教學(xué)行為。為了節(jié)省教學(xué)行為分析的人力投入，以及可能面臨的數(shù)據(jù)樣本增加等問題，部分研究者利用傳統(tǒng)機(jī)器學(xué)習(xí)算法和單幀的圖像對(duì)課堂教學(xué)行為進(jìn)行識(shí)別與分析[23]，然而，算法和數(shù)據(jù)的局限性使其只能區(qū)分教師行為和學(xué)生行為，忽視了教學(xué)行為的細(xì)節(jié)定位。

綜上所述，教學(xué)行為分析應(yīng)用局限主要包括三個(gè)方面：（1）應(yīng)用領(lǐng)域較廣，數(shù)據(jù)樣本大小受人工分析限制;（2）利用定時(shí)分割的計(jì)算機(jī)輔助技術(shù)，忽略了課堂中的教學(xué)行為的整體性特征，課堂教學(xué)是由多個(gè)有意義的教學(xué)環(huán)節(jié)單元以及有意義的教學(xué)事件單元組成，這些教學(xué)環(huán)節(jié)單元中又包括非言語行為中的師生教學(xué)姿態(tài)、言語行為中的教學(xué)語義內(nèi)涵，定時(shí)分割的計(jì)算機(jī)輔助技術(shù)無法滿足教學(xué)視頻場景中的多類別教學(xué)行為分類與分割的需求;（3）利用傳統(tǒng)機(jī)器學(xué)習(xí)算法，忽視了教學(xué)行為分類的細(xì)節(jié)定位。

（三）基于深度學(xué)習(xí)的視頻分割與識(shí)別技術(shù)主導(dǎo)的分析模式在教學(xué)行為分析中的應(yīng)用

隨著深度學(xué)習(xí)的發(fā)展，語音識(shí)別、語義分析、時(shí)序動(dòng)作檢測(cè)和動(dòng)作識(shí)別等人工智能技術(shù)實(shí)現(xiàn)了技術(shù)上質(zhì)的飛躍。如今，計(jì)算機(jī)領(lǐng)域中基于深度學(xué)習(xí)的視頻分割與識(shí)別技術(shù)主導(dǎo)的分析模式的實(shí)踐路徑流程如下：第一步，提取視頻的圖像特征和聲音特征;第二步，對(duì)場景中的人物動(dòng)作（動(dòng)作包括行走、打球、梳頭等日常行為）進(jìn)行識(shí)別與分析。在教育領(lǐng)域已初步有以下研究：Haibing Ren在智慧教室環(huán)境以及多個(gè)攝像頭環(huán)境下，結(jié)合教師臉部、雙肩關(guān)節(jié)、雙手等三維圖像特征，識(shí)別教師從講臺(tái)上拿物體、放回物體、指向?qū)W生、指向黑板、與學(xué)生交流、解釋物體、喝水七種動(dòng)作[24];Asim Raza提出了基于隱馬爾可夫模型的教師活動(dòng)識(shí)別的圖像幀序列方法，識(shí)別教師走路、寫作、指向黑板、站立和指向演示文稿五種動(dòng)作類型[25];Nida通過提取教室場景視頻中教師的運(yùn)動(dòng)輪廓，利用極限學(xué)習(xí)機(jī)算法識(shí)別走路、指向黑板、指向屏幕、使用手機(jī)、使用筆記本電腦、閱讀筆記、坐下和板書八種不同教師行為類型[26];劉清堂構(gòu)建了一種課堂教學(xué)行為智能分析模型，并以此分析了課堂中教師行為和學(xué)生行為兩類行為[27];魏艷濤利用深度學(xué)習(xí)網(wǎng)絡(luò)識(shí)別聽課、左顧右盼、舉手、睡覺、站立、看書和書寫七種學(xué)生課堂行為[28];也有研究通過圖像識(shí)別方法對(duì)學(xué)生異常行為（奔跑、打鬧等）進(jìn)行分析[8-9]。

然而，在教學(xué)場景中，無論是學(xué)生行為，還是教師行為，以上教育領(lǐng)域中的基于深度學(xué)習(xí)的視頻分割與識(shí)別技術(shù)主導(dǎo)的分析模式研究止于淺層的教師或者學(xué)生動(dòng)作，沒有深層次地分析其教學(xué)含義，同時(shí)教學(xué)場景中除了圖像特征和聲音特征，視頻的時(shí)序特征、語義特征等都有一定的教學(xué)含義。因此，本研究結(jié)合教學(xué)過程特性、教學(xué)過程中的教學(xué)行為特征和教學(xué)場景中的視覺特征、聽覺特征等，利用語音識(shí)別、時(shí)序動(dòng)作檢測(cè)、語義分析、數(shù)據(jù)挖掘等人工智能技術(shù)，研究融合教學(xué)行為多維度特征的教學(xué)行為智能分析模式，為大規(guī)模課堂視頻教學(xué)行為分析與挖掘的開展和應(yīng)用提供了新的技術(shù)手段和方法。

三、多維度特征融合的教學(xué)行為

智能分析模式構(gòu)建

本文以教學(xué)行為分析理論和計(jì)算機(jī)領(lǐng)域中基于深度學(xué)習(xí)的視頻分割與識(shí)別技術(shù)主導(dǎo)的分析模式為基礎(chǔ)，通過大規(guī)模課堂觀察，在教育領(lǐng)域和計(jì)算機(jī)領(lǐng)域?qū)＜业碾p重指導(dǎo)下提出一種教學(xué)行為智能分析解決方案，利用演繹法構(gòu)建多維度特征融合的教學(xué)行為智能分析模式，結(jié)合教育特點(diǎn)，從基于視聽覺特征的教學(xué)行為分析編碼系統(tǒng)（Analysis Coding System of Teaching Behavior Based on Visual and Auditory Features，簡稱VATBAS）、教學(xué)行為聽覺特征識(shí)別（Auditory Feature Recognition of Teaching Behavior，簡稱TA）、教學(xué)行為視覺特征識(shí)別（Visual Feature Recognition of Teaching Behavior，簡稱TV）、教學(xué)分析過程數(shù)據(jù)可視化呈現(xiàn)（Visual Display of the Process Data of Teaching Analysis，簡稱TDV）四個(gè)核心要素，聽覺特征為主（VATBAS+TA+TDV）、視覺特征為主（VATBAS+TV+TDV）、融合特征為主（VATBAS +（TA+TV）+VATBAS+TDV）三條實(shí)踐路徑進(jìn)行構(gòu)建，該模式強(qiáng)調(diào)利用教育特性融合基于深度學(xué)習(xí)的視頻分割與識(shí)別技術(shù)，幫助解決目前教學(xué)行為智能分析中存在的問題，從而對(duì)智能分析教學(xué)行為進(jìn)行理論指導(dǎo)。多維度特征融合的教學(xué)行為智能分析模式如圖3所示。

（一）核心要素

1. 基于視聽覺特征的教學(xué)行為分析編碼系統(tǒng)（VATBAS）

有效的智能化教學(xué)分析模式必然依賴于對(duì)教學(xué)場景中教師、學(xué)生行為的特點(diǎn)和方式的深入研究和理解，本研究在S-T、TIMSS、FIAS、ITIAS、iFIAS、智慧教室環(huán)境下的課堂教學(xué)互動(dòng)分析編碼系統(tǒng)和CTBAS的基礎(chǔ)上，分析各類教學(xué)行為（非言語行為、言語行為）在教學(xué)場景中的外顯形式和特點(diǎn)，提取教學(xué)場景中各行為主體（教師、學(xué)生）的視覺、聽覺、語義特征，構(gòu)建基于視聽覺特征的教學(xué)行為分析編碼系統(tǒng)（VATBAS）（見表1），為后續(xù)智能化教學(xué)行為分析提供重要的理論基礎(chǔ)和依據(jù)。該系統(tǒng)依據(jù)不同的行為主體（教師和學(xué)生）和行為活動(dòng)方式（言語行為和非言語行為），將教學(xué)行為分為教師言語行為、教師非言語行為、學(xué)生言語行為、學(xué)生非言語行為和無意義的沉寂或混亂五個(gè)類別。對(duì)比以上七種編碼系統(tǒng)，該系統(tǒng)進(jìn)行部分調(diào)整和優(yōu)化設(shè)計(jì)，具體體現(xiàn)在以下三個(gè)方面：

第一，提取了行為主體在不同行為特征下與之相對(duì)應(yīng)的視覺與聽覺特征。在復(fù)雜教學(xué)場景中，師生教學(xué)行為識(shí)別往往受到背景混雜、遮擋、噪音等因素影響，視覺、聽覺特征（語義特征與聽覺特征在此編碼系統(tǒng)中合并成聽覺特征）的相互融合能夠從數(shù)據(jù)中多角度提取出教學(xué)場景中的目標(biāo)信息和環(huán)境信息。通過提取多模態(tài)特征以彌補(bǔ)單模態(tài)特征的不足，實(shí)現(xiàn)系統(tǒng)化、數(shù)字化的教學(xué)行為分類。

第二，將師生與技術(shù)的交互行為歸類到教師、學(xué)生非言語行為的二級(jí)或三級(jí)編碼。由于目前大多數(shù)的教學(xué)場景都是多媒體教室，師生互動(dòng)形式更加復(fù)雜多樣。除了教師和學(xué)生、學(xué)生和學(xué)生互動(dòng)之外，還存在教師、學(xué)生和計(jì)算機(jī)多媒體設(shè)備的互動(dòng)。若將其增加在一級(jí)編碼上，勢(shì)必會(huì)增加編碼個(gè)數(shù)，給觀察者在某種程度上造成記錄負(fù)擔(dān)。單純的技術(shù)行為并不能真正體現(xiàn)技術(shù)與師生互動(dòng)的真正融合[29]。在師生的非言語行為中都伴隨著技術(shù)設(shè)備的輔助行為，如教師使用多媒體設(shè)備進(jìn)行講解、學(xué)生用計(jì)算機(jī)技術(shù)展示成果等。將人與技術(shù)的交互行為融入教師、學(xué)生的非言語行為中，可以使本研究建立的教學(xué)行為分析編碼系統(tǒng)更加合理和客觀。

第三，細(xì)化師生言語行為。教師言語行為：考慮到內(nèi)容來源的多樣性，將“講授”細(xì)分為“基于多媒體內(nèi)容講授”和“基于教材內(nèi)容講授”;考慮到內(nèi)容的深度與廣度，將“反饋評(píng)價(jià)”細(xì)分為“判斷對(duì)錯(cuò)”“總結(jié)或延伸”“鼓勵(lì)表揚(yáng)”“批評(píng)維權(quán)”。學(xué)生言語行為：考慮到提問內(nèi)容與課程的相關(guān)性，將“主動(dòng)提問”細(xì)分為“問課程相關(guān)問題”和“問課程非相關(guān)問題”兩個(gè)方面;考慮到主被動(dòng)關(guān)系以及與課程內(nèi)容的相關(guān)性，將“應(yīng)答”細(xì)分為“主動(dòng)應(yīng)答與課程相關(guān)問題”“被動(dòng)應(yīng)答與課程相關(guān)問題”“主動(dòng)應(yīng)答與課程非相關(guān)問題”“被動(dòng)應(yīng)答與課程非相關(guān)問題”;考慮到目前教學(xué)進(jìn)一步重視培養(yǎng)學(xué)生的語言表達(dá)能力，添加一項(xiàng)“匯報(bào)展示”的表現(xiàn)形式。

2. 教學(xué)行為的聽覺特征識(shí)別：語音識(shí)別、聲紋識(shí)別與語義分析技術(shù)

教學(xué)場景中具有“一對(duì)多”的對(duì)象關(guān)系（一個(gè)教師對(duì)應(yīng)多個(gè)學(xué)生）、教師說話時(shí)間較長等特性，多維度特征融合的教學(xué)行為智能分析模式利用語音識(shí)別、聲紋識(shí)別技術(shù)，采集語音信號(hào)數(shù)據(jù)以及語音聲學(xué)特征（語音情感特征），獲取課堂教學(xué)視頻的時(shí)間、與時(shí)間相對(duì)應(yīng)的文本信息以及與時(shí)間相對(duì)應(yīng)的說話人的身份，利用語義分析技術(shù)，結(jié)合VATBAS對(duì)文本信息進(jìn)行語義相似度計(jì)算，從而獲取基于聽覺特征的教學(xué)行為序列。

3. 教學(xué)行為的視覺特征識(shí)別：時(shí)序動(dòng)作檢測(cè)與動(dòng)作識(shí)別技術(shù)

教學(xué)場景具有場景布局穩(wěn)定、教師與學(xué)生活動(dòng)范圍有限且運(yùn)動(dòng)路徑較為穩(wěn)定等特性，多維度特征融合的教學(xué)行為智能分析模式利用時(shí)序行為檢測(cè)與動(dòng)作識(shí)別技術(shù)，提取課堂教學(xué)錄像視頻幀的圖像特征、光流特征、時(shí)序特征等，對(duì)教學(xué)行為數(shù)據(jù)進(jìn)行訓(xùn)練，生成教學(xué)行為決策模型，利用教學(xué)行為決策模型對(duì)視頻場景中教師和學(xué)生的行為邊界進(jìn)行定位、分割，獲取基于視覺特征的教學(xué)行為序列。

4. 教學(xué)分析過程數(shù)據(jù)可視化呈現(xiàn)：數(shù)據(jù)可視化、數(shù)據(jù)挖掘與決策支持技術(shù)

數(shù)據(jù)可視化分為探索型可視化和理解型可視化，探索型可視化是指從數(shù)據(jù)集中不確定能夠獲取到何種信息，試圖探索數(shù)據(jù)所潛藏的信息;理解型可視化可以生成便于用戶理解的形式，是一種最直觀、最清晰的方式，可以提高處理效率，如教學(xué)行為時(shí)序列圖。多維度特征融合的教學(xué)行為智能分析模式利用數(shù)據(jù)可視化技術(shù)研制可視化界面工具，將數(shù)據(jù)置于視覺空間中，產(chǎn)生教師教學(xué)行為分析報(bào)告、學(xué)生教學(xué)行為分析報(bào)告等直觀的可視化分析報(bào)告;同時(shí)，利用數(shù)據(jù)挖掘技術(shù)挖掘深層信息，深度挖掘教師的學(xué)科知識(shí)、教師教學(xué)能力和學(xué)生異常行為等數(shù)據(jù)信息，產(chǎn)生相對(duì)應(yīng)的可視化數(shù)據(jù)挖掘分析報(bào)告，輔助教學(xué)決策。

（二）實(shí)施路徑

“VATBAS+TV+TDV”“VATBAS+TA+TDV”在VATBAS的基礎(chǔ)上，對(duì)課堂教學(xué)行為進(jìn)行定義和關(guān)聯(lián)。首先，利用語音識(shí)別、聲紋識(shí)別與語義分析技術(shù)獲取課堂教學(xué)視頻的聽覺特征和語義特征，或者利用時(shí)序動(dòng)作檢測(cè)、動(dòng)作識(shí)別、圖像識(shí)別技術(shù)深度提取課堂教學(xué)視頻的視覺特征;然后，利用VATBAS進(jìn)一步篩選課堂教學(xué)視頻中與教學(xué)行為相關(guān)的有效特征;最后，可視化提取教學(xué)行為數(shù)據(jù)。

“VATBAS+（TA+TV）+VATBAS+TDV”將“VATBAS+TV+TDV”和“VATBAS+TA+TDV”相結(jié)合，首先，提取課堂教學(xué)視頻的聽覺特征、語義特征和視覺特征，篩選課堂教學(xué)視頻中與教學(xué)行為相關(guān)的有效特征后，利用融合全局最優(yōu)識(shí)別策略（如特征比重）初步確定教學(xué)行為類型;其次，利用VATBAS進(jìn)行二次篩選;最后，利用數(shù)據(jù)挖掘、數(shù)據(jù)可視化與決策支持技術(shù)，對(duì)深層次的信息進(jìn)行挖掘并產(chǎn)生可視化的分析報(bào)告，以求獲得智能化的教學(xué)行為分析服務(wù)形態(tài)。

四、融合視覺特征的時(shí)序教學(xué)行為檢測(cè)與識(shí)別

融合視覺特征的時(shí)序教學(xué)行為檢測(cè)與識(shí)別是多維度特征融合的教學(xué)行為智能分析模式的實(shí)踐路徑“視覺特征為主”的應(yīng)用案例。以時(shí)序列分析法為例，利用深度學(xué)習(xí)中時(shí)序動(dòng)作檢測(cè)R-C3D網(wǎng)絡(luò)[30]作為時(shí)序教學(xué)行為視覺特征檢測(cè)與識(shí)別模型，闡述多維度特征融合教學(xué)行為智能分析模式中教學(xué)行為的視覺特征識(shí)別過程。

融合視覺特征的教學(xué)行為識(shí)別主要包括以下步驟：（1）時(shí)序教師行為數(shù)據(jù)采集與預(yù)處理。采集課堂教學(xué)視頻并對(duì)課堂教學(xué)視頻進(jìn)行預(yù)處理和標(biāo)注，從而構(gòu)建時(shí)序教師行為數(shù)據(jù)集。（2）遷移學(xué)習(xí)。以時(shí)序動(dòng)作檢測(cè)公共數(shù)據(jù)集預(yù)訓(xùn)練的R-C3D網(wǎng)絡(luò)模型對(duì)課堂教學(xué)視頻數(shù)據(jù)進(jìn)行訓(xùn)練。（3）實(shí)驗(yàn)結(jié)果及分析。評(píng)估訓(xùn)練的時(shí)序教學(xué)行為識(shí)別模型。

（一）時(shí)序教師行為數(shù)據(jù)采集與預(yù)處理

基于VATBAS中分類的視覺特征，本次實(shí)驗(yàn)將課堂中的時(shí)序教學(xué)行為分為學(xué)生舉手（對(duì)應(yīng)VATBAS中SS01、SS020101或者SS020201的視覺特征）、學(xué)生坐下（輔助視覺特征）、學(xué)生站起來（對(duì)應(yīng)VATBAS中SS02的視覺特征）、教師指向交互式白板（對(duì)應(yīng)VATBAS中TS0101的視覺特征）、教師指向黑板（對(duì)應(yīng)VATBAS中TS0102的視覺特征）、教師邀請(qǐng)學(xué)生回答問題（對(duì)應(yīng)VATBAS中TS02的視覺特征）、教師在黑板上寫字（對(duì)應(yīng)VATBAS中TA0101的視覺特征）和教師在教室巡視（對(duì)應(yīng)VATBAS中TA04的視覺特征），以上淺層的視覺特征能為后續(xù)深層次的具有教學(xué)含義的行為分析提供一定的數(shù)據(jù)支撐。

本研究選取上海市D學(xué)校和武漢市G學(xué)校，采集了43節(jié)課堂教學(xué)視頻，包括信息技術(shù)、數(shù)學(xué)、語文等科目，總時(shí)長1770.29分鐘，視頻分辨率為720×576，幀率為25fps。利用自主研發(fā)的時(shí)序教學(xué)行為標(biāo)注工具對(duì)課堂教學(xué)視頻進(jìn)行人工標(biāo)注，標(biāo)定教學(xué)行為的起止時(shí)間及行為類別，總標(biāo)注3360個(gè)行為片段。目前，行為時(shí)間跨度在0.5s～70.0s之間，標(biāo)注完成后，工具自動(dòng)生成相應(yīng)的時(shí)序教學(xué)行為標(biāo)注文件。本研究使用23節(jié)課堂教學(xué)視頻（1936個(gè)行為片段）訓(xùn)練相關(guān)網(wǎng)絡(luò)，使用20節(jié)課堂教學(xué)視頻（1424個(gè)行為片段）進(jìn)行測(cè)試。

（二）遷移學(xué)習(xí)

為了解決由于小樣本數(shù)據(jù)集難以提供足夠?qū)W習(xí)特征而導(dǎo)致模型能力欠缺的問題以及加快R-C3D網(wǎng)絡(luò)訓(xùn)練過程，本文利用ActivityNet數(shù)據(jù)集[31]預(yù)訓(xùn)練的R-C3D網(wǎng)絡(luò)模型對(duì)課堂教學(xué)視頻數(shù)據(jù)進(jìn)行遷移學(xué)習(xí)，使模型在遷移學(xué)習(xí)過程中加速修正模型權(quán)值，以提高時(shí)序教學(xué)行為檢測(cè)與識(shí)別能力。

（三）實(shí)驗(yàn)效果及分析

利用VATBAS進(jìn)行篩選后的時(shí)序教師行為檢測(cè)與識(shí)別，如圖4所示，預(yù)測(cè)算法檢測(cè)的時(shí)序教學(xué)行為起始時(shí)間與標(biāo)記數(shù)據(jù)真實(shí)值相差較小，同時(shí)，預(yù)測(cè)算法識(shí)別的時(shí)序教學(xué)行為種類概率在69%以上。后續(xù)工作將進(jìn)一步優(yōu)化相關(guān)算法，研究適用視頻時(shí)長較長、標(biāo)注行為個(gè)數(shù)較多的時(shí)序教學(xué)行為檢測(cè)與識(shí)別算法，提高時(shí)序教學(xué)行為檢測(cè)精度。

圖5是時(shí)序教學(xué)行為檢測(cè)與識(shí)別算法測(cè)試后生成的時(shí)序教學(xué)行為起始時(shí)間和行為種類的可視化數(shù)據(jù)，橫軸表示45分鐘課堂時(shí)間的度量，縱軸表示以上提到的時(shí)序教學(xué)行為類別。從圖5（a）可以看出，上海市D學(xué)校高中數(shù)學(xué)“直線的參數(shù)方程”課堂前200秒的時(shí)序教學(xué)行為包括教師在黑板上寫字、教師指向黑板、教師邀請(qǐng)學(xué)生回答問題、學(xué)生站起來，但是由于視覺特征的局限性（鏡頭切換），部分時(shí)序教學(xué)行為順序稍顯不合理。例如：學(xué)生站起來后沒有學(xué)生坐下;圖5中1000秒～2000秒之間多為教師時(shí)序行為，課堂中間時(shí)間段一般為新課教學(xué)環(huán)節(jié)。綜上所述，融合視覺特征的時(shí)序教學(xué)行為檢測(cè)與識(shí)別具有一定的合理性。專業(yè)教師在該實(shí)驗(yàn)成果應(yīng)用過程中表示，該方法不僅可以對(duì)一節(jié)課堂中的時(shí)序教學(xué)行為進(jìn)行分析，也可以對(duì)大批量相同課程的教學(xué)過程進(jìn)行分析，以減少教師統(tǒng)計(jì)分析的工作量。與此同時(shí)，也能夠?yàn)榻處熃梃b優(yōu)質(zhì)課程和反思自身教學(xué)提供技術(shù)支撐工具。

五、結(jié)? ?語

本文針對(duì)已有的教學(xué)行為智能分析應(yīng)用局限，提出了一種多維度特征融合的教學(xué)行為分析模式，并初步嘗試了模型中部分實(shí)踐路徑的應(yīng)用，為大規(guī)模課堂視頻教學(xué)行為分析的開展提供了新的解決思路，多維度特征融合的教學(xué)行為分析模式的創(chuàng)新點(diǎn)在于：（1）構(gòu)建基于視聽覺特征的教學(xué)行為分析編碼系統(tǒng)（VATBAS），深入分析教學(xué)過程中的師生行為主體在不同行為特征下與之相對(duì)應(yīng)的視覺、聽覺特征，細(xì)化了教學(xué)行為類型，實(shí)現(xiàn)教學(xué)行為類型、教學(xué)行為聽覺特征、教學(xué)行為視覺特征的精確描述和理解，為后續(xù)智能化的教學(xué)行為分析的實(shí)現(xiàn)提供重要的理論依據(jù);（2）提出智能教學(xué)行為分析的解決方案，針對(duì)現(xiàn)有的計(jì)算機(jī)領(lǐng)域中基于深度學(xué)習(xí)的視頻分割與識(shí)別技術(shù)主導(dǎo)的分析模式難以滿足有教學(xué)含義的教學(xué)行為分析而導(dǎo)致的問題，利用VATBAS作為視聽覺特征提取的先驗(yàn)知識(shí)和約束規(guī)則，采用語音識(shí)別、時(shí)序動(dòng)作檢測(cè)、語義分析、數(shù)據(jù)挖掘等人工智能技術(shù)提取教學(xué)場景中的有效特征，提供可視化的結(jié)果呈現(xiàn)方式，形成智能化的教學(xué)行為分析服務(wù)形態(tài)。后續(xù)研究將對(duì)其他兩條實(shí)踐路徑進(jìn)行應(yīng)用研究，不斷跌代修正該模式，同時(shí)，繼續(xù)優(yōu)化相關(guān)算法，形成有效的教學(xué)過程評(píng)價(jià)服務(wù)科研產(chǎn)品，以期應(yīng)用到“一師一優(yōu)課，一課一名師”“教師研修”、在線課堂等活動(dòng)領(lǐng)域，為教學(xué)行為分析提供更優(yōu)質(zhì)的服務(wù)。

[參考文獻(xiàn)]

[1] MINTZES J J. Relationships between student perceptions of teaching behavior and learning outcomes in college biology[J]. Journal of research in science teaching，2010，19（9）：789-794.

[2] 王萍.人工智能在教育視頻中的應(yīng)用分析與設(shè)計(jì)[J].電化教育研究，2020，41（3）：93-100，121.

[3] 蔣立兵，毛齊明，萬真，沈歡.智慧教室促進(jìn)高校課堂教學(xué)變革的績效研究——基于課堂教學(xué)行為的分析[J].中國電化教育，2018（6）：52-58.

[4] 姚佳佳，李艷，金松濤，潘金晶.信息技術(shù)融入課堂的教師教學(xué)轉(zhuǎn)型發(fā)展研究[J].中國電化教育，2019（3）：37-47，80.

[5] POULISSE G， MOENS M， DEKENS T， et al. News story segmentation in multiple modalities[J]. Multimedia tools & applications，2010，48（1）：3-22.

[6] KHAN M， TANVEER H， SUNG W B. Efficient CNN based summarization of surveillance videos for resource-constrained devices[J]. Pattern recognition letters，2018（9）：1-6.

[7] TANG Y S， DING D， RAO Y M， et al. COIN： a large-scale dataset for comprehensive instructional video analysis[C]//The IEEE Conference on Computer Vision and Pattern Recognition. Long Beach： IEEE Press，2019：1207-1216.

Construction of Intelligent Analysis Model of Teaching Behavior

Based on Multi-dimensional Feature Fusion

ZHAO Gang，? ZHU Wenjuan，? HU Biling，? XIA Qing，? LIU Shan，? CHU Jie

（School of Educational Information Technology， Faculty of Artficial Intelligence in Education， Central China Normal University， Wuhan Hubei 430079）

[Abstract] Analyzing classroom teaching behavior is an important way to reveal the law of classroom teaching. How to use information technology to process and analyze the teaching behaviors in the massive teaching videos in open classes has become one of the hotspots in the evaluation service of the current teaching reform. However， due to the inherent educational characteristics of teaching behaviors in teaching， such as teaching， orderliness and relevance， the video segmentation and recognition technology based on deep learning still cannot effectively understand the teaching scene and teaching behavior. Therefore， this paper designs an intelligent analysis model of teaching behavior with multi-dimensional feature fusion， which includes four core elements of "teaching behavior analysis coding system based on visual and auditory features， teaching behavior auditory feature recognition， teaching behavior visual feature recognition， and teaching analysis process data visualization presentation". Furthermore， three practical approaches dominated by "visual feature， auditory feature and fusion feature" are proposed to clarify the relationship between intelligent analysis elements of teaching behavior. And 43 classroom teaching videos are preliminarily analyzed based on the practical approach dominated by visual features， and the visual features of teaching behaviors are extracted from the time dimension， so as to provide reference for intelligent analysis activities of teaching behaviors such as "one excellent course for every teacher， one excellent teacher for every course" and "teacher training".

[Keywords] Teaching Behavior; Multi-dimensional Features; Intelligent Analysis; Artificial Intelligence Technology