打開技術(shù)創(chuàng)新課堂教學(xué)的新窗：刻畫AIoT課堂應(yīng)用場景

顧小清　王超

摘要：回望技術(shù)在課堂中的應(yīng)用變遷，盡管研究者與實踐者不斷嘗試在“技術(shù)增強教學(xué)”方面做出努力，但技術(shù)介入始終在教育的邊緣徘徊，未能解決課堂教學(xué)的本質(zhì)問題。AIoT作為人工智能與物聯(lián)網(wǎng)相結(jié)合的技術(shù)產(chǎn)物，在萬物智聯(lián)時代為改變課堂生態(tài)帶來新的可能。AIoT支持的智能課堂在實踐層面表現(xiàn)為IoT感應(yīng)設(shè)備與智能系統(tǒng)的實時通信，可通過協(xié)作、游戲化、創(chuàng)客、實訓(xùn)四種典型課堂場景加以詮釋。由于教師的課堂教學(xué)表現(xiàn)是精準(zhǔn)評估與診斷課堂教學(xué)效果、干預(yù)課堂教學(xué)過程、調(diào)整課堂教學(xué)模式、提高課堂教學(xué)能力的主要依據(jù)，因此構(gòu)建教師的教學(xué)表現(xiàn)模型是利用AIoT解決真實課堂問題的方向之一。該模型通過智能設(shè)備構(gòu)建數(shù)據(jù)驅(qū)動的智能體系，實時捕獲師生語言、動作等多模態(tài)課堂行為數(shù)據(jù)，圍繞教學(xué)問題進(jìn)行特征抽取、數(shù)據(jù)融合、個性化建模以及動態(tài)干預(yù)等，為有效監(jiān)測課堂教學(xué)過程、改善教與學(xué)的行為模式提供了新的思路。但是，AIoT在教育領(lǐng)域中的應(yīng)用尚存在諸如過多關(guān)注認(rèn)知維度而忽視其他維度、學(xué)習(xí)特征有效表征缺乏統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)安全性等問題，未來仍需在教學(xué)實踐中不斷探索AIoT支持的最佳教學(xué)組織和教學(xué)策略。

關(guān)鍵詞：人工智能;智能課堂;AIoT;物聯(lián)網(wǎng)技術(shù);多模態(tài)數(shù)據(jù);學(xué)習(xí)分析

中圖分類號：G434? ?文獻(xiàn)標(biāo)識碼：A? ? 文章編號：1009-5195（2021）02-0003-10? doi10.3969/j.issn.1009-5195.2021.02.001

作者簡介：顧小清，博士，教授，博士生導(dǎo)師，華東師范大學(xué)教育信息技術(shù)學(xué)系（上海 200062）;王超，博士研究生，華東師范大學(xué)教育信息技術(shù)學(xué)系（上海 200062）。

一、叩問：AIoT是顛覆傳統(tǒng)課堂的黑馬嗎

課堂是教學(xué)發(fā)生的主場。每當(dāng)一種顛覆性的技術(shù)出現(xiàn)時，人們往往首先考慮的是，這會是那匹徹底顛覆傳統(tǒng)課堂的黑馬嗎（顧小清，2018）？隨后才是有針對性地將技術(shù)引入課堂。即便這種技術(shù)是否以及如何改變課堂尚沒有清晰的答案，仍然不妨礙其以實驗或試點的方式出現(xiàn)在一些真實的課堂中。智能互聯(lián)技術(shù)AIoT（Artificial Intelligence & Internet of Things，AIoT）就是一種技術(shù)上愈加成熟、新近開始進(jìn)入課堂的新技術(shù)。從技術(shù)功能的角度來看，AIoT技術(shù)能夠構(gòu)建以智能設(shè)備為基礎(chǔ)的數(shù)據(jù)驅(qū)動智能體系，實時獲取學(xué)習(xí)者全方位的多模態(tài)課堂行為數(shù)據(jù)，為有效監(jiān)測課堂教學(xué)過程、改善教與學(xué)的行為模式提供新的思路。但是從課堂的角度來看，AIoT技術(shù)又是尚未回答是否以及如何改變課堂的又一鮮活案例。AIoT技術(shù)所識別的諸如學(xué)生“抬頭率”“低頭率”等課堂行為表現(xiàn)，或者諸如“高興”“生氣”“驚訝”“悲傷”等情緒狀態(tài)，是否觸碰到了課堂教學(xué)的真實問題？基于AIoT技術(shù)所建構(gòu)的多模態(tài)數(shù)據(jù)應(yīng)用，能夠從何種角度對動態(tài)的課堂教學(xué)進(jìn)行刻畫？這些都是在AIoT進(jìn)入課堂之前我們必需直面和回答的問題。否則，在缺少明確規(guī)范的情況下，貿(mào)然使用某些智能設(shè)備，不僅不能獲得真實可靠的數(shù)據(jù)，而且也會弱化教師的教育教學(xué)能力，甚至可能會侵犯學(xué)生隱私、引發(fā)社會質(zhì)疑和公眾焦慮（白宇等，2019）。

回看新興技術(shù)的發(fā)展歷程，每一次技術(shù)變革都為課堂教學(xué)帶來新的可能。第二次工業(yè)革命時期，得益于電燈、老式幻燈片為課堂教學(xué)提供的設(shè)施保障，班級教育初具形態(tài)。20世紀(jì)90年代初，教育信息化發(fā)展步入起步階段，以多媒體和網(wǎng)絡(luò)通信為代表的信息技術(shù)逐漸走進(jìn)學(xué)校課堂（何克抗，2009），層出不窮的數(shù)字學(xué)習(xí)資源和技術(shù)為傳統(tǒng)課堂注入了新鮮血液，使得課堂環(huán)境由線下擴展到線上線下融合的混合式環(huán)境。如今，人工智能（Artificial Intelligence，AI）作為引領(lǐng)未來社會發(fā)展的戰(zhàn)略性技術(shù)，將使課堂朝著智能化方向發(fā)展。例如，智能錄播系統(tǒng)已用于課堂以采集視音頻等數(shù)據(jù)，機器學(xué)習(xí)算法等人工智能技術(shù)在實現(xiàn)在線自適應(yīng)學(xué)習(xí)中已表現(xiàn)出相當(dāng)?shù)臐摿?。然而，基于智能設(shè)備與智能技術(shù)的數(shù)據(jù)分析盡管在監(jiān)測和識別學(xué)習(xí)者面部表情和行為狀態(tài)方面具有優(yōu)勢，但由于圖像背景混亂、畫面遮擋、噪音干擾以及同質(zhì)行為的差異化等問題，導(dǎo)致技術(shù)在課堂中的應(yīng)用并不盡如人意。而AIoT的出現(xiàn)，為數(shù)據(jù)驅(qū)動課堂研究的科學(xué)性和精準(zhǔn)性提供了保障。AIoT不是人工智能與物聯(lián)網(wǎng)的簡單相加，而是兩者融合的產(chǎn)物。物聯(lián)網(wǎng)（Internet of Things，IoT）作為互聯(lián)網(wǎng)的延伸，它能通過各種傳感設(shè)備實時采集各類需求信息，建立物與物、物與人、人與人之間的連接網(wǎng)絡(luò)（楊現(xiàn)民等，2015）。人工智能技術(shù)則致力于探究人類智能活動的機理和規(guī)律，構(gòu)造受人腦啟發(fā)的人工智能體，讓機器或智能系統(tǒng)能夠像人一樣思考和行動，并進(jìn)一步提升人的智能（李德毅，2018）?？梢哉f，AIoT技術(shù)通過實時捕獲師生語言、動作等各類課堂行為，圍繞教學(xué)問題進(jìn)行特征抽取、數(shù)據(jù)融合以及動態(tài)建模，并將結(jié)果實時反饋給教師和學(xué)習(xí)者以及時調(diào)整教與學(xué)的策略，由此打開了技術(shù)創(chuàng)新課堂教學(xué)的新窗?；诖耍疚膹腁IoT賦能課堂的視角切入，在闡述技術(shù)在課堂中的應(yīng)用變遷基礎(chǔ)上，詮釋AIoT技術(shù)支持的智能課堂及其在典型課堂場景中的應(yīng)用，并從AI教研實踐層面深刻理解AIoT技術(shù)如何刻畫教師課堂表現(xiàn)的具體做法。

二、回望：技術(shù)在課堂中的應(yīng)用變遷

回顧技術(shù)在課堂中的應(yīng)用變遷，大致可分為技術(shù)平移應(yīng)用、技術(shù)融合應(yīng)用和技術(shù)創(chuàng)新應(yīng)用三個階段。盡管研究者與實踐者不斷嘗試在“技術(shù)增強教學(xué)”方面做出努力，但技術(shù)介入始終在教育的邊緣徘徊，未能解決課堂教學(xué)的本質(zhì)問題。因此，透視技術(shù)在課堂中的真實情勢，可為新興技術(shù)的教學(xué)應(yīng)用提供指引。

1.課堂轉(zhuǎn)型的趨勢

（1）技術(shù)平移應(yīng)用階段

技術(shù)自誕生之日起即給課堂教學(xué)帶來新的可能性。多媒體技術(shù)、電子白板作為代表性技術(shù)營造了生動活潑的課堂環(huán)境。具體來說，一是多媒體課堂環(huán)境為學(xué)習(xí)者學(xué)習(xí)新知開啟了便捷之窗。聲像同步、動靜結(jié)合的學(xué)習(xí)情境，以及學(xué)習(xí)資源的實時獲取、開放共享等優(yōu)勢，拓展了學(xué)習(xí)者自主學(xué)習(xí)和協(xié)同創(chuàng)新的探究空間。同時，采用生動的文本、動畫、視頻等形式替代枯燥的文字板書，通過感官刺激誘發(fā)學(xué)習(xí)者的積極情緒，最大化地提高了教學(xué)效果。二是多媒體課堂環(huán)境大大提高了教師的教學(xué)效率。已有研究表明，技術(shù)融入課堂的實施方式和效果會顯著影響教師的信息化教學(xué)能力（Melinda et al.，2013）。另有實踐表明，教師采用多媒體課件組織教學(xué)內(nèi)容，通過可視化、立體化、趣味性的知識呈現(xiàn)方式能為教學(xué)活動的有序和高效實施提供有力保障（Liang et al.，2012）。

（2）技術(shù)融合應(yīng)用階段

隨著計算技術(shù)和物聯(lián)網(wǎng)技術(shù)的普及，以物理空間和數(shù)字空間相結(jié)合形成的智慧教室成為技術(shù)與教育融合階段的典型代表（黃榮懷等，2012）。技術(shù)與課堂教學(xué)的深度融合，改善了學(xué)習(xí)空間中人與環(huán)境的自然交互方式，利于泛在式、開放式和個性化的協(xié)作交流。具體來說，就物理學(xué)習(xí)環(huán)境而言，物聯(lián)網(wǎng)技術(shù)、智能技術(shù)等能夠自動調(diào)節(jié)學(xué)習(xí)空間的溫度、濕度和照明度;就交互方面而言，多點觸控、泛在計算、情境感知等技術(shù)不僅能為學(xué)習(xí)者提供簡單、友好的人機交互，而且也能為學(xué)習(xí)者的信息交互和協(xié)同交流提供便捷的工具支持。已有研究證明，自動化控制和自動識別等技術(shù)能夠?qū)崿F(xiàn)個性化的知識檢索（Jawa et al.，2010）。從學(xué)習(xí)支持角度來看，技術(shù)支持的學(xué)習(xí)空間能夠?qū)崿F(xiàn)線上與線下、正式與非正式等不同形態(tài)學(xué)習(xí)的結(jié)合與貫通，為優(yōu)質(zhì)資源的獲取和個性化教學(xué)指導(dǎo)奠定了堅實基礎(chǔ)。從有效教學(xué)方面來看，技術(shù)增強的課堂能夠通過自動記錄、多維交互、實時反饋等過程，營造輕松愉悅的教學(xué)氛圍，提供豐富多彩的學(xué)習(xí)內(nèi)容，為信息化教學(xué)創(chuàng)新提供了支撐。

（3）技術(shù)創(chuàng)新應(yīng)用階段

大數(shù)據(jù)、云計算、人工智能等技術(shù)的迅猛發(fā)展，徹底打破了學(xué)習(xí)場域的刻板印象。在技術(shù)創(chuàng)新應(yīng)用階段，智能互聯(lián)技術(shù)將學(xué)習(xí)場域打造為一個匯聚優(yōu)質(zhì)教育資源的“淘寶平臺”，學(xué)習(xí)者可以隨時享受多元化、情境化、泛在化的學(xué)習(xí)資源。具體表現(xiàn)在三個方面：一是學(xué)習(xí)空間呈現(xiàn)出物理空間、社會空間和信息空間三元世界的完美融合，加速走向人機結(jié)合的智能樣態(tài)。開放式、集成化的數(shù)字虛擬學(xué)習(xí)空間，為教師和學(xué)習(xí)者適時指導(dǎo)、自主建構(gòu)、交流互動等提供有力支持。正如Francesc等（2019）學(xué)者所言，基于技術(shù)的創(chuàng)新教育既能適應(yīng)學(xué)習(xí)者的學(xué)習(xí)風(fēng)格和學(xué)習(xí)能力，也能為學(xué)習(xí)者的終身學(xué)習(xí)和發(fā)展提供支持。二是學(xué)習(xí)內(nèi)容更具社會性、泛在性和個性化，通過智能系統(tǒng)能大大提高知識的擬真化程度。借助多點觸摸、眼動追蹤等腦機融合方式挖掘?qū)W習(xí)者的真實狀態(tài)，有助于大規(guī)模個性化學(xué)習(xí)的實現(xiàn)。三是學(xué)習(xí)方式更具智慧性，通過多元化因素和適應(yīng)性學(xué)習(xí)方案，有助于學(xué)習(xí)者全面提升關(guān)鍵能力。同時，借助學(xué)習(xí)行為模型及其在復(fù)雜教學(xué)情境中的動態(tài)診斷技術(shù)，能夠?qū)崟r獲取學(xué)習(xí)者的真實狀態(tài)，動態(tài)規(guī)劃并調(diào)整學(xué)習(xí)者的學(xué)習(xí)路徑和學(xué)習(xí)資源，助力構(gòu)建智能化、個性化、精準(zhǔn)化的教育生態(tài)。

2.技術(shù)在課堂中的應(yīng)用效果審視

毫無疑問，研究者和教育實踐者對技術(shù)在課堂中的應(yīng)用變遷表現(xiàn)出極大的熱情與期待。然而，當(dāng)前技術(shù)應(yīng)用始終停留在教學(xué)問題的外圍。這是因為，教育是一個動態(tài)、復(fù)雜的生態(tài)系統(tǒng)，無論技術(shù)多么智能和創(chuàng)新，依然無法掌控教育問題復(fù)雜性表征的本質(zhì)（馬紅亮等，2014）。因此，分析技術(shù)在課堂中的應(yīng)用效果，能為解決教學(xué)創(chuàng)新的痛點提供科學(xué)依據(jù)。

在不斷求新的技術(shù)應(yīng)用中，技術(shù)對教學(xué)效果的作用究竟如何？我們看到，從多媒體、虛擬/增強現(xiàn)實技術(shù)到今天的人工智能等，幾乎每一種前沿技術(shù)都能以這樣或那樣的方式被應(yīng)用于課堂中。課堂中應(yīng)用的技術(shù)，有的可以營造趣味性的課堂環(huán)境，有的擅長于識別學(xué)習(xí)者的學(xué)習(xí)狀態(tài)，還有的能夠為學(xué)習(xí)者推送自適應(yīng)的學(xué)習(xí)資源。然而，一項囊括84項技術(shù)在課堂中應(yīng)用的元分析結(jié)果表明，技術(shù)對學(xué)習(xí)效果的提升作用非常有限，并且對于多媒體教學(xué)面言，其提升效用可以忽略（Cheung et al.，2012）。另有研究表明，技術(shù)在教學(xué)中始終扮演著可替代的策略應(yīng)用的角色，其與教學(xué)內(nèi)容或教學(xué)組織的融合關(guān)系并不明顯（Tamim et al.，2011）。

究其原因，本質(zhì)上，在不斷求新的技術(shù)應(yīng)用背后，我們應(yīng)該以真正解決教學(xué)問題為技術(shù)應(yīng)用的內(nèi)核。技術(shù)應(yīng)用的核心要義在于設(shè)計，即在明確技術(shù)應(yīng)用需求的基礎(chǔ)上圍繞教學(xué)問題的解決進(jìn)行教學(xué)設(shè)計。已有研究表明，當(dāng)學(xué)習(xí)者一味地處于技術(shù)環(huán)境中而缺失教師的指導(dǎo)時，通常會感到茫然和灰心喪氣（Mancillas et al.，2016）。這里的教師指導(dǎo)其實質(zhì)即是教學(xué)設(shè)計。另有研究表明，自主能力較差的學(xué)習(xí)者反而喜歡技術(shù)支持的松散式、弱干預(yù)式課堂（Mok et al.，2004）。更有研究直接指明盲從技術(shù)的五大弊端（Buckingham et al.，2012）：（1）并沒有真正地促進(jìn)有意義學(xué)習(xí);（2）貶低了教師的作用，但教師永遠(yuǎn)無法被機器智能所取代;（3）降低了學(xué)生的自信心，使得他們更依賴于機器的持續(xù)反饋，而不是發(fā)展他們自己的元認(rèn)知和學(xué)會學(xué)習(xí)的技能;（4）貶低了深度學(xué)習(xí)的重要價值，依靠一些膚淺的指標(biāo)來滿足短期經(jīng)濟方面的需求;（5）在應(yīng)用、再應(yīng)用、混合學(xué)生數(shù)據(jù)方面引發(fā)了相應(yīng)的倫理道德問題。顯然，技術(shù)在課堂中的應(yīng)用并不意味著為教育變革提供了一個放之四海而皆準(zhǔn)的捷徑，相反如何定位技術(shù)所針對的課堂教學(xué)問題，如何通過設(shè)計來體現(xiàn)技術(shù)在解決教學(xué)問題中的應(yīng)用方式，才是技術(shù)有效變革教育的根基。

三、刻畫：AIoT在課堂中的應(yīng)用場景

AIoT在教育中的應(yīng)用還是相對前沿的話題。盡管以AIoT為主題的研究主要集中于環(huán)境、安全、家居、農(nóng)業(yè)等領(lǐng)域，但有關(guān)“多模態(tài)學(xué)習(xí)”“多模態(tài)數(shù)據(jù)”等主題的教育研究卻日趨增多，而多模態(tài)教育數(shù)據(jù)正是依托物聯(lián)網(wǎng)智能設(shè)備在教育進(jìn)程中的應(yīng)用所采集到的。由此看來，AIoT在教育領(lǐng)域中的應(yīng)用已初見端倪。當(dāng)前AIoT的教學(xué)應(yīng)用主要體現(xiàn)在諸如創(chuàng)客、實訓(xùn)等課堂活動中。以下將對AIoT智能課堂的構(gòu)成，以及AIoT支持下的協(xié)作、游戲化、創(chuàng)客、實訓(xùn)等四種典型的智能課堂應(yīng)用進(jìn)行綜述，以期明確AIoT智能課堂能夠解決什么教學(xué)問題，以及如何進(jìn)行技術(shù)應(yīng)用的設(shè)計。

1.AIoT支持的智能課堂

AIoT不是人工智能與物聯(lián)網(wǎng)的簡單相加，而是兩者融合的產(chǎn)物。AIoT在課堂教學(xué)實踐層面表現(xiàn)為IoT感應(yīng)設(shè)備與智能系統(tǒng)的實時通信。具體來說，AIoT支持的智能課堂旨在利用IoT感應(yīng)設(shè)備實時捕獲師生語言、動作等各類課堂行為，并用這些行為來表征師生的認(rèn)知和情感等特征（如圖1所示）。智能系統(tǒng)則圍繞教學(xué)問題進(jìn)行特征抽取、融合并建模，最后將結(jié)果反饋給教師與學(xué)習(xí)者以便動態(tài)調(diào)整教與學(xué)的策略。

（1）IoT感應(yīng)設(shè)備

課堂行為中蘊含著豐富的教與學(xué)信息，但其不易獲取性限制了課堂研究的深入。站在以學(xué)習(xí)者為中心的角度來看，課堂行為數(shù)據(jù)可分為兩個方面：一是學(xué)習(xí)者本身的學(xué)習(xí)行為數(shù)據(jù)，如動作、語言、情緒、血壓等。二是與學(xué)習(xí)者進(jìn)行交互的學(xué)習(xí)環(huán)境數(shù)據(jù)，如學(xué)習(xí)活動、同伴行為和教師行為等。這些行為信息在一定程度上能夠反映學(xué)習(xí)者的認(rèn)知發(fā)展、高階思維、學(xué)習(xí)習(xí)慣、學(xué)習(xí)持續(xù)力、學(xué)業(yè)情緒、學(xué)習(xí)動機、學(xué)習(xí)投入度等特征。當(dāng)前，一些相對簡單的學(xué)習(xí)行為數(shù)據(jù)收集與分析手段已經(jīng)得到應(yīng)用，比如利用學(xué)習(xí)者的測試與作業(yè)結(jié)果診斷認(rèn)知能力。在信息系統(tǒng)廣泛應(yīng)用之后，如學(xué)習(xí)管理系統(tǒng)和移動應(yīng)用程序的登錄（如登錄時間點、時長）、瀏覽（如瀏覽序列、瀏覽內(nèi)容）、測試（如答對一道題嘗試的次數(shù)、請求反饋的次數(shù)）等在線學(xué)習(xí)行為數(shù)據(jù)的捕獲逐漸變得容易，亦能為評估在線學(xué)習(xí)習(xí)慣、學(xué)習(xí)持續(xù)力等提供證據(jù)。相比而言，面對面課堂中的行為捕獲更加困難，而IoT感應(yīng)設(shè)備所建構(gòu)的智能體系為匯聚多模態(tài)課堂數(shù)據(jù)提供了解決方案。

IoT感應(yīng)設(shè)備是能感受到被測量信息并按一定規(guī)律轉(zhuǎn)換成可用信號的檢測裝置，常被置于教室空間、附于教學(xué)設(shè)備或穿戴于師生身上。課堂安置了IoT感應(yīng)設(shè)備，如同課堂有了視覺、聽覺、觸覺等感覺器官，可以“看見”師生的動作、“聽見”師生的話語、“感受”到師生的情緒等并記錄下來，即可以采集所謂多模態(tài)數(shù)據(jù)（Lahat et al.，2015）。常見的IoT設(shè)備有：通過語音通道進(jìn)行采樣以獲取聽覺模態(tài)數(shù)據(jù)，如拾音器、錄音筆、佩戴式話筒;通過眼球活動特征以獲取眼動軌跡數(shù)據(jù)，如眼動儀;通過智能錄播系統(tǒng)多元追蹤語言、動作、面部表情及交互信息，如多功能攝像頭;通過皮膚電傳感器、腦電波傳感器、心電圖傳感器、肌傳感器、加速度傳感器等生理信息采集設(shè)備，可獲取皮膚電導(dǎo)率、大腦內(nèi)部電位差、心率、肌肉運動、動作振動等數(shù)據(jù)。近年來，IoT感應(yīng)設(shè)備更是朝著集成化、便攜化的趨勢發(fā)展，如Raca等（2014）在教室前方安置4～6臺攝像機以捕捉學(xué)生群體動作，在教室后方安置1臺攝像機以捕捉教師動作與課件切換;Domínguez等（2015）將學(xué)習(xí)者的圖像、聲音、筆記數(shù)據(jù)采集器集成在一個可置于課桌上的小盒子中?？傊?，IoT感應(yīng)設(shè)備以輕便簡單的外形內(nèi)嵌于物理空間的形式，便于在課堂中廣泛布置和使用，同時也有利于減少教師和學(xué)生的認(rèn)知負(fù)擔(dān)。

（2）智能系統(tǒng)

如果說IoT感應(yīng)設(shè)備是智能課堂的感覺器官，那么智能系統(tǒng)就是智能課堂的大腦。我們可以把智能系統(tǒng)看作是一臺擁有人工智能模型與算法的計算機，能夠與各IoT感應(yīng)設(shè)備互聯(lián)互通。理解IoT感應(yīng)設(shè)備捕獲到的數(shù)據(jù)是智能系統(tǒng)的首要任務(wù)。以攝像頭采集的視頻數(shù)據(jù)為例，Nida等（2019）通過深度卷積神經(jīng)網(wǎng)絡(luò)和極限學(xué)習(xí)機算法，以教學(xué)視頻中教師的運動輪廓識別了書寫板書、使用電腦、使用手機、坐著、走路、指向?qū)W生、指向屏幕、互動等8種動作。Ren等（2002）通過隱馬爾可夫模型，以臉、胳臂、手、軀干三維運動特征識別了從講臺上拿物體、放回物體、指向?qū)W生、指向屏幕、與學(xué)生交流、解釋、喝水等7種動作。劉清堂等（2019）通過決策樹分類器，以人臉數(shù)目、輪廓數(shù)目、圖像最大輪廓面積以及幀間差分圖最大輪廓面積等四種特征識別了教師解說、板書、演示、提問和學(xué)生發(fā)言、思考、筆記、作業(yè)等行為。徐振國等（2019）通過卷積神經(jīng)網(wǎng)絡(luò)，識別了常態(tài)、高興、憤怒、悲傷、驚恐、專注、厭倦等7種表情。通過訓(xùn)練，智能系統(tǒng)可以識別出基本的肢體行為和面部表情，并能為這些行為和表情賦予符合實際情境的淺層含義，這就構(gòu)成了智能課堂教學(xué)系統(tǒng)的應(yīng)用基礎(chǔ)。

但是，以上僅僅是使用捕捉到的源數(shù)據(jù)進(jìn)行動作和表情的識別。課堂行為還需要被賦予更深層次的教學(xué)含義，比如用于表征學(xué)習(xí)者的認(rèn)知、參與度、情感、注意力等狀態(tài)，或者評價課堂的情感支持、課堂組織水平、教學(xué)支持活動等維度（Pianta et al.，2008）。已有研究探究了學(xué)習(xí)者的認(rèn)知能力（Noroozi et al.，2020），為表征認(rèn)知狀態(tài)尋得了可信有效的數(shù)據(jù)和技術(shù)支持，如Sharma等（2019）以眼球追蹤、腦電、面部表情和腕帶喚醒數(shù)據(jù)作為輸入，使用隨機森林和支持向量機來預(yù)測考試成績（學(xué)習(xí)成績是表征學(xué)習(xí)者認(rèn)知能力的公認(rèn)指標(biāo)之一），結(jié)果表明，眼動、面部表情和腕帶數(shù)據(jù)的結(jié)合能更好地預(yù)測學(xué)習(xí)成績。Chango等（2020）將線下理論課與實踐課的課堂視頻數(shù)據(jù)與線上Moodle平臺測試、論壇等數(shù)據(jù)相結(jié)合，采用4種不同的數(shù)據(jù)融合方法和6種分類算法來預(yù)測期末成績，結(jié)果表明，理論課上的注意力水平、Moodle測驗中的分?jǐn)?shù)以及Moodle論壇中的活躍程度是預(yù)測學(xué)生最終表現(xiàn)的最佳特征集?？傊?，不論是線上學(xué)習(xí)行為還是傳統(tǒng)的線下課堂教學(xué)行為，均能在一定程度上代表某種教學(xué)含義，同時多模態(tài)的行為數(shù)據(jù)比單一模態(tài)的行為數(shù)據(jù)更能客觀全面地表征教學(xué)意義，而智能系統(tǒng)的應(yīng)用為實現(xiàn)多模態(tài)行為的識別、綜合和分析帶來了可能。

在行為識別與狀態(tài)表征的基礎(chǔ)上，進(jìn)行實時課堂干預(yù)是智能系統(tǒng)最核心的任務(wù)。實時干預(yù)是AIoT的最大優(yōu)勢，已有少數(shù)研究對此進(jìn)行了探索。例如，Sharma等（2019）設(shè)計了一套學(xué)習(xí)者參與度實時評估系統(tǒng)，使用眼睛和頭部的運動信息以及面部情緒數(shù)據(jù)計算0%～100%范圍內(nèi)的參與度指數(shù)，當(dāng)評估值低于預(yù)先定義的閾值時就向?qū)W習(xí)者或教師發(fā)出警告。Martinez-Maldonado等（2018）開發(fā)了一款實時評估舞蹈動作節(jié)奏的移動應(yīng)用程序，嵌入加速度傳感器跟蹤學(xué)生進(jìn)行舞蹈練習(xí)時的動作，以不同顏色的峰波狀線條描繪學(xué)生律動節(jié)拍的正確與否，并能為學(xué)生提供錯誤動作的敘述性反饋?？傊?，智能系統(tǒng)在課堂教學(xué)中的應(yīng)用目標(biāo)是改善課堂教學(xué)效果、提高課堂教學(xué)效率、提升教師教學(xué)能力和學(xué)生課堂學(xué)習(xí)能力，以智能技術(shù)為支撐的自動化課堂實時干預(yù)具有實現(xiàn)這些目標(biāo)的強大潛力。

2.AIoT在典型課堂場景中的應(yīng)用

由于教育教學(xué)的復(fù)雜性，相同的課堂行為在不同的課堂場景中可以解讀為不同的教學(xué)含義。換言之，同樣是面部表情、眼動跟蹤、姿勢識別、生理數(shù)據(jù)、語音和文本等多模態(tài)數(shù)據(jù)，不同的課堂場景關(guān)注的教學(xué)問題不同，因而其選取的數(shù)據(jù)與特征也不同。筆者將選擇協(xié)作、游戲化、創(chuàng)客、實訓(xùn)四種典型課堂場景，逐一解析具體課堂場景中關(guān)注的問題，通過已有的多模態(tài)學(xué)習(xí)分析研究來看使用何種行為表征何種維度、以何種智能手段解決哪些教學(xué)問題，并輔以相應(yīng)的研究案例進(jìn)行佐證。

（1）協(xié)作課堂場景

無論是傳統(tǒng)線下課堂中的小組討論，抑或是計算機支持的在線協(xié)作學(xué)習(xí)，都是協(xié)作課堂場景的外在形式，其本質(zhì)均為小組成員分享并協(xié)商與當(dāng)前任務(wù)相關(guān)觀點的過程（Roschelle et al.，1995）。相較于合作學(xué)習(xí)，協(xié)作學(xué)習(xí)更注重小組成員在完成各自任務(wù)之外的協(xié)商討論與知識建構(gòu)。因此，如何解構(gòu)、分析并干預(yù)學(xué)習(xí)者的協(xié)作過程以獲得更好的協(xié)作學(xué)習(xí)結(jié)果是該場景的核心問題。

已有研究通過AIoT對協(xié)作學(xué)習(xí)結(jié)果預(yù)測進(jìn)行了探索，主要是利用IoT感應(yīng)設(shè)備為協(xié)作學(xué)習(xí)結(jié)果的預(yù)測特征提供新的數(shù)據(jù)源。概括來講，協(xié)作學(xué)習(xí)的結(jié)果受到協(xié)作過程行為（Cukurova et al.，2018）、小組屬性（如規(guī)模、成員特點、成員認(rèn)知負(fù)荷）（Odo et al.，2019）、物理環(huán)境（如桌椅擺放）（Colbert，1997）、協(xié)作內(nèi)容（如任務(wù)設(shè)計）（Blinne，2013）等多方面因素的影響。以往研究多關(guān)注小組人數(shù)、在線點擊流等容易獲取的數(shù)據(jù)，而IoT設(shè)備拓寬了數(shù)據(jù)來源。例如，Vujovic等（2020）在學(xué)習(xí)者頭部放置了5個標(biāo)記物（其中4個在頭部兩側(cè)，1個在頭頂），使用8個紅外攝像頭捕捉標(biāo)記物的位置移動并轉(zhuǎn)化成坐標(biāo)，結(jié)合視頻中學(xué)習(xí)者的姿勢與動作，將協(xié)作參與度標(biāo)定為積極、半積極、不積極三種程度。Riquelme等（2019）使用麥克風(fēng)采集語音數(shù)據(jù)，以發(fā)言時間和干預(yù)時間（指導(dǎo)小組成員的時間）的統(tǒng)計公式來表征協(xié)作持久性、持續(xù)性和激活三個指標(biāo)。Olsen等（2020）使用兩臺250Hz紅外眼球追蹤攝像機捕獲眼動數(shù)據(jù)，將平均瞳孔直徑、瞳孔直徑標(biāo)準(zhǔn)差、掃視速度和超過500ms的注視次數(shù)作為認(rèn)知負(fù)荷的測量指標(biāo)（Buettner，2013），同時連同系統(tǒng)日志數(shù)據(jù)、對話數(shù)據(jù)等對協(xié)作結(jié)果進(jìn)行預(yù)測，結(jié)果顯示，多模態(tài)數(shù)據(jù)比單一模態(tài)數(shù)據(jù)對協(xié)作結(jié)果的預(yù)測精度更高。拓寬數(shù)據(jù)來源不僅可以使基于證據(jù)的研究更具有可信性，而且可以在全面探究協(xié)作學(xué)習(xí)中固有問題的基礎(chǔ)上，發(fā)掘出新的或者被忽略的問題，從而為協(xié)作學(xué)習(xí)提供新的研究思路與方向。

此外，教師如何在各個協(xié)作小組之間分配指導(dǎo)精力也是需要思考的問題。通常情況下，教師會四處走動，以監(jiān)督和評估小組任務(wù)的完成情況。教師面臨的一個關(guān)鍵挑戰(zhàn)是如何均衡地幫助全體學(xué)生，掌握課堂的整體狀況，同時能夠關(guān)注到其中最需要得到幫助的學(xué)生。Martinez-Maldonado等（2018）通過在教室中的相應(yīng)位置部署位置感應(yīng)器，根據(jù)教師在教室中的實際位置描繪出一幅熱圖，以此構(gòu)建教師儀表盤。教師可實時查看自己的儀表盤，了解自己對每一個小組的指導(dǎo)時間和干預(yù)行為，據(jù)此做出實時的行為調(diào)整。AIoT在課堂協(xié)作學(xué)習(xí)過程中的應(yīng)用既省時省力又高效精準(zhǔn)，可完全替代人類的觀察，為協(xié)作學(xué)習(xí)的研究提供了便捷支撐。

（2）游戲化課堂場景

游戲化學(xué)習(xí)是指將游戲內(nèi)容與學(xué)習(xí)活動相結(jié)合以增強特定領(lǐng)域的知識和技能獲得，通過有趣的游戲機制激勵學(xué)習(xí)者參與（Plass et al.，2015）。已有研究表明，游戲化學(xué)習(xí)可以提高學(xué)習(xí)者的學(xué)習(xí)效果與學(xué)習(xí)興趣（Qian et al.，2016）。而AIoT的出現(xiàn)，為深層次理解游戲化學(xué)習(xí)行為和實時捕捉學(xué)習(xí)興趣提供了新的測量手段（Plass et al.，2020）。

目前，已有學(xué)者使用IoT設(shè)備進(jìn)一步挖掘游戲化學(xué)習(xí)行為。例如，Tsai等（2016）應(yīng)用眼動跟蹤技術(shù)捕捉學(xué)習(xí)者在游戲化環(huán)境下的視覺行為模式，發(fā)現(xiàn)不同學(xué)習(xí)者之間關(guān)注點的差異。Taub等（2020）應(yīng)用面部表情和游戲過程日志數(shù)據(jù)，發(fā)現(xiàn)閱讀相關(guān)書籍時表現(xiàn)出愉悅情緒，掃描食品得到陽性結(jié)果（游戲背景是尋找某神秘疾病的致病源）時表現(xiàn)出困惑情緒等，可以正向預(yù)測游戲得分。還有學(xué)者開始通過分析學(xué)習(xí)者的面部表情、眼動軌跡和操作行為來探究游戲化學(xué)習(xí)的興趣。例如，Emerson等（2020）利用基于視頻的面部表情跟蹤系統(tǒng)FACET（iMotions，2016）提取了對應(yīng)于面部動作編碼系統(tǒng)FACS（Ekman et al.，1997）的特征，將面部劃分為20個動作單元;同時，基于SMI眼動儀以120Hz的頻率追蹤眼球運動并記錄時間戳，識別出學(xué)習(xí)者注視（超過250ms）的8個對象以及每秒注視對象的次數(shù)，共獲得9個特征;然后，根據(jù)系統(tǒng)記錄的游戲操作軌跡，歸納出8類行為（如移動位置、與游戲中角色對話、完成一項任務(wù)等），再加上游戲總時間，共獲得9個特征;最后，以這38個特征作為輸入，采用邏輯回歸預(yù)測學(xué)習(xí)興趣，結(jié)果表明，增加眼動數(shù)據(jù)和面部數(shù)據(jù)的預(yù)測精度比僅有游戲操作數(shù)據(jù)時的預(yù)測精度更高。這些研究再次證明了利用多模態(tài)數(shù)據(jù)和智能技術(shù)剖析學(xué)習(xí)過程的重要性，同時為構(gòu)建基于游戲的自適應(yīng)學(xué)習(xí)場景提供了基礎(chǔ)，也指明了以智能系統(tǒng)為支持的學(xué)習(xí)分析技術(shù)在游戲化學(xué)習(xí)場景中的研究思路。

（3）創(chuàng)客課堂場景

創(chuàng)客課堂是以跨學(xué)科項目式學(xué)習(xí)為主要形式，旨在培養(yǎng)學(xué)習(xí)者的高階思維能力與創(chuàng)新實踐能力的課堂形式（申靜潔等，2020）。創(chuàng)客課堂中對于學(xué)習(xí)者的評價，多以學(xué)習(xí)者的最終作品為主。但是創(chuàng)客課堂的本質(zhì)是讓學(xué)生通過“做中學(xué)”獲得能力的發(fā)展（田友誼等，2019），因此捕獲學(xué)習(xí)者的動手操作數(shù)據(jù)有助于提高創(chuàng)客課堂評價的科學(xué)性與合理性。

跨學(xué)科合作項目PELARS（Practice-based Experiential Learning Analytics Research and Support），連續(xù)三年受到歐盟研究與創(chuàng)新計劃的資助，2015年起開始致力于設(shè)計基于創(chuàng)客課堂的數(shù)據(jù)采集環(huán)境并開發(fā)學(xué)習(xí)分析系統(tǒng);2017年的版本從臉、手、操作、時間等方面進(jìn)行數(shù)據(jù)采集并實現(xiàn)了可視化呈現(xiàn)（Friesel et al.，2017;PELARS，2017）。具體來說，通過學(xué)習(xí)者佩戴的腕部位置感應(yīng)器，獲取學(xué)習(xí)者是否正在操作、操作軟硬件對象、操作頻率數(shù)據(jù)，再配以時間序列將操作過程劃分為計劃、記錄、反思三個階段;同時，使用攝像頭獲取學(xué)生查看電腦屏幕的次數(shù)和面部表情，進(jìn)而為學(xué)習(xí)者和教師實時呈現(xiàn)整體可視化界面。Healion等（2017）依托該項目探索了桌子的高度與形狀對學(xué)習(xí)的影響，結(jié)果發(fā)現(xiàn)學(xué)習(xí)者離開桌子的行為也是一項重要指標(biāo)，故應(yīng)跟蹤并以不同顏色的線條可視化呈現(xiàn)學(xué)習(xí)者的運動軌跡。AIoT的應(yīng)用能夠充分挖掘創(chuàng)客課堂的特色行為數(shù)據(jù)，為創(chuàng)客教學(xué)的發(fā)展提供適應(yīng)性證據(jù)。

（4）實訓(xùn)課堂場景

實訓(xùn)課堂旨在通過模擬真實的工作場景以檢驗理論知識、強化專業(yè)技能及提高綜合素質(zhì)，對于職前教師、實習(xí)醫(yī)生等具有非常重要的作用。但是，目前的實訓(xùn)課堂中針對學(xué)習(xí)者表現(xiàn)的反饋滯后，導(dǎo)致實訓(xùn)目標(biāo)感欠缺（馮詠薇，2019）。而AIoT的出現(xiàn)為實訓(xùn)課堂的實時反饋提供了可能性。

根據(jù)搭建環(huán)境的不同，實訓(xùn)課堂可分為物理實訓(xùn)課堂和虛擬實訓(xùn)課堂。物理實訓(xùn)課堂是依靠物理設(shè)備來模擬真實場景，如Echeverria等（2019）建立了物理的模擬醫(yī)院病房，配備了5～6個能夠展示健康指標(biāo)的病患模型以及病床等設(shè)備，同時部署了位置感應(yīng)器、腕帶感應(yīng)器、麥克風(fēng)和拾音器，用于捕獲醫(yī)學(xué)院學(xué)生在模擬醫(yī)療急救場景中的行為信息。以心臟驟停的教學(xué)場景為例，扮演護士角色的學(xué)生需要及時出現(xiàn)在床邊，并對病患模型進(jìn)行心臟按摩和氣流按壓。此時學(xué)生佩戴的腕帶感應(yīng)器可以測量其壓力水平，并感知其皮膚電反應(yīng)和血容量的變化。基于傳感器之間的連接，便可同步計算學(xué)生的心率、出汗水平和體溫等，這些數(shù)據(jù)能在一定程度上反映此次急救任務(wù)對于該學(xué)生的困難程度;病床旁邊配置的麥克風(fēng)和拾音器，可捕捉學(xué)生之間以及病患之間的語言交流;位置感應(yīng)器可追蹤學(xué)生在各個區(qū)域內(nèi)的停留時間和轉(zhuǎn)移頻率。值得一提的是，這個房間內(nèi)還配置有一間控制室，教師可根據(jù)學(xué)生的實時表現(xiàn)控制病人的狀態(tài)和聲音，增強了實訓(xùn)的真實性。虛擬實訓(xùn)課堂則是利用虛擬仿真技術(shù)來模擬真實場景，其難點在于學(xué)習(xí)者如何感知虛擬環(huán)境。Xiao等（2020）使用Kinect設(shè)備和一枚智能戒指進(jìn)行了嘗試。實驗過程中，學(xué)習(xí)者手上會佩戴一枚智能戒指，戒指上置有振動器，當(dāng)學(xué)習(xí)者對著屏幕操作虛擬對象時，Kinect設(shè)備會捕捉并識別手勢（如伸出一根手指表示“點擊”，伸出五根手指表示“放下”，五根手指握拳表示“抓取”，二指延伸表示“放大”等）。若學(xué)習(xí)者的手勢與虛擬環(huán)境中的手勢一致，則表示虛擬操作成功，同時智能戒指會產(chǎn)生振動，以此來連接虛擬學(xué)習(xí)環(huán)境與學(xué)習(xí)者的知覺。AIoT在實訓(xùn)課堂場景中的應(yīng)用為學(xué)習(xí)者對自身技能的認(rèn)知、教師發(fā)現(xiàn)學(xué)生技能缺陷并為學(xué)生提供指導(dǎo)帶來了直接依據(jù)。

可以說，AIoT在教育領(lǐng)域的應(yīng)用潛力巨大，尤其體現(xiàn)在支持實時反饋的智能課堂。智能課堂是基于先進(jìn)的物聯(lián)網(wǎng)與人工智能技術(shù)而構(gòu)建的數(shù)字化、個性化的智能學(xué)習(xí)環(huán)境，為教師的課堂教學(xué)管理與決策和學(xué)生的學(xué)習(xí)提供了重要支撐。相較于考試成績、線上操作流等單一模態(tài)數(shù)據(jù)，基于IoT感應(yīng)設(shè)備捕獲的多模態(tài)數(shù)據(jù)能夠更加全面、準(zhǔn)確地反映學(xué)習(xí)者的特征。課堂智能錄播系統(tǒng)、可穿戴設(shè)備、點陣筆、電子平板、眼動儀、腦電儀等數(shù)據(jù)采集設(shè)備，可高效、便捷、實時地獲取多模態(tài)教學(xué)數(shù)據(jù)。在人工智能技術(shù)的加持之下，多模態(tài)教學(xué)數(shù)據(jù)的分析和反饋愈發(fā)便捷、精準(zhǔn)和高效，尤其是伴隨計算機視覺和深度學(xué)習(xí)技術(shù)的不斷改進(jìn)，使得面對面教學(xué)過程中的教學(xué)語言、聲音、筆記、教學(xué)行為動作、人體運動軌跡、面部表情、眼動蹤跡等大量外顯行為數(shù)據(jù)，以及脈搏、心率等內(nèi)在生理信號數(shù)據(jù)的提取與分析實現(xiàn)了自動化和智能化，這將真正促進(jìn)課堂教學(xué)的深刻變革。

四、探尋：智能課堂中的教師課堂表現(xiàn)

上面分析的AIoT應(yīng)用案例，針對的是非常規(guī)性的課堂，其所解決的教學(xué)問題也有一定的特殊性。這些應(yīng)用雖然能夠為AIoT智能課堂提供有益的啟示，但是要在日常的中小學(xué)課堂中發(fā)揮AIoT的作用，還需要回到一開始提出的問題，即要解決課堂教學(xué)的什么問題？對此，本團隊將問題聚焦到教師的課堂教學(xué)表現(xiàn)。教師課堂教學(xué)表現(xiàn)是精準(zhǔn)評估與診斷課堂教學(xué)效果、干預(yù)課堂教學(xué)過程、調(diào)整課堂教學(xué)模式、提高課堂教學(xué)能力的主要依據(jù)。智能教學(xué)環(huán)境下的多模態(tài)數(shù)據(jù)為診斷教師課堂教學(xué)特點或缺陷提供了更加全面和客觀的證據(jù)。同時，課堂教學(xué)設(shè)計、教學(xué)組織和管理等教師教學(xué)能力要素的評估方法也以多模態(tài)數(shù)據(jù)為依據(jù)、以智能技術(shù)為手段，在完成自動化的客觀測量基礎(chǔ)上，改進(jìn)課堂教學(xué)評價過程，實現(xiàn)高效精準(zhǔn)的教學(xué)研究與教師技能評估。另外，學(xué)生群體的課堂學(xué)習(xí)行為也能反映教師的教學(xué)表現(xiàn)，并為評價教師提供證據(jù)支撐。

本團隊從關(guān)注教師課堂教學(xué)表現(xiàn)、提升教師課堂教學(xué)能力的角度出發(fā)，利用教師和學(xué)生產(chǎn)生的多模態(tài)數(shù)據(jù)共同刻畫教師的課堂教學(xué)表現(xiàn)。如圖2所示，通過挖掘?qū)W生課堂學(xué)習(xí)行為來表征參與度、注意力、態(tài)度等學(xué)習(xí)狀態(tài)與學(xué)習(xí)結(jié)果;同時通過挖掘教師課堂教學(xué)行為來表征教學(xué)風(fēng)格和教學(xué)能力;最后通過智能算法融合來刻畫教師課堂教學(xué)表現(xiàn)，并依據(jù)教師教學(xué)表現(xiàn)來指導(dǎo)和干預(yù)課堂教學(xué)行為。

課堂行為數(shù)據(jù)的采集需要多種智能設(shè)備和儀器的支持。然而，智能化課堂環(huán)境既先進(jìn)又復(fù)雜，當(dāng)前多數(shù)涉及到多模態(tài)學(xué)習(xí)分析的教學(xué)研究尚處于實驗摸索階段。借助課堂教學(xué)實錄視頻采集行為數(shù)據(jù)的手段不僅成本低，而且實用性和易用性強，被多數(shù)研究者采納。這就需要用計算機抓取圖像，探測教學(xué)環(huán)境中的師生主體，進(jìn)而識別主體并提取特征以理解主體的行為和意義表征。該過程離不開人臉檢測、面部表情識別、手勢識別、人體定位和移動軌跡識別、語音識別等技術(shù)支持。本團隊在深刻認(rèn)識智能化課堂環(huán)境的基礎(chǔ)上，提出了如圖3所示的基于多模態(tài)行為數(shù)據(jù)的教師課堂教學(xué)表現(xiàn)刻畫與評估模型。該模型的涵義是：通過學(xué)生全景視頻和學(xué)生特寫視頻捕獲學(xué)生個體/群體的行為，利用行為與狀態(tài)的表征關(guān)系來刻畫學(xué)生個體/群體的課堂學(xué)習(xí)狀態(tài);通過教師特寫視頻捕捉教師行為，刻畫教師的課堂教學(xué)風(fēng)格與教學(xué)能力;通過綜合教師和學(xué)生的多模態(tài)行為數(shù)據(jù)，最終得到教師課堂教學(xué)表現(xiàn)的刻畫模型。

五、直面：AIoT面臨的現(xiàn)實挑戰(zhàn)

面對萬物智聯(lián)時代的到來，采用AIoT賦能課堂教學(xué)已是大勢所趨。總的來說，AIoT在課堂教學(xué)中的應(yīng)用，實際上就是借助其在數(shù)據(jù)和算力兩個方面的強大功能?；贏IoT的智能課堂通過利用IoT感應(yīng)設(shè)備，采集師生的外顯行為數(shù)據(jù)和內(nèi)隱生理數(shù)據(jù)，為總結(jié)課堂教學(xué)經(jīng)驗、深刻洞悉課堂教學(xué)情境、精準(zhǔn)發(fā)現(xiàn)課堂教學(xué)問題、科學(xué)研究課堂教學(xué)提供了方法指導(dǎo)，同時也為促進(jìn)學(xué)生個性化成長、發(fā)展教師專業(yè)能力、提升課堂教學(xué)效果提供了證據(jù)支持。

AIoT技術(shù)在課堂應(yīng)用中仍然面臨諸多挑戰(zhàn)。第一，目前研究主要關(guān)注認(rèn)知維度，即用多模態(tài)數(shù)據(jù)來預(yù)測學(xué)習(xí)結(jié)果，而對學(xué)習(xí)動機、學(xué)習(xí)策略、學(xué)習(xí)態(tài)度、學(xué)習(xí)持續(xù)力等維度的表征研究較少。第二，基于IoT感應(yīng)設(shè)備采集的數(shù)據(jù)各具形態(tài)，在這種情境下，選擇何種數(shù)據(jù)來表征何種學(xué)習(xí)特征仍需大量研究證據(jù)支持。第三，課堂多模態(tài)數(shù)據(jù)涉及學(xué)習(xí)者與教師的隱私數(shù)據(jù)（如高清人物影像），如何保證數(shù)據(jù)的安全性也是亟待解決的問題。因此，要克服AIoT在課堂應(yīng)用中的弊端，仍需在教學(xué)實踐中不斷探索AIoT支持的最佳教學(xué)組織和教學(xué)策略等。

參考文獻(xiàn)：

[1]白宇，岳弘彬（2019）. 浙江一小學(xué)學(xué)生戴“頭環(huán)”防走神——教育部門已責(zé)令學(xué)校暫停使用相關(guān)產(chǎn)品;專家表示引進(jìn)技術(shù)設(shè)備用于課堂教學(xué)應(yīng)有明確規(guī)范[N]. 新京報，2019-11-01（A13）.

[2]馮詠薇（2019）. 智能互聯(lián)技術(shù)+BOPPPS模式下的廣告專業(yè)教學(xué)模式研究——以“廣告文案”實訓(xùn)課為例[J]. 傳媒，（8）：79-82.

[3]顧小清（2018）. 破壞性創(chuàng)新：技術(shù)如何改善教育生態(tài)[J]. 探索與爭鳴， （8）：34-36.

[4]何克抗（2009）. 21世紀(jì)以來教育技術(shù)理論與實踐的新發(fā)展[J]. 現(xiàn)代教育技術(shù)，19（10）：5-14.

[5]黃榮懷，胡永斌，楊俊鋒等（2012）. 智慧教室的概念及特征[J]. 開放教育研究，18（2）：22-27.

[6]李德毅（2018）. 人工智能：社會發(fā)展加速器[N]. 中國信息化周報，2018-02-05（007）.

[7]劉清堂，何皓怡，吳林靜等（2019）. 基于人工智能的課堂教學(xué)行為分析方法及其應(yīng)用[J]. 中國電化教育，（9）：13-21.

[8]馬紅亮，[英]袁莉，郭唯一等（2014）. 反省分析技術(shù)在教育領(lǐng)域中的應(yīng)用[J]. 現(xiàn)代遠(yuǎn)程教育研究，（4）：39-46.

[9]申靜潔，趙呈領(lǐng)，李芒（2020）. 創(chuàng)客教育：學(xué)科視域下提升學(xué)生核心素養(yǎng)的路徑探析[J]. 中國電化教育，（6）：30-36.

[10]田友誼，姬冰澌（2019）. 重識中小學(xué)創(chuàng)客教育：基于杜威“做中學(xué)”思想的審視[J]. 教育科學(xué)研究，（12）：53-58，66.

[11]徐振國，張冠文，孟祥增等（2019）. 基于深度學(xué)習(xí)的學(xué)習(xí)者情感識別與應(yīng)用[J]. 電化教育研究，40（2）：87-94.

[12]楊現(xiàn)民，余勝泉（2015）. 智慧教育體系架構(gòu)與關(guān)鍵支撐技術(shù)[J]. 中國電化教育，（1）：77-84，130.

[13]Blinne， K. C. （2013）. Start with the Syllabus： Helping Learners Learn Through Class Content Collaboration[J]. College Teaching， 61（2）：41-43.

[14]Buckingham， S. S.， & Ferguson， R. （2012）. Social Learning Analytics[J]. Educational Technology & Society，15（3）：3-26.

[15]Buettner， R. （2013）. Cognitive Workload of Humans Using Artificial Intelligence Systems： Towards Objective Measurement Applying Eye-Tracking Technology[C]//? Proceedings of the Annual Conference on Artificial Intelligence. Berlin， Heidelberg： Springer：37-48.

[16]Chango， W.， Cerezo， R.， & Romero， C. （2020）. Multi-Source and Multimodal Data Fusion for Predicting Academic Performance in Blended Learning University Courses[J]. Computers & Electrical Engineering， 89：1-13.

[17]Cheung， A. C. K.， & Slavin， R. E. （2012）. How Features of Educational Technology Applications Affect Student Reading Outcomes： A Meta-Analysis[J]. Educational Research Review， 7（3）：198-215.

[18]Colbert， J. （1997）. Classroom Design and How It Influences Behavior[J]. Early Childhood News， 9（3）：22-29.

[19]Cukurova， M.， Luckin， R.， & Millán， E. et al. （2018）. The NISPI Framework： Analyzing Collaborative Problem-Solving from Students Physical Interactions[J]. Computers & Education， 116：93-109.

[20]Domínguez， F.， Chiluiza， K.， & Echeverria， V. et al. （2015）. Multimodal Selfies： Designing a Multimodal Recording Device for Students in Traditional Classrooms[C]// Proceedings of the 2015 ACM on International Conference on Multimodal Interaction. Seattle， USA：567-574.

[21]Echeverria， V.， Martinez-Maldonado， R.， & Buckingham， S. S. （2019）. Towards Collaboration Translucence： Giving Meaning to Multimodal Group Data[C]// Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems. Glasgow， Scotland， UK：1-16.

[22]Ekman， P.， & Rosenberg， E. （1997）. What the Face Reveals： Basic and Applied Studies of Spontaneous Expression Using the Facial Action Coding System （FACS）[M]. New York， Oxford University Press.

[23]Emerson， A.， Cloude， E. B.， & Azevedo， R. et al. （2020）. Multimodal Learning Analytics for Game-Based Learning[J]. British Journal of Educational Technology， 51（5）：1505-1526.

[24]Francesc， P.， Miguel， S.， & Axel， R. et al. （2019）. Artificial Intelligence in Education： Challenges and Opportunities for Sustainable Development[EB/OL]. [2020-12-20]. https：//unesdoc.unesco.org/ark：/48223/pf0000366994.

[25]Friesel， A.， Spikol， D.， & Cojocaru， D. （2017）. Technologies Designed and Developed in PELARS Project-The Way to Enhance STEM Education[C]// Proceedings of the Annual Conference on European Association for Education in Electrical and Information Engineering. Grenoble， France：1-5.

[26]Healion， D.， Russell， S.， & Cukurova， M. et al. （2017）. Tracing Physical Movement During Practice-Based Learning Through Multimodal Learning Analytics[C]// Proceedings of the Seventh International Learning Analytics & Knowledge Conference. Vancouver， Canada：588-589.

[27]iMotions（2016）. Attention Tool （Version 6.2）[Z]. Boston， MA： iMotions Inc.

[28]Jawa， A.， Datta， S.， & Nanda， S. et al. （2010）. SMEO： A Platform for Smart Classrooms with Enhanced Information Access and Operations Automation[C]// Proceedings of the Conference on Smart Spaces & Next Generation Wired/Wireless Networking： Springer-Verlag：123-134.

[29]Lahat， D.， Adali， T.， & Jutten， C. （2015）. Multimodal Data Fusion： An Overview of Methods， Challenges， and Prospects[J]. Proceedings of the IEEE， 103（9）：1449-1477.

[30]Liang， T. H.， Huang， Y. M.， & Tsai， C. C. （2012）. An Investigation of Teaching and Learning Interaction Factors for the Use of the Interactive Whiteboard Technology[J]. Journal of Educational Technology & Society， 15（4）：356-367.

[31]Mancillas， L. K.， & Brusoe， P. W. （2016）. Born Digital： Integrating Media Technology in the Political Science Classroom [J]. Journal of Political Science Education， 12（4）：375-386.

[32]Martinez-Maldonado， R.， Echeverria， V.， & Santos， O. C. et al. （2018）. Physical Learning Analytics： A Multimodal Perspective[C]// Proceedings of the 8th International Conference on Learning Analytics and Knowledge. Sydney， New South Wales， Australia：375-379.

[33]Melinda， D.， & Randall， S. （2013）. Filling in the Gaps： Linking Theory and Practice Through Telecollaboration in Teacher Education[J]. European Association for Computer Assisted Language Learning， 25（1）：4-29.

[34]Mok， M. M. C.， & Chen， Y. C. （2004）. A Theory of Self-Learning in Human and Technology Environment： Implications for Education Reforms[J]. International Journal of Education Management， 15（4）：172-186.

[35]Nida， N.， Yousaf， M. H.， & Irtaza， A. et al. （2019）. Instructor Activity Recognition Through Deep Spatiotemporal Features and Feedforward Extreme Learning Machines[J]. Mathematical Problems in Engineering：1-13.

[36]Noroozi， O.， Pijeira-Díaz， H. J.， & Sobocinski， M. et al. （2020）. Multimodal Data Indicators for Capturing Cognitive， Motivational， and Emotional Learning Processes： A Systematic Literature Review[J]. Education and Information Technologies， 25：5499-5547.

[37]Odo， C.， Masthoff， J.， & Beacham， N. （2019）. Group Formation for Collaborative Learning[C]// Proceedings of the International Conference on Artificial Intelligence in Education. Springer， Cham：206-212.

[38]Olsen， J. K.， Sharma， K.， & Rummel， N. et al. （2020）. Temporal Analysis of Multimodal Data to Predict Collaborative Learning Outcomes[J]. British Journal of Educational Technology， 51（5）：1527-1547.

[39]PELARS（2017）. Iterative Prototyping Feedback in Interaction Design[EB/OL]. [2020-12-02]. http：//www.learningmaking.eu/wp-content/uploads/2017/02/PELARS_D2.6.pdf.

[40]Pianta， R. C.， La Paro， K. M.， & Hamre， B. K. （2008）. Classroom Assessment Scoring SystemTM： Manual K-3[M]. Paul H Brookes Publishing.

[41]Plass， J. L.， Homer， B. D.， & Kinzer， C. K. （2015）. Foundations of Game-Based Learning[J]. Educational Psychologist， 50（4）：258-283.

[42]Plass， J. L.， Mayer， R. E.， & Homer， B. D. （2020）. Handbook of Game-Based Learning[M]. Cambridge， MA： MIT Press.

[43]Qian， M.， & Clark， K. R. （2016）. Game-Based Learning and 21st Century Skills： A Review of Recent Research[J]. Computers in Human Behavior， 63：50-58.

[44]Raca， M.， & Dillenbourg， P. （2014）. Holistic Analysis of the Classroom[C]// Proceedings of the 2014 ACM Workshop on Multimodal Learning Analytics Workshop and Grand Challenge. Istanbul， Turkey：13-20.

[45]Ren， H.， & Xu， G. （2020）. Human Action Recognition in Smart Classroom[C]// Proceedings of Fifth IEEE International Conference on Automatic Face Gesture Recognition. Washington， DC， USA：417-422.

[46]Riquelme， F.， Munoz， R.， & Mac， L. R. et al. （2019）. Using Multimodal Learning Analytics to Study Collaboration on Discussion Groups[J]. Universal Access in the Information Society， 18（3）：633-643.

[47]Roschelle， J.， & Teasley， S. D. （1995）. The Construction of Shared Knowledge in Collaborative Problem Solving[M]// OMalley， C. （Eds.）. Computer Supported Collaborative Learning. NATO ASI Series （Series F： Computer and Systems Sciences）. Springer， Berlin， Heidelberg：69-97.

[48]Sharma， K.， Papamitsiou， Z.， & Giannakos， M. （2019）. Building Pipelines for Educational Data Using AI and Multimodal Analytics： A “Grey-Box” Approach[J]. British Journal of Educational Technology， 50（6）：3004-3031.

[49]Tamim， R. M.， Bernard， R. M.， & Borokhovski， E. （2011）. What Forty Years of Research Says about the Impact of Technology on Learning[J]. Review of Educational Research， 81（1）：4-28.

[50]Taub， M.， Sawyer， R.， & Lester， J. et al. （2020）. The Impact of Contextualized Emotions on Self-Regulated Learning and Scientific Reasoning During Learning with a Game-Based Learning Environment[J]. International Journal of Artificial Intelligence in Education， 30（1）：97-120.

[51]Tsai， M. J.， Huang， L. J， & Hou， H. T. et al. （2016）. Visual Behavior， Flow and Achievement in Game-Based Learning[J]. Computers & Education， 98：115-129.

[52]Vujovic， M.， Hernández-Leo， D.， & Tassani， S. et al. （2020）. Round or Rectangular Tables for Collaborative Problem Solving？ A Multimodal Learning Analytics Study[J]. British Journal of Educational Technology， 51（5）：1597-1614.

[53]Xiao， M.， Feng， Z.， & Yang， X. et al. （2020）. Multimodal Interaction Design and Application in Augmented Reality for Chemical Experiment[J]. Virtual Reality & Intelligent Hardware， 2（4）：291-304.

收稿日期 2021-02-03 責(zé)任編輯 劉選

Abstract： Looking back at the changes in the application of technology in the classroom， although researchers and practitioners keep trying to make efforts in “technology-enhanced teaching”， technology intervention has always been hovering on the edge of education and failed to solve the inherent problem of classroom teaching. AIoT， as a technological product combining Artificial Intelligence （AI） and the Internet of Things （IoT）， brings new possibilities to change the classroom ecology. In practice， the classroom supported by AIoT has the affordance of real-time communication between IoT sensing devices and intelligent systems， which can be elaborated with four scenarios. Since teaching performance is the basis for accurately evaluating classroom teaching effect， intervening classroom teaching process， adjusting classroom teaching mode and improving classroom teaching ability， building teaching performance model is one of the approaches to solve real classroom problems by using AIoT. This model constructs a data-driven intelligent system by intelligent devices to capture the real-time classroom behavior data， extract features， integrate data， build personalized models and try dynamic intervention， which provides new ideas for effectively monitoring the classroom teaching and improving the behavioral pattern of teaching and learning. However， there are still some problems such as more focus on cognitive dimension， the lack of unified standard of learning characteristic， data security and so on in the application of AIoT into the education field. Efforts are needed to explore the best teaching organizations and teaching strategies supported by AIoT in teaching practice.

Keywords： Artificial Intelligence; Intelligent Classroom; AIoT; Internet of Things; Multimodal Data; Learning Analytics