• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    智能教學(xué)反饋的目標(biāo)、機(jī)制與架構(gòu)

    2023-05-30 20:10:37王靖巴安妮吳寶鎖
    關(guān)鍵詞:人機(jī)協(xié)同反饋機(jī)制教學(xué)反饋

    王靖 巴安妮 吳寶鎖

    摘要:反饋是有效教學(xué)中不可或缺的要素,智能技術(shù)在教育領(lǐng)域的興起為形成性、個(gè)性化的教學(xué)反饋帶來(lái)新的可能。對(duì)相關(guān)研究進(jìn)行系統(tǒng)性梳理能夠?yàn)橹悄芊答佅到y(tǒng)的設(shè)計(jì)、開發(fā)與應(yīng)用提供指導(dǎo)。從目標(biāo)、作用機(jī)制和系統(tǒng)架構(gòu)三個(gè)維度對(duì)智能教學(xué)反饋的研究現(xiàn)狀進(jìn)行分析后發(fā)現(xiàn):基于智能技術(shù)的教學(xué)反饋旨在為學(xué)習(xí)者的認(rèn)知、情感與態(tài)度、元認(rèn)知帶來(lái)積極影響,促使學(xué)習(xí)者改進(jìn)當(dāng)前狀態(tài)和學(xué)習(xí)成效。在反饋?zhàn)饔脵C(jī)制層面,基于正確/錯(cuò)誤響應(yīng)的自動(dòng)反饋通常采用基于規(guī)則的匹配模式,通過(guò)對(duì)比答案正誤來(lái)觸發(fā)反饋;個(gè)性化教學(xué)反饋的關(guān)鍵在于構(gòu)建學(xué)習(xí)者模型,使教學(xué)反饋適應(yīng)不同學(xué)生的特征,并結(jié)合本體論或采用多輪人機(jī)對(duì)話的方式實(shí)現(xiàn)教學(xué)反饋的個(gè)性化;人機(jī)協(xié)同反饋通過(guò)實(shí)現(xiàn)教師、學(xué)生與計(jì)算機(jī)之間的互動(dòng)與互補(bǔ),來(lái)提升教學(xué)反饋的有效性。在系統(tǒng)架構(gòu)層面,反饋系統(tǒng)由輸入層、分析層、推理生成層三個(gè)層次組成,通過(guò)一系列算法模型和反饋機(jī)制生成反饋決策,其與學(xué)習(xí)者模型、專家模型、領(lǐng)域模型的相互作用決定著教學(xué)反饋的精確性與適應(yīng)程度。

    關(guān)鍵詞:智能技術(shù);教學(xué)反饋;反饋目標(biāo);反饋機(jī)制;人機(jī)協(xié)同

    中圖分類號(hào):G434? ?文獻(xiàn)標(biāo)識(shí)碼:A? ? 文章編號(hào):1009-5195(2023)03-0102-11? doi10.3969/j.issn.1009-5195.2023.03.012

    基金項(xiàng)目:國(guó)家社會(huì)科學(xué)基金教育學(xué)青年課題“跨學(xué)科教育中的協(xié)同概念轉(zhuǎn)變研究”(CCA190260);江蘇省教育科學(xué)“十四五”規(guī)劃2021年度課題“學(xué)習(xí)評(píng)價(jià)改革對(duì)大學(xué)生學(xué)習(xí)收獲影響機(jī)制研究”(D/2021/01/46)。

    作者簡(jiǎn)介:王靖,博士,副教授,碩士生導(dǎo)師,江南大學(xué)江蘇高校“互聯(lián)網(wǎng)+教育”研究基地(江蘇無(wú)錫 214122);巴安妮,碩士研究生,江南大學(xué)江蘇高?!盎ヂ?lián)網(wǎng)+教育”研究基地(江蘇無(wú)錫 214122);吳寶鎖,助理研究員,江南大學(xué)教務(wù)處(江蘇無(wú)錫 214122)。

    一、引言

    當(dāng)前,大數(shù)據(jù)、云計(jì)算等數(shù)字技術(shù)的創(chuàng)新和迭代速度明顯加快,數(shù)字化轉(zhuǎn)型已成為世界各國(guó)發(fā)展的必然趨勢(shì)(吳巖,2023)。教育數(shù)字化轉(zhuǎn)型的核心陣地在于課堂,如何在課堂中使用當(dāng)今蓬勃發(fā)展的智能技術(shù),為不同特征的學(xué)習(xí)者提供差異化的學(xué)習(xí)支持,成為課堂數(shù)字化轉(zhuǎn)型的重要研究議題。教學(xué)反饋?zhàn)鳛檎n堂學(xué)習(xí)支持的重要形式,被視為“對(duì)學(xué)習(xí)和成就最有力的影響之一”(Hattie et al.,2007)。智能技術(shù)在教育中的應(yīng)用越來(lái)越普遍,尤其是生成式人工智能的飛速發(fā)展,更是引起人們對(duì)智能技術(shù)如何與課堂深度融合、如何更好地賦能教學(xué)反饋的思考。

    當(dāng)前,智能技術(shù)賦能教學(xué)反饋的文獻(xiàn)綜述中,研究者主要是在智能教學(xué)系統(tǒng)視角下審視反饋功能的設(shè)計(jì)。例如Crow等(2018)通過(guò)綜述報(bào)告如何在編程智能教學(xué)系統(tǒng)中集成反饋功能,尤其針對(duì)自適應(yīng)反饋功能模塊進(jìn)行了詳細(xì)論證;Mousavinasab等(2021)梳理了智能教學(xué)系統(tǒng)的經(jīng)典架構(gòu),并統(tǒng)計(jì)了智能技術(shù)的應(yīng)用領(lǐng)域(含反饋)和常見的技術(shù)方法。然而在智能技術(shù)的支持下,教學(xué)反饋到底能夠解決什么問(wèn)題?具體是如何產(chǎn)生教學(xué)效果的?在技術(shù)上如何實(shí)現(xiàn)?這些問(wèn)題尚未得到很好的回答。基于此,研究擬在明晰反饋內(nèi)涵的基礎(chǔ)上,通過(guò)系統(tǒng)梳理與審視智能反饋相關(guān)研究,嘗試回答以下三個(gè)研究問(wèn)題:(1)智能教學(xué)反饋的作用維度和具體目標(biāo)是什么?(2)智能教學(xué)反饋的作用機(jī)制和效果如何?(3)智能反饋系統(tǒng)的體系架構(gòu)是什么?其實(shí)現(xiàn)的算法有哪些?

    二、反饋的內(nèi)涵

    當(dāng)前關(guān)于反饋的內(nèi)涵主要有兩種觀點(diǎn)。一種認(rèn)為:反饋是一種有助于學(xué)生提高績(jī)效的信息。Ramaprasad(1983)將反饋形容為“實(shí)際水平和參考水平之間差距的信息,用于以某種方式改變差距”。與之相似的,Hattie等(2007)將反饋概念化為一個(gè)代理人(例如,老師、同伴、書本、父母、自我、經(jīng)驗(yàn)等)提供的關(guān)于促進(jìn)一個(gè)人表現(xiàn)或理解方面的信息。這與課堂實(shí)際情況相符,學(xué)生接收到教師等人的反饋信息,可能產(chǎn)生行動(dòng)上的改變。然而,并不是所有的反饋信息都能達(dá)到預(yù)期效果,必須考慮它的作用機(jī)制以及后續(xù)影響等問(wèn)題。這使部分研究者將反饋概念化為一個(gè)過(guò)程,即反饋的第二種內(nèi)涵。Price等(2010)指出,只有當(dāng)學(xué)習(xí)者理解反饋,愿意且能夠根據(jù)反饋采取行動(dòng)時(shí),反饋信息才會(huì)有效。換句話說(shuō),教育工作者需要思考如何設(shè)計(jì)反饋信息,以及如何使反饋信息逐步被學(xué)生理解、運(yùn)用。正如Beaumont等(2011)的觀點(diǎn),反饋的價(jià)值在于將它重新定義為形成性指導(dǎo)過(guò)程,而不是單一的事件。Boud等(2013)同樣強(qiáng)調(diào),反饋需要對(duì)學(xué)習(xí)產(chǎn)生積極且持續(xù)的影響。

    隨著技術(shù)和學(xué)習(xí)理念的發(fā)展,反饋的第二種內(nèi)涵越發(fā)受到研究者青睞,即反饋不僅是信息,還應(yīng)包含它完整的作用過(guò)程。有效的反饋應(yīng)從學(xué)習(xí)者被動(dòng)接受反饋信息轉(zhuǎn)變?yōu)殛P(guān)注他們的需求,促使學(xué)習(xí)者主動(dòng)感知、理解與采納反饋信息。智能技術(shù)工具不應(yīng)僅作為反饋信息的載體和輸出端,它們還應(yīng)承擔(dān)起“思考”反饋過(guò)程與有效性的責(zé)任。反饋系統(tǒng)應(yīng)以學(xué)習(xí)目標(biāo)和需求為出發(fā)點(diǎn),模擬人類教師的持續(xù)理解與干預(yù)過(guò)程,設(shè)置特定的反饋事件,為學(xué)生帶來(lái)積極、可持續(xù)發(fā)展的影響。

    綜上,本研究關(guān)注的教學(xué)反饋是指在教育教學(xué)中由智能系統(tǒng)、AI技術(shù)或者其他數(shù)字化學(xué)習(xí)軟件提供的智能反饋和支持,即“計(jì)算機(jī)→學(xué)生”反饋路徑,這也是后續(xù)文獻(xiàn)搜索和綜述的依據(jù)。

    三、研究過(guò)程與方法

    本研究采用系統(tǒng)性文獻(xiàn)綜述法。系統(tǒng)性文獻(xiàn)綜述是利用不同的數(shù)據(jù)庫(kù)和多種檢索與分析技術(shù),全面而準(zhǔn)確地掌握某一專題研究進(jìn)展,并得出和檢驗(yàn)研究結(jié)論的標(biāo)準(zhǔn)化文獻(xiàn)研究方法(黃甫全等,2017)。本文采用的文獻(xiàn)檢索、文獻(xiàn)評(píng)估、數(shù)據(jù)抽取與整合過(guò)程與方法如下。

    1.文獻(xiàn)檢索

    本研究選定的數(shù)據(jù)庫(kù)為CNKI、Web of Science、EBSCO,搜索時(shí)間限定為2012—2021年。中文檢索關(guān)鍵詞包括“智能反饋”、“反饋”+“智能”,文獻(xiàn)來(lái)源限定為北大核心期刊、CSSCI期刊,學(xué)科選擇“教育理論與教育管理”,在CNKI中獲得文獻(xiàn)94篇。英文檢索語(yǔ)句為:TS=intelligent feedback AND AB=students,加入“學(xué)生”作為限定詞是因?yàn)榍捌谒阉鲿r(shí)發(fā)現(xiàn)大量工程學(xué)文獻(xiàn);研究領(lǐng)域選擇“教育教學(xué)研究”,搜索得到319篇文獻(xiàn)。中英文文獻(xiàn)共計(jì)413篇。此外研究還選取了International Conference on Artificial Intelligence in Education(AIED)、International Conference on Educational Data Mining(EDM)等智能教育、教育大數(shù)據(jù)領(lǐng)域有較大影響力的國(guó)際會(huì)議論文集,根據(jù)題目與摘要初步篩選出19篇會(huì)議文獻(xiàn)。

    2.文獻(xiàn)評(píng)估

    為解決研究問(wèn)題,本研究制定了文獻(xiàn)納入與排除標(biāo)準(zhǔn),確保最終納入文獻(xiàn)的內(nèi)容與研究高度相關(guān),如表1所示。結(jié)合文獻(xiàn)納入與排除標(biāo)準(zhǔn),通過(guò)排除重復(fù)文獻(xiàn)、閱讀文獻(xiàn)標(biāo)題與摘要、閱讀全文三個(gè)步驟,對(duì)413篇期刊文獻(xiàn)進(jìn)行篩選,最終獲得40篇文獻(xiàn)。對(duì)于會(huì)議論文,采取逐一閱讀全文的方式,并通過(guò)滾雪球納入相關(guān)文獻(xiàn),最終得到10篇文獻(xiàn)。二者共計(jì)獲得文獻(xiàn)50篇。整個(gè)篩選過(guò)程與結(jié)果如圖1所示。

    3. 抽取與整合數(shù)據(jù)

    對(duì)于納入的50篇文獻(xiàn),研究編制了文獻(xiàn)信息抽取單,從以下四個(gè)方面完成關(guān)鍵信息的提?。海?)文獻(xiàn)基本信息;(2)反饋的目標(biāo)與反饋的結(jié)果;(3)反饋設(shè)計(jì)的內(nèi)容、流程;(4)反饋系統(tǒng)的架構(gòu)、算法。

    四、智能反饋的目標(biāo)

    研究從認(rèn)知、情感與態(tài)度、元認(rèn)知三個(gè)維度梳理了納入文獻(xiàn)中智能反饋的目標(biāo)(如表2所示)。其中,23項(xiàng)研究重點(diǎn)關(guān)注對(duì)學(xué)生認(rèn)知層面的錯(cuò)誤糾正與學(xué)習(xí)過(guò)程指導(dǎo),這可能與當(dāng)下對(duì)智能反饋的需求有關(guān)。研究者期望使用精確、及時(shí)的糾正性反饋來(lái)減輕教師的負(fù)擔(dān),增強(qiáng)教學(xué)便利性。在情感與態(tài)度方面,研究主要探討基于智能技術(shù)的反饋是如何激發(fā)學(xué)生學(xué)習(xí)動(dòng)機(jī)、增強(qiáng)教學(xué)互動(dòng)以及改善學(xué)生的情感體驗(yàn)的。在學(xué)生的元認(rèn)知方面,相關(guān)研究主要涉及反饋是如何促進(jìn)學(xué)生自我調(diào)節(jié)以及是如何反映學(xué)習(xí)異常的。

    1.認(rèn)知維度的反饋目標(biāo)

    認(rèn)知維度的反饋目標(biāo)是指借助智能技術(shù),通過(guò)表征學(xué)生關(guān)于某一問(wèn)題或知識(shí)點(diǎn)的理解及掌握程度,及時(shí)提供輔助性信息,幫助學(xué)生達(dá)到提升認(rèn)知和能力水平的目的。認(rèn)知維度的反饋存在提示解釋錯(cuò)誤、指導(dǎo)學(xué)習(xí)過(guò)程兩種目標(biāo)。

    提示解釋錯(cuò)誤。智能技術(shù)賦能的教學(xué)反饋在二外寫作、反思性寫作、編程等領(lǐng)域或解決封閉式問(wèn)題過(guò)程中,能為學(xué)生提供有關(guān)答案正誤的信息,輔以解釋或提示,幫助學(xué)生及時(shí)修正錯(cuò)誤,減少不確定性。例如,Hung等(2015)通過(guò)基于對(duì)話的認(rèn)知輔導(dǎo)系統(tǒng)為學(xué)生提供強(qiáng)化反饋、糾正性反饋和進(jìn)一步建議;Ai(2017)在智能計(jì)算機(jī)輔助語(yǔ)言學(xué)習(xí)環(huán)境中根據(jù)學(xué)習(xí)者表現(xiàn)為其提供隱式、一般或顯式的、具體的糾正反饋。在寫作領(lǐng)域的反饋中,Kang等(2015)通過(guò)元分析發(fā)現(xiàn),糾錯(cuò)反饋確實(shí)能夠?qū)ν庹Z(yǔ)寫作的準(zhǔn)確性產(chǎn)生積極效果,但其有效性受學(xué)習(xí)者的熟練程度、任務(wù)背景和類型等許多變量的影響,因而在設(shè)計(jì)與實(shí)施反饋時(shí)應(yīng)綜合考慮多重因素,最大化地發(fā)揮反饋?zhàn)饔谩?/p>

    指導(dǎo)學(xué)習(xí)過(guò)程。針對(duì)任務(wù)過(guò)程的反饋能夠支持學(xué)習(xí)者更深入地理解他們的當(dāng)前水平以及未來(lái)應(yīng)如何逐步達(dá)成目標(biāo)(Balzer et al.,1989),它是對(duì)學(xué)生任務(wù)選擇、學(xué)習(xí)策略選擇、下一步行動(dòng)等方面的干預(yù)指導(dǎo),通常與認(rèn)知錯(cuò)誤提示結(jié)合使用。如Bush(2021)設(shè)計(jì)的自適應(yīng)有理數(shù)導(dǎo)師中,每個(gè)任務(wù)完成后學(xué)生會(huì)收到此次任務(wù)的正誤反饋,如果連續(xù)多次任務(wù)作答錯(cuò)誤,系統(tǒng)會(huì)調(diào)整教學(xué)順序或提供面向過(guò)程的反饋,這種反饋以可交互的視頻形式呈現(xiàn);Tacoma等(2020)嘗試將內(nèi)外部反饋結(jié)合,幫助學(xué)生調(diào)整當(dāng)前關(guān)于領(lǐng)域的知識(shí)狀態(tài)以及選擇合適的后續(xù)任務(wù)或?qū)W習(xí)活動(dòng)。

    2.情感與態(tài)度維度的反饋目標(biāo)

    基于學(xué)生情感與態(tài)度在學(xué)習(xí)中的重要性,許多智能教學(xué)反饋系統(tǒng)將學(xué)生的情緒,如沮喪、無(wú)聊、困惑、好奇和焦慮等,納入學(xué)習(xí)者模型。本研究認(rèn)為,情感與態(tài)度維度的反饋主要存在激發(fā)學(xué)習(xí)動(dòng)機(jī)、增強(qiáng)教學(xué)互動(dòng)和改善情感體驗(yàn)三種目的。

    激發(fā)學(xué)習(xí)動(dòng)機(jī)。為學(xué)生提供的學(xué)習(xí)支持服務(wù)需要情感層面的互動(dòng),通過(guò)鼓勵(lì)學(xué)生來(lái)提高其學(xué)習(xí)動(dòng)機(jī)。例如,Xie等(2021)研究激勵(lì)式在線對(duì)話代理,通過(guò)表達(dá)共同的情緒、緩解心理抗拒和呈現(xiàn)認(rèn)知沖突來(lái)促使低參與度的學(xué)習(xí)者產(chǎn)生改變行為的動(dòng)機(jī);Rajendran等(2019)使用智能輔導(dǎo)系統(tǒng)對(duì)學(xué)生出現(xiàn)的錯(cuò)誤和挫折進(jìn)行外部歸因,并通過(guò)提供與認(rèn)知相關(guān)的鼓勵(lì)、表?yè)P(yáng)等方式,增強(qiáng)學(xué)生的自我效能感,促進(jìn)其參與學(xué)習(xí)活動(dòng)。

    增強(qiáng)教學(xué)互動(dòng)。反饋的隱喻之一是作為學(xué)習(xí)者的工具(Jensen et al.,2021),其核心是學(xué)生使用反饋來(lái)學(xué)習(xí)(Chen et al.,2018)。反饋?zhàn)鳛閹熒鷾贤ǖ拿浇椋ǔP枰柚浖陀布O(shè)備,通過(guò)增強(qiáng)交互的方式來(lái)提升學(xué)習(xí)者的課堂投入與參與感。例如,王偉東等(2015)研究中的互動(dòng)反饋系統(tǒng)能夠?qū)W(xué)生終端的作答實(shí)時(shí)呈現(xiàn)于教室內(nèi)的大屏幕上,便于師生及時(shí)了解學(xué)生及同伴答題情況并促進(jìn)學(xué)生積極參與課堂互動(dòng);田嵩(2018)使用基于微信的移動(dòng)課堂實(shí)時(shí)屏幕反饋系統(tǒng),促進(jìn)師生實(shí)時(shí)觀點(diǎn)交互,提升學(xué)生對(duì)課堂的關(guān)注度與滿意度,同時(shí)延伸了課堂話語(yǔ)空間。

    改善情感體驗(yàn)。通過(guò)智能技術(shù)模擬人類教師的情感并回應(yīng)學(xué)習(xí)者的情緒狀態(tài),是改善學(xué)習(xí)者情感體驗(yàn)的良好方式。Jiménez等(2018)為學(xué)生提供的反饋系統(tǒng),能實(shí)現(xiàn)問(wèn)候、積極地感嘆以及道歉等情感支持,有效地延長(zhǎng)了學(xué)生的學(xué)習(xí)時(shí)間,提升了學(xué)生愉悅程度。Bringula等(2018)嘗試采用包含高興、悲傷、驚訝和中性面部表情反饋的個(gè)人教學(xué)代理,一定程度上提升了學(xué)習(xí)者的數(shù)學(xué)績(jī)效。

    總的來(lái)說(shuō),情感與態(tài)度維度的反饋研究表現(xiàn)出兩種趨勢(shì):一是通過(guò)增強(qiáng)智能技術(shù)對(duì)學(xué)習(xí)者情感態(tài)度的感知,設(shè)計(jì)相應(yīng)的情感反饋機(jī)制;二是通過(guò)增強(qiáng)智能技術(shù)反饋的情感表達(dá),例如包含情緒的表情、問(wèn)候、關(guān)懷等,促進(jìn)虛擬教師與學(xué)生的情感交互,提升系統(tǒng)交互友好性與學(xué)習(xí)體驗(yàn)。

    3.元認(rèn)知維度的反饋目標(biāo)

    學(xué)習(xí)者的元認(rèn)知是其對(duì)自己學(xué)習(xí)過(guò)程的監(jiān)控。納入文獻(xiàn)中元認(rèn)知維度的反饋主要存在促進(jìn)學(xué)生自我調(diào)節(jié)和反映學(xué)習(xí)異常兩個(gè)子目標(biāo)。

    促進(jìn)自我調(diào)節(jié)。促進(jìn)自我調(diào)節(jié)的反饋具備“可持續(xù)發(fā)展”的特性,它幫助學(xué)習(xí)者自我發(fā)現(xiàn)錯(cuò)誤、反思原因、改進(jìn)學(xué)習(xí)策略和方法等。Duffy等(2015)為具有不同成就動(dòng)機(jī)的學(xué)生提供腳手架和自我調(diào)節(jié)策略,并反饋其使用的準(zhǔn)確性和質(zhì)量;Wolff等(2014)使用機(jī)器學(xué)習(xí)和可視化呈現(xiàn)來(lái)幫助學(xué)習(xí)者檢查觀點(diǎn)是否具有內(nèi)在一致性,糾正思維中的不一致。在這個(gè)過(guò)程中,反饋系統(tǒng)不會(huì)給學(xué)習(xí)者提供任何明確的指示,而是引導(dǎo)他們反思自我表現(xiàn)并解決問(wèn)題。

    反映學(xué)習(xí)異常。學(xué)生在自主學(xué)習(xí)中常見的異常狀態(tài)包括離線、沉默和濫用提示等;在協(xié)作學(xué)習(xí)中突出的異常表現(xiàn)為學(xué)生不積極參與,甚至不參與(張立山等,2021)。這些均可從系統(tǒng)監(jiān)測(cè)角度對(duì)學(xué)生行為表現(xiàn)進(jìn)行追蹤并干預(yù),例如識(shí)別學(xué)生當(dāng)下行為屬于任務(wù)型或非任務(wù)型,在兩者間轉(zhuǎn)化時(shí)及時(shí)提供鼓勵(lì)或警告反饋(Sun et al.,2019)。Chiu等(2021)利用傳感器技術(shù)和圖像識(shí)別技術(shù)收集數(shù)據(jù),采用貝葉斯分類網(wǎng)絡(luò)對(duì)學(xué)生的學(xué)習(xí)狀態(tài)進(jìn)行推斷,將即時(shí)的學(xué)習(xí)狀態(tài)分析結(jié)果反饋給學(xué)生。

    五、智能反饋?zhàn)饔脵C(jī)制與效果

    1.智能反饋的作用機(jī)制

    對(duì)于反饋如何發(fā)揮作用這一問(wèn)題,研究者們持有不同觀點(diǎn),這與他們秉持的學(xué)習(xí)理念及對(duì)反饋概念的理解息息相關(guān)。何克抗(2017)在前人觀點(diǎn)的基礎(chǔ)上總結(jié)出兩種影響較大的模型:一是機(jī)械模型,二是建構(gòu)主義模型。前者將學(xué)生作為反饋信息的被動(dòng)使用者,后者強(qiáng)調(diào)學(xué)生主動(dòng)使用反饋并積極建構(gòu)自我的過(guò)程。從作用機(jī)制來(lái)分析納入文獻(xiàn),可將其劃分為基于正確/錯(cuò)誤響應(yīng)的自動(dòng)反饋和智能系統(tǒng)中的個(gè)性化反饋。前者屬于機(jī)械模型,以答案正誤為反饋觸發(fā)機(jī)制;后者以學(xué)習(xí)者需求為出發(fā)點(diǎn),基于學(xué)習(xí)者模型,為學(xué)生提供個(gè)性化反饋。此外,隨著智能技術(shù)與課堂的深度融合,人機(jī)協(xié)同是進(jìn)一步提升反饋個(gè)性化和全面性的發(fā)展趨勢(shì)。

    (1)基于正確/錯(cuò)誤響應(yīng)的自動(dòng)反饋

    能夠檢測(cè)、糾正學(xué)生在測(cè)驗(yàn)、考試、寫作中的認(rèn)知錯(cuò)誤的自動(dòng)反饋,可以減輕教師負(fù)擔(dān),提升教學(xué)效率,因而常被運(yùn)用于編程、寫作以及數(shù)學(xué)、英語(yǔ)等學(xué)科教學(xué)之中。根據(jù)反饋信息的不同,有研究者將其總結(jié)歸納為驗(yàn)證反饋和應(yīng)變反饋兩類(Demaidi et al.,2018)。

    驗(yàn)證反饋也被稱為結(jié)果知識(shí)反饋。它只驗(yàn)證學(xué)生答案的正誤,因此教師通常需要向?qū)<抑R(shí)庫(kù)中輸入題目ID和正確答案信息。學(xué)習(xí)者測(cè)試后,系統(tǒng)將學(xué)習(xí)者答案與標(biāo)準(zhǔn)答案進(jìn)行匹配,根據(jù)結(jié)果提示正確或錯(cuò)誤。通常采用文本、符號(hào)、語(yǔ)句、閃爍提示、顏色標(biāo)注等方式呈現(xiàn)反饋信息。例如Mitrovic等(2013)使用教學(xué)系統(tǒng)SQL—Tutor,結(jié)合700個(gè)領(lǐng)域特定約束的知識(shí)庫(kù),為學(xué)習(xí)者提供“干得好”“那是正確的”類似短語(yǔ)形式的正反饋。然而它的作用領(lǐng)域與效果有限,不適用于語(yǔ)句、段落等含義復(fù)雜的分析和反饋。應(yīng)變反饋在驗(yàn)證答案的基礎(chǔ)上增添了更多輔助性信息,例如錯(cuò)誤后顯示正確答案、解釋答案正確與錯(cuò)誤的原因等。Demir(2020)在英語(yǔ)教學(xué)中使用智能輔導(dǎo)系統(tǒng),采用基于約束的學(xué)生模型發(fā)現(xiàn)學(xué)生錯(cuò)誤并解釋原因。

    由此可見,以上兩類反饋采用基于規(guī)則的匹配模式,實(shí)施路徑多為:由專家教師預(yù)測(cè)與總結(jié)學(xué)生可能產(chǎn)生的所有學(xué)習(xí)表現(xiàn)和錯(cuò)誤類型,隨后在系統(tǒng)中預(yù)存儲(chǔ)和定義標(biāo)準(zhǔn)庫(kù)、學(xué)生的錯(cuò)誤以及相應(yīng)的應(yīng)答語(yǔ)句等,因而當(dāng)系統(tǒng)通過(guò)匹配發(fā)現(xiàn)異常時(shí),能夠自動(dòng)、迅速且精準(zhǔn)地提取并推送反饋信息。然而面對(duì)多路徑問(wèn)題,人為列舉出所有問(wèn)題解決方案和學(xué)生錯(cuò)誤類型十分困難。此外早有研究指出,學(xué)習(xí)者是影響反饋效果的重要因素之一(Esterhazy et al.,2019)。因此,在數(shù)據(jù)驅(qū)動(dòng)的反饋中結(jié)合學(xué)習(xí)者特征可以使反饋產(chǎn)生更大的效益。

    (2)智能系統(tǒng)中的個(gè)性化反饋

    由于學(xué)習(xí)者在學(xué)習(xí)風(fēng)格、動(dòng)機(jī)、先驗(yàn)知識(shí)等方面存在差異,所以提供統(tǒng)一的反饋顯然無(wú)法滿足個(gè)性化學(xué)習(xí)需求。個(gè)性化反饋可以根據(jù)學(xué)生和任務(wù)問(wèn)題的特點(diǎn)來(lái)調(diào)整反饋類型及反饋內(nèi)容(Narciss et al.,2014)。例如,Lallé等(2020)設(shè)計(jì)的FUMA系統(tǒng),可以在線檢測(cè)學(xué)生行為并提取這些行為的關(guān)鍵特征,由此建立學(xué)習(xí)者模型。當(dāng)學(xué)習(xí)者的后續(xù)學(xué)習(xí)行為“偏離”模型常規(guī)參數(shù)時(shí),系統(tǒng)會(huì)為他們提供有針對(duì)性的、可行的建議——即個(gè)性化反饋。

    在個(gè)性化反饋中,基于本體論的個(gè)性化反饋具有良好的應(yīng)用前景。在這里本體論主要指的是領(lǐng)域本體,用于描述某一門課程中的核心概念及其相互關(guān)系。在基于本體論的個(gè)性化反饋系統(tǒng)中,系統(tǒng)能夠基于領(lǐng)域本體構(gòu)建起屬于某個(gè)領(lǐng)域的知識(shí)圖譜,并生成和這個(gè)圖譜中知識(shí)點(diǎn)相關(guān)的問(wèn)題,以及與這些問(wèn)題對(duì)應(yīng)的、不同類型的反饋。還有研究者將基于多個(gè)領(lǐng)域本體的個(gè)性化反饋用于跨學(xué)科教育領(lǐng)域。例如Demaidi等(2018)基于本體論開發(fā)了個(gè)性化反饋生成器OntoPeFeGe,集成了多種生成策略和模板來(lái)遍歷領(lǐng)域本體并自動(dòng)生成基于跨學(xué)科領(lǐng)域知識(shí)的問(wèn)題和反饋。然而,基于本體論的個(gè)性化反饋的本質(zhì)是從領(lǐng)域知識(shí)出發(fā),這種反饋所依賴的知識(shí)圖譜如何與學(xué)習(xí)者模型整合,構(gòu)建更為全面、開放的反饋模型,是其面臨的關(guān)鍵挑戰(zhàn)(Belcadhi,2016)。

    此外,對(duì)話反饋也能實(shí)現(xiàn)個(gè)性化。其通過(guò)智能系統(tǒng)扮演專家、激勵(lì)者、導(dǎo)師或同伴等角色,理解學(xué)生對(duì)話內(nèi)容、情緒動(dòng)機(jī)變化并不斷調(diào)整反饋,持續(xù)解答學(xué)生問(wèn)題,輔以情感回應(yīng)。對(duì)話反饋一般由信息輸入、自然語(yǔ)言理解、對(duì)話管理、對(duì)話反饋生成等模塊構(gòu)成,完成從數(shù)據(jù)處理、語(yǔ)義與情感分析、推理、到生成對(duì)話的整個(gè)過(guò)程(Xie et al.,2021),通過(guò)一對(duì)一的答疑解惑與引導(dǎo)支持,提供持續(xù)的、多輪次的對(duì)話以滿足學(xué)習(xí)者個(gè)性化需求。

    (3)人機(jī)協(xié)同的反饋

    人機(jī)協(xié)同模式下,基于智能技術(shù)的反饋包括給教師的提示和給學(xué)生的反饋(張立山等,2021)。給教師的提示是將學(xué)生狀態(tài)評(píng)估結(jié)果做進(jìn)一步表征,如采用可視化圖表、圖形符號(hào)、文字等方式呈現(xiàn)學(xué)生學(xué)習(xí)狀態(tài)。例如,Martinez-Maldonado(2019)為教師提供手持儀表盤,實(shí)時(shí)顯示學(xué)生學(xué)習(xí)參與情況和進(jìn)度,方便教師為學(xué)生提供形成性反饋。如前文所述,面向?qū)W生的反饋在目標(biāo)上可以是對(duì)學(xué)生認(rèn)知、情感與態(tài)度、元認(rèn)知等方面的調(diào)節(jié)改進(jìn);在內(nèi)容上表現(xiàn)為對(duì)學(xué)生錯(cuò)誤的糾正與解釋、對(duì)正確答案的肯定、鼓勵(lì)與歸因、反思性問(wèn)題與提示、對(duì)異常狀態(tài)的警示等?,F(xiàn)階段人機(jī)協(xié)同中的反饋機(jī)制多為單向的,即人機(jī)交互以“機(jī)器→學(xué)生”的單向反饋為主(董艷等,2021)。為了增強(qiáng)反饋的動(dòng)態(tài)性,學(xué)生與計(jì)算機(jī)之間有必要建立雙向的信息傳遞途徑。例如,學(xué)生是否以及如何使用反饋信息、學(xué)生的滿意度等可以被系統(tǒng)采集作為后續(xù)智能系統(tǒng)自適應(yīng)調(diào)整的依據(jù)。

    總之,人機(jī)協(xié)同反饋模式下的人人、人機(jī)交互(教師—計(jì)算機(jī)—學(xué)生)還有待深入研究。但無(wú)論目標(biāo)、內(nèi)容上如何變化,學(xué)生在接受、理解、應(yīng)用反饋上需要擁有一定的自主權(quán),因?yàn)閷W(xué)習(xí)者是反饋的主體,反饋只有被學(xué)習(xí)者接受并用于改進(jìn)當(dāng)前學(xué)習(xí)狀態(tài)時(shí)才是有效的。

    2.智能反饋的作用效果

    納入文獻(xiàn)中,大多數(shù)經(jīng)過(guò)設(shè)計(jì)的反饋實(shí)驗(yàn)都取得了顯著成效,在一定程度上達(dá)成了反饋目標(biāo)。基于正確/錯(cuò)誤響應(yīng)的自動(dòng)反饋在及時(shí)糾正認(rèn)知錯(cuò)誤上有良好的應(yīng)用前景和效果。在缺乏教師指導(dǎo)的情況下,學(xué)生可以通過(guò)智能導(dǎo)師系統(tǒng)得到足夠的反饋來(lái)即時(shí)糾錯(cuò),逐步完成復(fù)雜的問(wèn)題解決過(guò)程。恰當(dāng)?shù)膫€(gè)性化反饋有助于改進(jìn)學(xué)生在認(rèn)知、情感與態(tài)度、元認(rèn)知等各方面的表現(xiàn),如Rajendran等(2019)通過(guò)激勵(lì)和歸因,顯著減少了大學(xué)生的受挫感;Jiménez等(2018)的書面情感反饋,增強(qiáng)了學(xué)生的愉悅程度和學(xué)習(xí)動(dòng)機(jī),最終使得學(xué)習(xí)績(jī)效有效提升。對(duì)于人機(jī)協(xié)同的反饋模式,許多研究在理論層面闡述了其具有的潛在優(yōu)勢(shì),但相關(guān)的教學(xué)模式和應(yīng)用效果均有待進(jìn)一步探究。在最新的研究中,李艷等(2022)通過(guò)準(zhǔn)實(shí)驗(yàn)發(fā)現(xiàn),人機(jī)協(xié)同相較于僅通過(guò)教師評(píng)價(jià)反饋更能顯著提升學(xué)生寫作激情,初步展現(xiàn)了人機(jī)協(xié)同模式的作用。

    綜上,良好的智能反饋設(shè)計(jì)能夠?yàn)閷W(xué)生的認(rèn)知、內(nèi)部心理過(guò)程、外部學(xué)習(xí)行為等帶來(lái)積極的影響。但并不是所有的反饋都能帶來(lái)令人滿意的效果,例如,包含情感內(nèi)容的反饋可能成為學(xué)生注意力分散的因素(Cabestrero et al.,2018)。Tausczik等(2013)的實(shí)驗(yàn)結(jié)果表明,使用實(shí)時(shí)語(yǔ)言反饋系統(tǒng),能夠有效提升群體參與,但其會(huì)導(dǎo)致團(tuán)隊(duì)績(jī)效的降低。因此,智能反饋研究必須厘清反饋的作用機(jī)制,探究如何在真實(shí)的課堂實(shí)踐中正確使用反饋。

    六、智能反饋系統(tǒng)的架構(gòu)、流程和算法

    研究參考Grawemeyer等(2017)、董艷等(2021)、張立山等(2021)的相關(guān)研究和流程設(shè)計(jì),并綜合考慮學(xué)生數(shù)據(jù)的多樣性、智能系統(tǒng)的適應(yīng)性等因素,將反饋系統(tǒng)按照功能分為輸入層、分析層、推理生成層,它們與數(shù)據(jù)庫(kù)中的學(xué)習(xí)者模型、專家模型、領(lǐng)域模型相互作用,如圖2所示。

    1.系統(tǒng)架構(gòu)及工作流程

    在反饋系統(tǒng)的輸入層,學(xué)習(xí)者基于客戶端與智能系統(tǒng)發(fā)生交互,根據(jù)不同的評(píng)估和反饋需求,利用攝影機(jī)、傳感器等設(shè)備采集特定的學(xué)習(xí)者數(shù)據(jù),并存儲(chǔ)于數(shù)據(jù)庫(kù)中。例如,關(guān)注學(xué)習(xí)者情感狀態(tài)的反饋系統(tǒng)可以通過(guò)量表讓學(xué)習(xí)者進(jìn)行主觀的情感自我評(píng)估(Cabestrero et al.,2018),也可以借助傳感器設(shè)備,檢測(cè)情感狀態(tài),包括自信、興奮、無(wú)聊、專注、沮喪和焦慮等,獲取客觀的學(xué)生情感數(shù)據(jù)。

    分析層內(nèi)包含檢測(cè)器,用于識(shí)別學(xué)生的認(rèn)知、情感狀態(tài)、行為表現(xiàn)等。首先,來(lái)自輸入層的數(shù)據(jù)需要經(jīng)歷預(yù)處理、關(guān)鍵特征提取過(guò)程。例如,Lehman等(2020)提取填充詞、停頓、重復(fù)詞等6個(gè)關(guān)鍵的語(yǔ)音特征來(lái)判斷學(xué)習(xí)者語(yǔ)言學(xué)習(xí)情況。在該環(huán)節(jié)中自然語(yǔ)言處理(Natural Language Processing, NLP)是技術(shù)重點(diǎn),研究人員需要收集人類如何理解和使用語(yǔ)言的知識(shí),從而在計(jì)算機(jī)和人類語(yǔ)言之間搭建橋梁,具體包括潛在語(yǔ)義分析(Sung et al.,2016)、中文分詞(張登博等,2021)、句法分析(Ai,2017)等方法與技術(shù)。總之,提升計(jì)算機(jī)對(duì)自然語(yǔ)言的理解能力是后續(xù)進(jìn)行精確分析與反饋的基礎(chǔ)和前提。其次,學(xué)習(xí)者的關(guān)鍵特征經(jīng)過(guò)訓(xùn)練完畢的算法模型的檢測(cè)、分類、擬合回歸等過(guò)程,被用于判斷和預(yù)測(cè)學(xué)習(xí)者認(rèn)知水平、情感情緒、行為異常及其他狀態(tài)。例如,Arguedas等(2021)在情感教學(xué)導(dǎo)師中設(shè)置“認(rèn)知—情感”分析模型,推斷出學(xué)生認(rèn)知、情緒狀態(tài)的維度與范疇。分析層完成對(duì)學(xué)習(xí)者的評(píng)估后,這些數(shù)據(jù)將進(jìn)入推理生成層,同時(shí)可以被納入學(xué)習(xí)者模型以便生成個(gè)性化、適應(yīng)性的反饋。

    推理生成層包含一系列算法和反饋機(jī)制,其決定著反饋類型、呈現(xiàn)方式等。簡(jiǎn)單反饋機(jī)制的典型案例為對(duì)正誤答案的反饋。當(dāng)系統(tǒng)判定學(xué)生給出正確的答案時(shí),將給予表?yè)P(yáng);當(dāng)答案不正確時(shí),將提供鼓勵(lì)和提示文本(Bringula et al.,2018)。以個(gè)性化、適應(yīng)性反饋為需求的系統(tǒng)需要預(yù)設(shè)更復(fù)雜的反饋機(jī)制,并連接專家模型、學(xué)習(xí)者模型和領(lǐng)域模型。例如,Cabestrero等(2018)提出的學(xué)習(xí)者模型綜合考慮學(xué)習(xí)者情感狀態(tài)和之前的表現(xiàn),從而決定接下來(lái)的問(wèn)題難度等級(jí)和情感反饋類型??偠灾评砩蓪又懈鶕?jù)分析層數(shù)據(jù)和預(yù)設(shè)的反饋機(jī)制選擇恰當(dāng)?shù)姆答亙?nèi)容、類型,決定反饋方式、時(shí)間等要素,最終生成并輸出反饋。

    2.學(xué)習(xí)者模型、領(lǐng)域模型和專家模型

    學(xué)習(xí)者模型是智能反饋系統(tǒng)的核心之一,它由一系列計(jì)算機(jī)算法和學(xué)生數(shù)據(jù)構(gòu)成。學(xué)生數(shù)據(jù)的類型取決于任務(wù)與問(wèn)題類型和系統(tǒng)的具體架構(gòu)。早期的自動(dòng)反饋系統(tǒng)中,學(xué)習(xí)者模型主要以知識(shí)結(jié)構(gòu)為特征,記錄學(xué)習(xí)者當(dāng)下認(rèn)知水平。而在更具自適應(yīng)的反饋系統(tǒng)中,學(xué)生數(shù)據(jù)包括他們的基本信息、學(xué)習(xí)風(fēng)格、認(rèn)知水平、行為交互、情感狀態(tài)、反饋信息(已經(jīng)提供的反饋、學(xué)生是否查看反饋)、學(xué)習(xí)進(jìn)度等(董艷等,2021)。近年來(lái),數(shù)據(jù)挖掘和學(xué)習(xí)分析技術(shù)為學(xué)習(xí)者模型構(gòu)建提供了新思路,研究者還可以通過(guò)建立學(xué)習(xí)者數(shù)字畫像,精準(zhǔn)理解其內(nèi)部心理機(jī)制和外部行為變化規(guī)律,構(gòu)建更加開放、個(gè)性化的學(xué)習(xí)者模型(張濤等,2020)。正如前文提及的多項(xiàng)研究,學(xué)習(xí)者模型中的數(shù)據(jù)可以存儲(chǔ)事實(shí)信息,觸發(fā)反饋機(jī)制;也可以生成反饋約束規(guī)則,例如以高績(jī)效學(xué)生的行為模式為參照,促進(jìn)低績(jī)效學(xué)生學(xué)習(xí)行為的改進(jìn)(Wolff et al.,2014);還可以將學(xué)生學(xué)習(xí)狀態(tài)、進(jìn)度等可視化顯示并反饋給學(xué)生,例如,Tacoma等(2020)使用包含9~14個(gè)知識(shí)組件的學(xué)習(xí)者模型,將任務(wù)完成情況用進(jìn)度條的方式呈現(xiàn)給學(xué)習(xí)者,使之明確其與目標(biāo)之間的差距。

    專家模型和領(lǐng)域模型在很多研究中沒有明確的界限。為了進(jìn)一步厘清反饋系統(tǒng)中的數(shù)據(jù)組成,本研究將教師及教育理論的特定信息集成稱為專家模型,包含教師經(jīng)驗(yàn)、教學(xué)理論與方法、問(wèn)題解決方案、預(yù)設(shè)規(guī)則等內(nèi)容;領(lǐng)域模型則是領(lǐng)域知識(shí)的結(jié)構(gòu)化表示,包含解決相關(guān)任務(wù)所需的所有知識(shí)點(diǎn),例如,數(shù)學(xué)、英語(yǔ)等學(xué)科的領(lǐng)域模型可以是其課程標(biāo)準(zhǔn)涵蓋的所有章節(jié)的知識(shí)點(diǎn)內(nèi)容及其結(jié)構(gòu)關(guān)系。專家模型和領(lǐng)域模型的結(jié)合可以用于構(gòu)建反饋機(jī)制中的約束規(guī)則,也可以以兩者中的數(shù)據(jù)為驅(qū)動(dòng),匹配最相近的問(wèn)題情境和已有解決方案來(lái)輸出反饋。

    3.相關(guān)算法模型

    反饋系統(tǒng)需要根據(jù)目標(biāo)需求預(yù)訓(xùn)練一系列的算法模型,將海量關(guān)鍵特征進(jìn)行提取、歸納、整合,識(shí)別學(xué)習(xí)者的表現(xiàn)并生成決策。本研究將智能反饋中的算法劃分為兩大類:基于靜態(tài)測(cè)評(píng)的認(rèn)知診斷算法與基于動(dòng)態(tài)測(cè)評(píng)的知識(shí)追蹤算法,如表3所示。

    基于靜態(tài)測(cè)評(píng)的認(rèn)知診斷算法能夠客觀、快速、精確地評(píng)價(jià)學(xué)習(xí)者當(dāng)前狀態(tài)。項(xiàng)目反應(yīng)理論(Item Response Theory,IRT)模型是其中的經(jīng)典模型,它通過(guò)特征曲線表示考生對(duì)一個(gè)測(cè)試項(xiàng)目作出反應(yīng)的概率,在教育和心理測(cè)量領(lǐng)域常被用于考試測(cè)評(píng)。例如,Uto等(2020)將IRT融入基于深度神經(jīng)網(wǎng)絡(luò)的自動(dòng)論文評(píng)分模型中,改善“評(píng)分者偏見”問(wèn)題,增強(qiáng)評(píng)分的穩(wěn)定性。確定性輸入,噪聲“與”門(Deterministic Inputs,Noisy “and” Gate,DINA)模型是一種多維離散認(rèn)知診斷模型,與IRT相比,它能提供更精確、具體的評(píng)估信息。例如,Zhao等(2020)使用它的通用模型G-DINA設(shè)計(jì)英語(yǔ)閱讀自動(dòng)測(cè)試程序,并為師生提供科學(xué)、有針對(duì)性的反饋。然而,靜態(tài)的認(rèn)知診斷僅能反映學(xué)生當(dāng)前狀態(tài)。實(shí)際上,學(xué)生的認(rèn)知水平隨著學(xué)習(xí)過(guò)程而動(dòng)態(tài)變化。

    基于動(dòng)態(tài)測(cè)評(píng)的知識(shí)追蹤算法模型具有自動(dòng)化和個(gè)性化的特點(diǎn)。貝葉斯知識(shí)追蹤(Bayesian Knowledge Tracing,BKT)模型是傳統(tǒng)的知識(shí)追蹤模型。它將學(xué)習(xí)者的表現(xiàn)看作可觀測(cè)變量,將學(xué)習(xí)者的知識(shí)狀態(tài)看作潛在變量,并且根據(jù)當(dāng)前的狀態(tài)來(lái)預(yù)測(cè)學(xué)生的答題正誤概率。然而,BKT并不是一個(gè)完全理想的算法模型,它難以滿足大數(shù)據(jù)情境下的教育需求,研究者們對(duì)它進(jìn)行了改進(jìn)和拓展(Pu et al.,2020),包括動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)(Dynamic Bayesian Network,DBN)、深度知識(shí)追蹤(Deep Knowledge Tracing,DKT)等。DBN基于貝葉斯網(wǎng)絡(luò)對(duì)知識(shí)組件內(nèi)的先決條件、層次結(jié)構(gòu)和關(guān)系進(jìn)行建模,能夠在一個(gè)模型中聯(lián)合表示多種知識(shí)組件(概念、知識(shí)點(diǎn)等)來(lái)增加知識(shí)追蹤表示能力。DKT在傳統(tǒng)模型的基礎(chǔ)上引入深度學(xué)習(xí),它結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò),將上一時(shí)刻的表現(xiàn)輸出,用于預(yù)測(cè)下一刻學(xué)習(xí)者的表現(xiàn)情況,其在性能上取得了顯著的改進(jìn)(曾凡智等,2022)。

    除上述算法模型外,支持向量機(jī)(Support Vector Machine,SVM)、決策樹(Decision Tree,DT)、隨機(jī)森林(Random Forest,RF)、貝葉斯網(wǎng)絡(luò)(Bayesian Network,BN)、高斯樸素貝葉斯(Gaussian Naive Bayes,GaussianNB)、Logistic回歸(Logistic Regression,LR)和多層感知器(Multi-Layer Perceptron,MLP)等機(jī)器學(xué)習(xí)算法也能夠用于學(xué)生認(rèn)知、情感動(dòng)機(jī)狀態(tài)的測(cè)評(píng)。例如,Hayati等(2020)使用SVM將學(xué)習(xí)者認(rèn)知參與情況分為四個(gè)層次;Lee等(2021)在自動(dòng)反饋系統(tǒng)中使用DT模擬交互變量,預(yù)測(cè)學(xué)生科學(xué)論證的不確定性歸因得分等。

    總之,無(wú)論采用哪種算法,其基本思路都是幫助智能系統(tǒng)識(shí)別學(xué)生狀態(tài),跟蹤、評(píng)估學(xué)生的問(wèn)題解決路徑和方案,甚至預(yù)測(cè)學(xué)生未來(lái)行為表現(xiàn)及績(jī)效,以作為后續(xù)生成反饋的依據(jù)。

    七、總結(jié)與展望

    本文系統(tǒng)梳理了近十年研究者們?cè)谥悄芗夹g(shù)發(fā)展背景下,為優(yōu)化教學(xué)反饋?zhàn)龀龅囊幌盗刑剿鞴ぷ?,并針?duì)三個(gè)研究問(wèn)題,明晰了智能技術(shù)支持下反饋的目標(biāo)、反饋的作用機(jī)制以及反饋系統(tǒng)架構(gòu)等內(nèi)容,主要得出以下結(jié)論:

    第一,智能反饋的目標(biāo)包含認(rèn)知、情感與態(tài)度、元認(rèn)知3個(gè)維度下7個(gè)子目標(biāo)。反饋的主要作用是促使學(xué)生改進(jìn)當(dāng)前狀態(tài)和績(jī)效,因而智能技術(shù)支持的反饋同樣以認(rèn)知維度為主,將提示解釋錯(cuò)誤和指導(dǎo)學(xué)習(xí)過(guò)程作為主要目標(biāo);此外情感的反饋形式逐漸受到研究者青睞,期望能夠激發(fā)學(xué)生學(xué)習(xí)動(dòng)機(jī)、增強(qiáng)教學(xué)互動(dòng)和改善學(xué)生的情感體驗(yàn);元認(rèn)知維度的反饋更加關(guān)注學(xué)生可持續(xù)發(fā)展能力的提升,希望通過(guò)反映學(xué)習(xí)異常和促進(jìn)自我調(diào)節(jié)幫助學(xué)生反思改進(jìn)。

    第二,基于正確/錯(cuò)誤響應(yīng)的自動(dòng)反饋機(jī)制通常以答案正誤為反饋依據(jù),不考慮學(xué)習(xí)者的特征和差異;智能系統(tǒng)中個(gè)性化反饋模式的核心在于構(gòu)建學(xué)習(xí)者模型,可以結(jié)合本體論或者開展多輪人機(jī)對(duì)話實(shí)現(xiàn);人機(jī)協(xié)同反饋模式是實(shí)現(xiàn)教師反饋與計(jì)算機(jī)反饋互補(bǔ)互助,提升反饋全面性的有效途徑,但兩者如何協(xié)同作用、分擔(dān)反饋職責(zé)等問(wèn)題仍需要在課堂實(shí)踐中進(jìn)一步探索。對(duì)于反饋效果的分析表明,即使是經(jīng)過(guò)良好設(shè)計(jì)的反饋,也必須在真實(shí)課堂情境中開展實(shí)踐,厘清作用機(jī)制和干擾因素,才能發(fā)揮反饋的作用。

    第三,反饋系統(tǒng)架構(gòu)分為輸入層、分析層、推理生成層,它們與學(xué)習(xí)者模型、專家模型、領(lǐng)域模型相互作用,實(shí)現(xiàn)個(gè)性化反饋。首先,輸入層與分析層的數(shù)據(jù)反映學(xué)習(xí)者當(dāng)前認(rèn)知水平、任務(wù)進(jìn)展以及其他信息,不斷促進(jìn)學(xué)習(xí)者模型的生成與更新;學(xué)習(xí)者模型、專家模型與領(lǐng)域模型中的數(shù)據(jù)影響反饋決策生成,包括內(nèi)容、形式、頻率等,使得系統(tǒng)在學(xué)習(xí)者產(chǎn)生不同問(wèn)題時(shí)能夠提供個(gè)性化的反饋。學(xué)習(xí)分析過(guò)程可以采用貝葉斯知識(shí)追蹤、動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)、決策樹等成熟的算法模型,為反饋決策提供依據(jù)。

    盡管智能技術(shù)在優(yōu)化教學(xué)反饋上具有巨大的潛力,但它們無(wú)法完全替代教師在教學(xué)反饋中的價(jià)值,在實(shí)際教學(xué)中兩者如何最大程度地發(fā)揮各自優(yōu)勢(shì),這個(gè)問(wèn)題最終指向“人機(jī)協(xié)同”話題,且伴隨著ChatGPT等生成式人工智能應(yīng)用的介入,智能反饋的內(nèi)涵將會(huì)進(jìn)一步擴(kuò)展,由此引發(fā)的一系列問(wèn)題都值得進(jìn)一步探索。基于此,未來(lái)研究中,一是可以進(jìn)一步建立動(dòng)態(tài)的、個(gè)性化的智能教學(xué)反饋機(jī)制,明確反饋?zhàn)饔寐窂?;二是?yīng)優(yōu)化智能反饋的算法模型,提升反饋的精確性。同時(shí)在課堂中可以使用已開發(fā)的智能反饋系統(tǒng)工具逐步開展實(shí)踐,探索人機(jī)融合、協(xié)同反饋的新模式,促進(jìn)計(jì)算機(jī)與教師、學(xué)生協(xié)同交互,共同提升反饋效果。

    參考文獻(xiàn):

    [1]董艷,李心怡,鄭婭峰等(2021).智能教育應(yīng)用的人機(jī)雙向反饋:機(jī)理、模型與實(shí)施原則[J].開放教育研究,27(2):26-33.

    [2]何克抗(2017).對(duì)反饋內(nèi)涵的深層認(rèn)知和有效反饋的規(guī)劃設(shè)計(jì)——美國(guó)《教育傳播與技術(shù)研究手冊(cè)(第四版)》讓我們深受啟發(fā)的亮點(diǎn)之二[J].中國(guó)電化教育,(5):1-7,14.

    [3]黃甫全,游景如,涂麗娜等(2017).系統(tǒng)性文獻(xiàn)綜述法:案例、步驟與價(jià)值[J].電化教育研究,38(11):11-18,25.

    [4]李艷,劉淑君,李小麗等(2022).人機(jī)協(xié)同作文評(píng)價(jià)能促進(jìn)寫作教學(xué)嗎?——來(lái)自Z校拓展課的證據(jù)[J].現(xiàn)代遠(yuǎn)程教育研究,34(1):63-74.

    [5]田嵩(2018).開放話語(yǔ)課堂環(huán)境構(gòu)建及實(shí)效驗(yàn)證[J].現(xiàn)代遠(yuǎn)程教育研究,30(3):104-112.

    [6]王偉東,金義富(2015).一對(duì)一數(shù)字化互動(dòng)反饋智能課堂學(xué)習(xí)環(huán)境研究[J].中國(guó)電化教育,342(7):55-59.

    [7]吳巖(2023).打造引領(lǐng)世界高等教育數(shù)字化發(fā)展風(fēng)向標(biāo)——《無(wú)限的可能:世界高等教育數(shù)字化發(fā)展報(bào)告》序言一[J].中國(guó)教育信息化,29(1):3-4.

    [8]曾凡智,許露倩,周燕等(2022).面向智慧教育的知識(shí)追蹤模型研究綜述[J].計(jì)算機(jī)科學(xué)與探索,16(8):1742-1763.

    [9]張登博,劉明(2021).智能反思寫作反饋系統(tǒng)的設(shè)計(jì)與應(yīng)用[J].現(xiàn)代教育技術(shù),31(11):96-103.

    [10]張立山,馮碩,李亭亭(2021).面向課堂教學(xué)評(píng)價(jià)的形式化建模與智能計(jì)算[J].現(xiàn)代遠(yuǎn)程教育研究,33(1):13-25.

    [11]張濤,張思(2020).教育大數(shù)據(jù)挖掘的學(xué)習(xí)者模型設(shè)計(jì)與計(jì)算研究[J].電化教育研究,41(9):61-67.

    [12]Ai, H. (2017). Providing Graduated Corrective Feedback in an Intelligent Computer-Assisted Language Learning Environment[J]. ReCALL, 29(3):313-334.

    [13]Arguedas, M., & Daradoumis, T. (2021). Analysing the Role of a Pedagogical Agent in Psychological and Cognitive Preparatory Activities[J]. Journal of Computer Assisted Learning, 37(4):1167-1180.

    [14]Balzer, W. K., Doherty, M. E. & OConnor, R., Jr. (1989). Effects of Cognitive Feedback on Performance[J]. Psychological Bulletin, 106(3):410-433.

    [15]Beaumont, C., ODoherty, M., & Shannon, L. (2011). Reconceptualising Assessment Feedback: A Key to Improving Student Learning?[J]. Studies in Higher Education, 36(6):671-687.

    [16]Belcadhi, L. C. (2016). Personalized Feedback for Self Assessment in Lifelong Learning Environments Based on Semantic Web[J]. Computers in Human Behavior, 55:562-570.

    [17]Boud, D., & Molloy, E. (2013). Rethinking Models of Feedback for Learning: The Challenge of Design[J]. Assessment & Evaluation in Higher Education, 38(6):698-712.

    [18]Bringula, R. P., Fosgate Jr, I. C. O., & Garcia, N. P. R. et al. (2018). Effects of Pedagogical Agents on Students Mathematics Performance: A Comparison Between Two Versions[J]. Journal of Educational Computing Research, 56(5):701-722.

    [19]Bush, J. B. (2021). Software-Based Intervention with Digital Manipulatives to Support Student Conceptual Understandings of Fractions[J]. British Journal of Educational Technology, 52(6):2299-2318.

    [20]Cabestrero, R., Quirós, P., & Santos, O. C. et al. (2018). Some Insights into the Impact of Affective Information When Delivering Feedback to Students[J]. Behaviour & Information Technology, 37(12):1252-1263.

    [21]Chen, X., Breslow, L., & DeBoer, J. (2018). Analyzing Productive Learning Behaviors for Students Using Immediate Corrective Feedback in a Blended Learning Environment[J]. Computers & Education, 117:59-74.

    [22]Chiu, C. K., & Tseng, J. C. (2021). A Bayesian Classification Network-Based Learning Status Management System in an Intelligent Classroom[J]. Educational Technology & Society, 24(3):256-267.

    [23]Crow, T., Luxton-Reilly, A., & Wuensche, B. (2018). Intelligent Tutoring Systems for Programming Education: A Systematic Review[C]// ACE 2018: 20th Australasian Computing Education Conference. New York: Association for Computing Machinery:53-62.

    [24]Demaidi, M. N., Gaber, M. M., & Filer, N. (2018). OntoPeFeGe: Ontology-Based Personalized Feedback Generator[J]. IEEE Access, 6:31644-31664.

    [25]Demir, ?. (2020). The Effect of Using Negative Knowledge Based Intelligent Tutoring System Evaluator Software to the Academic Success in English Language Education[J]. Pedagogies: An International Journal, 15(4):245-261.

    [26]Duffy, M. C., & Azevedo, R. (2015). Motivation Matters: Interactions Between Achievement Goals and Agent Scaffolding for Self-Regulated Learning Within an Intelligent Tutoring System[J]. Computers in Human Behavior, 52:338-348.

    [27]Esterhazy, R., & Damsa, C. (2019). Unpacking the Feedback Process: An Analysis of Undergraduate StudentsInteractional Meaning-Making of Feedback Comments[J]. Studies in Higher Education, 44(2):260-274.

    [28]Grawemeyer, B., Mavrikis, M., & Holmes, W. et al. (2017). Affective Learning: Improving Engagement and Enhancing Learning with Affect-Aware Feedback[J]. User Modeling and User-Adapted Interaction, 27:119-158.

    [29]Hattie, J., & Timperley, H. (2007). The Power of Feedback[J]. Review of Educational Research, 77(1):81-112.

    [30]Hayati, H., Khalidi Idrissi, M., & Bennani, S. (2020). Automatic Classification for Cognitive Engagement in Online Discussion Forums: Text Mining and Machine Learning Approach[C]// Bittencourt, I. I., Cukurova, M., & Muldner, K. et al. (Eds.). Artificial Intelligence in Education: 21st International Conference. Morocco: AIED 2020:114-118.

    [31]Hung, W. C., Smith, T. J., & Smith, M. C. (2015). Design and Usability Assessment of a Dialogue-Based Cognitive Tutoring System to Model Expert Problem Solving in Research Design[J]. British Journal of Educational Technology, 46(1):82-97.

    [32]Jensen, L. X., Bearman, M., & Boud, D. (2021). Understanding Feedback in Online Learning-A Critical Review and Metaphor Analysis[J]. Computers & Education, 173:104271.

    [33]Jiménez, S., Juárez-Ramírez, R., & Castillo, V. et al. (2018). A Feedback System to Provide Affective Support to Students[J]. Computer Applications in Engineering Education, 26(3):473-483.

    [34]Kang, E., & Han, Z. (2015). The Efficacy of Written Corrective Feedback in Improving L2 Written Accuracy: A Meta-Analysis[J].The Modern Language Journal, 99(1):1-18.

    [35]Lallé, S., & Conati, C. (2020). A Data-Driven Student Model to Provide Adaptive Support During Video Watching Across MOOCs[C]// Bittencourt, I. I., Cukurova, M., & Muldner, K. et al. (Eds.). Artificial Intelligence in Education: 21st International Conference. Morocco: AIED 2020:282-295.

    [36]Lee, H. S., Gweon, G. H., & Lord, T. et al. (2021). Machine Learning-Enabled Automated Feedback: Supporting StudentsRevision of Scientific Arguments Based on Data Drawn from Simulation[J]. Journal of Science Education and Technology, 30:168-192.

    [37]Lehman, B., Gu, L., & Zhao, J. et al. (2020). Use of Adaptive Feedback in an App for English Language Spontaneous Speech[C]// Bittencourt, I. I., Cukurova, M., & Muldner, K. et al. (Eds.). Artificial Intelligence in Education. Morocco: AIED 2020:309-320.

    [38]Martinez-Maldonado, R. (2019). A Handheld Classroom Dashboard: TeachersPerspectives on the Use of Real-Time Collaborative Learning Analytics[J]. International Journal of Computer-Supported Collaborative Learning, 14(3):383-411.

    [39]Mitrovic, A., Ohlsson, S., & Barrow, D. K. (2013). The Effect of Positive Feedback in A Constraint-Based Intelligent Tutoring System[J]. Computers & Education, 60(1):264-272.

    [40]Mousavinasab, E., Zarifsanaiey, N., & Niakan Kalhori, S. et al. (2021). Intelligent Tutoring Systems: A Systematic Review of Characteristics, Applications, and Evaluation Methods[J]. Interactive Learning Environments, 29(1):142-163.

    [41]Narciss, S., Sosnovsky, S., & Schnaubert, L. et al. (2014). Exploring Feedback and Student Characteristics Relevant for Personalizing Feedback Strategies[J]. Computers & Education, 71:56-76.

    [42]Price, M., Handley, K., & Millar, J. et al. (2010). Feedback: All That Effort, but What Is the Effect?[J]. Assessment & Evaluation in Higher Education, 35(3):277-289.

    [43]Pu, S., Yudelson, M., & Ou, L. et al. (2020). Deep Knowledge Tracing with Transformers[C]// Bittencourt, I. I., Cukurova, M., & Muldner, K. et al. (Eds.). Artificial Intelligence in Education. Morocco: AIED 2020:252-256.

    [44]Rajendran, R., Iyer, S., & Murthy, S. (2019). Personalized Affective Feedback to Address Students Frustration in ITS[J]. IEEE Transactions on Learning Technologies, 12(1):87-97.

    [45]Ramaprasad, A. (1983). On the Definition of Feedback[J]. Behavioral Science, 28(1):4-13.

    [46]Sun, J. C. Y., Yu, S. J., & Chao, C. H. (2019). Effects of Intelligent Feedback on Online Learners Engagement and Cognitive Load: The Case of Research Ethics Education[J]. Educational Psychology, 39(10):1293-1310.

    [47]Sung, Y. T., Liao, C. N., & Chang, T. H. et al. (2016). The Effect of Online Summary Assessment and Feedback System on the Summary Writing on 6th Graders: The LSA-Based Technique[J]. Computers & Education, 95:1-18.

    [48]Tacoma, S., Drijvers, P., & Jeuring, J. (2020). Combined Inner and Outer Loop Feedback in An Intelligent Tutoring System for Statistics in Higher Education[J]. Journal of Computer Assisted Learning, 37(2):319-332.

    [49]Tausczik, Y. R., & Pennebaker, J. W. (2013). Improving Teamwork Using Real-Time Language Feedback[C]// CHI: Conference on Human Factors in Computing Systems. New York: Association for Computing Machinery:459-468.

    [50]Uto, M., & Okano, M. (2020). Robust Neural Automated Essay Scoring Using Item Response Theory[C]// Bittencourt, I. I., Cukurova, M., & Muldner, K. et al. (Eds.). Artificial Intelligence in Education: 21st International Conference. Morocco: AIED 2020:549-561.

    [51]Wolff, A., Mulholland, P., & Zdrahal, Z. (2014). Using Machine-Learning and Visualisation to Facilitate Learner Interpretation of Source Material[J]. Interactive Learning Environments, 22(6):771-788.

    [52]Xie, T., Liu, R., & Chen, Y.et al. (2021). MOCA: A Motivational Online Conversational Agent for Improving Student Engagement in Collaborative Learning[J]. IEEE Transactions on Learning Technologies, 14(5):653-664.

    [53]Zhao, H., Wang, W., & Huang, Y. (2020). A Cognitive Analysis of An English Reading Test Through the G-DINA Model[C]// 2020 2nd International Conference on Applied Machine Learning and Data Science. UK: IOP Publishing:1629:12-37.

    收稿日期 2022-12-20責(zé)任編輯 李鑫

    Abstract: Feedback is an indispensable element of effective teaching and learning, and the rise of intelligent technologies in education has brought new possibilities for formative and personalized feedback. A systematic review of related research can provide guidance for the design, development and application of intelligent feedback systems. An analysis of the current state of research on intelligent technology-enabled feedback in terms of objectives, mechanisms of action, and system architecture has revealed that intelligent technology-based feedback aims to bring positive effects on learnerscognition, emotions and attitudes, and metacognition in order to motivate learners to improve their current states and learning outcomes. At the level of feedback mechanism, an automatic feedback based on correct and incorrect responses usually adopts a rule-based matching model to trigger feedback by comparing correct and incorrect answers; the key to personalized feedback is to build a learner model to adapt feedback to different studentscharacteristics and to realize personalized feedback by combining ontology or using multiple rounds of human-computer dialogue; a human-computer collaborative feedback can be achieved by realizing interaction and complementarity between teachers, students and computers. At the system architecture level, the feedback system consists of three layers: input layer, analysis layer and inference generation layer, generating feedback decisions through a series of algorithmic models and feedback mechanisms, whose interactions with learner models, expert models and domain models determine the degree of accuracy and adaptability of teaching feedback.

    Keywords: Intelligent Technology; Instructional Feedback; Feedback Goals; Feedback Mechanism; Human-Computer Collaboration

    猜你喜歡
    人機(jī)協(xié)同反饋機(jī)制教學(xué)反饋
    人工智能環(huán)境下新聞報(bào)道的新趨勢(shì)
    大觀(2017年10期)2017-12-19 09:20:21
    從NLG到機(jī)器新聞寫作
    今傳媒(2017年10期)2017-11-04 16:23:12
    “預(yù)檢展評(píng)測(cè)”教學(xué)模式研究
    考試周刊(2017年7期)2017-02-06 21:12:57
    大學(xué)生課程考試反饋機(jī)制的研究
    考試周刊(2017年4期)2017-01-19 15:09:32
    如何打造初中生物優(yōu)質(zhì)課堂
    將“旋律——感受”反饋機(jī)制融入中學(xué)生物課堂的嘗試
    淺析信息系統(tǒng)項(xiàng)目管理中的溝通管理
    高中物理課提高學(xué)生自主學(xué)習(xí)能力的教學(xué)模式初探
    考試周刊(2016年32期)2016-05-28 20:51:43
    數(shù)據(jù)結(jié)構(gòu)課堂上教學(xué)信息反饋機(jī)制研究
    在初中英語(yǔ)教學(xué)中如何提高學(xué)困生的學(xué)習(xí)效率
    性色avwww在线观看| 日本-黄色视频高清免费观看| 亚洲不卡免费看| 成人18禁高潮啪啪吃奶动态图 | 边亲边吃奶的免费视频| 伦精品一区二区三区| 99久久人妻综合| 建设人人有责人人尽责人人享有的 | 精品人妻视频免费看| 免费观看在线日韩| 熟女电影av网| 国产精品久久久久久久久免| 免费观看无遮挡的男女| 亚洲国产欧美在线一区| 免费观看a级毛片全部| 男人舔奶头视频| 亚洲欧美精品自产自拍| 色网站视频免费| 久久久欧美国产精品| av在线老鸭窝| 国产69精品久久久久777片| 国产 精品1| 性色avwww在线观看| 免费观看无遮挡的男女| 九九久久精品国产亚洲av麻豆| 亚洲经典国产精华液单| 日韩一区二区视频免费看| 日韩电影二区| 亚洲美女搞黄在线观看| 熟妇人妻不卡中文字幕| 美女高潮的动态| 国产精品99久久99久久久不卡 | 欧美精品一区二区免费开放| 国产精品一区二区在线观看99| 免费黄频网站在线观看国产| 国产乱来视频区| 高清欧美精品videossex| 国产av国产精品国产| 男女边吃奶边做爰视频| 久久久久久伊人网av| 26uuu在线亚洲综合色| 亚洲熟女精品中文字幕| 久久99精品国语久久久| 亚洲一区二区三区欧美精品| 亚洲av欧美aⅴ国产| 午夜福利网站1000一区二区三区| 亚洲欧美精品自产自拍| 日本-黄色视频高清免费观看| 精品国产一区二区三区久久久樱花 | 国产人妻一区二区三区在| 亚洲va在线va天堂va国产| 97热精品久久久久久| 18禁裸乳无遮挡免费网站照片| 国产免费一区二区三区四区乱码| 好男人视频免费观看在线| 嫩草影院入口| 成人无遮挡网站| 欧美日韩国产mv在线观看视频 | 伊人久久国产一区二区| 亚洲成人一二三区av| 成年免费大片在线观看| 亚洲欧美日韩另类电影网站 | 国产精品99久久99久久久不卡 | 在线观看三级黄色| 亚洲av.av天堂| 日韩大片免费观看网站| 亚洲伊人久久精品综合| 少妇丰满av| 亚洲综合色惰| 丰满乱子伦码专区| 日本-黄色视频高清免费观看| 99视频精品全部免费 在线| 久久久久国产网址| 亚洲欧美日韩东京热| .国产精品久久| 夫妻性生交免费视频一级片| 美女脱内裤让男人舔精品视频| 免费观看av网站的网址| 免费观看在线日韩| 久久热精品热| freevideosex欧美| 亚洲精品亚洲一区二区| 国产精品国产三级专区第一集| 汤姆久久久久久久影院中文字幕| 国产真实伦视频高清在线观看| 亚洲欧美日韩无卡精品| 亚洲熟女精品中文字幕| 日韩精品有码人妻一区| 国产精品av视频在线免费观看| 视频区图区小说| 少妇人妻 视频| 久久久午夜欧美精品| 午夜福利高清视频| 男的添女的下面高潮视频| 国产av码专区亚洲av| 亚洲av二区三区四区| 网址你懂的国产日韩在线| 美女中出高潮动态图| 老师上课跳d突然被开到最大视频| 国产69精品久久久久777片| 亚洲精品中文字幕在线视频 | 日本vs欧美在线观看视频 | 亚洲精品日韩av片在线观看| 午夜日本视频在线| 蜜臀久久99精品久久宅男| 亚洲精品,欧美精品| 最黄视频免费看| 日韩中字成人| 亚洲国产av新网站| 色婷婷av一区二区三区视频| 少妇人妻久久综合中文| 国产男人的电影天堂91| 日韩av免费高清视频| 黑人猛操日本美女一级片| 噜噜噜噜噜久久久久久91| av在线播放精品| 王馨瑶露胸无遮挡在线观看| 一区二区三区免费毛片| 一级毛片我不卡| 国产老妇伦熟女老妇高清| 日韩一区二区三区影片| 丝瓜视频免费看黄片| 99热这里只有精品一区| 直男gayav资源| 国产日韩欧美在线精品| 欧美高清成人免费视频www| 亚洲人成网站在线观看播放| 久久av网站| 久久女婷五月综合色啪小说| 久久国产精品大桥未久av | 色5月婷婷丁香| 99国产精品免费福利视频| 成人亚洲精品一区在线观看 | 精华霜和精华液先用哪个| 少妇丰满av| 各种免费的搞黄视频| 99九九线精品视频在线观看视频| 天美传媒精品一区二区| 嫩草影院入口| 亚洲欧美中文字幕日韩二区| 狂野欧美白嫩少妇大欣赏| 国产无遮挡羞羞视频在线观看| 亚洲不卡免费看| 免费看av在线观看网站| 九九爱精品视频在线观看| 老熟女久久久| 亚洲丝袜综合中文字幕| 精品酒店卫生间| 在线看a的网站| 国产午夜精品久久久久久一区二区三区| 亚洲成人中文字幕在线播放| 亚洲av.av天堂| 中国国产av一级| 男男h啪啪无遮挡| 亚洲四区av| 91精品国产九色| 中文字幕免费在线视频6| 久久久久久久亚洲中文字幕| 日韩人妻高清精品专区| 免费观看在线日韩| 看非洲黑人一级黄片| 亚洲一级一片aⅴ在线观看| 99九九线精品视频在线观看视频| 能在线免费看毛片的网站| 国产黄色视频一区二区在线观看| 国产一级毛片在线| 日韩视频在线欧美| 成人高潮视频无遮挡免费网站| 看免费成人av毛片| 天堂俺去俺来也www色官网| 日日啪夜夜爽| 国产伦理片在线播放av一区| 国产精品一区二区三区四区免费观看| 国产日韩欧美在线精品| h视频一区二区三区| 国产成人freesex在线| 欧美日韩一区二区视频在线观看视频在线| 久久久亚洲精品成人影院| 日日撸夜夜添| 亚洲国产精品一区三区| 久久99热这里只频精品6学生| 色婷婷久久久亚洲欧美| 亚洲av综合色区一区| 国产日韩欧美在线精品| 伊人久久精品亚洲午夜| 夜夜看夜夜爽夜夜摸| av播播在线观看一区| 高清日韩中文字幕在线| 一级毛片电影观看| 好男人视频免费观看在线| 老司机影院成人| 中文字幕制服av| h视频一区二区三区| 女人久久www免费人成看片| 国产永久视频网站| 久久久久精品久久久久真实原创| 精品久久久久久久久av| 亚洲精品久久午夜乱码| 热99国产精品久久久久久7| 精品久久久久久久末码| 毛片女人毛片| 最后的刺客免费高清国语| 我要看黄色一级片免费的| 热re99久久精品国产66热6| 香蕉精品网在线| 日韩在线高清观看一区二区三区| 欧美区成人在线视频| 久久国产乱子免费精品| 免费久久久久久久精品成人欧美视频 | 能在线免费看毛片的网站| 日韩 亚洲 欧美在线| 蜜桃久久精品国产亚洲av| 精品一品国产午夜福利视频| 日韩成人伦理影院| 老司机影院毛片| 91午夜精品亚洲一区二区三区| 日本色播在线视频| 中国三级夫妇交换| 舔av片在线| 国产亚洲精品久久久com| 在线免费观看不下载黄p国产| 国产v大片淫在线免费观看| 又黄又爽又刺激的免费视频.| 另类亚洲欧美激情| 黄色配什么色好看| 永久免费av网站大全| 国产一区二区三区av在线| 日日撸夜夜添| 国产精品免费大片| 欧美zozozo另类| 欧美精品亚洲一区二区| 狠狠精品人妻久久久久久综合| 大又大粗又爽又黄少妇毛片口| 国产探花极品一区二区| 日本-黄色视频高清免费观看| 国产午夜精品久久久久久一区二区三区| 我的女老师完整版在线观看| 国产视频首页在线观看| 六月丁香七月| 欧美精品亚洲一区二区| 九九爱精品视频在线观看| 18+在线观看网站| h日本视频在线播放| 交换朋友夫妻互换小说| 五月伊人婷婷丁香| 亚洲国产精品专区欧美| 搡老乐熟女国产| 精品久久久精品久久久| 日本黄色片子视频| 精品亚洲成a人片在线观看 | 2022亚洲国产成人精品| 亚洲美女视频黄频| 亚洲欧洲日产国产| 成人无遮挡网站| 18禁裸乳无遮挡免费网站照片| 夜夜骑夜夜射夜夜干| 亚洲va在线va天堂va国产| 色婷婷久久久亚洲欧美| 国产欧美日韩一区二区三区在线 | 只有这里有精品99| 我的女老师完整版在线观看| 久久99热这里只频精品6学生| 国产老妇伦熟女老妇高清| 国产精品久久久久久久久免| 久久久久国产网址| 成人一区二区视频在线观看| 在线观看人妻少妇| 久久亚洲国产成人精品v| 人体艺术视频欧美日本| 久久99蜜桃精品久久| 菩萨蛮人人尽说江南好唐韦庄| 成人漫画全彩无遮挡| 国产精品久久久久成人av| 国产精品伦人一区二区| 美女中出高潮动态图| av天堂中文字幕网| 久久国产乱子免费精品| 黑人猛操日本美女一级片| 一级毛片我不卡| 久热久热在线精品观看| 国产在线一区二区三区精| 国产又色又爽无遮挡免| 黑丝袜美女国产一区| 日本色播在线视频| 丰满迷人的少妇在线观看| 五月天丁香电影| 国产爽快片一区二区三区| 欧美变态另类bdsm刘玥| 免费观看在线日韩| 日本av免费视频播放| 成人特级av手机在线观看| 五月天丁香电影| 亚洲国产毛片av蜜桃av| 久久久久国产网址| 亚洲欧美日韩无卡精品| a级毛片免费高清观看在线播放| 啦啦啦视频在线资源免费观看| 一区二区三区乱码不卡18| 乱系列少妇在线播放| av在线老鸭窝| 大陆偷拍与自拍| 亚洲激情五月婷婷啪啪| 日本wwww免费看| 欧美日韩视频高清一区二区三区二| 日韩欧美精品免费久久| 青春草国产在线视频| 成年女人在线观看亚洲视频| 波野结衣二区三区在线| 日本与韩国留学比较| 啦啦啦在线观看免费高清www| 91精品国产国语对白视频| 国产精品熟女久久久久浪| 亚洲精品国产av蜜桃| 亚洲久久久国产精品| 国产极品天堂在线| 精品一区二区免费观看| 偷拍熟女少妇极品色| 免费黄色在线免费观看| 国产淫语在线视频| 全区人妻精品视频| 九九久久精品国产亚洲av麻豆| 久久国产亚洲av麻豆专区| 最近2019中文字幕mv第一页| 精品一品国产午夜福利视频| 九九在线视频观看精品| 边亲边吃奶的免费视频| 亚洲天堂av无毛| 天堂8中文在线网| 亚洲婷婷狠狠爱综合网| 国产精品国产三级国产专区5o| 99热这里只有精品一区| 久久精品国产亚洲av涩爱| 久久久亚洲精品成人影院| 在线观看三级黄色| 99久久精品国产国产毛片| 观看免费一级毛片| 大香蕉久久网| 五月伊人婷婷丁香| 免费观看性生交大片5| 91精品国产九色| 内射极品少妇av片p| 精品人妻视频免费看| 色哟哟·www| 日韩免费高清中文字幕av| 99久久人妻综合| 看十八女毛片水多多多| 精华霜和精华液先用哪个| av又黄又爽大尺度在线免费看| 欧美zozozo另类| av黄色大香蕉| 成人毛片a级毛片在线播放| 久久久久人妻精品一区果冻| 麻豆精品久久久久久蜜桃| 人妻制服诱惑在线中文字幕| 亚洲真实伦在线观看| 偷拍熟女少妇极品色| 国产精品伦人一区二区| 少妇的逼水好多| 国产女主播在线喷水免费视频网站| 亚洲自偷自拍三级| 99久久精品国产国产毛片| 日韩视频在线欧美| 三级国产精品欧美在线观看| 一本色道久久久久久精品综合| 精品久久久久久久久av| 18禁裸乳无遮挡动漫免费视频| 自拍偷自拍亚洲精品老妇| 三级经典国产精品| 国产精品麻豆人妻色哟哟久久| 丝袜脚勾引网站| 国产精品女同一区二区软件| 国产精品久久久久成人av| 精品人妻一区二区三区麻豆| 免费av不卡在线播放| 99热网站在线观看| 日本欧美国产在线视频| 国产色婷婷99| 在线看a的网站| 久久久精品94久久精品| 国产精品一二三区在线看| 欧美老熟妇乱子伦牲交| 日本色播在线视频| 女人十人毛片免费观看3o分钟| 国产精品蜜桃在线观看| 国产在线免费精品| 日韩制服骚丝袜av| 国产片特级美女逼逼视频| 欧美高清性xxxxhd video| av天堂中文字幕网| av免费在线看不卡| 亚洲欧美清纯卡通| 国产成人a区在线观看| 高清黄色对白视频在线免费看 | 国语对白做爰xxxⅹ性视频网站| 高清毛片免费看| 国产白丝娇喘喷水9色精品| 久久久久久伊人网av| 中文字幕精品免费在线观看视频 | 久久99热这里只频精品6学生| 精品亚洲成a人片在线观看 | 国产欧美另类精品又又久久亚洲欧美| 毛片女人毛片| 精品一品国产午夜福利视频| 免费高清在线观看视频在线观看| 一级毛片久久久久久久久女| 18禁动态无遮挡网站| 色综合色国产| 观看av在线不卡| 青春草亚洲视频在线观看| 最近的中文字幕免费完整| 国产成人一区二区在线| 久久久午夜欧美精品| 国产精品一区二区在线不卡| 久久精品夜色国产| 色综合色国产| 国产成人精品婷婷| 秋霞在线观看毛片| 欧美+日韩+精品| 少妇人妻 视频| 99久久综合免费| 丝袜喷水一区| 欧美精品一区二区大全| 久久久久久久精品精品| 久久久久久久亚洲中文字幕| 只有这里有精品99| 91精品伊人久久大香线蕉| 久久国产精品男人的天堂亚洲 | 久热这里只有精品99| 国产精品成人在线| 国产精品久久久久久av不卡| 老女人水多毛片| 亚洲精品视频女| 日韩欧美精品免费久久| 国产乱人偷精品视频| 在线观看免费日韩欧美大片 | 嘟嘟电影网在线观看| 国产精品.久久久| 又粗又硬又长又爽又黄的视频| 国产片特级美女逼逼视频| 国产毛片在线视频| 啦啦啦在线观看免费高清www| 久久久久久久大尺度免费视频| 免费av不卡在线播放| 男女边吃奶边做爰视频| 如何舔出高潮| 亚洲第一区二区三区不卡| 国产精品爽爽va在线观看网站| 国产日韩欧美亚洲二区| 亚洲国产高清在线一区二区三| 久久久精品94久久精品| 99久久人妻综合| 国内少妇人妻偷人精品xxx网站| 日产精品乱码卡一卡2卡三| 少妇的逼好多水| 欧美成人午夜免费资源| 三级国产精品欧美在线观看| 欧美zozozo另类| av视频免费观看在线观看| 少妇被粗大猛烈的视频| 午夜激情福利司机影院| 亚洲,欧美,日韩| 草草在线视频免费看| 国内精品宾馆在线| 欧美激情国产日韩精品一区| 高清日韩中文字幕在线| 97精品久久久久久久久久精品| 夫妻性生交免费视频一级片| 久久久国产一区二区| 国产精品伦人一区二区| 欧美最新免费一区二区三区| 中文精品一卡2卡3卡4更新| 久久99热6这里只有精品| 国产黄片美女视频| 国产精品欧美亚洲77777| 国产91av在线免费观看| 人妻夜夜爽99麻豆av| 一级毛片 在线播放| 老司机影院成人| 国产一区二区三区综合在线观看 | 中文字幕免费在线视频6| 1000部很黄的大片| 国产精品女同一区二区软件| 尤物成人国产欧美一区二区三区| 91久久精品电影网| 日本爱情动作片www.在线观看| 亚洲av成人精品一区久久| 国产永久视频网站| 18禁在线无遮挡免费观看视频| 午夜免费男女啪啪视频观看| 日韩不卡一区二区三区视频在线| 在现免费观看毛片| 日韩在线高清观看一区二区三区| 久久精品国产自在天天线| 丝袜脚勾引网站| 久久久久久久久久久免费av| 国产视频首页在线观看| av黄色大香蕉| 哪个播放器可以免费观看大片| av卡一久久| 亚洲无线观看免费| 一级a做视频免费观看| 91精品国产九色| 久久国产精品大桥未久av | 寂寞人妻少妇视频99o| 一级二级三级毛片免费看| 国产成人a区在线观看| 26uuu在线亚洲综合色| 国产在视频线精品| 亚洲欧美成人精品一区二区| 日本wwww免费看| 国产视频内射| 一级毛片黄色毛片免费观看视频| 色视频在线一区二区三区| av在线老鸭窝| 久久99精品国语久久久| 日韩免费高清中文字幕av| 80岁老熟妇乱子伦牲交| 亚洲av.av天堂| 国产中年淑女户外野战色| 美女脱内裤让男人舔精品视频| 日韩中文字幕视频在线看片 | 看免费成人av毛片| 一级毛片电影观看| 欧美日韩亚洲高清精品| 男的添女的下面高潮视频| 久久久久久久精品精品| 观看免费一级毛片| 女人久久www免费人成看片| 男女下面进入的视频免费午夜| 妹子高潮喷水视频| 成年美女黄网站色视频大全免费 | 欧美成人精品欧美一级黄| 欧美xxⅹ黑人| 啦啦啦视频在线资源免费观看| 丝袜喷水一区| freevideosex欧美| 国产免费视频播放在线视频| 美女中出高潮动态图| 精品人妻视频免费看| 久久国内精品自在自线图片| 久久精品国产亚洲av涩爱| 自拍欧美九色日韩亚洲蝌蚪91 | 色哟哟·www| 18禁动态无遮挡网站| 亚洲精品乱码久久久久久按摩| 能在线免费看毛片的网站| 亚洲最大成人中文| 高清av免费在线| 国产久久久一区二区三区| 免费高清在线观看视频在线观看| 我要看黄色一级片免费的| 亚洲中文av在线| 亚洲国产精品一区三区| 男女无遮挡免费网站观看| 欧美亚洲 丝袜 人妻 在线| 在现免费观看毛片| 尾随美女入室| 国产国拍精品亚洲av在线观看| 日本黄色片子视频| 三级国产精品欧美在线观看| 亚洲aⅴ乱码一区二区在线播放| 国产精品不卡视频一区二区| 免费观看a级毛片全部| 免费看av在线观看网站| 欧美最新免费一区二区三区| 日本爱情动作片www.在线观看| 免费看不卡的av| 日韩强制内射视频| 国产又色又爽无遮挡免| 大码成人一级视频| 国产在线一区二区三区精| 久久久久精品久久久久真实原创| 久久99热6这里只有精品| av在线蜜桃| 女人十人毛片免费观看3o分钟| 人人妻人人看人人澡| 国产精品一及| 亚洲精品456在线播放app| 1000部很黄的大片| 六月丁香七月| 国产在线男女| 亚洲av福利一区| 久久久久久久亚洲中文字幕| 亚洲精品色激情综合| 国产亚洲av片在线观看秒播厂| 99热国产这里只有精品6| 嘟嘟电影网在线观看| 中文天堂在线官网| 日本欧美国产在线视频| 黄色日韩在线| 一级毛片久久久久久久久女| 日韩视频在线欧美| 这个男人来自地球电影免费观看 | 一级毛片久久久久久久久女| 日本欧美视频一区| 一本色道久久久久久精品综合| 99热这里只有是精品50| 大码成人一级视频| 一个人免费看片子| 亚州av有码| 亚洲丝袜综合中文字幕| 黑人猛操日本美女一级片| 少妇的逼水好多| 男女国产视频网站| 国产成人一区二区在线| 超碰av人人做人人爽久久| 赤兔流量卡办理| av一本久久久久| 十八禁网站网址无遮挡 | 一级毛片黄色毛片免费观看视频| 亚洲色图综合在线观看| 欧美最新免费一区二区三区| 一本一本综合久久| 高清黄色对白视频在线免费看 | 最近的中文字幕免费完整|