• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于人工智能的課堂師生對話分析:IRE的自動分類與分水平構(gòu)建

    2023-10-18 00:28:51楊曉哲王晴晴蔣佳龍
    電化教育研究 2023年10期
    關(guān)鍵詞:師生對話機器學(xué)習(xí)人工智能

    楊曉哲 王晴晴 蔣佳龍

    [摘? ?要] 已有大量研究關(guān)注課堂中的師生對話,并對其進(jìn)行了不同類型的編碼與分析,但目前的編碼仍受到專業(yè)人員的水平與時間限制。為提高課堂對話編碼速度,實現(xiàn)自動化的課堂對話分類與即時反饋,采用人工智能技術(shù),利用神經(jīng)網(wǎng)絡(luò)分析模型對課堂中的提問、回答、反饋進(jìn)行自動編碼。研究發(fā)現(xiàn):該模型實現(xiàn)了基于語義的課堂對話質(zhì)量評估,能夠在短時間內(nèi)實現(xiàn)課堂師生對話中IRE模型的分水平評估,即對提問層次水平、回答層次水平和反饋層次水平進(jìn)行評估與分類;構(gòu)建了全面、快速、準(zhǔn)確的課堂對話評估方式,成為進(jìn)一步理解課堂中學(xué)習(xí)發(fā)生過程的關(guān)鍵環(huán)節(jié),為大規(guī)模課堂智能分析奠定重要基礎(chǔ)。

    [關(guān)鍵詞] 師生對話; 機器學(xué)習(xí); 自動分類; 人工智能

    [中圖分類號] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

    [作者簡介] 楊曉哲(1988—),男,福建泉州人。副教授,博士,主要從事教育信息化、信息科技、學(xué)習(xí)科學(xué)研究。E-mail:yangxz@vip.163.com。

    基金項目:國家社會科學(xué)基金2022年度教育學(xué)一般課題“中小學(xué)課堂智能分析的標(biāo)準(zhǔn)建構(gòu)與應(yīng)用研究”(課題編號:BHA220144)

    一、引? ?言

    課堂對話是課堂環(huán)境中發(fā)生的社會化建構(gòu)過程,也是課堂中進(jìn)行知識共享、構(gòu)建群體認(rèn)知的重要環(huán)節(jié)。對話有助于學(xué)生展開批判性思維,通過相互理解來加深學(xué)習(xí)效果。有效的課堂對話應(yīng)該發(fā)生在師生之間,并遵循目的性、互惠性、支持性和積累性的方式展開。然而,在真實的課堂教學(xué)中,對話質(zhì)量存在巨大差異,有時僅限于簡單的問答,沒有展開平等、深入和開放的對話過程。為了提高課堂對話的有效性,教師同伴之間采取相互觀察的方式,通過相互提醒和建議以改進(jìn)教學(xué)。教育研究者還利用課堂視頻錄像等方式進(jìn)行課堂對話編碼,以提高反饋的準(zhǔn)確性。然而,這種手動編碼方式耗時且難以為教師提供及時有效的反饋,對教學(xué)改進(jìn)的作用非常有限。因此,提高課堂對話編碼速度并實現(xiàn)即時反饋對于課堂對話自動分類至關(guān)重要。為此,本研究采用機器學(xué)習(xí)模型和人工智能技術(shù)對課堂師生對話進(jìn)行自動分類編碼。通過機器學(xué)習(xí)訓(xùn)練,實現(xiàn)對課堂師生對話的快速自動編碼,分析課堂師生對話的質(zhì)量,為教師改進(jìn)教學(xué)提供可行途徑。

    二、研究現(xiàn)狀與文獻(xiàn)綜述

    (一)課堂對話研究

    課堂對話是一種在課堂環(huán)境中教師與學(xué)生之間、學(xué)生與學(xué)生之間的多向交流互動,能夠增強知識理解與建構(gòu)。已有研究表明,有效的課堂對話能促進(jìn)學(xué)習(xí)成就的達(dá)成[1]。對于課堂對話模式分類的探索起源已久,研究者通過話語分析方法建立了分層描述框架,提出了“啟動—響應(yīng)—反饋(IRF)”結(jié)構(gòu)[2],這被認(rèn)為是課堂對話模式的經(jīng)典模型結(jié)構(gòu)。該結(jié)構(gòu)有助于區(qū)分課堂中對話的關(guān)聯(lián)與關(guān)系。之后,米恩(Mehan)采用民族志方法,對IRF結(jié)構(gòu)作了新的詮釋,提出IRE結(jié)構(gòu),即“教師啟動—學(xué)生回應(yīng)—教師評價”[3]。米恩強調(diào)了課堂對話中教師反饋對學(xué)生的評價作用??ㄆ濐D(Cazden)用民族志方法完善了IRE結(jié)構(gòu),豐富了其變式[4]。IRE對話框架自建立以來,一直作為課堂互動分析的重要結(jié)構(gòu)模型被廣泛地應(yīng)用。

    教師在教學(xué)中可以使用課堂對話來發(fā)展和鞏固學(xué)生的學(xué)習(xí),利用學(xué)生的已有知識并幫助學(xué)生成為獨立的學(xué)習(xí)者。史密斯(Smith)發(fā)現(xiàn),允許學(xué)生更多參與的課堂話語導(dǎo)致了更多的批判性思維和更好的學(xué)習(xí)效果[5]。麥考密克(McCormick)和多納托(Donato)分析了班會、教師日記、訪談等各種數(shù)據(jù)來源,發(fā)現(xiàn)教師在課堂對話中為學(xué)生學(xué)習(xí)提供了重要支架[6]。雖然課堂中對話的重要性得到認(rèn)可,但長期以來課堂對話存在兩個傾向:一是,教師對課堂中對話的重要性關(guān)注不足。沃林(Waring)的研究指出,在大量、連續(xù)的IRE指令下,學(xué)生的主動性很難被滿足,教師也很少讓學(xué)生自主地提出開放性的問題,這是造成課堂對話質(zhì)量與水平低下的原因之一[7]。二是,教師作為話語協(xié)調(diào)者,常常操縱和主導(dǎo)著課堂對話?;粑炙迹℉aworth)發(fā)現(xiàn),小學(xué)生在小組任務(wù)中進(jìn)行討論時,常模仿教師的話語模式,這限制了學(xué)生在討論中的自由[8]。因此,進(jìn)一步發(fā)展IRE對話的分類編碼,不僅應(yīng)關(guān)注結(jié)構(gòu),還需構(gòu)建結(jié)構(gòu)下的分水平編碼,這將成為深度理解課堂對話的關(guān)鍵。

    “對話式教學(xué)與學(xué)習(xí)”(Dialogic Teaching-and-Learning)這一概念由羅哈斯—德拉蒙德等人提出,他們發(fā)現(xiàn)參與者之間的對話式互動,即對話式教學(xué)與學(xué)習(xí)對教師和學(xué)生建構(gòu)知識的過程有很大的幫助[9]。“對話式教學(xué)與學(xué)習(xí)”尤其強調(diào)利用語言的力量來激發(fā)和擴展學(xué)生的理解、思考和學(xué)習(xí),并鼓勵學(xué)生公平地參與課堂對話。如此,課堂對話就既有教師課前預(yù)設(shè)的部分,也有課堂中生成的部分。課堂對話過程不全是教師設(shè)定好的問題,還包括教師在課堂中不斷生成的問題。學(xué)生參與對話的過程會改變和影響整個課堂對話的內(nèi)容與質(zhì)量。從“對話式教學(xué)與學(xué)習(xí)”的視角出發(fā),整個課堂對話的過程中,無論是提問、回答還是反饋,都可以呈現(xiàn)為不同的水平和層次。教師既可以提出簡單的、有標(biāo)準(zhǔn)答案的問題,也可以提出開放性的、需要推理回答的問題。開放性的對話能夠進(jìn)一步激發(fā)學(xué)習(xí)者元認(rèn)知和反思的過程。學(xué)生對于探討沒有標(biāo)準(zhǔn)答案的開放式問題表現(xiàn)出極大熱情,應(yīng)當(dāng)鼓勵學(xué)生對觀點進(jìn)行深入的闡釋、推理和論證[10]。對課堂對話質(zhì)量的研究備受關(guān)注,如克利巴德(Kliebard)等基于課堂話語將教學(xué)活動分為結(jié)構(gòu)化、誘導(dǎo)、回答和反饋,以此劃分一個個“話語周期”并得到 “師生話語的相對占比”,進(jìn)而分析課堂中的對話質(zhì)量[11]。

    隨著對課堂對話研究的深入,越來越多的編碼框架能夠?qū)φn堂話語進(jìn)行量化觀察和分析。近十年來,國際課堂對話評價指標(biāo)不斷更新,研究者總結(jié)出它們一般包括事實類話語、個人信息分享、分析式話語、歸納式話語和推斷式話語等編碼類別。國內(nèi)學(xué)者提出的ITIAS分類系統(tǒng)(Information Technology-based Interaction Analysis System)中,進(jìn)一步將教師提問劃分為封閉性提問和開放性提問[12]。有研究者提出,從邀請解釋、明確推理、表達(dá)想法等維度來衡量教師課堂教學(xué)話語的效度,并提出了課堂教學(xué)對話分析SEDA(Scheme for Educational Dialogue Analysis)方案[13]。有研究者設(shè)計了一個根據(jù)教師提問和學(xué)生不同反饋的特征分類編碼框架[14],亦有研究者構(gòu)建了基于人工智能的課堂分析標(biāo)準(zhǔn)架構(gòu)——高品質(zhì)課堂智能分析標(biāo)準(zhǔn)(CEED),該標(biāo)準(zhǔn)包括三個方面(課堂效益、課堂公平、課堂民主)和九個維度,并整合多模態(tài)數(shù)據(jù)進(jìn)行課堂對話分析[15]。

    盡管編碼體系取得了長足發(fā)展,但課堂對話分析還是較依賴經(jīng)過培訓(xùn)的研究人員進(jìn)行手工標(biāo)注來完成。隨著技術(shù)發(fā)展,通過攝像等方式對課堂進(jìn)行記錄,后期采取人工編碼的方式,特別是結(jié)合NVivo等常用軟件對課堂進(jìn)行編碼,能大大提高課堂對話編碼的效率。盡管有了軟件的輔助,但是課堂對話編碼仍然需要耗費大量的時間,無法立即反饋給一線教師。教師無法及時得到關(guān)于課堂對話進(jìn)展情況的反饋。這已被證明是導(dǎo)致低質(zhì)量課堂對話的一個重要因素。因此,如何實現(xiàn)課堂對話自動、快速地編碼分析對改進(jìn)課堂對話非常重要。

    (二)課堂對話的自動分類研究

    自動分類是一種計算機獨立運行,根據(jù)數(shù)據(jù)進(jìn)行自動識別分類的技術(shù)。與手動分類相比,自動分類的速度更快,也更能節(jié)約人力、物力。文本自動分類越來越受到各行各界應(yīng)用層面的關(guān)注。使用基于規(guī)則的文本分類方法已經(jīng)被用于大量行業(yè)場景之中。例如:使用文本自動分類區(qū)分垃圾郵件內(nèi)容。傳統(tǒng)的文本分類往往依靠一定的明確規(guī)則,甚至有的時候要限定一些特定的關(guān)鍵詞。然而,近年來,隨著人工智能技術(shù)的發(fā)展,采用有監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)等方式的文本分類應(yīng)用越發(fā)廣泛。與傳統(tǒng)文本分類相比,機器學(xué)習(xí)方式只需要預(yù)先對一定的文本進(jìn)行分類標(biāo)簽的人工標(biāo)注,然后通過機器學(xué)習(xí)的方式進(jìn)行數(shù)據(jù)集的訓(xùn)練,就能夠提升文本分類的準(zhǔn)確度和靈活性。例如:運用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行文本段落與句子分類[16];基于Attention-based C-GRU神經(jīng)網(wǎng)絡(luò)進(jìn)行文本分類[17];基于錄音文本進(jìn)行自動分類[18]。有監(jiān)督的深度學(xué)習(xí)更好地利用了神經(jīng)網(wǎng)絡(luò)算法,實現(xiàn)了更加精準(zhǔn)、高效的文本分類。庫薩利(Kowsari)等研究發(fā)現(xiàn),基于深度學(xué)習(xí)的模型對各種文本分類任務(wù)的效率有顯著提高[19]。此外,已有不少研究采用了有監(jiān)督學(xué)習(xí)對文本進(jìn)行情感分類。例如:有研究者提出了基于GRU對文檔進(jìn)行多標(biāo)簽情感分類的GRU+Attention 模型[20],還有研究者采用有監(jiān)督學(xué)習(xí)進(jìn)行學(xué)習(xí)成績預(yù)測、輟學(xué)率預(yù)測等[21],亦有研究者采用雙向LSTM模型進(jìn)行文本情感分類[22]。

    現(xiàn)有研究中,已有少量研究通過自動編碼的方式對課堂話語進(jìn)行自動或半自動分析,并探索使用機器學(xué)習(xí)進(jìn)行課堂話語的自動編碼。福特(Ford)等設(shè)計了一個語言環(huán)境分析系統(tǒng)(LENA)。該系統(tǒng)能夠記錄并自動檢測課堂語言環(huán)境信息,采用機器學(xué)習(xí)訓(xùn)練的方式,對課堂中包括教師教授、師生對話和小組活動在內(nèi)的不同事件時間段進(jìn)行了分類[23]。研究者還嘗試用人工智能技術(shù)對課堂話語分類進(jìn)行自動識別判斷[24]。布蘭查德(Blanchard)等開發(fā)了能夠自動檢測課堂回答的模型,這一模型能對課堂對話中的問題和回答進(jìn)行自動編碼,采用自動化課堂對話問答模型能夠?qū)φn堂中的問答環(huán)節(jié)進(jìn)行文本判定和區(qū)分[25]。國內(nèi)學(xué)者針對信息化環(huán)境下課堂話語的特點,從話語分析的維度,利用貝葉斯分類器實現(xiàn)了課堂話語的半自動化分析[26];對不同學(xué)科的課堂對話進(jìn)行自動編碼與分析探索,構(gòu)建了數(shù)學(xué)課堂的話語分析體系[27];借助人工編碼與機器學(xué)習(xí)相結(jié)合的方法對大規(guī)模中小學(xué)課堂進(jìn)行話語分析,發(fā)掘了中小學(xué)課堂“以基礎(chǔ)知識類對話為基礎(chǔ)、多元對話組合推進(jìn)”的對話模式[28]。

    盡管已有研究對課堂對話的自動分類已經(jīng)能夠?qū)崿F(xiàn)整體歸類分析,區(qū)分一般形式的對話,包括判斷不同的課堂時間段類型,但尚未實現(xiàn)對課堂對話的質(zhì)量分水平判定,以往研究中的自動編碼分析尚無法實現(xiàn)不同對話層次的分類與不同對話水平的質(zhì)量評估,應(yīng)用于診斷課堂對話質(zhì)量時存在一定的局限性,難以給出更具針對性的教學(xué)改進(jìn)建議。這正是本研究的重點突破范疇。

    三、研究過程與方法

    (一)數(shù)據(jù)集

    課堂視頻數(shù)據(jù)集為研究團隊的實驗項目學(xué)校所提供的課堂實錄素材。課堂視頻數(shù)據(jù)集由1008節(jié)課組成,其中,小學(xué)672節(jié)課,初中336節(jié)課。對每節(jié)課堂視頻進(jìn)行課堂話語的文字轉(zhuǎn)錄,得到共計358410條話語。課堂視頻采取整節(jié)課全程錄制的方式,真實地保留了課堂的全過程,完整地記錄了課堂中教師的聲音,以及學(xué)生發(fā)言回答的聲音。

    (二)編碼框架

    課堂話語分析存在多種不同的編碼框架。課堂分析的出發(fā)點和觀察視角不同,由此產(chǎn)生的編碼框架的價值和指向也不同。采用什么樣的編碼框架能夠更全面地描述對話及其質(zhì)量呢?雖然不同研究者的定義與方法之間存在差異,但也有相似之處??傮w而言,面向師生對話的交互功能包括以下幾點:(1)能引起深層思考的邀請,如教師提出真實的問題并進(jìn)一步要求明確說明和解釋;(2)進(jìn)行解釋與推理;(3)進(jìn)行批判性思維訓(xùn)練、挑戰(zhàn),并在此基礎(chǔ)上進(jìn)行知識建構(gòu);(4)在知識間產(chǎn)生鏈接和關(guān)聯(lián);(5)試圖通過解決分歧達(dá)成共識[29]。也有研究團隊以社會文化理論為基礎(chǔ),提出側(cè)重微觀層面分析的對話分析編碼方案SEDA,分解為8個組、33個類別。如以I( Iinvite Elaboration or Reasoning) 代表邀請解釋/推理,其中,I又可細(xì)分為I1~I(xiàn)6,I1代表邀請解釋或證明他人想法,I2代表邀請評估他人想法,I3代表基于已有想法邀請推理,I4代表邀請?zhí)峁├碛?,I5代表邀請預(yù)測,I6代表邀請細(xì)化或舉例。又如,以P(Positioning and Coordination)代表定位與協(xié)調(diào),P可細(xì)分為P1~P6,P1代表總結(jié)概括,P2代表比較,P3代表提出解決方案,P4代表轉(zhuǎn)變觀點,P5代表質(zhì)疑,P6代表同意或不同意[13]。此后,亦有學(xué)者對此框架進(jìn)行精簡以便更好地應(yīng)用于研究與實踐。SEDA及其衍生編碼框架囊括了課堂對話的方向與類別,能夠幫助探究師生如何在課堂對話中進(jìn)行推理、反思、啟發(fā)。

    基于以上編碼框架,研究團隊提出一種維度更聚焦、指向分水平更明確的課堂對話編碼框架。研究團隊以I-R-E(啟動—回應(yīng)—評價)編碼框架為基礎(chǔ),在每個維度上作了進(jìn)一步劃分與闡釋。最終構(gòu)建了課堂對話分水平編碼框架,將課堂中的教師或?qū)W生提問分為三個層次水平,相關(guān)編碼規(guī)則見表1。

    (三)處理步驟

    將所有的課堂視頻提取音頻信息,通過智能技術(shù)實現(xiàn)語音轉(zhuǎn)錄成文字。在數(shù)據(jù)標(biāo)簽部分,根據(jù)編寫的“IRE分級編碼規(guī)則”,20名研究人員經(jīng)培訓(xùn)后各自進(jìn)行獨立編碼。完成首輪編碼后,就編碼不一致部分進(jìn)行討論與修改,以提高編碼可靠性。初始數(shù)據(jù)的編碼是后期機器學(xué)習(xí)編碼數(shù)據(jù)的重要依據(jù)。

    本研究基于上述數(shù)據(jù)集構(gòu)建了一個課堂對話自動分類模型,將處理后的數(shù)據(jù)分為“訓(xùn)練集” “驗證集”“測試集”。訓(xùn)練結(jié)束后,驗證模型的準(zhǔn)確性。最后使用最優(yōu)模型對新的課堂對話數(shù)據(jù)進(jìn)行自動分類預(yù)測。

    (四)課堂對話分類模型實現(xiàn)

    預(yù)訓(xùn)練模型具備較好的穩(wěn)定性和可擴展性,在特定領(lǐng)域的任務(wù)場景中,僅需要采用標(biāo)注好的數(shù)據(jù)集對模型進(jìn)行調(diào)整訓(xùn)練,即可得到特定任務(wù)場景的預(yù)測模型。預(yù)訓(xùn)練的優(yōu)點在于提供了一種更好的參數(shù)初始化方式,使得在目標(biāo)任務(wù)上收斂速度更快,在特定場景使用時不需要單獨標(biāo)注大量的語料來進(jìn)行訓(xùn)練,大大降低了下游任務(wù)所需的樣本數(shù)據(jù)和計算算力,節(jié)約時間,提升效率。

    BERT是一種基于Transformers雙向編碼器表示的(Bidirectional? Encoder? Representation? From Transformers, BERT) 預(yù)訓(xùn)練語言模型。Bert具有很強的泛化能力,從而為下游特定任務(wù)創(chuàng)建更精準(zhǔn)的預(yù)測模型。同卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)相比,Bert模型在訓(xùn)練過程中采用了掩碼語言模型(Masked Language Model,MLM)和下一句預(yù)測(Next Sentence Predict,NSP)兩個方法作為預(yù)訓(xùn)練過程中的任務(wù),利用 Self-attention機制可以獲取雙向上下文信息,能夠?qū)W習(xí)句子與句子間的關(guān)系等更多特征,特別適合預(yù)測對話分類等具有深層語義特征的任務(wù)問題。使用Bert有兩個步驟,第一步,采用大量無監(jiān)督的語料進(jìn)行語言模型預(yù)訓(xùn)練;第二步,再運用少量標(biāo)注的語料進(jìn)行微調(diào)來完成具體任務(wù)。從0開始預(yù)訓(xùn)練需要花費巨大的計算資源,為節(jié)約資源,本文選擇Bert-base-Chinese預(yù)訓(xùn)練好的模型進(jìn)行微調(diào),微調(diào)即利用標(biāo)記好的語料對通用語言模型的參數(shù)進(jìn)行調(diào)整,從而得到具體的分類模型。

    首先,對課堂對話數(shù)據(jù)進(jìn)行編碼,轉(zhuǎn)為模型需要的編碼格式,使用輔助標(biāo)記符[CLS]和[SEP]表示句子的開始和分隔,對于單句分類,只需要一個句子輸入,不需要分隔SEP標(biāo)記,得到token_ids、category、seq_len、mask。然后根據(jù)特征轉(zhuǎn)換得到對應(yīng)的embedding,這里的embedding是三種embedding的組合,分別是token、segment、position級別。獲得句子級的嵌入表達(dá)后用encoder模型進(jìn)行訓(xùn)練,訓(xùn)練算法為BERT專用的Adam算法,損失函數(shù)采用二元交叉熵?fù)p失函數(shù),可對BERT進(jìn)行微調(diào)處理和反饋。最后,采取全連接層得到概率分布的分類標(biāo)簽整體情況。

    如表2所示,使用Bert進(jìn)行課堂對話分類任務(wù)訓(xùn)練時,我們通常先構(gòu)造一個Bert Model,然后由它從輸入語句中提取特征,每一個epoch后會在驗證集上進(jìn)行驗證,并給出相應(yīng)的f1值,如果f1值大于此前最高分,則保存模型參數(shù),否則flags加1。如果flags大于3,即連續(xù)3個epoch模型的性能都沒有繼續(xù)優(yōu)化,則停止訓(xùn)練過程。當(dāng)長時間沒有優(yōu)化則自動停止訓(xùn)練,保存最優(yōu)分類模型。

    四、結(jié)果與分析

    (一)數(shù)據(jù)集描述

    確定課堂對話數(shù)據(jù)集來自1008節(jié)課,共計358410條話語。按照6∶2∶2的比例劃分為訓(xùn)練集、驗證集和測試集。如表3所示,對IRE進(jìn)行三類數(shù)據(jù)的分配設(shè)置,并進(jìn)一步對分水平的IRE進(jìn)行數(shù)據(jù)分配設(shè)置(見表4)。

    (二)分類模型評估結(jié)果

    經(jīng)過隨機劃分訓(xùn)練集、驗證集和測試集,重復(fù)進(jìn)行模型微調(diào)訓(xùn)練后取平均值作為最終的評估結(jié)果。本研究采用準(zhǔn)確率(Precision)、召回率(Recall)、F1數(shù)值(F1 Score)作為課堂對話分類模型效果的評價指標(biāo)。表5為IRE三類分類整體指標(biāo)的評估情況,整體準(zhǔn)確率達(dá)79.57%。其中,提問I的識別準(zhǔn)確率最高,為84.11%,回答R的準(zhǔn)確率達(dá)81.84%,反饋E的準(zhǔn)確率為72.75。從F1數(shù)值整體來看,達(dá)到了78.73%,表明該模型整體預(yù)測處于較高水平。

    表6為IRE分水平整體指標(biāo)的評估情況。在F1數(shù)值(表明預(yù)測準(zhǔn)確率)上,排名前四的是I2、E1、E2、I1。判斷準(zhǔn)確率較低的是E3,準(zhǔn)確率為58.63%。在分水平整體準(zhǔn)確率上,達(dá)到了73.07%,整體上達(dá)到了較好的準(zhǔn)確率水平。因此,在IRE整體分類判斷水平評估上,該模型的預(yù)測結(jié)果能夠在真實課堂中展開分類自動判斷。

    經(jīng)過檢驗,課堂對話分類模型信效度良好,且與人工編碼的結(jié)果接近。結(jié)果表明,該模型有助于對課堂對話的分類和分水平診斷分析。通過對課堂對話自動化分析,能較準(zhǔn)確識別課堂對話中IRE模型中的不同水平,能夠?qū)μ釂枌哟嗡?、回答層次水平和反饋層次水平進(jìn)行評估。這種全面、快速、準(zhǔn)確的課堂對話評估方式是本研究的重要發(fā)現(xiàn)。

    五、研究探討與反思

    (一)研究貢獻(xiàn)與局限性

    本研究采用機器學(xué)習(xí)的方式,開創(chuàng)性地在課堂編碼領(lǐng)域里嘗試對課堂對話進(jìn)行IRE自動化分水平編碼與質(zhì)量評估。其主要貢獻(xiàn)包括:在理論層面,基于經(jīng)典的課堂對話IRE模型,進(jìn)一步結(jié)合以往研究,建構(gòu)了IRE分水平的編碼框架。該框架能夠基于語義,針對課堂對話的質(zhì)量進(jìn)行分水平判定與分析,關(guān)注了課堂對話中封閉的、簡單的、推理的、開放的等不同層級的問題、回答與反饋。在實踐層面,自動化分析極大地減少了課堂對話編碼的時間與難度,降低了人工工作量。本研究采用的框架不僅便于教師教學(xué)反思與理解,自動編碼的方式也能為教師和學(xué)生提供更多及時的反饋,也將有助于學(xué)生思考參與課堂的過程。本研究實現(xiàn)了課堂對話自動編碼IRE的突破性進(jìn)展。

    本研究同樣具有一定的局限性:一是,采用了機器學(xué)習(xí)的算法模型并經(jīng)過多次訓(xùn)練與測試,但課堂對話中的有些話語判斷依舊存在偏差。例如:教師講授時帶有疑問語氣的表達(dá),易被機器錯誤判定為教師提問,仍需通過進(jìn)一步的算法和數(shù)據(jù)集修正來解決這一問題。二是,本研究所使用的Bert-base-Chinese中,考慮到傳統(tǒng)NLP對中文分詞顆粒度存在一定的切分適配問題,其在細(xì)粒度級別上進(jìn)行的判斷還不夠精準(zhǔn),存在一定誤差。

    (二)基于課堂師生對話內(nèi)容的自動分類反思

    基于課堂多維度數(shù)據(jù),采用人工智能技術(shù)實現(xiàn)智能診斷與智能反饋,能幫助我們研究教與學(xué)認(rèn)知的復(fù)雜規(guī)律,亦是人工智能在教育領(lǐng)域內(nèi)應(yīng)用的主要方向之一[30]。首先,在理論層面上,構(gòu)建師生對話模型的分類標(biāo)準(zhǔn),是基于課堂師生對話內(nèi)容的自動分類與分析研究的基礎(chǔ)。建構(gòu)合理、高效的分水平模型框架,有助于實現(xiàn)自動化編碼對內(nèi)容語義的理解,有助于一線教師加強教學(xué)反思并加深對教學(xué)規(guī)律的理解。本研究基于經(jīng)典課堂對話模型所構(gòu)建的三級分類標(biāo)準(zhǔn)與細(xì)節(jié),能更有效地關(guān)注到課堂中開放的、平等的、帶有推理性和啟發(fā)性的提問、回答及反饋,這將有助于教師把握課堂對話的教學(xué)效果。其次,提升反饋的時效性與有效性是課堂對話自動分類與評估研究應(yīng)用于實踐的導(dǎo)向。在課堂中,教師在管理學(xué)生與進(jìn)行知識傳授之間分身乏術(shù),課堂話語的短時性也致使教師在獨立完成教學(xué)時很難注意到對話的分布與質(zhì)量,課堂反饋對教師來說尤其重要。提升反饋的時效性,使教師在課后能及時反思,通過反思促進(jìn)有效對話、提升對話質(zhì)量并提高課堂管理技能,同時,這種反饋可以用于專業(yè)教師培訓(xùn)[31]。此外,有效的形成性反饋也可以幫助學(xué)生更好地理解對話,促進(jìn)他們的思維和學(xué)習(xí)[32]。以往研究中,利用ASR技術(shù)實現(xiàn)對課堂對話中教師提問與學(xué)生回答對話片段的區(qū)分[25],但尚未對課堂對話進(jìn)行更進(jìn)一步的分層評估。本研究通過機器學(xué)習(xí),實現(xiàn)了課堂對話自動化分析,基于語義對課堂對話進(jìn)行了IRE模型中的不同水平分類,同時實現(xiàn)了快速分析。本研究基于中國課堂的語境與語義進(jìn)行了課堂對話自動分類與評估的探索,在前人研究基礎(chǔ)上進(jìn)行了拓展。

    (三)課堂對話自動分類與評估研究面臨的挑戰(zhàn)

    課堂對話自動分類與評估得益于對語音等數(shù)據(jù)的捕捉與分析技術(shù)。大數(shù)據(jù)的支持使得對課堂對話教學(xué)的大規(guī)模研究以及大范圍的國際比較研究成為可能。但隨著算法與大數(shù)據(jù)逐步應(yīng)用于教育教學(xué)研究,其中的倫理問題也愈發(fā)凸顯,數(shù)據(jù)的采集和使用安全問題不僅涉及基本隱私,更會在深入研究中產(chǎn)生更多倫理問題和數(shù)據(jù)安全隱患。因此,教育研究人員仍需非常謹(jǐn)慎。一方面,所有的數(shù)據(jù)收集都應(yīng)該在符合學(xué)術(shù)、道德倫理標(biāo)準(zhǔn)和尊重隱私的前提下進(jìn)行;另一方面,要特別警惕人工智能技術(shù)在各種應(yīng)用場景中的技術(shù)錯誤、數(shù)據(jù)偏差與推理誤判。盡管人工智能基于海量的數(shù)據(jù),使用相對準(zhǔn)確的算法進(jìn)行計算,但是仍然存在一定的偏差可能性,仍需警惕數(shù)據(jù)的假象,避免過分看重數(shù)據(jù)分析的結(jié)果,將課堂學(xué)習(xí)的過程簡單化、標(biāo)簽化和模式化。如何理解課堂中的對話依舊是一個變化、動態(tài)、復(fù)雜的過程,技術(shù)無法解決所有問題,未來研究應(yīng)著眼于進(jìn)一步探索人機協(xié)同的新方式,使人工智能以更融合的方式打開課堂“黑箱”、理解課堂教學(xué),為課堂研究本身提供更全面的數(shù)據(jù)與證據(jù)支持。

    [參考文獻(xiàn)]

    [1] MERCER N, HENNESSY S, WARWICK P. Dialogue, thinking together and digital technology in the classroom: some educational implications of a continuing line of inquiry[J]. International journal of educational research, 2019,97:187-199.

    [2] SINCLAIR J M H, COULTHARD M. Towards an analysis of discourse: the English used by teachers and pupils[M].London: Oxford University Press, 1975.

    [3] MEHAN H. “What time is it, Denise?”: asking known information questions in classroom discourse[J].Theory into practice, 1979,18(4):285-294.

    [4] CAZDEN C B. Classroom discourse: the language of teaching and learning[M].Michigan:Pearson Education,1988.

    [5] SMITH D G. College classroom interactions and critical thinking[J].Journal of educational psychology, 1977,69(2):180-190.

    [6] MCCORMICK D E, DONATO R. Teacher questions as scaffolded assistance in an ESL classroom[C]//HALL J K,VERPLAETSE L S.Second and foreign language learning through classroom interaction. New York: Routledge, 2000:183-201.

    [7] WARING H Z. Moving out of IRF (Initiation-Response-Feedback): a single case analysis[J]. Language learning, 2009,59(4):796-824.

    [8] HAWORTH A. Bakhtin in the classroom: what constitutes a dialogic text? Some lessons from small group interaction[J]. Language and education, 1999:13(2), 99-117.

    [9] ROJAS-DRUMMOND S, TORREBLANCA O, PEDRAZA H, et al. “Dialogic scaffolding”: enhancing learning and understanding in collaborative contexts[J].Learning, culture and social interaction, 2013,2(1),11-21.

    [10] 石雨晨,曹曙,劉群英.學(xué)生參與小學(xué)《道德與法治》論證式議題教學(xué)的學(xué)習(xí)體驗[J].全球教育展望,2022,51(10):87-104.

    [11] KLIEBARD H M.The patterning of classroom discourse[J].Journal of teacher education, 1966,17(4), 469-480.

    [12] 顧小清,王煒.支持教師專業(yè)發(fā)展的課堂分析技術(shù)新探索[J].中國電化教育,2004(7):18-21.

    [13] HENNESSY S, ROJAS-DRUMMOND S, HIGHAM R, et al. Developing a coding scheme for analysing classroom dialogue across educational contexts[J]. Learning, culture and social interaction, 2016,9:16-44.

    [14] 周平紅,張屹,楊喬柔,白清玉,陳蓓蕾,劉崢.智慧教室中小學(xué)生協(xié)同知識建構(gòu)課堂話語分析——以小學(xué)科學(xué)課程為例[J].電化教育研究,2018,39(1):20-28.

    [15] 楊曉哲.基于人工智能的課堂分析架構(gòu):一種智能的課堂教學(xué)研究[J].全球教育展望,2021,50(12):55-65.

    [16] KIM J, LEE M. Robust lane detection based on convolutional neural network and random sample consensus[C]//Neural Information Processing: 21st International Conference, ICONIP 2014. Kuching, Malaysia:? Springer International Publishing, 2014: 454-461.

    [17] 楊東,王移芝.基于Attention-based C-GRU神經(jīng)網(wǎng)絡(luò)的文本分類[J].計算機與現(xiàn)代化,2018(2):96-100.

    [18] 張彥楠,黃小紅,馬嚴(yán),等.基于深度學(xué)習(xí)的錄音文本分類方法[J].浙江大學(xué)學(xué)報(工學(xué)版),2020,54(7):1264-1271.

    [19] KOWSARI K, JAFARI M K, HEIDARYSAFA M, et al. Text classification algorithms: a survey[J]. Information, 2019,10(4):2-12.

    [20] XIE Y, LIANG R, LIANG Z, et al. Speech emotion classification using attention-based LSTM[J].IEEE/ACM transactions on audio, speech, and language processing, 2019, 27(11): 1675-1685.

    [21] XING W, DU D. Dropout prediction in MOOCs: using deep learning for personalized intervention[J]. Journal of educational computing research, 2019, 57(3): 547-570.

    [22] 任勉,甘剛.基于雙向LSTM模型的文本情感分類[J].計算機工程與設(shè)計,2018,39(7):2064-2068.

    [23] FORD M, BAER C T, XU D, et al.The LENA language environment analysis system[EB/OL]. (2008-09-01)[2022-07-11]. https://www.lena.org/wp-content/uploads/2016/07/LTR-03-2_Audio_Specifications.pdf.

    [24] SONG Y, LEI S, HAO T, et al. Automatic classification of semantic content of classroom dialogue[J]. Journal of educational computing research, 2021, 59(3): 496-521.

    [25] BLANCHARD N, BRADY M, OLNEY A M, et al. A study of automatic speech recognition in noisy classroom environments for automated dialog analysis[C]//Artificial Intelligence in Education: 17th International Conference, AIED 2015. Madrid, Spain: Springer International Publishing, 2015:23-33.

    [26] 高桂平.數(shù)字化課堂話語行為分類及方法研究[J].中國信息技術(shù)教育,2014(8):66-68.

    [27] 曹一鳴,宋宇,趙文君,等.面向教育2030的數(shù)學(xué)課堂對話人工智能評價體系構(gòu)建研究[J].數(shù)學(xué)教育學(xué)報,2022,31(1):7-12.

    [28] 宋宇,鄔寶嫻,郝天永.面向知識建構(gòu)的課堂對話規(guī)律探析[J].電化教育研究,2021,42(3):111-119.

    [29] VRIKKI M, WHEATLEY L, HOWE C, et al. Dialogic practices in primary school classrooms[J]. Language and education, 2019, 33(1):85-100.

    [30] 楊曉哲,任友群.教育人工智能的下一步——應(yīng)用場景與推進(jìn)策略[J].中國電化教育,2021(1):89-95.

    [31] WANG Z, PAN X, MILLER K F,et al.Automatic classification of activities in classroom discourse[J]. Computers & education, 2014,78:115-123.

    [32] 孫眾,于子淳.人工智能課堂教學(xué)分析與改進(jìn):人在回路的協(xié)同機制[J].電化教育研究,2023,44(1):116-122.

    Analysis of Classroom Teacher-Student Dialogue Based on Artificial Intelligence: Automatic Classification and Sub-level Construction of IRE

    YANG Xiaozhe1,? WANG Qingqing1,? JIANG Jialong2

    (1.The Institute of Curriculum & Instruction, East China Normal University, Shanghai 200062

    2.College of Computer and Cyber Security, Fujian Normal University, Fuzhou Fujian 350007)

    [Abstract] A large number of studies have focused on teacher-student dialogues in the classroom and different types of coding and analysis have been conducted for them, but the current coding is still limited by the level and time of professionals. In order to improve the coding speed of classroom dialogues and realize automatic classroom dialogue classification and instant feedback, a neural network analysis model is adopted to automatically encode questions, answers and feedback in class through artificial intelligence technology. The results show that the model realizes semantic-based quality assessment of classroom dialogues, and can realize the sub-level assessment of IRE model in classroom teacher-student dialogues in a short period of time, i.e., to assess and classify the questioning level, the answering level and the feedback level. This study constructs a comprehensive, fast and accurate classroom dialogue assessment method, which becomes a key link to further understand the learning process in the classroom, and lays an important foundation for large-scale classroom intelligent analysis.

    [Keywords] Teacher-Student Dialogue; Machine Learning; Automatic Classification; Artificial Intelligence

    猜你喜歡
    師生對話機器學(xué)習(xí)人工智能
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    小學(xué)數(shù)學(xué)課堂師生對話的探究
    小學(xué)數(shù)學(xué)課堂師生對話的探究
    小學(xué)數(shù)學(xué)高效對話課堂的構(gòu)建與實施
    基于機器學(xué)習(xí)的圖像特征提取技術(shù)在圖像版權(quán)保護(hù)中的應(yīng)用
    基于網(wǎng)絡(luò)搜索數(shù)據(jù)的平遙旅游客流量預(yù)測分析
    時代金融(2016年27期)2016-11-25 17:51:36
    前綴字母為特征在維吾爾語文本情感分類中的研究
    基于支持向量機的金融數(shù)據(jù)分析研究
    国产一区亚洲一区在线观看| 成年美女黄网站色视频大全免费 | 最近中文字幕2019免费版| 欧美老熟妇乱子伦牲交| 乱码一卡2卡4卡精品| 国产爽快片一区二区三区| 少妇人妻精品综合一区二区| 午夜免费观看性视频| 18禁动态无遮挡网站| 免费看日本二区| 天堂俺去俺来也www色官网| 久久久久国产精品人妻一区二区| 一本一本综合久久| 免费观看的影片在线观看| 日韩免费高清中文字幕av| 久久韩国三级中文字幕| 精品少妇内射三级| 天堂8中文在线网| 亚洲婷婷狠狠爱综合网| 卡戴珊不雅视频在线播放| 菩萨蛮人人尽说江南好唐韦庄| 成人综合一区亚洲| 国产成人精品一,二区| 夜夜爽夜夜爽视频| 国产欧美日韩精品一区二区| 久久久精品免费免费高清| 丰满饥渴人妻一区二区三| 狂野欧美激情性bbbbbb| 熟女人妻精品中文字幕| 精品人妻熟女av久视频| 曰老女人黄片| 人妻系列 视频| 久久午夜福利片| 国产黄片美女视频| 日本黄色日本黄色录像| 午夜视频国产福利| 在线免费观看不下载黄p国产| 嘟嘟电影网在线观看| 国产成人精品一,二区| 两个人免费观看高清视频 | 日韩欧美 国产精品| 久久免费观看电影| 天天躁夜夜躁狠狠久久av| 欧美精品一区二区免费开放| 日韩中文字幕视频在线看片| 一边亲一边摸免费视频| 日本爱情动作片www.在线观看| 国语对白做爰xxxⅹ性视频网站| 亚洲色图综合在线观看| 亚洲国产精品一区三区| 免费观看无遮挡的男女| 国产高清有码在线观看视频| 国产日韩一区二区三区精品不卡 | 亚洲性久久影院| 99久久人妻综合| 韩国高清视频一区二区三区| 9色porny在线观看| 国产黄色免费在线视频| 天天操日日干夜夜撸| 国产精品一区二区三区四区免费观看| 精品人妻熟女毛片av久久网站| 亚洲性久久影院| 日韩,欧美,国产一区二区三区| 国产精品一区二区三区四区免费观看| 久久国产精品大桥未久av | 日韩中字成人| 日日撸夜夜添| 日韩中文字幕视频在线看片| 777米奇影视久久| 9色porny在线观看| 日韩欧美精品免费久久| 中文乱码字字幕精品一区二区三区| 日本欧美国产在线视频| 亚洲精品第二区| 国产视频内射| 国产视频内射| 免费黄网站久久成人精品| 高清毛片免费看| 亚洲精品一区蜜桃| 亚洲精品一区蜜桃| 精品人妻一区二区三区麻豆| 人妻 亚洲 视频| 不卡视频在线观看欧美| 国产男女超爽视频在线观看| 永久网站在线| 亚洲精品乱码久久久久久按摩| 亚洲av欧美aⅴ国产| 欧美精品一区二区大全| 免费观看在线日韩| 国产成人精品无人区| 少妇人妻一区二区三区视频| 视频区图区小说| 亚洲欧美成人综合另类久久久| 国产一区亚洲一区在线观看| 在线观看国产h片| 精品午夜福利在线看| 大片电影免费在线观看免费| 亚洲一级一片aⅴ在线观看| 深夜a级毛片| 精品久久久久久久久亚洲| 国产亚洲欧美精品永久| 亚洲av福利一区| 又粗又硬又长又爽又黄的视频| 日韩大片免费观看网站| 一级片'在线观看视频| 美女xxoo啪啪120秒动态图| 国产精品久久久久久av不卡| a 毛片基地| 国产在线一区二区三区精| 久久狼人影院| 看免费成人av毛片| 亚洲国产精品专区欧美| 欧美xxxx性猛交bbbb| 国产精品人妻久久久久久| 国产精品成人在线| 插阴视频在线观看视频| 免费少妇av软件| 精品人妻偷拍中文字幕| 国产免费视频播放在线视频| 在线观看免费视频网站a站| 汤姆久久久久久久影院中文字幕| 好男人视频免费观看在线| 日本91视频免费播放| 亚洲第一区二区三区不卡| 爱豆传媒免费全集在线观看| 久久精品国产亚洲网站| 黄色日韩在线| 精品久久久久久久久av| 亚洲精品国产av蜜桃| 人体艺术视频欧美日本| 黑人猛操日本美女一级片| 性色av一级| 岛国毛片在线播放| 自拍欧美九色日韩亚洲蝌蚪91 | 熟女电影av网| 在线观看美女被高潮喷水网站| 女的被弄到高潮叫床怎么办| 三级国产精品欧美在线观看| 免费大片18禁| av在线app专区| 国产精品一区二区性色av| 一级毛片电影观看| 中文字幕亚洲精品专区| 成人毛片a级毛片在线播放| 99九九线精品视频在线观看视频| 老熟女久久久| 最新的欧美精品一区二区| 亚洲av电影在线观看一区二区三区| 美女视频免费永久观看网站| 久久99一区二区三区| 国产日韩一区二区三区精品不卡 | 内地一区二区视频在线| 寂寞人妻少妇视频99o| 欧美国产精品一级二级三级 | 色婷婷av一区二区三区视频| 一级黄片播放器| 99国产精品免费福利视频| 亚洲美女视频黄频| 狂野欧美激情性bbbbbb| 黄色配什么色好看| 一本—道久久a久久精品蜜桃钙片| 丝袜脚勾引网站| 久久av网站| 精品久久久久久久久亚洲| 国模一区二区三区四区视频| 久久婷婷青草| 免费观看a级毛片全部| 嫩草影院入口| h视频一区二区三区| 中文欧美无线码| 亚洲婷婷狠狠爱综合网| 免费人成在线观看视频色| 日日啪夜夜撸| 男男h啪啪无遮挡| 国产色婷婷99| 少妇丰满av| 国内精品宾馆在线| 精品国产一区二区三区久久久樱花| 国产一区亚洲一区在线观看| 亚洲精品国产av蜜桃| 肉色欧美久久久久久久蜜桃| 久久影院123| 免费黄网站久久成人精品| 午夜福利在线观看免费完整高清在| 97在线视频观看| 国产精品久久久久久精品古装| 老司机影院毛片| 少妇的逼好多水| a级毛色黄片| 国产在线免费精品| 国产男女内射视频| 蜜桃久久精品国产亚洲av| 国产成人精品久久久久久| 国产精品一区二区在线不卡| 涩涩av久久男人的天堂| 免费人妻精品一区二区三区视频| 亚洲精品国产av成人精品| 人妻 亚洲 视频| 免费播放大片免费观看视频在线观看| 少妇 在线观看| 中国美白少妇内射xxxbb| 精品国产一区二区久久| 少妇熟女欧美另类| 人体艺术视频欧美日本| 青青草视频在线视频观看| 亚洲图色成人| 久久99蜜桃精品久久| 日韩欧美精品免费久久| 人妻制服诱惑在线中文字幕| 九色成人免费人妻av| 免费看av在线观看网站| 高清黄色对白视频在线免费看 | av福利片在线观看| 狂野欧美激情性xxxx在线观看| 久久久久久人妻| 日韩欧美 国产精品| 嫩草影院新地址| 又黄又爽又刺激的免费视频.| 日日啪夜夜撸| av不卡在线播放| 人人妻人人爽人人添夜夜欢视频 | 免费看日本二区| 中文字幕人妻丝袜制服| 青青草视频在线视频观看| 日本91视频免费播放| 久久99精品国语久久久| 在线 av 中文字幕| 欧美最新免费一区二区三区| 偷拍熟女少妇极品色| 在线观看人妻少妇| 欧美bdsm另类| 亚洲精品成人av观看孕妇| 亚洲经典国产精华液单| 综合色丁香网| 午夜视频国产福利| 国产欧美另类精品又又久久亚洲欧美| 久久精品久久久久久久性| 大陆偷拍与自拍| 狂野欧美激情性xxxx在线观看| 亚洲精品一区蜜桃| 国产精品偷伦视频观看了| 成人无遮挡网站| 午夜免费男女啪啪视频观看| 大码成人一级视频| 自线自在国产av| 伦理电影大哥的女人| 全区人妻精品视频| 18禁动态无遮挡网站| 国产伦精品一区二区三区四那| 成年美女黄网站色视频大全免费 | 国产免费福利视频在线观看| 我的女老师完整版在线观看| 国产免费一区二区三区四区乱码| 亚洲av在线观看美女高潮| 黄色一级大片看看| 久久精品国产自在天天线| 91久久精品国产一区二区三区| 水蜜桃什么品种好| 一级毛片aaaaaa免费看小| 精品国产一区二区三区久久久樱花| 色婷婷av一区二区三区视频| 性色avwww在线观看| 黄色欧美视频在线观看| av福利片在线| 欧美丝袜亚洲另类| 日韩人妻高清精品专区| 热99国产精品久久久久久7| 久久久欧美国产精品| 久久久久久伊人网av| 天堂俺去俺来也www色官网| 免费观看在线日韩| 男男h啪啪无遮挡| 91精品一卡2卡3卡4卡| 亚洲怡红院男人天堂| 亚洲精品第二区| 欧美日韩综合久久久久久| 天堂8中文在线网| 亚洲三级黄色毛片| 视频区图区小说| 午夜激情福利司机影院| 日韩欧美 国产精品| 美女内射精品一级片tv| 不卡视频在线观看欧美| 青春草亚洲视频在线观看| 欧美一级a爱片免费观看看| av免费观看日本| 最近的中文字幕免费完整| 老司机影院毛片| 视频中文字幕在线观看| 另类亚洲欧美激情| 少妇的逼好多水| 精品人妻一区二区三区麻豆| 精品国产乱码久久久久久小说| 午夜激情福利司机影院| 欧美精品一区二区大全| 大香蕉97超碰在线| 美女脱内裤让男人舔精品视频| 免费观看无遮挡的男女| 国产伦在线观看视频一区| 国产亚洲91精品色在线| 国产亚洲av片在线观看秒播厂| 五月伊人婷婷丁香| 少妇熟女欧美另类| 亚洲av日韩在线播放| 少妇猛男粗大的猛烈进出视频| 在线播放无遮挡| 国产亚洲欧美精品永久| 免费少妇av软件| 极品人妻少妇av视频| 亚洲精品中文字幕在线视频 | 精品国产国语对白av| 国产伦理片在线播放av一区| 夫妻午夜视频| 99热这里只有是精品50| av免费在线看不卡| 亚洲国产精品国产精品| 五月伊人婷婷丁香| 亚洲国产欧美日韩在线播放 | 亚洲精品乱码久久久v下载方式| 免费高清在线观看视频在线观看| 国产精品99久久99久久久不卡 | 一区二区av电影网| 国产精品伦人一区二区| 久久99蜜桃精品久久| 精品一区二区三区视频在线| 亚洲国产精品一区二区三区在线| 国产亚洲精品久久久com| 成人亚洲精品一区在线观看| 99九九线精品视频在线观看视频| 亚洲人成网站在线观看播放| xxx大片免费视频| 高清在线视频一区二区三区| 亚洲欧洲国产日韩| 欧美日韩亚洲高清精品| 日本午夜av视频| 狂野欧美白嫩少妇大欣赏| 亚洲av日韩在线播放| 亚洲va在线va天堂va国产| 一个人看视频在线观看www免费| 亚洲精品国产成人久久av| 日韩视频在线欧美| 色婷婷av一区二区三区视频| 中文字幕免费在线视频6| 亚洲天堂av无毛| 免费观看的影片在线观看| 日韩电影二区| 人人妻人人澡人人看| 下体分泌物呈黄色| 老司机影院毛片| 久久久久久久精品精品| 内射极品少妇av片p| 我要看日韩黄色一级片| 成人美女网站在线观看视频| 亚洲av.av天堂| 丝瓜视频免费看黄片| 欧美bdsm另类| 在线亚洲精品国产二区图片欧美 | 国产精品女同一区二区软件| 日日摸夜夜添夜夜添av毛片| 我要看日韩黄色一级片| 亚洲国产精品999| 欧美少妇被猛烈插入视频| 精品久久久噜噜| 各种免费的搞黄视频| 日本91视频免费播放| 日本vs欧美在线观看视频 | 日韩中文字幕视频在线看片| 99久久人妻综合| 国内揄拍国产精品人妻在线| 中文字幕免费在线视频6| 美女主播在线视频| 国产爽快片一区二区三区| 最黄视频免费看| 丰满饥渴人妻一区二区三| 汤姆久久久久久久影院中文字幕| 另类精品久久| 国产熟女午夜一区二区三区 | kizo精华| 亚洲av电影在线观看一区二区三区| 国产午夜精品一二区理论片| 日韩强制内射视频| 久久av网站| 国产高清国产精品国产三级| 蜜桃在线观看..| 日韩强制内射视频| 少妇被粗大的猛进出69影院 | 久久热精品热| 国产 精品1| 人妻夜夜爽99麻豆av| 色婷婷久久久亚洲欧美| 寂寞人妻少妇视频99o| 亚洲四区av| 国产女主播在线喷水免费视频网站| 插阴视频在线观看视频| 寂寞人妻少妇视频99o| 99久国产av精品国产电影| 精品国产一区二区三区久久久樱花| 亚洲高清免费不卡视频| 国产精品一区二区在线观看99| 免费观看无遮挡的男女| 女性生殖器流出的白浆| 91精品伊人久久大香线蕉| 看十八女毛片水多多多| 久久 成人 亚洲| 国产黄片美女视频| 国产在视频线精品| 99视频精品全部免费 在线| 能在线免费看毛片的网站| 久久国产精品大桥未久av | 成人毛片a级毛片在线播放| 亚洲国产精品成人久久小说| 天天躁夜夜躁狠狠久久av| 免费在线观看成人毛片| 亚洲精品日韩在线中文字幕| 建设人人有责人人尽责人人享有的| 免费高清在线观看视频在线观看| 久久人人爽人人片av| 午夜日本视频在线| 亚洲精品中文字幕在线视频 | 熟女人妻精品中文字幕| 男人舔奶头视频| av女优亚洲男人天堂| 精品人妻偷拍中文字幕| 婷婷色av中文字幕| 亚洲欧美成人综合另类久久久| 极品少妇高潮喷水抽搐| 亚州av有码| 亚洲三级黄色毛片| 噜噜噜噜噜久久久久久91| 中文资源天堂在线| 久久综合国产亚洲精品| www.av在线官网国产| 卡戴珊不雅视频在线播放| 性高湖久久久久久久久免费观看| 夜夜骑夜夜射夜夜干| 国产精品一区二区性色av| 熟女人妻精品中文字幕| 自拍偷自拍亚洲精品老妇| 日本黄色片子视频| 视频区图区小说| 亚洲精品乱码久久久v下载方式| 亚洲av男天堂| a级一级毛片免费在线观看| 丰满乱子伦码专区| 一个人看视频在线观看www免费| 免费观看无遮挡的男女| 插逼视频在线观看| 简卡轻食公司| 久久99蜜桃精品久久| 中文字幕免费在线视频6| 色婷婷av一区二区三区视频| 亚洲三级黄色毛片| a级毛片免费高清观看在线播放| 亚洲va在线va天堂va国产| 色94色欧美一区二区| 欧美日韩国产mv在线观看视频| 精品国产露脸久久av麻豆| 国产在视频线精品| 交换朋友夫妻互换小说| 亚洲av综合色区一区| 精品久久久久久久久亚洲| 老熟女久久久| 又粗又硬又长又爽又黄的视频| 欧美变态另类bdsm刘玥| 久久久久久久精品精品| 波野结衣二区三区在线| 久久久久网色| 蜜臀久久99精品久久宅男| 国产无遮挡羞羞视频在线观看| 美女主播在线视频| av黄色大香蕉| 国产精品三级大全| 欧美+日韩+精品| 亚洲欧美日韩卡通动漫| 最近中文字幕2019免费版| 国产精品久久久久成人av| 精品熟女少妇av免费看| 丝袜脚勾引网站| 国产黄频视频在线观看| 黑人巨大精品欧美一区二区蜜桃 | av免费观看日本| 丝瓜视频免费看黄片| 我的女老师完整版在线观看| h视频一区二区三区| 精品少妇久久久久久888优播| 国产精品一区二区在线观看99| 大香蕉97超碰在线| a级毛片在线看网站| 亚洲精品中文字幕在线视频 | 欧美 日韩 精品 国产| 色婷婷av一区二区三区视频| 亚洲三级黄色毛片| 视频中文字幕在线观看| 亚洲成人av在线免费| 曰老女人黄片| 国产真实伦视频高清在线观看| 久久精品国产a三级三级三级| 国产国拍精品亚洲av在线观看| 国产av一区二区精品久久| 搡老乐熟女国产| 国产精品.久久久| 亚洲色图综合在线观看| 欧美+日韩+精品| 欧美精品一区二区免费开放| 亚洲情色 制服丝袜| 国产女主播在线喷水免费视频网站| 亚洲内射少妇av| 精品亚洲成国产av| 深夜a级毛片| 中文字幕精品免费在线观看视频 | 日日啪夜夜撸| 亚洲精品日本国产第一区| 午夜福利在线观看免费完整高清在| 精品国产国语对白av| 久久久久久久久久久免费av| 久久6这里有精品| 岛国毛片在线播放| 一区二区三区四区激情视频| 熟女av电影| 伦理电影免费视频| 欧美高清成人免费视频www| 九色成人免费人妻av| 美女中出高潮动态图| 一级毛片电影观看| 亚洲无线观看免费| 丰满乱子伦码专区| kizo精华| 校园人妻丝袜中文字幕| 岛国毛片在线播放| 大片免费播放器 马上看| 国产av精品麻豆| 一本大道久久a久久精品| 制服丝袜香蕉在线| 黄色视频在线播放观看不卡| 男女啪啪激烈高潮av片| 亚洲精品第二区| 国产黄频视频在线观看| 久久精品国产亚洲网站| 国产精品国产三级专区第一集| 国产老妇伦熟女老妇高清| 你懂的网址亚洲精品在线观看| 91久久精品国产一区二区成人| 国产一区二区三区综合在线观看 | 国产成人freesex在线| 观看美女的网站| 伦精品一区二区三区| 青春草亚洲视频在线观看| 久久亚洲国产成人精品v| 狂野欧美激情性xxxx在线观看| 赤兔流量卡办理| 一本—道久久a久久精品蜜桃钙片| 精品亚洲成a人片在线观看| 七月丁香在线播放| 国产日韩欧美亚洲二区| 少妇人妻久久综合中文| 老熟女久久久| 亚洲国产精品专区欧美| 成年女人在线观看亚洲视频| 色视频在线一区二区三区| 你懂的网址亚洲精品在线观看| 欧美日韩av久久| 国产极品粉嫩免费观看在线 | 日本欧美视频一区| 亚洲精品久久午夜乱码| 肉色欧美久久久久久久蜜桃| 国产日韩欧美视频二区| 久久久久久久久大av| 赤兔流量卡办理| 亚洲高清免费不卡视频| 亚洲精品视频女| 久久久久久人妻| 大片电影免费在线观看免费| 免费看光身美女| 亚洲精品日本国产第一区| 欧美日韩精品成人综合77777| 国产免费又黄又爽又色| 久久青草综合色| 国产免费一级a男人的天堂| 丰满饥渴人妻一区二区三| 日韩制服骚丝袜av| 赤兔流量卡办理| 精品少妇内射三级| 亚洲av中文av极速乱| 久久久国产欧美日韩av| 久久综合国产亚洲精品| 寂寞人妻少妇视频99o| 久久久久久久大尺度免费视频| xxx大片免费视频| 欧美人与善性xxx| 久久6这里有精品| 人妻制服诱惑在线中文字幕| 亚洲,一卡二卡三卡| 成人无遮挡网站| 黄色配什么色好看| 嫩草影院新地址| 成年人免费黄色播放视频 | 国产精品久久久久久av不卡| 亚洲国产日韩一区二区| 国产 精品1| 精品久久久久久电影网| 久久av网站| 亚洲欧美清纯卡通| 国产熟女午夜一区二区三区 | 国产熟女欧美一区二区| 欧美3d第一页| 国产国拍精品亚洲av在线观看| h日本视频在线播放| 少妇 在线观看| 少妇人妻 视频| 在线播放无遮挡| 人妻人人澡人人爽人人| av福利片在线| a级一级毛片免费在线观看| 欧美日韩国产mv在线观看视频| 日本与韩国留学比较|