• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于多維數(shù)據(jù)的課堂教學行為評價研究*

    2022-04-24 01:29:54炕留一葉海智通訊作者
    現(xiàn)代教育技術(shù) 2022年4期
    關(guān)鍵詞:師生評價分析

    炕留一 葉海智 張 瑾[通訊作者] 朱 珂

    基于多維數(shù)據(jù)的課堂教學行為評價研究*

    炕留一1,2葉海智1張 瑾1[通訊作者]朱 珂1

    (1.河南師范大學 教育學部,河南新鄉(xiāng) 453007;2.河南科技學院 信息工程學院,河南新鄉(xiāng) 453003)

    教學行為數(shù)據(jù)的多樣化、海量化及多維化,將教學行為評價從單向度和淺表化的蟄伏中喚醒,構(gòu)建多維數(shù)據(jù)支持下的課堂教學行為評價模型成為沖出“藩籬”的關(guān)鍵。文章通過對比傳統(tǒng)時代和智能時代的課堂教學行為研究,在弗蘭德斯互動分析系統(tǒng)的基礎(chǔ)上,增添動作、情感等心理和生理行為指標,設(shè)計了基于多維數(shù)據(jù)的課堂教學行為評價指標體系。在此基礎(chǔ)上,文章融合多元主體參與的全方位評價理念,構(gòu)建了基于多維數(shù)據(jù)的課堂教學行為評價模型,并從評價軌跡和評價結(jié)果兩個方面驗證了此模型的有效性,其實踐結(jié)果表明:基于多維數(shù)據(jù)的課堂教學行為評價有助于評價信息的多元化,讓評價的本真意蘊得以顯現(xiàn),是融合課堂教學行為和話語分析的探索與嘗試。文章通過研究多維數(shù)據(jù)視閾下的課堂教學行為評價模型,旨在為創(chuàng)新課堂教學評價提供參考。

    人工智能;多維數(shù)據(jù);課堂教學行為;情感識別

    隨著智能技術(shù)在課堂教學行為評價中得到廣泛應用,教與學之間的區(qū)隔逐漸消解,進而促使多維數(shù)據(jù)的價值在智能時代日益凸顯。2019年,《加快推進教育現(xiàn)代化實施方案(2018-2022年)》提出要通過大數(shù)據(jù)的應用來推動教育教學改革[1]。2020年,《深化新時代教育評價改革總體方案》也明確指出:要充分利用智能技術(shù)和大數(shù)據(jù),注重過程性評價,促進評價方法多元化[2]。在智能時代,依托多維數(shù)據(jù)開展課堂教學行為評價將成為未來教育發(fā)展的重要轉(zhuǎn)向。課堂是教學的主要場域,課堂教學行為既包括師生的共性行為,又涵蓋師生的個性化行為,存在多樣性、多維價值和大容量的特點[3]。課堂教學過程中生成的教學行為數(shù)據(jù)具有多元化、海量化、動態(tài)生成性等特征,多維數(shù)據(jù)的生成為課堂教學行為評價提供了可靠的保障,通過從多個角度或多重層面對多種數(shù)據(jù)進行觀察與分析,可以深入剖析并挖掘教學行為數(shù)據(jù)背后蘊含的信息與規(guī)律。大數(shù)據(jù)的應用為教學研究提供了新的研究范式[4],大數(shù)據(jù)技術(shù)推動教育評價中數(shù)據(jù)驅(qū)動決策的實現(xiàn),助力教育策略的數(shù)據(jù)化治理[5]?;诙嗑S數(shù)據(jù)對課堂教學行為進行評價,更易感知和理解師生行為[6],實現(xiàn)對行為的數(shù)字畫像和數(shù)字寫真[7],能夠本真地反映教學行為狀態(tài),既是創(chuàng)新教學評價的內(nèi)在需求,也是提升教育質(zhì)量的重要舉措?;诖?,本研究探究多維數(shù)據(jù)視閾下的課堂教學行為評價模型,以期為創(chuàng)新教育評價提供理論支撐和實踐指導。

    一 課堂教學行為評價研究的發(fā)展

    隨著教育技術(shù)的發(fā)展,課堂教學行為分析的數(shù)據(jù)樣態(tài)、技術(shù)環(huán)境、評價理念等都在不斷變化[8],這些變化帶來了工具理性和價值理性的沖突。要想促進課堂教學行為評價中的工具理性和價值理性有效融合,還需從傳統(tǒng)時代和智能時代的對比中,探求教育與技術(shù)深度融合的方法和理念?;诖耍狙芯繉Ρ冗@兩個時代,從數(shù)據(jù)樣態(tài)、關(guān)鍵技術(shù)和評價理念三個維度對課堂教學行為評價的相關(guān)研究成果進行梳理,從而為探究多維數(shù)據(jù)課堂教學行為評價方法奠定基礎(chǔ)。

    1 數(shù)據(jù)樣態(tài)

    課堂教學是由教師與學生相互作用的一項復雜活動,課堂教學行為涵蓋教師行為、學生行為和互動行為。隨著教學環(huán)境和學習方式的轉(zhuǎn)變,教學數(shù)據(jù)需由簡單的數(shù)據(jù)轉(zhuǎn)向復雜的數(shù)據(jù)[9],使數(shù)據(jù)來源趨于多維化、全面化:①傳統(tǒng)時代的課堂教學行為數(shù)據(jù)以單一的量表、問卷數(shù)據(jù)為主。研究者需走進教室,通過肉眼觀察師生行為,手工填寫量表和問卷,對學習者整體情況的記錄不夠全面;所觀察的師生行為多以師生言語為主,存在數(shù)據(jù)來源單一、主觀性強等弊端。此外,傳統(tǒng)課堂的教學行為評價以專家與同行的現(xiàn)場觀察為主,以鑒定與甄別為導向[10],缺乏教學過程伴隨性數(shù)據(jù)的支持。②智能時代的課堂教學行為數(shù)據(jù)包含言語、交互、情緒等多維樣態(tài)。已有研究表明,情感、行為、認知等與深度學習存在直接關(guān)系[11];從學習者的認知、情感和交互等多維度層面評估學習狀態(tài),有助于發(fā)現(xiàn)教育中存在的問題[12],探究教學行為蘊含的機制,為師生行為表達提供數(shù)據(jù)決策支持[13]。因此,為了確保全面性,在課堂教學行為評價中需包含情緒、動作、心理等多維教學行為指標,在數(shù)據(jù)樣態(tài)上要由單一的量表和問卷數(shù)據(jù)向言語、交互、行為、情緒等多維數(shù)據(jù)轉(zhuǎn)變。

    2 關(guān)鍵技術(shù)

    要實現(xiàn)課堂教學行為評價的便捷、高效和準確,技術(shù)支撐是不容忽視的因素。隨著技術(shù)的發(fā)展與應用,課堂教學行為評價技術(shù)已實現(xiàn)從傳統(tǒng)手工技術(shù)向智能技術(shù)的轉(zhuǎn)變:①傳統(tǒng)時代的技術(shù)以手工為主。觀察者需走進課堂,手工填寫評價量表以實現(xiàn)對課堂教學行為的記錄與分析。而手工填寫評價量表存在主觀性較強的特點,使評價結(jié)果失真、不可靠。②智能時代的技術(shù)以人工智能與大數(shù)據(jù)等新興技術(shù)為主。智能技術(shù)有助于變革課堂教學生態(tài)[14],重構(gòu)教學環(huán)境[15],為智能化、自動化的數(shù)據(jù)采集與分析奠定了基礎(chǔ)。而基于多維數(shù)據(jù)的教學行為評價,可優(yōu)化課堂師生行為的分析維度,提升教學評價的便捷性、高效性和準確性[16]。因此,課堂教學行為評價以人工智能、大數(shù)據(jù)等技術(shù)為支撐,借助技術(shù)感知多維教學行為,可實現(xiàn)數(shù)據(jù)采集、獲取及處理的自動化及智能化,有效推動了課堂教學評價。

    3 評價理念

    課堂教學評價理念是指引課堂教學改革的指示牌和方向標:①傳統(tǒng)時代的課堂教學追求知識本位的價值取向,與以單向度的教師講授為主的教學形態(tài)高度吻合[17]。傳統(tǒng)教學采用以督導為主的專家型評價,存在一定的片面性。為了獲得公正、準確的評價結(jié)果,體現(xiàn)過程性評價理念,融入全方位的反饋評價為實現(xiàn)課堂教學評價的客觀性、全面性和過程性提供了契機。②智能時代的課堂教學體現(xiàn)了多元主體參與全方位的過程性評價理念。就評價者而言,主要包括學生評價、教師同伴互評、教學督導評價和教師自我評價四個層面,基本涵蓋了主要教學相關(guān)者;就信息類型而言,既包含量化數(shù)據(jù),又包含質(zhì)性數(shù)據(jù),兩者結(jié)合既可發(fā)揮客觀數(shù)據(jù)優(yōu)勢,又可保留主觀分析經(jīng)驗;就數(shù)據(jù)維度而言,包含師生動作、師生情緒、師生互動、師生話語等維度,融合了言語、情緒、身體動作等指標。

    通過對已有研究的梳理,可以發(fā)現(xiàn)課堂教學行為評價已呈現(xiàn)出數(shù)據(jù)化、智能化和自動化的趨勢。為此,國內(nèi)外相繼出現(xiàn)了多種具有影響力的課堂教學行為評價模型。例如,弗蘭德斯互動分析系統(tǒng)(Flanders Interaction Analysis System,F(xiàn)IAS)將教學行為劃分為教師言語、學生言語、靜止或混亂等3個維度、10個行為種數(shù);該系統(tǒng)以師生言語為主,以量化的方式對師生顯性行為進行統(tǒng)計、分析與處理。S-T(Student-Teacher)課堂教學分析法從教師行為和學生行為兩個方面對教學過程進行定量分析,但因為僅涉及兩大行為,故存在數(shù)據(jù)分析顆粒度較大的弊端。而多維數(shù)據(jù)在課堂教學行為評價中的應用促進了兩個轉(zhuǎn)向:①從顯性的課堂教學行為評價轉(zhuǎn)向隱性行為與顯性行為相結(jié)合的評價;②從粗粒度的評價數(shù)據(jù)向細粒度的評價數(shù)據(jù)轉(zhuǎn)變。弗蘭德斯互動分析系統(tǒng)的應用,也有助于課堂教學行為評價的兩個轉(zhuǎn)向?;诖?,本研究將基于弗蘭德斯互動分析系統(tǒng)構(gòu)建評價指標體系,為設(shè)計多維數(shù)據(jù)的課堂教學行為評價模型奠定基礎(chǔ)。

    二 基于多維數(shù)據(jù)的教學行為評價指標體系構(gòu)建

    本研究以弗蘭德斯互動分析系統(tǒng)為依托,從多維數(shù)據(jù)編碼和多維數(shù)據(jù)獲取兩個層面構(gòu)建基于多維數(shù)據(jù)的教學行為評價指標體系,既涵蓋身體動作等可以觀察的顯性行為,又包含情緒、師生交互等不易觀察的隱性行為,以實現(xiàn)行為分析的全面性、客觀性與有效性,使數(shù)據(jù)分析精細化。

    表1 基于多維數(shù)據(jù)的課堂教學行為指標體系

    1 多維數(shù)據(jù)編碼

    課堂是教育教學的關(guān)鍵場域,對課堂教學行為進行多維分析可以實現(xiàn)評價的精準化。而多維數(shù)據(jù)呈散狀分布的特點,需要相關(guān)的指標體系用于學習過程中行為、動作、情感等數(shù)據(jù)的統(tǒng)一編碼與建模,以實現(xiàn)對學習真實發(fā)生過程的探究[18]。弗蘭德斯互動分析系統(tǒng)是課堂言語和交互行為量化分析的典型代表,而人工智能和大數(shù)據(jù)等技術(shù)的應用,為動作、情感等行為數(shù)據(jù)的收集與分析提供了可能。因此,本研究結(jié)合基于人工智能的課堂教學評價中的師生數(shù)據(jù)劃分[19],增添動作、情感等心理和生理行為指標,構(gòu)建了基于多維數(shù)據(jù)的課堂教學行為評價指標體系,如表1所示。

    課堂教學數(shù)據(jù)分為行為數(shù)據(jù)和話語數(shù)據(jù)兩種。其中,行為數(shù)據(jù)可以加深教師對教學過程的理解與描繪,但存在純技術(shù)的缺陷;而話語數(shù)據(jù)可以再現(xiàn)課堂全貌,但存在主觀判斷不足的問題,因此需結(jié)合這兩種數(shù)據(jù)來分析課堂教學行為,以相互補其不足。在基于多維數(shù)據(jù)的課堂教學行為評價指標體系中,行為數(shù)據(jù)設(shè)有7個一級指標,包括:教師動作、教師情緒、教師音量、教師語速、學生動作、學生情緒、師生交互。話語數(shù)據(jù)主要是課堂真實情境中的師生話語——在課堂中,可以采用人工智能技術(shù),借助攝像頭、腦電波、眼動儀等設(shè)備實時采集課堂中的師生行為,且每3秒對課堂教學過程中的真實數(shù)據(jù)(包含音頻、視頻、動作和面部表情等數(shù)據(jù))進行采樣,并按編碼指標體系生成對應的編碼碼號,作為教學行為觀察記錄,形成課堂行為的序列數(shù)據(jù)。為了便于處理,本研究將基于多維數(shù)據(jù)的課堂教學行為評價指標體系的一級指標進一步細化至二級指標,并完成對應編碼?;谥悄芗夹g(shù)的編碼過程可以取代重復性的人工編碼工作,并在技術(shù)迭代優(yōu)化的過程中逐步提高編碼精度,使智能技術(shù)賦能教學行為的評價過程。

    2 多維數(shù)據(jù)獲取

    教學過程行為數(shù)據(jù)主要來源于課堂教學情境、教學視頻、教學語音、教學圖像、在線教育平臺的教學過程(文本或平臺的其他數(shù)據(jù))等,因此利用傳統(tǒng)的單一數(shù)據(jù)較難對教學狀態(tài)與教學效果進行精準化、全面性的診斷。此外,教師在課堂情境下快速捕捉學習者的情緒比較困難[20],尤其是面對整個班級的學生時更是難上加難。而智能技術(shù)的發(fā)展,豐富了課堂教學行為觀察的方法與技術(shù),使多維數(shù)據(jù)的獲取與分析具有了可行性和可操作性。

    利用計算機視覺(Computer Vision,CV)、智能語音識別(Intelligence Speech Recognition,ISR)、面部識別技術(shù)(Facial Recognition Technology,F(xiàn)RT)、自然語言處理(Natural Language Processing,NLP)等智能技術(shù)分析課堂教學行為,可以實現(xiàn)對教學過程中行為數(shù)據(jù)的伴隨性采集,形成精準的課堂教學行為分析結(jié)果[21]。基于此,本研究借助圖像識別技術(shù)、語音識別技術(shù)、自然語言處理、可穿戴設(shè)備等技術(shù)進行動作檢測和情緒行為識別來獲取行為數(shù)據(jù),借助語音識別技術(shù)、文本挖掘技術(shù)和語義分析技術(shù)獲取話語數(shù)據(jù),同時利用自然語言處理技術(shù)定位課堂管理、口語表述、內(nèi)容講授和師生問答等環(huán)節(jié),提高了教學過程評價的精準度。運用智能技術(shù)對課堂多維數(shù)據(jù)進行分析、開展人機智能協(xié)作,既可發(fā)揮客觀數(shù)據(jù)優(yōu)勢,又保留了主觀分析經(jīng)驗,有助于實現(xiàn)教學過程和教學結(jié)果的動態(tài)統(tǒng)一。

    三 基于多維數(shù)據(jù)的課堂教學行為評價模型設(shè)計

    多維數(shù)據(jù)課堂教學行為評價指標體系可以客觀、全面、細粒度地評價課堂教學行為。基于此,本研究從數(shù)據(jù)層、主體層與實施層三個層面設(shè)計了基于多維數(shù)據(jù)的課堂教學行為評價模型,并從量化結(jié)果與質(zhì)性結(jié)果兩個方面闡釋了評價的實現(xiàn)機理。

    1 課堂教學行為評價模型構(gòu)建

    人工智能技術(shù)正重塑教育樣態(tài),并為教育領(lǐng)域提供了機遇與挑戰(zhàn)。傳統(tǒng)的教學評價通過教學督導和專家獲取豐富的經(jīng)驗與有價值的建議,但是會耗費較多的時間和人力資源,影響教學評價結(jié)果的客觀性、及時性?;谌斯ぶ悄芗夹g(shù)的課堂教學評價則通過獲取與分析教學過程中的師生動作、師生交互、師生情緒和師生話語等多維數(shù)據(jù),彌補傳統(tǒng)評價方法的主觀性和經(jīng)驗依賴性,并根據(jù)記錄的師生課堂行為,實現(xiàn)個性化指導和精準化教學。本研究構(gòu)建的基于多維數(shù)據(jù)的課堂教學行為評價模型包括數(shù)據(jù)層、主體層與實施層,其中數(shù)據(jù)層主要綜合師生的行為數(shù)據(jù)和話語數(shù)據(jù),主體層體現(xiàn)多元主體參與的全方位評價理念,而實施層表征教育評價的開展過程,具體如圖1所示。

    圖1 基于多維數(shù)據(jù)的課堂教學行為評價模型

    (1)數(shù)據(jù)層:評價數(shù)據(jù)的采集與處理

    多維數(shù)據(jù)是開展全面性教學評價的關(guān)鍵與核心。教學過程的數(shù)字化,使教學行為分析的數(shù)據(jù)化成為可能。隨著智能技術(shù)在數(shù)據(jù)采集中的應用,采集方式由傳統(tǒng)的課堂觀察、回放視頻錄像等形式轉(zhuǎn)變?yōu)榧B(tài)化和伴隨性采集于一體的智能化形式。結(jié)合基于多維數(shù)據(jù)的課堂教學行為指標體系,可以采取AI視頻分析技術(shù)對教學過程進行自動化分析研究[22],依托信息技術(shù)自動化、智能化獲取量化結(jié)果,同時依托語義分析批量處理話語數(shù)據(jù)獲得質(zhì)性結(jié)果。質(zhì)性結(jié)果和量化結(jié)果經(jīng)過折合,得到最終的評價結(jié)果。在數(shù)據(jù)采集與分析的基礎(chǔ)上,要實現(xiàn)對教學過程數(shù)據(jù)分析與結(jié)果報告的數(shù)字化呈現(xiàn)[23],以彌補傳統(tǒng)呈現(xiàn)形式的不便與弊端,助力教學活動。借助技術(shù)對課堂中的師生動作、師生話語、師生情緒等多維數(shù)據(jù)進行分析,可以在一定程度上克服傳統(tǒng)評價的主觀性和經(jīng)驗依賴性,實現(xiàn)課堂行為的實時監(jiān)測與優(yōu)化,打開顯性行為和隱性行為背后的“黑箱”,幫助師生精準獲取自身發(fā)展特質(zhì),實現(xiàn)教學評價的精準化。

    (2)主體層:多元主體參與的全方位評價

    通過不同的評價主體開展教學評價,發(fā)現(xiàn)教學過程中存在的問題并及時反饋,是教學評價的初衷,也是提高教學質(zhì)量的重要途徑?;诙嘣黧w參與的全方位評價理念,不斷提高評價結(jié)果的真實性,是教育評價改革的主要趨勢。為了提高評價的全面性,評價主體不僅包括教師和學生,還需教師同伴和教學督導等專家提供指導意見與建議??梢?,評價者是由學生、教師同伴、教學督導和教師本人構(gòu)成,共同對課堂教學進行全面評價。其中,學生作為教學的直接對象和參與者,是教學評價的重要信息來源,學生評價有助于了解教學的整體情況;教師同伴評價是由同一學科、同一專業(yè)的其他教師對教學開展評價,更易獲得對教學體系安排、內(nèi)容設(shè)置、重難點處理、知識更新等方面較為科學、合理的評價數(shù)據(jù);教學督導評價是由專業(yè)人員開展的評價,更易獲得教師共性方面的數(shù)據(jù);教師自我評價則屬于一種教學反思范疇,通過對教學目標、教學計劃、教學內(nèi)容、教學效果等方面的反思,提高教師的專業(yè)發(fā)展能力。評價主體的多元化,有利于提高評價結(jié)果的全面性和真實性。

    (3)實施層:評價軌跡的形成

    在智能時代,多維教學行為數(shù)據(jù)通過評價軌跡展示了最直接的教學過程。評價軌跡是對評價者實施評價過程的可視化呈現(xiàn),可以實現(xiàn)評價過程的全域、立體展示。通過評價軌跡對師生課堂教學進行畫像,能夠?qū)崿F(xiàn)內(nèi)隱機理與外顯表征的連結(jié),幫助師生進行教與學反思。隨著大數(shù)據(jù)技術(shù)和人工智能技術(shù)的發(fā)展,基于多維數(shù)據(jù)的評價將會提高課堂教學評價的全面性和客觀性。不同顏色的中心圈表示不同的評價結(jié)果,本研究分別賦予其很差、較差、合格、良好、優(yōu)秀等5個評價等級,并用由深至淺的5種顏色表示,詳見圖1中數(shù)字1、2、3、4、5所代表的深淺顏色不同的中心圈。在評價實施的過程中,不同的評價主體針對不同的評價行為將會產(chǎn)生不同的評價結(jié)果,形成不同的評價軌跡。評價軌跡錯綜交疊,形成復雜的網(wǎng)絡(luò)結(jié)構(gòu),詳見圖1中的八邊形虛線區(qū)域。隨著智能技術(shù)的發(fā)展,可借助計算機完成評價軌跡的批量處理,并深度挖掘其蘊含的規(guī)律,從而高效地分析教學過程。

    2 評價結(jié)果的實現(xiàn)機理

    評價主體的多元性和數(shù)據(jù)采集的多維性,符合全方位的評價理念。借助人工智能技術(shù)實現(xiàn)對數(shù)據(jù)的追蹤、記錄和分析,獲得及時、準確、有效的評價反饋,為教師有效利用課堂資源提供了契機。人工智能技術(shù)的應用、科學量化工具的引入和教學錄音錄像設(shè)備的優(yōu)化,豐富了課堂教學行為觀察的方法和技術(shù),并使其具有可操作性。隨著技術(shù)的發(fā)展,智能技術(shù)可實現(xiàn)對數(shù)據(jù)的批量記錄與處理。人工智能算法已能解決很多復雜的問題,運用人工智能算法獲得的量化結(jié)果和質(zhì)性結(jié)果經(jīng)過折合后,得到最終的評價結(jié)果。

    (1)量化結(jié)果

    課堂教學過程中的師生行為按照表1進行編碼,并借助人工智能技術(shù)轉(zhuǎn)換成相應的特征序列。其中,圖像和語音識別是利用智能技術(shù)分析計算機攝像頭采集的圖像,把聲音轉(zhuǎn)換成文字[24]。借助可穿戴設(shè)備(如智能眼睛)和植入設(shè)備(如腦接口),可實現(xiàn)對情感和神經(jīng)腦網(wǎng)絡(luò)的識別,以及對師生情緒和表情的自動采集、編碼、處理。自然語言處理是將人類學習和機器推理相結(jié)合,通過虛擬實體自動分析和表達人類語言,完成對師生話語的自動響應、文本翻譯和語音識別等操作[25]。相關(guān)技術(shù)的發(fā)展,為量化結(jié)果的獲取奠定了基礎(chǔ)。

    如前文所述,評價者包括學生、教師同伴、教學督導和教師本人。公式(1)定義了所有評價者對被評價對象開展評價的特征序列,以描述每個評價者對師生行為的評價概況。其中,CN×M是所有評價者對師生行為進行評價的特征矩陣,N表示評價者的人數(shù),M表示師生行為的特征數(shù),Cji代表第j個評價者對第i個指標的評價值。

    另外,本研究用Uj表示特征向量,代表各因素的相對重要性;用Sj表示第j個評價者,用ωi(Sj)表示第j個評價者的權(quán)重。Scorequan表示最終量化結(jié)果,通過公式(2)計算得出。

    (2)質(zhì)性結(jié)果

    采用量化的形式對課堂教學行為進行觀察記錄,可以獲取相對客觀的數(shù)據(jù),但是存在純技術(shù)的缺陷,因此需要對課堂過程中的話語文本進行質(zhì)性分析。完整的話語文本能準確反映課堂實錄,兩者結(jié)合可以提高課堂教學評價的準確性和全面性。話語分析是采用一定的技術(shù),分析教學過程中的師生文本數(shù)據(jù)并發(fā)現(xiàn)主題之間的關(guān)系[26]。借助計算機語義分析批量處理,得到參考得分,用ScoreC表示。為了盡量避免學生、教師同伴、教學督導和教師本人的盲目主觀打分,以保證評價結(jié)果的公平性,評價者得分需在參考得分上下浮動(上下浮動值可根據(jù)學?;蛘哒n程的實際情況而定)。也就是說,在上下浮動范圍內(nèi)的值被視為有效值,而超過上下浮動范圍的值被視為無效值、予以剔除處理。本研究用數(shù)值d表示設(shè)置的上下浮動值常量,其中Si表示第i個評價對象的質(zhì)性得分,Sm表示所有評價者的質(zhì)性得分總和。Scorequal表示所有評價者的最終質(zhì)性結(jié)果。當Si∈[ScoreC(1-d),ScoreC(1+d)],其中m≤N,通過公式(3)計算出最終質(zhì)性結(jié)果。最后,通過對量化結(jié)果與質(zhì)性結(jié)果賦值權(quán)重進行折合計算,得到最終的評價結(jié)果。

    四 基于多維數(shù)據(jù)的課堂教學行為評價模型實踐

    為了驗證評價模型的效果,本研究依托華中地區(qū)A大學“人工智能+教師專業(yè)發(fā)展”實驗室開展基于多維數(shù)據(jù)的課堂教學行為評價模型(下文簡稱“評價模型”)實踐。該實驗室涵蓋水平診斷、聽評教研和培訓發(fā)展三重功能,可滿足數(shù)據(jù)的常態(tài)化采集、智能化分析、可視化呈現(xiàn)、便捷化存儲等目標。該實驗室借助智能環(huán)境下的VR/AI音視頻終端設(shè)備、音視頻處理技術(shù)等手段,可以全方位采集師生課堂教學過程數(shù)據(jù),為教學行為分析提供數(shù)據(jù)支持,實現(xiàn)集教、評、學、管于一體的總體畫像。2021年,本研究在該實驗室進行了小規(guī)模的實驗,邀請5名教育技術(shù)學領(lǐng)域?qū)<医M成測評小組,采用非形式化的專家評審法對不同學科的6門課程進行評價,依據(jù)評價模型生成30份測評報告,同時評價系統(tǒng)自動生成6份評測報告。本研究主要從評價軌跡和評價結(jié)果兩個方面,進行評價模型實踐效果的驗證。

    1 評價軌跡分析

    為了清晰地呈現(xiàn)評價軌跡,本研究選取2020級師范生校級公選課“現(xiàn)代教育技術(shù)”課程,以其第三章“智能化教學環(huán)境應用”中“智能技術(shù)的發(fā)展歷程”的內(nèi)容講解為分析對象;同時,隨機選取專家A、專家B和系統(tǒng)C對課堂教學中師生行為的20個二級指標進行分析,最后采用Python中的matplotlib和scikit-learn等工具包對評價軌跡進行可視化表征,結(jié)果如圖2所示。

    圖2 評價軌跡可視化表征

    本研究將20個二級指標生成的數(shù)據(jù)集進行模型訓練及分類,用橫坐標表示行為指標的數(shù)字化表征1(Digital Representation 1,DR1)、縱坐標表示行為指標的數(shù)字化表征2(Digital Representation 2,DR2);不同的形狀表示不同評價者對教學行為的評價情況,其中圓形代表專家A,三角形代表專家B,五角星形代表系統(tǒng)C。由圖2可以看出,A、B、C的分布情況相對一致,僅少數(shù)軌跡存在一定的差異,生成的評價軌跡在正??山邮芊秶鷥?nèi),故從評價軌跡來看評價模型具有一定的可行性。

    2 評價結(jié)果分析

    綜上,通過對評價軌跡的一致性和評價結(jié)果的決定系數(shù)進行分析,本研究初步驗證了評價模型的有效性。后續(xù)研究將持續(xù)優(yōu)化評價模型并擴大實驗規(guī)模,使基于多維數(shù)據(jù)的課堂教學行為評價趨于常態(tài)化。基于多維數(shù)據(jù)的課堂教學行為評價模型可作為師生專業(yè)成長的數(shù)據(jù)檔案,用于師生能力優(yōu)化評估;可成為師生能力的發(fā)展圖譜,系統(tǒng)性、結(jié)構(gòu)化地促進師生的專業(yè)發(fā)展;可滿足教育教學的實時監(jiān)測,實現(xiàn)教育教學的過程化管理。

    五 結(jié)語

    本研究從多維數(shù)據(jù)視角,探討了如何對課堂教學行為進行全面、客觀的評價,旨在通過課堂教學的行為數(shù)據(jù)和話語數(shù)據(jù)分析,實現(xiàn)基于多維數(shù)據(jù)的伴隨性采集和及時有效的監(jiān)測評價,為教學行為評價提供理論參考。然而,師生教學行為數(shù)據(jù)具有多樣性、多維價值、大容量等特點,且數(shù)據(jù)的采集與獲取涉及倫理問題?;诖?,后續(xù)研究將持續(xù)推進基于多維數(shù)據(jù)的教學行為評價相關(guān)研究,做好師生隱私保護的同時,滿足教學評價的常態(tài)化,實現(xiàn)教學行為數(shù)據(jù)的深度挖掘與測評診斷,以提升教學評價的個性化、準確化和高效化,并為推動課堂教學評價改革提供新思路。

    [1]中共中央辦公廳,國務(wù)院辦公廳.加快推進教育現(xiàn)代化實施方案(2018-2022年)[OL].

    [2]中共中央國務(wù)院.深化新時代教育評價改革總體方案[OL].

    [3]王陸,李瑤.課堂教學行為大數(shù)據(jù)透視下的教學現(xiàn)象探析[J].電化教育研究,2017,(4):77-85.

    [4]張文梅,祁彬斌,范文翔.數(shù)據(jù)驅(qū)動的教學行為分析:現(xiàn)狀、邏輯與發(fā)展趨向[J].遠程教育雜志,2021,(1):84-93.

    [5]艾興,張玉.從數(shù)字畫像到數(shù)字孿生體:數(shù)智融合驅(qū)動下數(shù)字孿生學習者構(gòu)建新探[J].遠程教育雜志,2021,(1):41-50.

    [6]牟智佳,符雅茹.多模態(tài)學習分析研究綜述[J].現(xiàn)代教育技術(shù),2021,(6):23-31.

    [7]張治,戚業(yè)國.基于大數(shù)據(jù)的多源多維綜合素質(zhì)評價模型的構(gòu)建[J].中國電化教育,2017,(9):69-77、97.

    [8]趙麗,賀瑋,王洋.人工智能支持的課堂教學行為分析:困境與路徑[J].電化教育研究,2022,(1):86-92.

    [9]于方,劉延申,郝明睿,等.基于多源履職數(shù)據(jù)的大學院系畫像構(gòu)建與應用[J].現(xiàn)代教育技術(shù),2021,(6):119-126.

    [10]吳立寶,曹雅楠,曹一鳴.人工智能賦能課堂教學評價改革與技術(shù)實現(xiàn)的框架構(gòu)建[J].中國電化教育,2021,(5):94-101.

    [11]王麗英,何云帆,田俊華.在線學習行為多模態(tài)數(shù)據(jù)融合模型構(gòu)建及實證[J].中國遠程教育,2020,(6):22-30、51、76.

    [12]黃濤,趙媛,耿晶,等.數(shù)據(jù)驅(qū)動的精準化學習評價機制與方法[J].現(xiàn)代遠程教育研究,2021,(1):3-12.

    [13]朱珂,張思妍,劉濛雨.基于情感計算的虛擬教師模型設(shè)計與應用優(yōu)勢[J].現(xiàn)代教育技術(shù),2020,(6):78-85.

    [14]顧小清,王超.打開技術(shù)創(chuàng)新課堂教學的新窗:刻畫AIoT課堂應用場景[J].現(xiàn)代遠程教育研究,2021,(2):3-12.

    [15]朱珂,張瑩,李瑞麗.全息課堂:基于數(shù)字孿生的可視化三維學習空間新探[J].遠程教育雜志,2020,(4):38-47.

    [16]劉清堂,何皓怡,吳林靜,等.基于人工智能的課堂教學行為分析方法及其應用[J].中國電化教育,2019,(9):13-21.

    [17]陳佑清,陶濤.“以學評教”的課堂教學評價指標設(shè)計[J].課程·教材·教法,2016,(1):45-52.

    [18]胡航,楊旸.多模態(tài)數(shù)據(jù)分析視閾下深度學習評價路徑與策略[J].中國遠程教育,2022,(2):13-19、76.

    [19]Guo J, Bai L, Yu Z, et al. An AI-application-oriented in-class teaching evaluation model by using statistical modeling and ensemble learning[J]. Sensors, 2021,(1):3-20.

    [20]劉智,方常麗,劉三女牙,等.物理學習空間中學習者情緒感知研究綜述[J].遠程教育雜志,2019,(2):33-44.

    [21]教育部.人工智能助力教師教學創(chuàng)新[OL].

    [22]駱祖瑩,趙琦琦,段福慶.基于教師近場語音的課堂教學過程自動分析[J].現(xiàn)代教育技術(shù),2021,(8):76-84.

    [23]趙剛,朱文娟,胡碧靈,等.多維度特征融合的教學行為智能分析模式構(gòu)建[J].電化教育研究,2020,(10):36-44.

    [24]Tongu G, Ozkara B O. Automatic recognition of student emotions from facial expressions during a lecture[J]. Computers & Education, 2020,148:103797.

    [25]Rico-Juan J R, Gallego A J, Calvo-Zaragoza J. Automatic detection of inconsistencies between numerical scores and textual feedback in peer-assessment processes with machine learning[J]. Computers & Education, 2019,140:103609.

    [26]張瑾,張夷楠,葉海智,等.教師在線學習社區(qū)中會話主題發(fā)現(xiàn)及演化分析[J].遠程教育雜志,2021,(2):85-94.

    Research on the Classroom Teaching Behavior Evaluation Based on the Multi-dimensional Data

    KANG Liu-yi1,2YE Hai-zhi1ZHANG Jin1[Corresponding Author]ZHU Ke1

    The diversification, quantification and multi-dimensionalization of teaching behavior data has awakened the teaching behavior evaluation from the uni-dimensional and superficial dormancy, and the construction of a classroom teaching behavior evaluation model supported by multi-dimensional data has become the key to breaking out of the “fence”. By comparing the research of classroom teaching behavior in the traditional and intelligent era, based on the Flanders interactive analysis system and adding action, emotion and other psychological and physiological behavior indicators, this paper constructed the classroom teaching behavior evaluation index system based on multi-dimensional data. Accordingly,this paper integrated the all-round evaluation concept of multi-subject participation, built the classroom teaching behavior evaluation model based on multi-dimensional data, and verified the effectiveness of the model from two aspects of evaluation trajectory and evaluation result. The practical results indicated that the classroom teaching behavior evaluation based on multi-dimensional data was helpful for the diversification of evaluation information, so that the true meaning of evaluation could be revealed, and it was an exploration and attempt to integrate classroom teaching behavior and discourse analysis.

    artificial intelligence; multi-dimensional data; classroom teaching behavior; emotion recognition

    G40-057

    A

    1009—8097(2022)04—0068—10

    10.3969/j.issn.1009-8097.2022.04.008

    基金項目:本文為河南省高校人文社會科學研究一般項目“在線課程評價指標體系構(gòu)建”(項目編號:2021-ZZJH-120)、河南省高??萍紕?chuàng)新團隊支持計劃“教育大數(shù)據(jù)分析與應用”(項目編號:22IRTSTHN031)的階段性研究成果。

    炕留一,河南科技學院講師,河南師范大學在讀博士,研究方向為教育評價、教師專業(yè)發(fā)展,郵箱為877350620@qq.com。

    2021年8月13日

    編輯:小時

    猜你喜歡
    師生評價分析
    初中歷史教學中師生的有效互動
    甘肅教育(2021年12期)2021-11-02 06:30:00
    SBR改性瀝青的穩(wěn)定性評價
    石油瀝青(2021年4期)2021-10-14 08:50:44
    隱蔽失效適航要求符合性驗證分析
    電力系統(tǒng)不平衡分析
    電子制作(2018年18期)2018-11-14 01:48:24
    電力系統(tǒng)及其自動化發(fā)展趨勢分析
    麻辣師生
    基于Moodle的學習評價
    重視“五老”作用 關(guān)愛青年師生
    中國火炬(2014年8期)2014-07-24 14:30:26
    保加利亞轉(zhuǎn)軌20年評價
    多維度巧設(shè)聽課評價表 促進聽評課的務(wù)實有效
    體育師友(2012年4期)2012-03-20 15:30:10
    久久国产精品人妻蜜桃| 精品人妻1区二区| 亚洲人成网站在线播放欧美日韩| 亚洲自偷自拍图片 自拍| 亚洲色图av天堂| 国产伦一二天堂av在线观看| 成人三级做爰电影| 91国产中文字幕| 欧美日本亚洲视频在线播放| 国产在线精品亚洲第一网站| 18禁黄网站禁片午夜丰满| 黄色视频不卡| 美女免费视频网站| 好男人电影高清在线观看| 男人舔奶头视频| 波多野结衣高清无吗| 欧美av亚洲av综合av国产av| 韩国精品一区二区三区| 丝袜在线中文字幕| 女人被狂操c到高潮| www.999成人在线观看| 亚洲欧美日韩无卡精品| 久久精品91蜜桃| 国产午夜福利久久久久久| 999久久久国产精品视频| 国产高清视频在线播放一区| 桃色一区二区三区在线观看| 波多野结衣高清作品| 女人高潮潮喷娇喘18禁视频| 欧美不卡视频在线免费观看 | 亚洲精品中文字幕一二三四区| 亚洲一码二码三码区别大吗| 亚洲五月婷婷丁香| 久久婷婷人人爽人人干人人爱| 老熟妇乱子伦视频在线观看| 国产单亲对白刺激| 欧美成人性av电影在线观看| 欧美午夜高清在线| 精品国产超薄肉色丝袜足j| 两性午夜刺激爽爽歪歪视频在线观看 | 亚洲国产精品久久男人天堂| 在线观看舔阴道视频| 又黄又粗又硬又大视频| 亚洲男人的天堂狠狠| 久久精品国产亚洲av高清一级| 精华霜和精华液先用哪个| 成人av一区二区三区在线看| av电影中文网址| 亚洲专区国产一区二区| 亚洲精品在线观看二区| 他把我摸到了高潮在线观看| 国产久久久一区二区三区| 国产精品久久电影中文字幕| 久久久久精品国产欧美久久久| 欧美 亚洲 国产 日韩一| 亚洲精品中文字幕在线视频| 18禁国产床啪视频网站| av视频在线观看入口| 可以在线观看的亚洲视频| 亚洲一区高清亚洲精品| 精品国产乱子伦一区二区三区| netflix在线观看网站| 婷婷精品国产亚洲av| 国产视频一区二区在线看| 久久婷婷成人综合色麻豆| 男女下面进入的视频免费午夜 | 12—13女人毛片做爰片一| 久99久视频精品免费| 男女视频在线观看网站免费 | 精品高清国产在线一区| 国产片内射在线| 99热这里只有精品一区 | 真人做人爱边吃奶动态| 国语自产精品视频在线第100页| 国语自产精品视频在线第100页| 欧美 亚洲 国产 日韩一| 97超级碰碰碰精品色视频在线观看| 久久久久九九精品影院| 1024香蕉在线观看| 美女免费视频网站| 亚洲精品一区av在线观看| 大型黄色视频在线免费观看| 变态另类丝袜制服| 亚洲成国产人片在线观看| 91九色精品人成在线观看| 日本成人三级电影网站| 99国产精品99久久久久| 女人被狂操c到高潮| 这个男人来自地球电影免费观看| 一级片免费观看大全| 88av欧美| 老汉色av国产亚洲站长工具| 亚洲国产欧洲综合997久久, | 国产熟女午夜一区二区三区| 国产麻豆成人av免费视频| 亚洲av电影不卡..在线观看| 啦啦啦观看免费观看视频高清| 欧美 亚洲 国产 日韩一| 亚洲国产欧美日韩在线播放| 国产精品1区2区在线观看.| 波多野结衣巨乳人妻| √禁漫天堂资源中文www| 大香蕉久久成人网| 两个人视频免费观看高清| 亚洲黑人精品在线| 国产精品 国内视频| 欧美黑人巨大hd| 老汉色av国产亚洲站长工具| 亚洲精品一区av在线观看| 12—13女人毛片做爰片一| 变态另类成人亚洲欧美熟女| 女同久久另类99精品国产91| 波多野结衣高清无吗| 欧美又色又爽又黄视频| 黑人操中国人逼视频| 国产1区2区3区精品| 热re99久久国产66热| 在线播放国产精品三级| 国产精品一区二区免费欧美| 丝袜在线中文字幕| 亚洲av第一区精品v没综合| www.精华液| 亚洲五月色婷婷综合| 欧美+亚洲+日韩+国产| 在线视频色国产色| 日韩精品青青久久久久久| 啦啦啦免费观看视频1| 亚洲色图av天堂| 亚洲一区二区三区不卡视频| 精品久久久久久久久久免费视频| 亚洲国产精品久久男人天堂| 国产精品久久电影中文字幕| 男男h啪啪无遮挡| 黑人巨大精品欧美一区二区mp4| 成人国产一区最新在线观看| 国产成年人精品一区二区| 黄频高清免费视频| 国产亚洲av嫩草精品影院| 日本精品一区二区三区蜜桃| 久久婷婷人人爽人人干人人爱| 亚洲国产看品久久| 亚洲国产欧洲综合997久久, | 日韩有码中文字幕| 国产在线精品亚洲第一网站| 亚洲国产毛片av蜜桃av| 午夜免费激情av| 黄色毛片三级朝国网站| 亚洲国产高清在线一区二区三 | 日本 av在线| 99国产极品粉嫩在线观看| 久久久久久免费高清国产稀缺| 亚洲中文字幕日韩| 午夜福利高清视频| 国产成人欧美| 亚洲国产精品999在线| 国产成人精品无人区| 成人18禁高潮啪啪吃奶动态图| 12—13女人毛片做爰片一| 男女床上黄色一级片免费看| 欧美日韩中文字幕国产精品一区二区三区| 国产一卡二卡三卡精品| 欧美日韩黄片免| 久热爱精品视频在线9| 麻豆成人av在线观看| 欧美性长视频在线观看| 一区二区三区高清视频在线| 国产爱豆传媒在线观看 | 精品午夜福利视频在线观看一区| 无人区码免费观看不卡| 成人国语在线视频| 在线观看日韩欧美| 淫妇啪啪啪对白视频| 12—13女人毛片做爰片一| 中文字幕另类日韩欧美亚洲嫩草| www.精华液| 一二三四在线观看免费中文在| 亚洲中文字幕一区二区三区有码在线看 | 成人欧美大片| 日韩大尺度精品在线看网址| 亚洲第一电影网av| 精品久久久久久久人妻蜜臀av| 亚洲精品国产区一区二| 欧美日韩中文字幕国产精品一区二区三区| 久久精品国产亚洲av高清一级| 免费搜索国产男女视频| 成人午夜高清在线视频 | 一进一出抽搐动态| 欧美色视频一区免费| 久久久久久亚洲精品国产蜜桃av| 欧美在线一区亚洲| 非洲黑人性xxxx精品又粗又长| 国产激情欧美一区二区| 国产成人欧美| 草草在线视频免费看| 天堂√8在线中文| 国产一区二区在线av高清观看| 天堂√8在线中文| 日韩欧美三级三区| 成人免费观看视频高清| 国产高清有码在线观看视频 | 99国产综合亚洲精品| 1024手机看黄色片| 亚洲精品国产一区二区精华液| www国产在线视频色| 久久亚洲真实| 69av精品久久久久久| 男人的好看免费观看在线视频 | 99久久无色码亚洲精品果冻| 日韩欧美在线二视频| 亚洲精品一卡2卡三卡4卡5卡| 最好的美女福利视频网| 在线视频色国产色| 999久久久国产精品视频| 亚洲全国av大片| 亚洲欧美日韩无卡精品| 亚洲精品美女久久久久99蜜臀| 久久久精品欧美日韩精品| 亚洲一卡2卡3卡4卡5卡精品中文| 精品国产乱子伦一区二区三区| 女人爽到高潮嗷嗷叫在线视频| 欧美最黄视频在线播放免费| 免费一级毛片在线播放高清视频| 曰老女人黄片| 午夜视频精品福利| 久久国产乱子伦精品免费另类| 听说在线观看完整版免费高清| 老熟妇仑乱视频hdxx| 国产精品久久久av美女十八| 啦啦啦 在线观看视频| 香蕉丝袜av| 大型av网站在线播放| 禁无遮挡网站| 国产v大片淫在线免费观看| 中文字幕高清在线视频| 国产精品1区2区在线观看.| 国产av在哪里看| or卡值多少钱| 两性夫妻黄色片| 午夜老司机福利片| 成人亚洲精品av一区二区| 久久久久久久久免费视频了| 欧美日韩精品网址| 国产一级毛片七仙女欲春2 | 中文字幕人妻熟女乱码| 我的亚洲天堂| 免费一级毛片在线播放高清视频| 中文资源天堂在线| 免费在线观看视频国产中文字幕亚洲| 久久婷婷成人综合色麻豆| 免费看a级黄色片| 亚洲熟妇中文字幕五十中出| tocl精华| 我的亚洲天堂| 国产精品一区二区精品视频观看| 激情在线观看视频在线高清| 日韩中文字幕欧美一区二区| 亚洲欧美日韩无卡精品| 长腿黑丝高跟| 中亚洲国语对白在线视频| 久久人妻av系列| 激情在线观看视频在线高清| 亚洲成人久久性| 一进一出抽搐gif免费好疼| 亚洲美女黄片视频| 国产精品爽爽va在线观看网站 | 亚洲成国产人片在线观看| 久久精品国产综合久久久| 欧美日韩黄片免| 日韩 欧美 亚洲 中文字幕| 黄色女人牲交| 一个人免费在线观看的高清视频| 一边摸一边抽搐一进一小说| 亚洲第一欧美日韩一区二区三区| 啦啦啦观看免费观看视频高清| 欧美+亚洲+日韩+国产| 琪琪午夜伦伦电影理论片6080| 18美女黄网站色大片免费观看| 欧美日韩一级在线毛片| 国产精品久久电影中文字幕| 丁香六月欧美| 亚洲一区二区三区色噜噜| 黄片小视频在线播放| 国产成人影院久久av| 男女那种视频在线观看| 亚洲av五月六月丁香网| 精品少妇一区二区三区视频日本电影| 午夜视频精品福利| 88av欧美| 青草久久国产| 欧美成人免费av一区二区三区| 欧美精品亚洲一区二区| 国产不卡一卡二| 一本久久中文字幕| 国产精品永久免费网站| 欧美日韩精品网址| 国产精品久久久久久亚洲av鲁大| 两个人免费观看高清视频| 成人亚洲精品一区在线观看| 一本一本综合久久| 亚洲欧洲精品一区二区精品久久久| 久久香蕉精品热| 久久久久久久久久黄片| 欧美乱妇无乱码| 国产激情偷乱视频一区二区| 日本免费一区二区三区高清不卡| 午夜免费观看网址| 国产一区二区激情短视频| 18美女黄网站色大片免费观看| 午夜久久久在线观看| 变态另类成人亚洲欧美熟女| 久久天堂一区二区三区四区| 国产欧美日韩一区二区精品| 国产伦在线观看视频一区| 成人三级黄色视频| 欧美性猛交╳xxx乱大交人| 91国产中文字幕| www.熟女人妻精品国产| 日韩国内少妇激情av| 男人舔女人下体高潮全视频| 麻豆av在线久日| 精品久久久久久成人av| 侵犯人妻中文字幕一二三四区| 精品免费久久久久久久清纯| 天天一区二区日本电影三级| 黄频高清免费视频| 午夜久久久久精精品| 一区二区三区高清视频在线| 亚洲精品粉嫩美女一区| 青草久久国产| 在线播放国产精品三级| 亚洲av成人一区二区三| 人人妻,人人澡人人爽秒播| 91成年电影在线观看| 日本撒尿小便嘘嘘汇集6| 国产激情偷乱视频一区二区| 日韩精品免费视频一区二区三区| 国内精品久久久久久久电影| 国产黄片美女视频| 1024香蕉在线观看| 国产精华一区二区三区| 国产精品久久电影中文字幕| 亚洲自偷自拍图片 自拍| 午夜福利18| 午夜亚洲福利在线播放| 成人亚洲精品av一区二区| 无限看片的www在线观看| 在线观看一区二区三区| 欧美日韩一级在线毛片| 色老头精品视频在线观看| 日韩精品免费视频一区二区三区| 香蕉丝袜av| 精品欧美国产一区二区三| 国产熟女午夜一区二区三区| 99国产精品99久久久久| 伊人久久大香线蕉亚洲五| 国产黄a三级三级三级人| 国产色视频综合| 精品国内亚洲2022精品成人| 18禁观看日本| 狠狠狠狠99中文字幕| 国产av一区在线观看免费| 色老头精品视频在线观看| 巨乳人妻的诱惑在线观看| 欧美日韩亚洲综合一区二区三区_| 久久久久久亚洲精品国产蜜桃av| www日本在线高清视频| 亚洲国产精品sss在线观看| 亚洲五月天丁香| 久久久久久久久中文| 国产三级黄色录像| 亚洲国产欧美网| 女性生殖器流出的白浆| 亚洲国产欧美网| 精品久久久久久久毛片微露脸| 中文字幕久久专区| 欧美黑人精品巨大| 热99re8久久精品国产| 老熟妇乱子伦视频在线观看| 国产精品久久久人人做人人爽| 久久亚洲真实| 久久伊人香网站| 欧美激情久久久久久爽电影| 欧美黑人精品巨大| 国产在线观看jvid| or卡值多少钱| 欧美久久黑人一区二区| 国产又爽黄色视频| 久99久视频精品免费| 黄色 视频免费看| 真人一进一出gif抽搐免费| 国产一级毛片七仙女欲春2 | 亚洲精品一卡2卡三卡4卡5卡| 亚洲精华国产精华精| 国产精品99久久99久久久不卡| 日韩av在线大香蕉| 国产精品98久久久久久宅男小说| 丝袜人妻中文字幕| 亚洲国产欧美日韩在线播放| 国产极品粉嫩免费观看在线| 亚洲精品一区av在线观看| 欧美色欧美亚洲另类二区| 2021天堂中文幕一二区在线观 | 国产欧美日韩一区二区三| 久久久久精品国产欧美久久久| 国产蜜桃级精品一区二区三区| 欧美国产日韩亚洲一区| 男女床上黄色一级片免费看| 伦理电影免费视频| 天天躁狠狠躁夜夜躁狠狠躁| 免费在线观看成人毛片| 欧美三级亚洲精品| 免费观看人在逋| 看片在线看免费视频| 亚洲国产毛片av蜜桃av| 在线看三级毛片| 国产一区二区三区视频了| 亚洲精华国产精华精| 国产免费男女视频| 久久久水蜜桃国产精品网| 在线播放国产精品三级| 亚洲久久久国产精品| 久久 成人 亚洲| 女性生殖器流出的白浆| 中文字幕精品免费在线观看视频| a级毛片在线看网站| 欧美成人午夜精品| 精品熟女少妇八av免费久了| av天堂在线播放| 国产成人欧美在线观看| 两个人免费观看高清视频| 在线播放国产精品三级| 亚洲精品色激情综合| 国产成人av激情在线播放| АⅤ资源中文在线天堂| 久久久久免费精品人妻一区二区 | 国产99久久九九免费精品| 性色av乱码一区二区三区2| 久久精品国产99精品国产亚洲性色| 免费看a级黄色片| 午夜福利成人在线免费观看| 国产精品,欧美在线| 啦啦啦观看免费观看视频高清| 国产一区二区激情短视频| 在线观看舔阴道视频| а√天堂www在线а√下载| 国产精品一区二区精品视频观看| 好男人在线观看高清免费视频 | 美女扒开内裤让男人捅视频| 在线免费观看的www视频| 丁香六月欧美| 男女之事视频高清在线观看| 精品少妇一区二区三区视频日本电影| 在线观看日韩欧美| 波多野结衣av一区二区av| 亚洲国产精品久久男人天堂| 亚洲精品色激情综合| 久久国产亚洲av麻豆专区| 欧美日韩乱码在线| 久久久久国产精品人妻aⅴ院| 一边摸一边抽搐一进一小说| 精品电影一区二区在线| 成人国语在线视频| 久久精品国产清高在天天线| 国产精品电影一区二区三区| 免费观看人在逋| 国产精品一区二区精品视频观看| 国产欧美日韩一区二区精品| 色在线成人网| 国产久久久一区二区三区| 波多野结衣高清作品| 午夜日韩欧美国产| 老鸭窝网址在线观看| 国产99白浆流出| 老司机午夜十八禁免费视频| 亚洲片人在线观看| 欧美一级a爱片免费观看看 | 狂野欧美激情性xxxx| 日本 av在线| 高潮久久久久久久久久久不卡| 国产精品爽爽va在线观看网站 | av在线天堂中文字幕| 老熟妇乱子伦视频在线观看| 1024手机看黄色片| 精品久久久久久,| 久久久久精品国产欧美久久久| 99在线人妻在线中文字幕| 国产成+人综合+亚洲专区| 最近最新免费中文字幕在线| 18禁观看日本| 午夜福利成人在线免费观看| 中文字幕人妻丝袜一区二区| 欧美乱色亚洲激情| 十八禁人妻一区二区| 亚洲全国av大片| 婷婷丁香在线五月| 男女床上黄色一级片免费看| 中文资源天堂在线| 啪啪无遮挡十八禁网站| 国产高清视频在线播放一区| 国产成人欧美在线观看| 99热只有精品国产| 久久精品国产综合久久久| 老鸭窝网址在线观看| 一进一出抽搐gif免费好疼| 国产区一区二久久| 国产精品,欧美在线| 国产激情偷乱视频一区二区| 亚洲国产精品成人综合色| 欧美三级亚洲精品| 久久久久久亚洲精品国产蜜桃av| 国产精品,欧美在线| 99国产精品99久久久久| 久久亚洲真实| 久久久久久久久中文| 久久久久久久精品吃奶| 亚洲国产欧美日韩在线播放| 精品久久蜜臀av无| 欧美激情 高清一区二区三区| 91在线观看av| 母亲3免费完整高清在线观看| 国产精品综合久久久久久久免费| 免费看日本二区| 黄片小视频在线播放| 搡老熟女国产l中国老女人| av超薄肉色丝袜交足视频| 久久久久久九九精品二区国产 | 欧美性长视频在线观看| 黄片大片在线免费观看| 91成人精品电影| 亚洲天堂国产精品一区在线| 天天添夜夜摸| 中文亚洲av片在线观看爽| 国内精品久久久久久久电影| 亚洲激情在线av| 99久久99久久久精品蜜桃| 1024视频免费在线观看| 午夜福利高清视频| 亚洲国产中文字幕在线视频| 亚洲无线在线观看| 国产黄片美女视频| 精品无人区乱码1区二区| 久久精品夜夜夜夜夜久久蜜豆 | 两性午夜刺激爽爽歪歪视频在线观看 | 日日干狠狠操夜夜爽| 一区二区三区激情视频| 亚洲免费av在线视频| 香蕉av资源在线| 国产亚洲精品综合一区在线观看 | svipshipincom国产片| 国产精品九九99| 又黄又爽又免费观看的视频| 操出白浆在线播放| 久久精品aⅴ一区二区三区四区| 精品久久久久久久人妻蜜臀av| 欧美zozozo另类| 久久久久久人人人人人| 欧美成人免费av一区二区三区| 天堂√8在线中文| 欧美不卡视频在线免费观看 | 日日摸夜夜添夜夜添小说| 免费搜索国产男女视频| 韩国精品一区二区三区| 亚洲欧洲精品一区二区精品久久久| 黄色视频,在线免费观看| 精品少妇一区二区三区视频日本电影| 国产亚洲欧美98| 丰满的人妻完整版| 黑人操中国人逼视频| 又大又爽又粗| 国产野战对白在线观看| 夜夜躁狠狠躁天天躁| 亚洲七黄色美女视频| 精品电影一区二区在线| 欧美国产日韩亚洲一区| 俄罗斯特黄特色一大片| 又紧又爽又黄一区二区| 男人的好看免费观看在线视频 | 给我免费播放毛片高清在线观看| 又黄又爽又免费观看的视频| 久久天躁狠狠躁夜夜2o2o| 日本熟妇午夜| 久久久久久久精品吃奶| 成人国产综合亚洲| 人成视频在线观看免费观看| 成年版毛片免费区| a在线观看视频网站| av中文乱码字幕在线| 淫妇啪啪啪对白视频| 久久久久久久精品吃奶| 此物有八面人人有两片| 国产亚洲欧美精品永久| 久热这里只有精品99| 观看免费一级毛片| 精品久久久久久,| 国产黄a三级三级三级人| 亚洲天堂国产精品一区在线| 亚洲熟妇熟女久久| 国产激情欧美一区二区| videosex国产| 91在线观看av| 国产精品久久久久久人妻精品电影| 成年版毛片免费区| 日韩高清综合在线| 亚洲国产欧美日韩在线播放| 99久久国产精品久久久| 一级a爱片免费观看的视频| 久久青草综合色| 色精品久久人妻99蜜桃| 午夜影院日韩av| 人妻丰满熟妇av一区二区三区| 最近最新免费中文字幕在线| 村上凉子中文字幕在线| 一级毛片精品| 视频在线观看一区二区三区| 亚洲第一av免费看|