• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于張量表示的大學(xué)生批判性思維多模態(tài)測評

    2024-01-01 00:00:00范福蘭雷雪英王建書王思雨麥迪努爾·買合木提
    關(guān)鍵詞:張量批判性思維

    摘要:批判性思維是21世紀(jì)創(chuàng)新人才培養(yǎng)的關(guān)鍵。加強(qiáng)批判性思維培養(yǎng)是我國高等教育的戰(zhàn)略重點(diǎn),如何對批判性思維進(jìn)行精準(zhǔn)測評被視為保障批判性思維高效培養(yǎng)的重要路徑。融合多源數(shù)據(jù)的多模態(tài)學(xué)習(xí)測評更具客觀性和全面性,為批判性思維精準(zhǔn)測評提供了新思路。張量作為一種高維數(shù)組,不僅能保持?jǐn)?shù)據(jù)的語義特征和完備性,而且能表示和維持多模態(tài)數(shù)據(jù)的高階關(guān)系,最大程度提升批判性思維多模態(tài)數(shù)據(jù)信息的價值密度。基于此構(gòu)建的大學(xué)生批判性思維多模態(tài)測評框架包括數(shù)據(jù)層、分析層和應(yīng)用層三層架構(gòu),分別用于解決批判性思維多模態(tài)數(shù)據(jù)的采集與映射、數(shù)據(jù)張量化表示與分析、批判性思維水平測定與教學(xué)干預(yù)。在基于該測評框架開展的實證研究中,主要采集了常態(tài)化教學(xué)過程中的批判性思維多模態(tài)測評數(shù)據(jù),采用張量化方法構(gòu)建了統(tǒng)一表示模型并進(jìn)行了多視圖聚類分析。該多模態(tài)測評方法有助于推動批判性思維測評實踐向著更加精準(zhǔn)化的方向發(fā)展。

    關(guān)鍵詞:批判性思維;多模態(tài)測評;張量;多視圖聚類

    中圖分類號:G434" "文獻(xiàn)標(biāo)識碼:A" " 文章編號:1009-5195(2024)04-0104-09" doi10.3969/j.issn.1009-5195.2024.04.012

    ——————————————————————————————————————————

    基金項目:2022年度國家自然科學(xué)基金青年項目“小樣本困境下的多模態(tài)協(xié)作學(xué)習(xí)情感智能識別研究”(62207033);2023年度中南民族大學(xué)中央高?;究蒲袠I(yè)務(wù)費(fèi)專項資金項目“小樣本多模態(tài)數(shù)據(jù)驅(qū)動的學(xué)習(xí)情感智能識別”(CSZ23013)。

    作者簡介:范福蘭,博士,副教授,中南民族大學(xué)教育學(xué)院(湖北武漢 430074);雷雪英,中南民族大學(xué)教育學(xué)院(湖北武漢 430074);王建書(通訊作者),副教授,大理大學(xué)數(shù)學(xué)與計算機(jī)學(xué)院(云南大理 671003);王思雨、麥迪努爾·買合木提,碩士研究生,中南民族大學(xué)教育學(xué)院(湖北武漢 430074)。

    一、引言

    批判性思維是對某個觀點(diǎn)或假設(shè)進(jìn)行闡釋、分析、評估、推斷、解釋,并伴有自我調(diào)節(jié)過程的思維形態(tài)(Facione,1990a),是21世紀(jì)人才創(chuàng)新能力培養(yǎng)的直接影響因素(徐學(xué)才等,2021)。當(dāng)前,加強(qiáng)批判性思維培養(yǎng)是我國高等教育的戰(zhàn)略重點(diǎn),對批判性思維進(jìn)行精準(zhǔn)測評也成為保障批判性思維高效培養(yǎng)的重要路徑。已有研究主要采用問卷調(diào)查、標(biāo)準(zhǔn)化測試等方式對批判性思維進(jìn)行測評,盡管操作方法快速簡便(冷靜等,2020),但存在數(shù)據(jù)單一、主觀依賴性強(qiáng)的弊端,難以全面、準(zhǔn)確地表征批判性思維信息和深入了解批判性思維的過程,測評結(jié)果的準(zhǔn)確性也亟需改進(jìn)。隨著人工智能技術(shù)在教育中的深入應(yīng)用,多模態(tài)學(xué)習(xí)測評逐步進(jìn)入教育研究視野并快速發(fā)展,其能融合多源數(shù)據(jù)、客觀表征學(xué)習(xí)過程信息、有效提升測評結(jié)果的準(zhǔn)確性,為解決批判性思維傳統(tǒng)測評難題提供了新的路徑。當(dāng)前針對批判性思維的多模態(tài)測評研究較少,尤其在多源異構(gòu)數(shù)據(jù)的有效表示等核心問題上,還缺乏一定的理論與技術(shù)方法探索。張量是一種高維數(shù)組,能夠表示和維持多模態(tài)數(shù)據(jù)中的高階關(guān)系,并保持?jǐn)?shù)據(jù)的語義特征和完備性,在多模態(tài)數(shù)據(jù)挖掘中已取得不錯的進(jìn)展(李州健等,2023),為批判性思維的多模態(tài)測評研究提供了良好的技術(shù)支持。

    有鑒于此,本文在綜合張量大數(shù)據(jù)建模理論、批判性思維經(jīng)典測評理論、多模態(tài)學(xué)習(xí)測評理論與方法的基礎(chǔ)上,提出基于張量表示的大學(xué)生批判性思維多模態(tài)測評框架,并以此為理論支撐開展了批判性思維多模態(tài)測評的實證研究。簡言之,就是從物理空間、網(wǎng)絡(luò)空間采集大學(xué)生批判性思維多模態(tài)數(shù)據(jù)(包括文本、圖片、語音、視頻等數(shù)據(jù)),構(gòu)建張量統(tǒng)一表示模型并進(jìn)行多視圖聚類,通過融合多模態(tài)數(shù)據(jù)來綜合測評大學(xué)生的批判性思維水平。

    二、文獻(xiàn)綜述

    1.批判性思維測評要素與方法研究

    既有研究在批判性思維測評上已積累了大量的研究成果,例如,加利福尼亞批判性思維技能測試(CCTST)主要針對學(xué)習(xí)者的闡釋、分析、評估、推斷、解釋、自我調(diào)節(jié)等維度進(jìn)行了測評(Facione,1990b),恩尼斯—威爾批判性思維寫作測試(EWCTET)主要涉及了解釋、分析、評估、推論、說明、自我調(diào)整等要素(Ennis et al.,1985),沃森—格拉澤批判性思維評價(WGCTA)則對推理、辨認(rèn)假設(shè)、演繹、解釋、論據(jù)評估等維度進(jìn)行了評價(崔麗媛等,2021);此外還有康奈爾批判性思維測評(CCTT)(馬利紅等,2019)、全國本科生能力測評(NACC)(沈紅等,2019)、羅清旭等人修訂的中文版CCTST(羅清旭等,2002)、Danczak等人編制的 DOT Test(Danczak et al.,2020)、Shavelson等人研發(fā)的Wind Turbine(Shavelson et al.,2019)等,他們均將問題解決、決策納入測評要素。

    常見的批判性思維測評方式主要包括三類:以自評為主的問卷調(diào)查、基于實例的分析和以開放題為主的測試(冷靜等,2020)。然而,傳統(tǒng)測評方式往往主觀依賴性較強(qiáng),準(zhǔn)確率難以保障(余繼等,2021),而且數(shù)據(jù)來源單一,難以全面刻畫批判性思維的過程,亦無法確保測評結(jié)果的客觀性和準(zhǔn)確性。

    2.多模態(tài)學(xué)習(xí)測評研究

    多模態(tài)學(xué)習(xí)測評是指通過捕獲、挖掘、分析學(xué)習(xí)過程中產(chǎn)生的多模態(tài)數(shù)據(jù),對學(xué)生的行為、認(rèn)知、思維等進(jìn)行科學(xué)測量與客觀評價(鐘薇等,2018;汪維富等,2021;張家華等,2022),其測評效果明顯優(yōu)于傳統(tǒng)測評方法(李新等,2021)。多模態(tài)學(xué)習(xí)測評具有互補(bǔ)互證性及動態(tài)性,與批判性思維測評需求高度契合:一方面,不同模態(tài)數(shù)據(jù)互相映射補(bǔ)充,能夠更全面、客觀地表征學(xué)生的行為、認(rèn)知、情感(吳軍其等,2022;彭紅超等,2022);而且相同信息的不同模態(tài)亦可進(jìn)行交叉印證,進(jìn)而保障測評結(jié)果的準(zhǔn)確性(王小根等,2022)。另一方面,采用新技術(shù)(如智能錄播系統(tǒng)、可穿戴傳感設(shè)備、學(xué)習(xí)管理平臺等)可以動態(tài)采集真實課堂教學(xué)情境中的自然數(shù)據(jù)并進(jìn)行自動標(biāo)注(張琪等,2020),如對身體姿態(tài)、交互對話、研討過程、作品文本等數(shù)據(jù)進(jìn)行智能標(biāo)注(Camacho et al.,2020),從而實現(xiàn)對學(xué)生思維狀態(tài)的實時追蹤(Baltru?aitis et al.,2018),這亦與批判性思維的動態(tài)發(fā)展性特征相吻合。

    多模態(tài)學(xué)習(xí)測評可實現(xiàn)對批判性思維水平的準(zhǔn)確識別與多方位表征,為批判性思維的科學(xué)測評帶來了新的契機(jī)。然而在實施過程中,批判性思維多模態(tài)測評也面臨一定難題:由于數(shù)據(jù)來源不同,以及各自編碼方式和語義的差異,可能導(dǎo)致原本具有相關(guān)性的信息網(wǎng)絡(luò)變成信息孤島(胡雪等,2021);同時,基于向量的多模態(tài)數(shù)據(jù)表示方法難以有效模擬不同模態(tài)間的深度相關(guān)性,也無法較好地處理圖像中的噪音問題,因而導(dǎo)致數(shù)據(jù)挖掘結(jié)果不夠理想(Huang et al.,2021)。

    3.基于張量的多模態(tài)數(shù)據(jù)表示

    數(shù)據(jù)表示是開展多模態(tài)數(shù)據(jù)挖掘研究的重心,也是進(jìn)行多模態(tài)學(xué)習(xí)測評的關(guān)鍵(Dong et al.,2020)。張量本質(zhì)上是一個多維數(shù)組,是向量、矩陣的高階擴(kuò)展(趙鵬等,2020),其相較于向量表示在處理多源異構(gòu)數(shù)據(jù)上更加有效。在數(shù)據(jù)變換方面,張量充分考慮了多模態(tài)數(shù)據(jù)間的異構(gòu)性、相關(guān)性與互補(bǔ)性(劉長紅等,2022);在特征提取方面,張量能有效保存原始數(shù)據(jù)的結(jié)構(gòu)特征(張小榮等,2019),實現(xiàn)對文本、語音、視頻等數(shù)據(jù)的高維表示。采用張量表示的數(shù)據(jù)挖掘方法能更好地揭示不同模態(tài)數(shù)據(jù)間的細(xì)粒度深層次關(guān)系,對批判性思維進(jìn)行多維度量化表征,最大程度提升批判性思維多模態(tài)數(shù)據(jù)信息的價值密度。

    綜上可知,已有研究多采用問卷調(diào)查、標(biāo)準(zhǔn)化測試等方式分別從闡釋、分析、解釋、評估、推斷、自我調(diào)節(jié)等維度對學(xué)生的批判性思維水平進(jìn)行測量,雖然操作便捷,但主觀依賴性較強(qiáng),且測評的準(zhǔn)確性難以判斷。而多模態(tài)學(xué)習(xí)測評則利用多源數(shù)據(jù)的信息互補(bǔ),能精準(zhǔn)刻畫學(xué)生的學(xué)習(xí)過程,有效提高測評結(jié)果的準(zhǔn)確性,為批判性思維的科學(xué)測評提供了新的思路。鑒于目前鮮有批判性思維多模態(tài)測評的理論框架與技術(shù)方法研究,本研究嘗試引入計算機(jī)科學(xué)領(lǐng)域的張量大數(shù)據(jù)建模理論與表示方法,融合多模態(tài)學(xué)習(xí)測評與批判性思維經(jīng)典測評理論,構(gòu)建基于張量表示的批判性思維多模態(tài)測評框架并開展實證研究。

    三、基于張量表示的批判性思維多模態(tài) 測評框架

    1.測評框架建構(gòu)

    本研究中的學(xué)生批判性思維核心測評維度包括6個,分別是闡釋、分析、解釋、評估、推斷及自我調(diào)節(jié)(沈紅等,2019;任永功等,2022;Facione,1990b)。常態(tài)化教學(xué)中的多模態(tài)數(shù)據(jù)多采集于真實教學(xué)場景的物理空間和在線學(xué)習(xí)的網(wǎng)絡(luò)空間(范福蘭等,2023),包括反映學(xué)習(xí)過程的外在行為表現(xiàn)、學(xué)習(xí)內(nèi)容、人機(jī)交互等文本、圖片、視頻、語音等模態(tài)數(shù)據(jù)(王一巖等,2022)。以往關(guān)于多模態(tài)數(shù)據(jù)分析的研究主要采用動態(tài)三維張量對數(shù)據(jù)進(jìn)行統(tǒng)一分析描述(Sun et al.,2006),或者采用張量統(tǒng)一表示非結(jié)構(gòu)化、半結(jié)構(gòu)化和結(jié)構(gòu)化的多模態(tài)數(shù)據(jù)(Kuang et al.,2014)。本研究在借鑒張量大數(shù)據(jù)建模理論與表示方法、多模態(tài)學(xué)習(xí)測評、批判性思維經(jīng)典測評理論的基礎(chǔ)上,構(gòu)建了基于張量表示的批判性思維多模態(tài)測評框架,如圖1所示。

    該框架自底向上包括數(shù)據(jù)層、分析層和應(yīng)用層。數(shù)據(jù)層從網(wǎng)絡(luò)空間和物理空間采集面向批判性思維6個測評維度的多模態(tài)學(xué)習(xí)數(shù)據(jù),通過數(shù)據(jù)清洗、編碼映射及特征提取,獲得批判性思維多模態(tài)測評數(shù)據(jù)集,為分析層提供數(shù)據(jù)支撐。分析層主要通過張量化過程將數(shù)據(jù)對象統(tǒng)一表示為張量模型,進(jìn)一步挖掘測評數(shù)據(jù)各維度間的相互關(guān)系,計算各指標(biāo)權(quán)重,衡量測評數(shù)據(jù)的相似度,生成多個不同的聚類結(jié)果,為應(yīng)用層提供實證依據(jù)。應(yīng)用層根據(jù)分析層產(chǎn)生的聚類結(jié)果展開系列分析并實施教學(xué)干預(yù),主要是依據(jù)聚類結(jié)果測定學(xué)習(xí)者的批判性思維水平,在此基礎(chǔ)上深入分析不同水平學(xué)習(xí)者的批判性思維特征,探究不同特征下的教學(xué)干預(yù)策略,從而為學(xué)習(xí)者提供促進(jìn)其批判性思維培養(yǎng)的精準(zhǔn)教學(xué)服務(wù)。

    2.測評框架解析

    (1)數(shù)據(jù)層

    常態(tài)化教學(xué)過程中,可采用攝像設(shè)備、錄音設(shè)備、實時通訊工具、在線學(xué)習(xí)平臺等記錄并采集教學(xué)過程中生成的數(shù)據(jù),包括課堂互動對話、反思報告、協(xié)作文本、測試數(shù)據(jù)等,依據(jù)數(shù)據(jù)模態(tài)可將其劃分為文本、圖片、語音和視頻等數(shù)據(jù)類型。首先,需要針對數(shù)據(jù)中的缺失值、異常值及重復(fù)值進(jìn)行診斷與篩選,確保數(shù)據(jù)質(zhì)量滿足后續(xù)數(shù)據(jù)處理的要求。其次,可采用自動與人工編碼相結(jié)合的方式,對批判性思維多模態(tài)測評數(shù)據(jù)進(jìn)行編碼與標(biāo)注,形成數(shù)據(jù)集。批判性思維多模態(tài)測評數(shù)據(jù)編碼與映射框架如表1所示。

    (2)分析層

    分析層主要根據(jù)實際需求對批判性思維多模態(tài)測評數(shù)據(jù)進(jìn)行多視圖聚類分析。需采用張量化方法對多源異構(gòu)數(shù)據(jù)對象構(gòu)建統(tǒng)一表示模型,以便對數(shù)據(jù)的相似性進(jìn)行統(tǒng)一度量。張量是向量和矩陣的高階推廣,可以看成一個多維數(shù)組(趙鵬等,2020)。張量的階數(shù)表示模的數(shù)量,向量是一階張量,矩陣是二階張量,三階或更高階的張量被稱為高階張量。構(gòu)建張量一般要先抽取數(shù)據(jù)的部分特征或?qū)傩宰鳛樽訌埩康碾A,然后根據(jù)實際需求決定每個階上的數(shù)據(jù)類型、表示意義及取值范圍。例如,可以選取學(xué)號、自我反思、自我修正指標(biāo)作為張量的階,形成自我調(diào)節(jié)子張量;也可以選取學(xué)號、表述分類、澄清意義指標(biāo)構(gòu)建闡釋子張量;另外,還可通過“學(xué)號”對子張量進(jìn)行拼接,實現(xiàn)子張量的融合,從而構(gòu)建更高階的批判性思維張量,如圖2所示。

    在構(gòu)建張量的基礎(chǔ)上,首先需通過構(gòu)建關(guān)聯(lián)張量判斷不同屬性間的關(guān)聯(lián)關(guān)系;其次,以關(guān)聯(lián)張量為基礎(chǔ),利用多線性PageRank理論和高階冪法計算各屬性的排名向量,以表示各個特征空間每個屬性的重要性;再次,采用可選擇加權(quán)張量距離度量批判性思維測評數(shù)據(jù)對象在空間中是否相近,并根據(jù)排名向量和所選特征空間組合向量,以及度量張量空間對象之間距離所得到的視圖矩陣,得到多視圖張量;最后,采用基于張量的多聚類算法,對多視圖組成的數(shù)據(jù)進(jìn)行聚類,如圖3所示。

    (3)應(yīng)用層

    應(yīng)用層旨在根據(jù)分析層產(chǎn)生的聚類結(jié)果為批判性思維教學(xué)提供相應(yīng)的服務(wù)。根據(jù)聚類結(jié)果對學(xué)生批判性思維水平進(jìn)行測定,可為教師精準(zhǔn)定位學(xué)生批判性思維狀態(tài)提供實證依據(jù)。在此基礎(chǔ)上,教師可利用可視化方法進(jìn)一步呈現(xiàn)不同水平學(xué)生的批判性思維特征,以及基于批判性思維水平測定及可視化分析結(jié)果,進(jìn)行教學(xué)干預(yù),從而實現(xiàn)對學(xué)生批判性思維的有效培養(yǎng)。

    四、實踐應(yīng)用

    1.批判性思維多模態(tài)數(shù)據(jù)采集及預(yù)處理

    (1)數(shù)據(jù)采集

    本研究以武漢市Z高校教育技術(shù)學(xué)專業(yè)二年級37名學(xué)生為研究對象,以“學(xué)習(xí)科學(xué)與技術(shù)”課程為載體,以辯論式教學(xué)活動過程中的多模態(tài)數(shù)據(jù)為采集對象,通過實時通訊工具、智慧教室錄像設(shè)備、在線學(xué)習(xí)平臺等采集人機(jī)交互記錄、互動對話、發(fā)言過程、面部表情、身體姿態(tài)、辯論材料、反思報告、主觀測試等數(shù)據(jù),并以文本、圖片、語音、視頻等形式進(jìn)行儲存(見圖4)。

    (2)數(shù)據(jù)預(yù)處理

    首先,對原始數(shù)據(jù)進(jìn)行匿名化與數(shù)據(jù)清洗,去除與主題無關(guān)的內(nèi)容,保證樣本數(shù)據(jù)的完整性與有效性。通過多次檢驗,最終保留了34人的學(xué)習(xí)過程數(shù)據(jù)。其次,采用人工編碼和機(jī)器編碼相結(jié)合的方式,根據(jù)表1對批判性思維的指標(biāo)進(jìn)行編碼,形成結(jié)構(gòu)化的批判性思維數(shù)據(jù)集。

    2.基于張量表示的批判性思維多模態(tài)測評數(shù)據(jù)分析

    (1)多模態(tài)測評數(shù)據(jù)張量化表示

    研究選取批判性思維的表述分類、澄清意義、識別論點(diǎn)、分析論點(diǎn)、陳述論點(diǎn)、證明過程、陳述結(jié)果、評估邏輯性、評估合理性、查詢證據(jù)、推測替代方案、得出結(jié)論、自我反思、自我修正等14項指標(biāo)作為張量的階,然后根據(jù)每項指標(biāo)的實際情況設(shè)定階上的維度,并使用學(xué)號關(guān)聯(lián)其他所有階,由此構(gòu)建出批判性思維多模態(tài)測評張量模型,如圖5所示。

    圖5 批判性思維多模態(tài)測評張量

    圖5中張量的每個元素的數(shù)據(jù)類型均為布爾型,即取值為0或者1。以Eijkl…w這個元素為例,Eijkl…w=1表示原始數(shù)據(jù)中存在第i個學(xué)生的表述分類為j、澄清意義為k、識別論點(diǎn)為l、……、自我修正為w的樣本。張量階(ijkl…w)的屬性取值范圍如表2所示。

    (2)多模態(tài)測評數(shù)據(jù)關(guān)聯(lián)分析

    第一,測評數(shù)據(jù)相互關(guān)系挖掘。通過構(gòu)建關(guān)聯(lián)張量來判斷不同指標(biāo)間的相互關(guān)系。首先,依據(jù)采集到的批判性思維測評數(shù)據(jù)集構(gòu)建了34個數(shù)據(jù)對象,每個數(shù)據(jù)對象均可表示為一個N階張量lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-1.tifgt;,其中I1、I2、…、IN分別對應(yīng)由不同指標(biāo)描述的N個特征空間,通過將每個對象張量的非零元素轉(zhuǎn)換為1并進(jìn)行累加計算,即可獲得關(guān)聯(lián)張量lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-1+.tifgt;。關(guān)聯(lián)張量中具有非負(fù)整數(shù)值的元素lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-2.tifgt;表示對應(yīng)的指標(biāo)組合i1、i2、…、iN共同出現(xiàn)在所有對象中的次數(shù),次數(shù)越多表示對應(yīng)指標(biāo)組合交互程度越高,0次則表示對應(yīng)的指標(biāo)組合不相關(guān),因此可利用關(guān)聯(lián)張量元素的大小來評價各數(shù)據(jù)指標(biāo)間的關(guān)聯(lián)程度。

    第二,測評數(shù)據(jù)指標(biāo)權(quán)重計算。利用多線性PageRank理論計算各指標(biāo)的排名向量w1、w2、…、wN,以表示各個特征空間每個指標(biāo)的重要性。即先將前面計算得到的關(guān)聯(lián)張量S轉(zhuǎn)換為轉(zhuǎn)移張量Str(a)(a=1,2,…,N),其元素計算公式為:lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-3.tifgt;,其中K表示關(guān)聯(lián)張量S 所有階的最大維度。之后根據(jù)轉(zhuǎn)移張量計算出每一個排名向量wa(a=1,2,…,N),其計算公式為:wj=Str(a)×1 w1×2 w2…×j-1 wj-1×j+1 wj+1…×N wN。最后根據(jù)各指標(biāo)的排名向量,利用向量外積運(yùn)算計算指標(biāo)組合權(quán)重張量lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-4.tifgt;, 其元素可用來衡量數(shù)據(jù)空間中各種指標(biāo)組合的重要性,計算公式為:lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-5.tifgt;,其中o代表向量外積操作。

    第三,測評數(shù)據(jù)相似度衡量。研究采用可選擇加權(quán)張量距離(Selective Weighted Tensor Distance,SWTD)度量兩個批判性思維測評數(shù)據(jù)對象在空間中是否相近。當(dāng)給定一個批判性思維測評數(shù)據(jù)對象X和Y(x和y分別表示它們的向量化形式)時,可以通過公式lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-6.tifgt;計算得到兩個數(shù)據(jù)對象X和Y的可選擇加權(quán)張量距離,其中wl和wm分別是l和m對應(yīng)位置lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-7.tifgt;和lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-8.tifgt;的權(quán)重因子。度量矩陣G可以通過組合不同的學(xué)習(xí)評價數(shù)據(jù)指標(biāo)得到不同的學(xué)習(xí)相似度,以分析不同指標(biāo)組合的相互關(guān)系,其元素定義為:lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-9.tifgt;,其中位置距離lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-10.tifgt;定義為:lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-11.tifgt;,其對應(yīng)指標(biāo)屬性張量空間第i階的ci(1≤i≤N)是指標(biāo)屬性組合向量lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-14.tifgt;的元素,表示第i個指標(biāo)屬性是否被選擇,如果被選擇則其值為1,否則為0。

    第四,測評數(shù)據(jù)張量多視圖聚類。研究采用基于張量的多視圖聚類分析方法對批判性思維劃分層次。借助該方法,可以選擇不同的批判性思維測評指標(biāo)組合,形成多種視圖的聚類結(jié)果。利用視圖內(nèi)與視圖間的關(guān)系,不僅可以分析視圖間的一致性,也可以分析視圖間的差異性,從而充分運(yùn)用多視圖中的所有有效信息,使聚類結(jié)果更加準(zhǔn)確。在每種視圖的聚類結(jié)果中可根據(jù)各類別中學(xué)生的表現(xiàn)情況,確定哪些類別屬于高水平批判性思維狀態(tài),哪些類別處于中水平或低水平批判性思維狀態(tài),從而實現(xiàn)對批判性思維分層評判。根據(jù)前面得到的權(quán)重張量W和距離度量矩陣G,利用可選擇加權(quán)張量距離可計算得到矩陣Vi,其計算方法為:lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-15.tifgt;,之后通過拼接矩陣V1、V2、…、Vr可得到多視圖張量,最后將多視圖張量T作為經(jīng)典聚類算法(如K-Means、AP)的輸入,即可獲得最終的張量多視圖聚類結(jié)果。

    (3)效果分析

    研究采用純度(Purity)、蘭德系數(shù)(Rand Index,RI)、調(diào)整蘭德系數(shù)(Adjusted Rand Index,ARI)、F1值等常用的聚類評價指標(biāo)來評估張量多視圖聚類算法的有效性,以上評價指標(biāo)數(shù)值越大表示結(jié)果越好。為體現(xiàn)多視圖聚類算法的優(yōu)越性,研究還增加了其他幾種主流聚類算法進(jìn)行對比,結(jié)果如表3所示。可以看出,聚類評價指標(biāo)值最高的是以“闡釋、自我調(diào)節(jié)、分析”為視圖組合的張量多視圖聚類算法,其純度、蘭德系數(shù)、調(diào)整蘭德系數(shù)、F1值分別達(dá)到了0.676、0.639、0.153、0.409,較其他算法體現(xiàn)出較大的優(yōu)勢。多數(shù)主流聚類算法是將批判性思維每個指標(biāo)數(shù)據(jù)進(jìn)行單獨(dú)分析,故無法挖掘出不同模態(tài)數(shù)據(jù)間的特征結(jié)構(gòu)和關(guān)聯(lián)關(guān)系。而張量多視圖聚類算法能夠一次性綜合考慮多項批判性思維的指標(biāo)數(shù)據(jù),打破多源異構(gòu)數(shù)據(jù)間的壁壘,保留其信息完整性,有利于表達(dá)數(shù)據(jù)間的復(fù)雜關(guān)系,因而在關(guān)聯(lián)分析上顯示出一定的優(yōu)越性,也能更準(zhǔn)確地評估學(xué)生的批判性思維水平。

    3.批判性思維水平測定與教學(xué)干預(yù)

    (1)批判性思維水平測定

    依照張量多視圖聚類算法的聚類結(jié)果,研究根據(jù)“闡釋、自我調(diào)節(jié)、分析”的視圖組合,將研究對象劃分成四個類簇,即低水平型、中等水平型、中上水平型和高水平型,如表4所示。可以看出,低水平型學(xué)生有5名,中等水平型學(xué)生有14名,中上水平型學(xué)生有10名,高水平型學(xué)生有5名。其中,表述分類、澄清意義、自我修正的數(shù)據(jù)屬于分類型數(shù)據(jù),1~5依次表示能力弱、較弱、一般、較強(qiáng)、強(qiáng)。例如,低水平型學(xué)生的表述分類能力賦值為2,則代表其表述分類能力較弱。識別論點(diǎn)中的“2”代表學(xué)生做出的表態(tài)符合題意,若為0則代表表態(tài)不準(zhǔn)確。自我反思中的數(shù)據(jù)屬于數(shù)值型數(shù)據(jù),表示自我報告中出現(xiàn)反思要素(優(yōu)點(diǎn)、不足等)的總個數(shù)。

    (2)特征分析

    圖6展示了四類研究對象的批判性思維特征情況,可以看出,低水平型學(xué)生的各評價指標(biāo)值均較低,批判性思維呈低水平狀態(tài),主要表現(xiàn)為:在活動過程中發(fā)言次數(shù)較少、論證不全面,看待事物常停留于表象而較少探索事物與現(xiàn)象間的本質(zhì)聯(lián)系,難以準(zhǔn)確解讀符號、圖文的深層含義,不善于總結(jié)反思,可歸因于思維能力弱、學(xué)習(xí)情感消極、學(xué)習(xí)動力不足。中等水平型學(xué)生的占比最高,其自我調(diào)節(jié)能力有顯著優(yōu)勢,但闡釋、分析能力有待提高,深入分析后發(fā)現(xiàn),此類學(xué)生樂于反思但缺少辯證性眼光,思考問題缺乏全面性,面對復(fù)雜情景時隨機(jī)應(yīng)變、及時調(diào)整解決方案的能力不足。中上水平型學(xué)生有10名,其闡釋、分析、自我調(diào)節(jié)能力均較強(qiáng),但對于改進(jìn)措施等方面的思考較弱,且執(zhí)行力不足。高水平型學(xué)生有5名,各項指標(biāo)值均高于其他類型學(xué)生,其中自我調(diào)節(jié)能力最為突出,尤其是自我修正的能力,說明這類學(xué)生善于反思,能及時總結(jié)經(jīng)驗教訓(xùn),并能付諸實踐糾正錯誤,因而具有較高的批判性思維水平。

    圖6 學(xué)習(xí)者批判性思維特征分析

    (3)教學(xué)干預(yù)

    研究依據(jù)多模態(tài)測評及可視化分析結(jié)果實施了初步的教學(xué)干預(yù):針對批判性思維低水平型學(xué)生,首先依托超星學(xué)習(xí)通等在線學(xué)習(xí)平臺,引導(dǎo)學(xué)生對觀點(diǎn)及學(xué)習(xí)內(nèi)容進(jìn)行批判性提問與評論,引導(dǎo)他們每日復(fù)盤學(xué)習(xí)內(nèi)容并撰寫反思日志等;其次搭建詳細(xì)的學(xué)習(xí)腳手架,引導(dǎo)學(xué)生進(jìn)行高質(zhì)量學(xué)習(xí)討論與作業(yè)應(yīng)答。針對中等水平型學(xué)生,在闡釋觀點(diǎn)方面,指導(dǎo)他們高效利用網(wǎng)絡(luò)學(xué)習(xí)資源及思維導(dǎo)圖等工具,梳理學(xué)習(xí)資料并闡釋思路;在觀點(diǎn)討論及分析過程中,為學(xué)生提供關(guān)于如何提問的支架,引導(dǎo)他們層層遞進(jìn)學(xué)會分析并解決問題。針對中上水平型學(xué)生,對學(xué)習(xí)任務(wù)提出更高要求,增強(qiáng)其反思與改進(jìn)能力。針對高水平型學(xué)生,引導(dǎo)其接觸并分析領(lǐng)域研究熱點(diǎn),拓寬視野,不斷增強(qiáng)其用批判性思維學(xué)習(xí)最新知識的能力。

    五、結(jié)語

    本研究引入計算機(jī)科學(xué)領(lǐng)域的張量大數(shù)據(jù)建模理論,在批判性思維經(jīng)典測評理論、多模態(tài)學(xué)習(xí)測評與分析理論的基礎(chǔ)上,構(gòu)建了基于張量表示的大學(xué)生批判性思維多模態(tài)測評框架,并基于該框架開展了相應(yīng)的實證研究。

    本研究發(fā)現(xiàn)張量多視圖聚類算法對大學(xué)生批判性思維水平的聚類效果最優(yōu)。其中“闡釋、自我調(diào)節(jié)、分析”的視圖組合是批判性思維多模態(tài)測評張量的最佳指標(biāo);依據(jù)該指標(biāo)組合的聚類結(jié)果,可將研究對象分成低水平、中等水平、中上水平、高水平四個類簇。在此基礎(chǔ)上對不同思維水平的學(xué)生進(jìn)行特征分析并開展教學(xué)干預(yù),干預(yù)實施后發(fā)現(xiàn),80%的低水平型學(xué)生能對每日學(xué)習(xí)內(nèi)容進(jìn)行反思,并延伸至其他學(xué)科學(xué)習(xí)上;75%的中等水平型學(xué)生在多角度、辯證性看待問題方面的能力得到提升;7名中上水平型學(xué)生對自身學(xué)習(xí)行為的調(diào)控能力有所提升。

    總之,本研究通過理論框架搭建與技術(shù)方法實踐,從數(shù)據(jù)采集、編碼映射、統(tǒng)一表示、多視圖聚類分析等方面,較為系統(tǒng)地探索了面向大學(xué)生批判性思維的多模態(tài)測評理論與方法,不僅豐富了批判性思維及多模態(tài)學(xué)習(xí)測評等相關(guān)方面的研究,更為一線教師開展批判性思維科學(xué)測評提供了借鑒。多模態(tài)學(xué)習(xí)測評是一個快速發(fā)展的領(lǐng)域,新的工具、算法和技術(shù)將不斷涌現(xiàn),未來仍需保持對最新技術(shù)進(jìn)展的關(guān)注,根據(jù)需要更新批判性思維多模態(tài)測評方法和模型,并在此基礎(chǔ)上開展更為深入的教學(xué)干預(yù)研究,以期深入推進(jìn)大學(xué)生批判性思維測評與高效培養(yǎng)研究。

    參考文獻(xiàn):

    [1]崔麗媛,朱亞鑫,曲波(2021).批判性思維量表在醫(yī)學(xué)教育中的應(yīng)用與展望[J].復(fù)旦教育論壇,19(2):106-112.

    [2]范福蘭,李韓婷,戚天姣等(2023).基于多模態(tài)數(shù)據(jù)的大學(xué)生認(rèn)知深度評價框架構(gòu)建及應(yīng)用[J].現(xiàn)代遠(yuǎn)距離教育,(3):57-65.

    [3]胡雪,彭敦陸(2021).張量表達(dá)下的多模態(tài)交通缺失數(shù)據(jù)補(bǔ)全算法[J].小型微型計算機(jī)系統(tǒng),42(1):105-110.

    [4]冷靜,路曉旭(2020).題庫型游戲評測批判性思維能力研究[J].開放教育研究,26(1):82-89.

    [5]李新,李艷燕,包昊罡等(2021).學(xué)習(xí)投入測評新發(fā)展:從單維分析到多模態(tài)融合[J].電化教育研究,42(10):100-107.

    [6]李州健,郭銀章(2023).一種基于張量理論的云制造資源服務(wù)化封裝與發(fā)布策略[J].計算機(jī)應(yīng)用研究,40(8):2429-2434.

    [7]劉長紅,曾勝,張斌等(2022).基于語義關(guān)系圖的跨模態(tài)張量融合網(wǎng)絡(luò)的圖像文本檢索[J].計算機(jī)應(yīng)用,42(10):3018-3024.

    [8]羅清旭,楊鑫輝(2002).《加利福尼亞批判性思維技能測驗》的初步修訂[J].心理科學(xué),(6):740-741.

    [9]馬利紅,劉堅(2019).國外批判性思維測評研究進(jìn)展[J].外語學(xué)刊,(3):64-68.

    [10]彭紅超,姜雨晴(2022).多模態(tài)數(shù)據(jù)支持的教育科學(xué)研究發(fā)展脈絡(luò)與挑戰(zhàn)[J].中國遠(yuǎn)程教育,(9):19-26,33,78.

    [11]任永功,賈佳,多召軍(2022).批判性思維測評的核心要素與技術(shù)演變趨勢[J].現(xiàn)代教育技術(shù),32(6):81-88.

    [12]沈紅,汪洋,張青根(2019).我國高校本科生批判性思維能力測評工具的研制與檢測[J].高等教育研究,40(10):65-74.

    [13]汪維富,毛美娟(2021).多模態(tài)學(xué)習(xí)分析:理解與評價真實學(xué)習(xí)的新路向[J].電化教育研究,42(2):25-32.

    [14]王小根,陳瑤瑤(2022).多模態(tài)數(shù)據(jù)下混合協(xié)作學(xué)習(xí)者情感投入分析[J].電化教育研究,43(2):42-48,79.

    [15]王一巖,鄭永和(2022).多模態(tài)數(shù)據(jù)融合:破解智能教育關(guān)鍵問題的核心驅(qū)動力[J].現(xiàn)代遠(yuǎn)程教育研究,34(2):93-102.

    [16]吳軍其,吳飛燕,張萌萌等(2022).多模態(tài)視域下智慧課堂協(xié)作學(xué)習(xí)投入度分析模型構(gòu)建及應(yīng)用[J].電化教育研究,43(7):73-80,88.

    [17]徐學(xué)才,李偉(2021).基于批判性思維“生產(chǎn)與運(yùn)作管理”課程教學(xué)研究[J].教育教學(xué)論壇,(2):125-128.

    [18]余繼,夏歡歡(2021).批判性思維和創(chuàng)造性思維測評的理論基礎(chǔ)與實踐動向——基于國際典型測評工具的述評[J].中國考試,(6):70-77.

    [19]張家華,胡惠芝,黃昌勤(2022).多模態(tài)學(xué)習(xí)分析技術(shù)支持的學(xué)習(xí)評價研究[J].現(xiàn)代教育技術(shù),32(9):38-45.

    [20]張琪,武法提,許文靜(2020).多模態(tài)數(shù)據(jù)支持的學(xué)習(xí)投入評測:現(xiàn)狀、啟示與研究趨向[J].遠(yuǎn)程教育雜志,38(1):76-86.

    [21]張小榮,胡炳樑,潘志斌等(2019).基于張量表示的高光譜圖像目標(biāo)檢測[J].光學(xué)精密工程,27(2):488-498.

    [22]趙鵬,王美玉,紀(jì)霞等(2020).基于張量表示的域適配的遷移學(xué)習(xí)中特征表示方法[J].電子學(xué)報,48(2):359-368.

    [23]鐘薇,李若晨,馬曉玲等(2018).學(xué)習(xí)分析技術(shù)發(fā)展趨向——多模態(tài)數(shù)據(jù)環(huán)境下的研究與探索[J].中國遠(yuǎn)程教育,(11):41-49,79-80.

    [24]Baltru?aitis, T., Ahuja, C., amp; Morency, L. P. (2018). Multimodal Machine Learning: A Survey and Taxonomy[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 41(2):423-443.

    [25]Camacho, V. L., de la Guía, E., amp; Camacho, V. L. et al. (2020). Data Capture and Multimodal Learning Analytics Focused on Engagement with a New Wearable IoT Approach[J]. IEEE Transactions on Learning Technologies, 13(4):704-717.

    [26]Danczak, S. M., Thompson, C. D., amp; Overton, T. L. (2020). Development and Validation of an Instrument to Measure Undergraduate Chemistry Students’ Critical Thinking Skills[J]. Chemistry Education Research and Practice, 21(1):62-78.

    [27]Dong, B., Jian, S., amp; Lu, K. (2020). Learning Multimodal Representations by Symmetrically Transferring Local Structures[J]. Symmetry, 12(9):1504.

    [28]Ennis, R. H., amp; Wier, E. (1985). The Ennis-Wier Critical Thinking Essay Test[M]. Pacific Grove: Midwest Publications:1-14.

    [29]Facione, P. A. (1990a). Critical Thinking: A Statement of Expert Consensus for Purposes of Educational Assessment and Instruction[M]. Newark, DE: American Philosophical Association:8-30.

    [30]Facione, P. A. (1990b). The California Critical Thinking Skills Test-College Level. Technical Report #2. Factors Predictive of CT Skills[M]. Millbrae: California Academic Press:1-19.

    [31]Huang, F., Jolfaei, A., amp; Bashir, A. K. (2021). Robust Multimodal Representation Learning with Evolutionary Adversarial Attention Networks[J]. IEEE Transactions on Evolutionary Computation, 25(5):856-868.

    [32]Kuang, L., Hao, F., amp; Yang, L. T. et al. (2014). A Tensor-Based Approach for Big Data Representation and Dimensionality Reduction[J]. IEEE Transactions on Emerging Topics in Computing, 2(3):280-291.

    [33]Shavelson, R. J., Zlatkin-Troitschanskaia, O., amp; Beck, K. et al. (2019). Assessment of University Students’ Critical Thinking: Next Generation Performance Assessment[J]. International Journal of Testing, 19(4):337-362.

    [34]Sun, J., Tao, D., amp; Faloutsos, C. (2006). Beyond Streams and Graphs: Dynamic Tensor Analysis[C]// Proceedings of" the 12th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Association for Computing Machinery, New York:374-383.

    收稿日期 2023-12-23 責(zé)任編輯 劉選

    Research on Multi-Modal Assessment of College Students’ Critical Thinking Based on Tensor Representation

    FAN Fulan, LEI Xueying, WANG Jianshu, WANG Siyu, Mai Dinuer-Mai Hemuti

    Abstract: Critical thinking is the key to cultivating innovative talents in the 21st century. To enhance the critical thinking, training is the primary strategic objective in higher education of China. The accurate evaluation of critical thinking is considered a crucial approach to guaranteeing the effective cultivation of this skill. The multi-modal learning assessment that integrates data from multiple sources is more objective and comprehensive, providing a new idea for the accurate assessment of critical thinking. As a high-dimensional array, tensor can not only maintain the semantic characteristics and completeness of the data, but also represent and maintain the higher-level relationships among multi-modal data, maximizing the value density of multi-modal data information for critical thinking. The multi-modal assessment framework for college students’ critical thinking consists of three layers: the data layer, the analysis layer and the application layer. They are utilized for the collection and mapping of multi-modal data to facilitate critical thinking, the representation and analysis of data in a tensorized format, and the assessment of critical thinking levels as well as intervention through educational instruction. In the empirical studies based on this assessment framework, the multi-modal assessment data on critical thinking during the normal teaching process was collected, a unified representation model with tensor quantification method was constructed and multi-view cluster analysis was carried out. This multi-modal assessment approach for critical thinking can facilitate the more accurate evaluation of critical thinking skills.

    Keywords: Critical Thinking; Multi-Modal Assessment; Tensor; Multi-View Clustering

    猜你喜歡
    張量批判性思維
    偶數(shù)階張量core逆的性質(zhì)和應(yīng)用
    四元數(shù)張量方程A*NX=B 的通解
    弱A-調(diào)和張量的奇點(diǎn)可去性
    張量CSAMT方法及對比試驗
    批判性思維:中學(xué)語文課程改革的或然性突破口
    社會主義核心價值觀教育的批判性思維視角解讀
    擴(kuò)散張量成像MRI 在CO中毒后遲發(fā)腦病中的應(yīng)用
    論批判性思維與信息分析能力在高等教育中的培養(yǎng)
    培養(yǎng)學(xué)生批判性思維在美國高校英語課堂中的體現(xiàn)
    東方教育(2016年17期)2016-11-23 09:26:27
    將批判性思維融入英語專業(yè)閱讀課程的教與學(xué)
    欧美精品一区二区大全| 一级a做视频免费观看| 国产成人精品久久久久久| 欧美三级亚洲精品| 日韩人妻高清精品专区| 日本免费在线观看一区| 在线看a的网站| 男人舔奶头视频| 哪个播放器可以免费观看大片| 搡女人真爽免费视频火全软件| 国产伦精品一区二区三区视频9| 精品午夜福利在线看| 国产精品女同一区二区软件| 久久精品夜色国产| 亚洲精品一二三| 国产成人精品无人区| 少妇人妻久久综合中文| 中文字幕av电影在线播放| 婷婷色av中文字幕| 高清视频免费观看一区二区| 亚洲欧美精品专区久久| 久久99热这里只频精品6学生| 人妻系列 视频| 另类亚洲欧美激情| 最新的欧美精品一区二区| 精品久久久久久久久av| 欧美精品亚洲一区二区| 蜜桃在线观看..| 国产成人精品无人区| 国产欧美另类精品又又久久亚洲欧美| 国产片特级美女逼逼视频| 国产精品麻豆人妻色哟哟久久| 国产高清不卡午夜福利| 亚洲av.av天堂| 18禁在线无遮挡免费观看视频| 国产精品久久久久久精品古装| kizo精华| 精华霜和精华液先用哪个| 免费大片18禁| 国产精品伦人一区二区| 五月开心婷婷网| 黄片无遮挡物在线观看| 我要看日韩黄色一级片| 嘟嘟电影网在线观看| 人妻一区二区av| av在线观看视频网站免费| 亚洲精品国产成人久久av| 丝袜脚勾引网站| 精品一区二区三卡| 亚洲精品自拍成人| 在线观看美女被高潮喷水网站| 国产精品国产三级国产专区5o| 国产成人午夜福利电影在线观看| 欧美日韩在线观看h| 成人特级av手机在线观看| 国产 精品1| av专区在线播放| 久久久久久久久久久久大奶| 日本猛色少妇xxxxx猛交久久| 2021少妇久久久久久久久久久| av黄色大香蕉| 欧美xxⅹ黑人| 啦啦啦在线观看免费高清www| 热99国产精品久久久久久7| 一个人免费看片子| 天天躁夜夜躁狠狠久久av| 大片电影免费在线观看免费| 国产精品99久久99久久久不卡 | 国产毛片在线视频| 九九在线视频观看精品| freevideosex欧美| 亚洲欧美精品自产自拍| 2021少妇久久久久久久久久久| 欧美成人精品欧美一级黄| 日韩一区二区视频免费看| 波野结衣二区三区在线| av在线观看视频网站免费| 十分钟在线观看高清视频www | 日日摸夜夜添夜夜爱| 麻豆精品久久久久久蜜桃| 免费人成在线观看视频色| 亚洲欧美精品自产自拍| 深夜a级毛片| 国产男人的电影天堂91| 91精品伊人久久大香线蕉| 久久ye,这里只有精品| 91在线精品国自产拍蜜月| 亚洲国产色片| 国产精品99久久久久久久久| 久久久久久伊人网av| 我要看黄色一级片免费的| 国产色婷婷99| 免费人妻精品一区二区三区视频| 国产成人免费无遮挡视频| 亚洲图色成人| 成人毛片60女人毛片免费| 夫妻午夜视频| 女的被弄到高潮叫床怎么办| 午夜福利在线观看免费完整高清在| 大片电影免费在线观看免费| 亚洲av综合色区一区| 国产在线免费精品| 十分钟在线观看高清视频www | 性高湖久久久久久久久免费观看| 777米奇影视久久| 国产美女午夜福利| www.av在线官网国产| 最新中文字幕久久久久| 麻豆成人午夜福利视频| 免费看光身美女| 国内揄拍国产精品人妻在线| 精品一区二区三区视频在线| 国产探花极品一区二区| 最近最新中文字幕免费大全7| 老司机亚洲免费影院| 国产在线男女| 欧美一级a爱片免费观看看| 我的老师免费观看完整版| 黑人猛操日本美女一级片| 性色av一级| 性高湖久久久久久久久免费观看| 日韩av免费高清视频| 麻豆乱淫一区二区| 色网站视频免费| 国产亚洲91精品色在线| 最近的中文字幕免费完整| 在线精品无人区一区二区三| 99久久中文字幕三级久久日本| 日韩亚洲欧美综合| 亚洲,欧美,日韩| 搡女人真爽免费视频火全软件| av不卡在线播放| 另类亚洲欧美激情| 少妇被粗大猛烈的视频| 男人爽女人下面视频在线观看| 国产成人午夜福利电影在线观看| 69精品国产乱码久久久| 日韩亚洲欧美综合| 精品人妻熟女毛片av久久网站| 九九久久精品国产亚洲av麻豆| 在现免费观看毛片| 久久久久国产网址| 中国三级夫妇交换| 亚洲av综合色区一区| 久久久国产精品麻豆| 国产精品人妻久久久影院| 亚洲精品成人av观看孕妇| 免费大片黄手机在线观看| 我的女老师完整版在线观看| 日本黄色片子视频| 制服丝袜香蕉在线| 久久97久久精品| 国产高清三级在线| 免费观看a级毛片全部| 中文字幕av电影在线播放| 最近的中文字幕免费完整| 国产精品不卡视频一区二区| 日本wwww免费看| 欧美 亚洲 国产 日韩一| 又爽又黄a免费视频| 久久久久国产网址| 国产精品免费大片| 国产精品久久久久久精品电影小说| 黄色欧美视频在线观看| 国产一区二区在线观看日韩| 夜夜骑夜夜射夜夜干| 欧美变态另类bdsm刘玥| 国产成人免费观看mmmm| 成人二区视频| 日韩欧美 国产精品| 黄色怎么调成土黄色| 新久久久久国产一级毛片| 国产永久视频网站| 成人无遮挡网站| 久久久精品免费免费高清| 69精品国产乱码久久久| 最近2019中文字幕mv第一页| 色网站视频免费| 97在线视频观看| 18禁动态无遮挡网站| 欧美三级亚洲精品| 黄色怎么调成土黄色| 免费黄频网站在线观看国产| 69精品国产乱码久久久| 黄色视频在线播放观看不卡| 最近中文字幕2019免费版| 欧美国产精品一级二级三级 | av又黄又爽大尺度在线免费看| 国产日韩欧美视频二区| 午夜福利在线观看免费完整高清在| 亚洲av电影在线观看一区二区三区| 久久精品国产a三级三级三级| 伊人亚洲综合成人网| av在线播放精品| 黄色欧美视频在线观看| 草草在线视频免费看| 熟女人妻精品中文字幕| 老司机影院毛片| 夫妻午夜视频| 国产在线一区二区三区精| a级毛片在线看网站| 国产成人免费无遮挡视频| 美女中出高潮动态图| 五月伊人婷婷丁香| 一级黄片播放器| 老司机影院毛片| 91久久精品国产一区二区三区| 亚洲不卡免费看| 在线观看av片永久免费下载| 插阴视频在线观看视频| 九草在线视频观看| 青春草亚洲视频在线观看| av黄色大香蕉| 少妇被粗大猛烈的视频| 韩国av在线不卡| 插逼视频在线观看| 国产成人免费无遮挡视频| 在线观看免费视频网站a站| 99热国产这里只有精品6| 国产精品一区www在线观看| 国产白丝娇喘喷水9色精品| 国国产精品蜜臀av免费| 国产高清三级在线| 一区二区av电影网| 嘟嘟电影网在线观看| 永久免费av网站大全| 久久97久久精品| 在线观看免费视频网站a站| 亚洲欧洲国产日韩| 国产乱来视频区| 日本免费在线观看一区| 91精品伊人久久大香线蕉| 另类亚洲欧美激情| 国产国拍精品亚洲av在线观看| 极品教师在线视频| 久久99精品国语久久久| 国产美女午夜福利| 寂寞人妻少妇视频99o| 一区二区三区四区激情视频| 久久av网站| 各种免费的搞黄视频| 亚洲精品456在线播放app| 久久99一区二区三区| 卡戴珊不雅视频在线播放| 蜜桃在线观看..| 97超视频在线观看视频| 黑人巨大精品欧美一区二区蜜桃 | 在线看a的网站| 免费观看无遮挡的男女| 99re6热这里在线精品视频| 日韩av免费高清视频| 久久精品国产亚洲av天美| 汤姆久久久久久久影院中文字幕| 国产亚洲精品久久久com| 大香蕉久久网| 嫩草影院新地址| 男人添女人高潮全过程视频| 97超视频在线观看视频| 十八禁高潮呻吟视频 | 免费黄频网站在线观看国产| 日本wwww免费看| 色视频www国产| 我的老师免费观看完整版| 精品少妇内射三级| 九草在线视频观看| 天美传媒精品一区二区| 中文资源天堂在线| 91久久精品国产一区二区三区| 精品亚洲成国产av| av福利片在线| 久热久热在线精品观看| 黄片无遮挡物在线观看| 三级国产精品片| 成人毛片60女人毛片免费| 久久午夜福利片| 精品少妇黑人巨大在线播放| 一级二级三级毛片免费看| 亚洲国产精品一区三区| 国产av一区二区精品久久| 97超视频在线观看视频| 乱码一卡2卡4卡精品| 观看av在线不卡| 秋霞在线观看毛片| 亚洲精品乱码久久久久久按摩| 久久国内精品自在自线图片| 一级毛片黄色毛片免费观看视频| av卡一久久| 欧美激情国产日韩精品一区| 久久综合国产亚洲精品| 中文资源天堂在线| 青春草亚洲视频在线观看| 成年女人在线观看亚洲视频| 大片电影免费在线观看免费| 久久国产精品男人的天堂亚洲 | 日本色播在线视频| 免费在线观看成人毛片| 国产永久视频网站| 黄色视频在线播放观看不卡| 亚洲欧美精品自产自拍| 午夜免费鲁丝| 秋霞伦理黄片| 夫妻午夜视频| 国产在线男女| 91久久精品国产一区二区三区| 国产亚洲av片在线观看秒播厂| 久久久久精品久久久久真实原创| 中文字幕制服av| 黄片无遮挡物在线观看| 免费看av在线观看网站| 欧美日韩在线观看h| 亚洲精品第二区| 欧美精品一区二区大全| 亚洲欧美中文字幕日韩二区| 我的老师免费观看完整版| 午夜福利影视在线免费观看| 全区人妻精品视频| 一级毛片我不卡| 国产精品.久久久| 国产黄片视频在线免费观看| 日本黄色日本黄色录像| 日本av手机在线免费观看| 熟女av电影| 成人特级av手机在线观看| 日韩电影二区| 国产国拍精品亚洲av在线观看| av在线老鸭窝| 亚洲自偷自拍三级| 亚洲三级黄色毛片| 一边亲一边摸免费视频| 精品久久久噜噜| 久久久久视频综合| 国产免费又黄又爽又色| 少妇的逼好多水| 精品久久久噜噜| 18禁裸乳无遮挡动漫免费视频| 久久精品国产a三级三级三级| 99热国产这里只有精品6| 国产精品久久久久久久久免| 观看av在线不卡| 亚洲成人一二三区av| 亚洲真实伦在线观看| 一级黄片播放器| 男人舔奶头视频| 亚洲人与动物交配视频| 亚洲精品久久久久久婷婷小说| 欧美xxxx性猛交bbbb| 边亲边吃奶的免费视频| 狂野欧美白嫩少妇大欣赏| 国产永久视频网站| 少妇人妻精品综合一区二区| 免费高清在线观看视频在线观看| 在线观看www视频免费| 蜜臀久久99精品久久宅男| 一级黄片播放器| 亚洲av国产av综合av卡| 在线观看www视频免费| 欧美亚洲 丝袜 人妻 在线| 秋霞在线观看毛片| 国产极品天堂在线| 色视频www国产| 国产精品福利在线免费观看| 嘟嘟电影网在线观看| 日本色播在线视频| 国产爽快片一区二区三区| 久久久久精品久久久久真实原创| 99久久人妻综合| 国产一区二区在线观看av| 久久精品国产亚洲av天美| 草草在线视频免费看| 老熟女久久久| 18禁裸乳无遮挡动漫免费视频| 久久久a久久爽久久v久久| 最近最新中文字幕免费大全7| 中文在线观看免费www的网站| 久久久久久伊人网av| av在线app专区| 99久久中文字幕三级久久日本| 在线观看人妻少妇| 一级片'在线观看视频| 免费人成在线观看视频色| 国产精品免费大片| 亚洲精品一二三| 丰满迷人的少妇在线观看| 亚洲性久久影院| 午夜免费鲁丝| 久久久国产精品麻豆| 大片免费播放器 马上看| 老司机影院毛片| 丰满少妇做爰视频| 三级国产精品欧美在线观看| 最近的中文字幕免费完整| 午夜日本视频在线| 一级av片app| 日韩中字成人| 又爽又黄a免费视频| 菩萨蛮人人尽说江南好唐韦庄| 国产一级毛片在线| 亚洲精品自拍成人| 国产高清有码在线观看视频| 久久精品久久久久久噜噜老黄| 在线观看www视频免费| 日韩一本色道免费dvd| 国产av国产精品国产| 80岁老熟妇乱子伦牲交| 久久精品国产自在天天线| 韩国av在线不卡| 亚洲av欧美aⅴ国产| 久久午夜福利片| 久久av网站| 久久久久视频综合| 欧美日韩亚洲高清精品| 伊人亚洲综合成人网| 亚洲精品国产av成人精品| 伊人久久精品亚洲午夜| 国产亚洲欧美精品永久| 亚洲av不卡在线观看| 日韩欧美 国产精品| 亚洲高清免费不卡视频| 久久亚洲国产成人精品v| 一本—道久久a久久精品蜜桃钙片| 秋霞在线观看毛片| 亚洲国产精品一区二区三区在线| 啦啦啦中文免费视频观看日本| 日韩精品免费视频一区二区三区 | 91在线精品国自产拍蜜月| 精品一品国产午夜福利视频| 亚洲综合色惰| 性色av一级| av播播在线观看一区| 妹子高潮喷水视频| 欧美日韩在线观看h| 日本黄色片子视频| 在线观看av片永久免费下载| 我要看黄色一级片免费的| 国产精品.久久久| 啦啦啦在线观看免费高清www| av在线播放精品| 老熟女久久久| 国产极品粉嫩免费观看在线 | 最近最新中文字幕免费大全7| 丰满饥渴人妻一区二区三| 国产熟女欧美一区二区| 免费观看无遮挡的男女| 另类亚洲欧美激情| 国产一区亚洲一区在线观看| 狠狠精品人妻久久久久久综合| 亚洲av国产av综合av卡| 人妻人人澡人人爽人人| 国产精品一区二区三区四区免费观看| 免费av中文字幕在线| 国产色爽女视频免费观看| 如日韩欧美国产精品一区二区三区 | 你懂的网址亚洲精品在线观看| 精品少妇久久久久久888优播| 午夜免费鲁丝| 少妇的逼水好多| 永久免费av网站大全| 中文字幕av电影在线播放| 亚洲成人av在线免费| 国产一区二区在线观看av| 另类精品久久| 日日撸夜夜添| 久久国产精品男人的天堂亚洲 | 在线天堂最新版资源| 下体分泌物呈黄色| 亚洲精品日韩av片在线观看| 高清在线视频一区二区三区| 黑人猛操日本美女一级片| 精品人妻熟女毛片av久久网站| 国模一区二区三区四区视频| 国产永久视频网站| 久久久久久久大尺度免费视频| 十分钟在线观看高清视频www | 国产一区亚洲一区在线观看| 亚洲欧美成人精品一区二区| 亚洲婷婷狠狠爱综合网| 欧美精品一区二区大全| 如何舔出高潮| 日韩三级伦理在线观看| 国产伦理片在线播放av一区| 99九九在线精品视频 | 在线亚洲精品国产二区图片欧美 | 精品一区二区三区视频在线| 少妇人妻一区二区三区视频| 精品亚洲成a人片在线观看| 夫妻午夜视频| 伦理电影大哥的女人| 在现免费观看毛片| 欧美精品一区二区免费开放| 丁香六月天网| 成人影院久久| 波野结衣二区三区在线| 亚洲人与动物交配视频| 视频区图区小说| 精品视频人人做人人爽| 久久青草综合色| av.在线天堂| 国产日韩欧美视频二区| 少妇人妻久久综合中文| 国产成人午夜福利电影在线观看| 精品少妇内射三级| 日韩人妻高清精品专区| 99热这里只有精品一区| 国产国拍精品亚洲av在线观看| 欧美人与善性xxx| 一本久久精品| 在线观看免费日韩欧美大片 | 肉色欧美久久久久久久蜜桃| 韩国av在线不卡| 99久久精品热视频| 少妇的逼水好多| 国产成人a∨麻豆精品| 国产女主播在线喷水免费视频网站| 男人狂女人下面高潮的视频| 国产一区亚洲一区在线观看| 久久精品国产亚洲av涩爱| 高清欧美精品videossex| 只有这里有精品99| videos熟女内射| 搡老乐熟女国产| av福利片在线观看| 少妇熟女欧美另类| 看非洲黑人一级黄片| 成人综合一区亚洲| 国产av国产精品国产| 国产精品一区二区性色av| 国产精品伦人一区二区| 自拍欧美九色日韩亚洲蝌蚪91 | 2021少妇久久久久久久久久久| 久久99蜜桃精品久久| 日本91视频免费播放| 偷拍熟女少妇极品色| 国产精品久久久久久久电影| 三级国产精品片| 99久久中文字幕三级久久日本| a级片在线免费高清观看视频| 午夜老司机福利剧场| 亚洲精品日韩在线中文字幕| 十八禁高潮呻吟视频 | 色网站视频免费| 99热全是精品| 最近最新中文字幕免费大全7| 尾随美女入室| 国产亚洲精品久久久com| 深夜a级毛片| 国产免费又黄又爽又色| 国精品久久久久久国模美| 成人毛片a级毛片在线播放| 中文字幕免费在线视频6| 国产精品三级大全| 看十八女毛片水多多多| 国产中年淑女户外野战色| 色婷婷av一区二区三区视频| 国产伦理片在线播放av一区| 亚洲四区av| 69精品国产乱码久久久| 一级毛片aaaaaa免费看小| 久久韩国三级中文字幕| 久久久午夜欧美精品| 乱码一卡2卡4卡精品| 在线观看美女被高潮喷水网站| 寂寞人妻少妇视频99o| 亚洲av不卡在线观看| 午夜久久久在线观看| 亚洲成色77777| 国产精品国产三级国产专区5o| 美女国产视频在线观看| 人人妻人人看人人澡| 插阴视频在线观看视频| 深夜a级毛片| 久久精品熟女亚洲av麻豆精品| 久久韩国三级中文字幕| 汤姆久久久久久久影院中文字幕| 又黄又爽又刺激的免费视频.| 久久99热这里只频精品6学生| 亚洲av欧美aⅴ国产| 亚洲精品一区蜜桃| 免费大片18禁| 边亲边吃奶的免费视频| 久久精品国产a三级三级三级| 99九九线精品视频在线观看视频| 亚洲欧美一区二区三区黑人 | 免费久久久久久久精品成人欧美视频 | 日韩免费高清中文字幕av| 如日韩欧美国产精品一区二区三区 | 丝瓜视频免费看黄片| 我要看日韩黄色一级片| 亚洲欧美精品自产自拍| 精品99又大又爽又粗少妇毛片| 欧美少妇被猛烈插入视频| 熟女电影av网| 亚洲av不卡在线观看| av一本久久久久| 一级毛片黄色毛片免费观看视频| 极品教师在线视频| 欧美另类一区| 亚洲电影在线观看av| 中文字幕制服av| 国产亚洲最大av| 天堂中文最新版在线下载| 成年av动漫网址| 欧美性感艳星| 91久久精品电影网| av在线app专区| av在线播放精品| 婷婷色麻豆天堂久久| 亚洲第一av免费看| 久久国产亚洲av麻豆专区| 国产黄色免费在线视频| 欧美一级a爱片免费观看看| 嫩草影院入口| 久久99蜜桃精品久久| 秋霞伦理黄片| 婷婷色综合www| 视频区图区小说|