• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于張量表示的大學(xué)生批判性思維多模態(tài)測評

    2024-01-01 00:00:00范福蘭雷雪英王建書王思雨麥迪努爾·買合木提
    關(guān)鍵詞:張量批判性思維

    摘要:批判性思維是21世紀(jì)創(chuàng)新人才培養(yǎng)的關(guān)鍵。加強(qiáng)批判性思維培養(yǎng)是我國高等教育的戰(zhàn)略重點(diǎn),如何對批判性思維進(jìn)行精準(zhǔn)測評被視為保障批判性思維高效培養(yǎng)的重要路徑。融合多源數(shù)據(jù)的多模態(tài)學(xué)習(xí)測評更具客觀性和全面性,為批判性思維精準(zhǔn)測評提供了新思路。張量作為一種高維數(shù)組,不僅能保持?jǐn)?shù)據(jù)的語義特征和完備性,而且能表示和維持多模態(tài)數(shù)據(jù)的高階關(guān)系,最大程度提升批判性思維多模態(tài)數(shù)據(jù)信息的價值密度。基于此構(gòu)建的大學(xué)生批判性思維多模態(tài)測評框架包括數(shù)據(jù)層、分析層和應(yīng)用層三層架構(gòu),分別用于解決批判性思維多模態(tài)數(shù)據(jù)的采集與映射、數(shù)據(jù)張量化表示與分析、批判性思維水平測定與教學(xué)干預(yù)。在基于該測評框架開展的實證研究中,主要采集了常態(tài)化教學(xué)過程中的批判性思維多模態(tài)測評數(shù)據(jù),采用張量化方法構(gòu)建了統(tǒng)一表示模型并進(jìn)行了多視圖聚類分析。該多模態(tài)測評方法有助于推動批判性思維測評實踐向著更加精準(zhǔn)化的方向發(fā)展。

    關(guān)鍵詞:批判性思維;多模態(tài)測評;張量;多視圖聚類

    中圖分類號:G434" "文獻(xiàn)標(biāo)識碼:A" " 文章編號:1009-5195(2024)04-0104-09" doi10.3969/j.issn.1009-5195.2024.04.012

    ——————————————————————————————————————————

    基金項目:2022年度國家自然科學(xué)基金青年項目“小樣本困境下的多模態(tài)協(xié)作學(xué)習(xí)情感智能識別研究”(62207033);2023年度中南民族大學(xué)中央高?;究蒲袠I(yè)務(wù)費(fèi)專項資金項目“小樣本多模態(tài)數(shù)據(jù)驅(qū)動的學(xué)習(xí)情感智能識別”(CSZ23013)。

    作者簡介:范福蘭,博士,副教授,中南民族大學(xué)教育學(xué)院(湖北武漢 430074);雷雪英,中南民族大學(xué)教育學(xué)院(湖北武漢 430074);王建書(通訊作者),副教授,大理大學(xué)數(shù)學(xué)與計算機(jī)學(xué)院(云南大理 671003);王思雨、麥迪努爾·買合木提,碩士研究生,中南民族大學(xué)教育學(xué)院(湖北武漢 430074)。

    一、引言

    批判性思維是對某個觀點(diǎn)或假設(shè)進(jìn)行闡釋、分析、評估、推斷、解釋,并伴有自我調(diào)節(jié)過程的思維形態(tài)(Facione,1990a),是21世紀(jì)人才創(chuàng)新能力培養(yǎng)的直接影響因素(徐學(xué)才等,2021)。當(dāng)前,加強(qiáng)批判性思維培養(yǎng)是我國高等教育的戰(zhàn)略重點(diǎn),對批判性思維進(jìn)行精準(zhǔn)測評也成為保障批判性思維高效培養(yǎng)的重要路徑。已有研究主要采用問卷調(diào)查、標(biāo)準(zhǔn)化測試等方式對批判性思維進(jìn)行測評,盡管操作方法快速簡便(冷靜等,2020),但存在數(shù)據(jù)單一、主觀依賴性強(qiáng)的弊端,難以全面、準(zhǔn)確地表征批判性思維信息和深入了解批判性思維的過程,測評結(jié)果的準(zhǔn)確性也亟需改進(jìn)。隨著人工智能技術(shù)在教育中的深入應(yīng)用,多模態(tài)學(xué)習(xí)測評逐步進(jìn)入教育研究視野并快速發(fā)展,其能融合多源數(shù)據(jù)、客觀表征學(xué)習(xí)過程信息、有效提升測評結(jié)果的準(zhǔn)確性,為解決批判性思維傳統(tǒng)測評難題提供了新的路徑。當(dāng)前針對批判性思維的多模態(tài)測評研究較少,尤其在多源異構(gòu)數(shù)據(jù)的有效表示等核心問題上,還缺乏一定的理論與技術(shù)方法探索。張量是一種高維數(shù)組,能夠表示和維持多模態(tài)數(shù)據(jù)中的高階關(guān)系,并保持?jǐn)?shù)據(jù)的語義特征和完備性,在多模態(tài)數(shù)據(jù)挖掘中已取得不錯的進(jìn)展(李州健等,2023),為批判性思維的多模態(tài)測評研究提供了良好的技術(shù)支持。

    有鑒于此,本文在綜合張量大數(shù)據(jù)建模理論、批判性思維經(jīng)典測評理論、多模態(tài)學(xué)習(xí)測評理論與方法的基礎(chǔ)上,提出基于張量表示的大學(xué)生批判性思維多模態(tài)測評框架,并以此為理論支撐開展了批判性思維多模態(tài)測評的實證研究。簡言之,就是從物理空間、網(wǎng)絡(luò)空間采集大學(xué)生批判性思維多模態(tài)數(shù)據(jù)(包括文本、圖片、語音、視頻等數(shù)據(jù)),構(gòu)建張量統(tǒng)一表示模型并進(jìn)行多視圖聚類,通過融合多模態(tài)數(shù)據(jù)來綜合測評大學(xué)生的批判性思維水平。

    二、文獻(xiàn)綜述

    1.批判性思維測評要素與方法研究

    既有研究在批判性思維測評上已積累了大量的研究成果,例如,加利福尼亞批判性思維技能測試(CCTST)主要針對學(xué)習(xí)者的闡釋、分析、評估、推斷、解釋、自我調(diào)節(jié)等維度進(jìn)行了測評(Facione,1990b),恩尼斯—威爾批判性思維寫作測試(EWCTET)主要涉及了解釋、分析、評估、推論、說明、自我調(diào)整等要素(Ennis et al.,1985),沃森—格拉澤批判性思維評價(WGCTA)則對推理、辨認(rèn)假設(shè)、演繹、解釋、論據(jù)評估等維度進(jìn)行了評價(崔麗媛等,2021);此外還有康奈爾批判性思維測評(CCTT)(馬利紅等,2019)、全國本科生能力測評(NACC)(沈紅等,2019)、羅清旭等人修訂的中文版CCTST(羅清旭等,2002)、Danczak等人編制的 DOT Test(Danczak et al.,2020)、Shavelson等人研發(fā)的Wind Turbine(Shavelson et al.,2019)等,他們均將問題解決、決策納入測評要素。

    常見的批判性思維測評方式主要包括三類:以自評為主的問卷調(diào)查、基于實例的分析和以開放題為主的測試(冷靜等,2020)。然而,傳統(tǒng)測評方式往往主觀依賴性較強(qiáng),準(zhǔn)確率難以保障(余繼等,2021),而且數(shù)據(jù)來源單一,難以全面刻畫批判性思維的過程,亦無法確保測評結(jié)果的客觀性和準(zhǔn)確性。

    2.多模態(tài)學(xué)習(xí)測評研究

    多模態(tài)學(xué)習(xí)測評是指通過捕獲、挖掘、分析學(xué)習(xí)過程中產(chǎn)生的多模態(tài)數(shù)據(jù),對學(xué)生的行為、認(rèn)知、思維等進(jìn)行科學(xué)測量與客觀評價(鐘薇等,2018;汪維富等,2021;張家華等,2022),其測評效果明顯優(yōu)于傳統(tǒng)測評方法(李新等,2021)。多模態(tài)學(xué)習(xí)測評具有互補(bǔ)互證性及動態(tài)性,與批判性思維測評需求高度契合:一方面,不同模態(tài)數(shù)據(jù)互相映射補(bǔ)充,能夠更全面、客觀地表征學(xué)生的行為、認(rèn)知、情感(吳軍其等,2022;彭紅超等,2022);而且相同信息的不同模態(tài)亦可進(jìn)行交叉印證,進(jìn)而保障測評結(jié)果的準(zhǔn)確性(王小根等,2022)。另一方面,采用新技術(shù)(如智能錄播系統(tǒng)、可穿戴傳感設(shè)備、學(xué)習(xí)管理平臺等)可以動態(tài)采集真實課堂教學(xué)情境中的自然數(shù)據(jù)并進(jìn)行自動標(biāo)注(張琪等,2020),如對身體姿態(tài)、交互對話、研討過程、作品文本等數(shù)據(jù)進(jìn)行智能標(biāo)注(Camacho et al.,2020),從而實現(xiàn)對學(xué)生思維狀態(tài)的實時追蹤(Baltru?aitis et al.,2018),這亦與批判性思維的動態(tài)發(fā)展性特征相吻合。

    多模態(tài)學(xué)習(xí)測評可實現(xiàn)對批判性思維水平的準(zhǔn)確識別與多方位表征,為批判性思維的科學(xué)測評帶來了新的契機(jī)。然而在實施過程中,批判性思維多模態(tài)測評也面臨一定難題:由于數(shù)據(jù)來源不同,以及各自編碼方式和語義的差異,可能導(dǎo)致原本具有相關(guān)性的信息網(wǎng)絡(luò)變成信息孤島(胡雪等,2021);同時,基于向量的多模態(tài)數(shù)據(jù)表示方法難以有效模擬不同模態(tài)間的深度相關(guān)性,也無法較好地處理圖像中的噪音問題,因而導(dǎo)致數(shù)據(jù)挖掘結(jié)果不夠理想(Huang et al.,2021)。

    3.基于張量的多模態(tài)數(shù)據(jù)表示

    數(shù)據(jù)表示是開展多模態(tài)數(shù)據(jù)挖掘研究的重心,也是進(jìn)行多模態(tài)學(xué)習(xí)測評的關(guān)鍵(Dong et al.,2020)。張量本質(zhì)上是一個多維數(shù)組,是向量、矩陣的高階擴(kuò)展(趙鵬等,2020),其相較于向量表示在處理多源異構(gòu)數(shù)據(jù)上更加有效。在數(shù)據(jù)變換方面,張量充分考慮了多模態(tài)數(shù)據(jù)間的異構(gòu)性、相關(guān)性與互補(bǔ)性(劉長紅等,2022);在特征提取方面,張量能有效保存原始數(shù)據(jù)的結(jié)構(gòu)特征(張小榮等,2019),實現(xiàn)對文本、語音、視頻等數(shù)據(jù)的高維表示。采用張量表示的數(shù)據(jù)挖掘方法能更好地揭示不同模態(tài)數(shù)據(jù)間的細(xì)粒度深層次關(guān)系,對批判性思維進(jìn)行多維度量化表征,最大程度提升批判性思維多模態(tài)數(shù)據(jù)信息的價值密度。

    綜上可知,已有研究多采用問卷調(diào)查、標(biāo)準(zhǔn)化測試等方式分別從闡釋、分析、解釋、評估、推斷、自我調(diào)節(jié)等維度對學(xué)生的批判性思維水平進(jìn)行測量,雖然操作便捷,但主觀依賴性較強(qiáng),且測評的準(zhǔn)確性難以判斷。而多模態(tài)學(xué)習(xí)測評則利用多源數(shù)據(jù)的信息互補(bǔ),能精準(zhǔn)刻畫學(xué)生的學(xué)習(xí)過程,有效提高測評結(jié)果的準(zhǔn)確性,為批判性思維的科學(xué)測評提供了新的思路。鑒于目前鮮有批判性思維多模態(tài)測評的理論框架與技術(shù)方法研究,本研究嘗試引入計算機(jī)科學(xué)領(lǐng)域的張量大數(shù)據(jù)建模理論與表示方法,融合多模態(tài)學(xué)習(xí)測評與批判性思維經(jīng)典測評理論,構(gòu)建基于張量表示的批判性思維多模態(tài)測評框架并開展實證研究。

    三、基于張量表示的批判性思維多模態(tài) 測評框架

    1.測評框架建構(gòu)

    本研究中的學(xué)生批判性思維核心測評維度包括6個,分別是闡釋、分析、解釋、評估、推斷及自我調(diào)節(jié)(沈紅等,2019;任永功等,2022;Facione,1990b)。常態(tài)化教學(xué)中的多模態(tài)數(shù)據(jù)多采集于真實教學(xué)場景的物理空間和在線學(xué)習(xí)的網(wǎng)絡(luò)空間(范福蘭等,2023),包括反映學(xué)習(xí)過程的外在行為表現(xiàn)、學(xué)習(xí)內(nèi)容、人機(jī)交互等文本、圖片、視頻、語音等模態(tài)數(shù)據(jù)(王一巖等,2022)。以往關(guān)于多模態(tài)數(shù)據(jù)分析的研究主要采用動態(tài)三維張量對數(shù)據(jù)進(jìn)行統(tǒng)一分析描述(Sun et al.,2006),或者采用張量統(tǒng)一表示非結(jié)構(gòu)化、半結(jié)構(gòu)化和結(jié)構(gòu)化的多模態(tài)數(shù)據(jù)(Kuang et al.,2014)。本研究在借鑒張量大數(shù)據(jù)建模理論與表示方法、多模態(tài)學(xué)習(xí)測評、批判性思維經(jīng)典測評理論的基礎(chǔ)上,構(gòu)建了基于張量表示的批判性思維多模態(tài)測評框架,如圖1所示。

    該框架自底向上包括數(shù)據(jù)層、分析層和應(yīng)用層。數(shù)據(jù)層從網(wǎng)絡(luò)空間和物理空間采集面向批判性思維6個測評維度的多模態(tài)學(xué)習(xí)數(shù)據(jù),通過數(shù)據(jù)清洗、編碼映射及特征提取,獲得批判性思維多模態(tài)測評數(shù)據(jù)集,為分析層提供數(shù)據(jù)支撐。分析層主要通過張量化過程將數(shù)據(jù)對象統(tǒng)一表示為張量模型,進(jìn)一步挖掘測評數(shù)據(jù)各維度間的相互關(guān)系,計算各指標(biāo)權(quán)重,衡量測評數(shù)據(jù)的相似度,生成多個不同的聚類結(jié)果,為應(yīng)用層提供實證依據(jù)。應(yīng)用層根據(jù)分析層產(chǎn)生的聚類結(jié)果展開系列分析并實施教學(xué)干預(yù),主要是依據(jù)聚類結(jié)果測定學(xué)習(xí)者的批判性思維水平,在此基礎(chǔ)上深入分析不同水平學(xué)習(xí)者的批判性思維特征,探究不同特征下的教學(xué)干預(yù)策略,從而為學(xué)習(xí)者提供促進(jìn)其批判性思維培養(yǎng)的精準(zhǔn)教學(xué)服務(wù)。

    2.測評框架解析

    (1)數(shù)據(jù)層

    常態(tài)化教學(xué)過程中,可采用攝像設(shè)備、錄音設(shè)備、實時通訊工具、在線學(xué)習(xí)平臺等記錄并采集教學(xué)過程中生成的數(shù)據(jù),包括課堂互動對話、反思報告、協(xié)作文本、測試數(shù)據(jù)等,依據(jù)數(shù)據(jù)模態(tài)可將其劃分為文本、圖片、語音和視頻等數(shù)據(jù)類型。首先,需要針對數(shù)據(jù)中的缺失值、異常值及重復(fù)值進(jìn)行診斷與篩選,確保數(shù)據(jù)質(zhì)量滿足后續(xù)數(shù)據(jù)處理的要求。其次,可采用自動與人工編碼相結(jié)合的方式,對批判性思維多模態(tài)測評數(shù)據(jù)進(jìn)行編碼與標(biāo)注,形成數(shù)據(jù)集。批判性思維多模態(tài)測評數(shù)據(jù)編碼與映射框架如表1所示。

    (2)分析層

    分析層主要根據(jù)實際需求對批判性思維多模態(tài)測評數(shù)據(jù)進(jìn)行多視圖聚類分析。需采用張量化方法對多源異構(gòu)數(shù)據(jù)對象構(gòu)建統(tǒng)一表示模型,以便對數(shù)據(jù)的相似性進(jìn)行統(tǒng)一度量。張量是向量和矩陣的高階推廣,可以看成一個多維數(shù)組(趙鵬等,2020)。張量的階數(shù)表示模的數(shù)量,向量是一階張量,矩陣是二階張量,三階或更高階的張量被稱為高階張量。構(gòu)建張量一般要先抽取數(shù)據(jù)的部分特征或?qū)傩宰鳛樽訌埩康碾A,然后根據(jù)實際需求決定每個階上的數(shù)據(jù)類型、表示意義及取值范圍。例如,可以選取學(xué)號、自我反思、自我修正指標(biāo)作為張量的階,形成自我調(diào)節(jié)子張量;也可以選取學(xué)號、表述分類、澄清意義指標(biāo)構(gòu)建闡釋子張量;另外,還可通過“學(xué)號”對子張量進(jìn)行拼接,實現(xiàn)子張量的融合,從而構(gòu)建更高階的批判性思維張量,如圖2所示。

    在構(gòu)建張量的基礎(chǔ)上,首先需通過構(gòu)建關(guān)聯(lián)張量判斷不同屬性間的關(guān)聯(lián)關(guān)系;其次,以關(guān)聯(lián)張量為基礎(chǔ),利用多線性PageRank理論和高階冪法計算各屬性的排名向量,以表示各個特征空間每個屬性的重要性;再次,采用可選擇加權(quán)張量距離度量批判性思維測評數(shù)據(jù)對象在空間中是否相近,并根據(jù)排名向量和所選特征空間組合向量,以及度量張量空間對象之間距離所得到的視圖矩陣,得到多視圖張量;最后,采用基于張量的多聚類算法,對多視圖組成的數(shù)據(jù)進(jìn)行聚類,如圖3所示。

    (3)應(yīng)用層

    應(yīng)用層旨在根據(jù)分析層產(chǎn)生的聚類結(jié)果為批判性思維教學(xué)提供相應(yīng)的服務(wù)。根據(jù)聚類結(jié)果對學(xué)生批判性思維水平進(jìn)行測定,可為教師精準(zhǔn)定位學(xué)生批判性思維狀態(tài)提供實證依據(jù)。在此基礎(chǔ)上,教師可利用可視化方法進(jìn)一步呈現(xiàn)不同水平學(xué)生的批判性思維特征,以及基于批判性思維水平測定及可視化分析結(jié)果,進(jìn)行教學(xué)干預(yù),從而實現(xiàn)對學(xué)生批判性思維的有效培養(yǎng)。

    四、實踐應(yīng)用

    1.批判性思維多模態(tài)數(shù)據(jù)采集及預(yù)處理

    (1)數(shù)據(jù)采集

    本研究以武漢市Z高校教育技術(shù)學(xué)專業(yè)二年級37名學(xué)生為研究對象,以“學(xué)習(xí)科學(xué)與技術(shù)”課程為載體,以辯論式教學(xué)活動過程中的多模態(tài)數(shù)據(jù)為采集對象,通過實時通訊工具、智慧教室錄像設(shè)備、在線學(xué)習(xí)平臺等采集人機(jī)交互記錄、互動對話、發(fā)言過程、面部表情、身體姿態(tài)、辯論材料、反思報告、主觀測試等數(shù)據(jù),并以文本、圖片、語音、視頻等形式進(jìn)行儲存(見圖4)。

    (2)數(shù)據(jù)預(yù)處理

    首先,對原始數(shù)據(jù)進(jìn)行匿名化與數(shù)據(jù)清洗,去除與主題無關(guān)的內(nèi)容,保證樣本數(shù)據(jù)的完整性與有效性。通過多次檢驗,最終保留了34人的學(xué)習(xí)過程數(shù)據(jù)。其次,采用人工編碼和機(jī)器編碼相結(jié)合的方式,根據(jù)表1對批判性思維的指標(biāo)進(jìn)行編碼,形成結(jié)構(gòu)化的批判性思維數(shù)據(jù)集。

    2.基于張量表示的批判性思維多模態(tài)測評數(shù)據(jù)分析

    (1)多模態(tài)測評數(shù)據(jù)張量化表示

    研究選取批判性思維的表述分類、澄清意義、識別論點(diǎn)、分析論點(diǎn)、陳述論點(diǎn)、證明過程、陳述結(jié)果、評估邏輯性、評估合理性、查詢證據(jù)、推測替代方案、得出結(jié)論、自我反思、自我修正等14項指標(biāo)作為張量的階,然后根據(jù)每項指標(biāo)的實際情況設(shè)定階上的維度,并使用學(xué)號關(guān)聯(lián)其他所有階,由此構(gòu)建出批判性思維多模態(tài)測評張量模型,如圖5所示。

    圖5 批判性思維多模態(tài)測評張量

    圖5中張量的每個元素的數(shù)據(jù)類型均為布爾型,即取值為0或者1。以Eijkl…w這個元素為例,Eijkl…w=1表示原始數(shù)據(jù)中存在第i個學(xué)生的表述分類為j、澄清意義為k、識別論點(diǎn)為l、……、自我修正為w的樣本。張量階(ijkl…w)的屬性取值范圍如表2所示。

    (2)多模態(tài)測評數(shù)據(jù)關(guān)聯(lián)分析

    第一,測評數(shù)據(jù)相互關(guān)系挖掘。通過構(gòu)建關(guān)聯(lián)張量來判斷不同指標(biāo)間的相互關(guān)系。首先,依據(jù)采集到的批判性思維測評數(shù)據(jù)集構(gòu)建了34個數(shù)據(jù)對象,每個數(shù)據(jù)對象均可表示為一個N階張量lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-1.tifgt;,其中I1、I2、…、IN分別對應(yīng)由不同指標(biāo)描述的N個特征空間,通過將每個對象張量的非零元素轉(zhuǎn)換為1并進(jìn)行累加計算,即可獲得關(guān)聯(lián)張量lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-1+.tifgt;。關(guān)聯(lián)張量中具有非負(fù)整數(shù)值的元素lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-2.tifgt;表示對應(yīng)的指標(biāo)組合i1、i2、…、iN共同出現(xiàn)在所有對象中的次數(shù),次數(shù)越多表示對應(yīng)指標(biāo)組合交互程度越高,0次則表示對應(yīng)的指標(biāo)組合不相關(guān),因此可利用關(guān)聯(lián)張量元素的大小來評價各數(shù)據(jù)指標(biāo)間的關(guān)聯(lián)程度。

    第二,測評數(shù)據(jù)指標(biāo)權(quán)重計算。利用多線性PageRank理論計算各指標(biāo)的排名向量w1、w2、…、wN,以表示各個特征空間每個指標(biāo)的重要性。即先將前面計算得到的關(guān)聯(lián)張量S轉(zhuǎn)換為轉(zhuǎn)移張量Str(a)(a=1,2,…,N),其元素計算公式為:lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-3.tifgt;,其中K表示關(guān)聯(lián)張量S 所有階的最大維度。之后根據(jù)轉(zhuǎn)移張量計算出每一個排名向量wa(a=1,2,…,N),其計算公式為:wj=Str(a)×1 w1×2 w2…×j-1 wj-1×j+1 wj+1…×N wN。最后根據(jù)各指標(biāo)的排名向量,利用向量外積運(yùn)算計算指標(biāo)組合權(quán)重張量lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-4.tifgt;, 其元素可用來衡量數(shù)據(jù)空間中各種指標(biāo)組合的重要性,計算公式為:lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-5.tifgt;,其中o代表向量外積操作。

    第三,測評數(shù)據(jù)相似度衡量。研究采用可選擇加權(quán)張量距離(Selective Weighted Tensor Distance,SWTD)度量兩個批判性思維測評數(shù)據(jù)對象在空間中是否相近。當(dāng)給定一個批判性思維測評數(shù)據(jù)對象X和Y(x和y分別表示它們的向量化形式)時,可以通過公式lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-6.tifgt;計算得到兩個數(shù)據(jù)對象X和Y的可選擇加權(quán)張量距離,其中wl和wm分別是l和m對應(yīng)位置lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-7.tifgt;和lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-8.tifgt;的權(quán)重因子。度量矩陣G可以通過組合不同的學(xué)習(xí)評價數(shù)據(jù)指標(biāo)得到不同的學(xué)習(xí)相似度,以分析不同指標(biāo)組合的相互關(guān)系,其元素定義為:lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-9.tifgt;,其中位置距離lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-10.tifgt;定義為:lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-11.tifgt;,其對應(yīng)指標(biāo)屬性張量空間第i階的ci(1≤i≤N)是指標(biāo)屬性組合向量lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-14.tifgt;的元素,表示第i個指標(biāo)屬性是否被選擇,如果被選擇則其值為1,否則為0。

    第四,測評數(shù)據(jù)張量多視圖聚類。研究采用基于張量的多視圖聚類分析方法對批判性思維劃分層次。借助該方法,可以選擇不同的批判性思維測評指標(biāo)組合,形成多種視圖的聚類結(jié)果。利用視圖內(nèi)與視圖間的關(guān)系,不僅可以分析視圖間的一致性,也可以分析視圖間的差異性,從而充分運(yùn)用多視圖中的所有有效信息,使聚類結(jié)果更加準(zhǔn)確。在每種視圖的聚類結(jié)果中可根據(jù)各類別中學(xué)生的表現(xiàn)情況,確定哪些類別屬于高水平批判性思維狀態(tài),哪些類別處于中水平或低水平批判性思維狀態(tài),從而實現(xiàn)對批判性思維分層評判。根據(jù)前面得到的權(quán)重張量W和距離度量矩陣G,利用可選擇加權(quán)張量距離可計算得到矩陣Vi,其計算方法為:lt;E:\2023田田\8-17\現(xiàn)代遠(yuǎn)程教育研究202404\2024年第4期\Image\2024-4-ffl-gs-15.tifgt;,之后通過拼接矩陣V1、V2、…、Vr可得到多視圖張量,最后將多視圖張量T作為經(jīng)典聚類算法(如K-Means、AP)的輸入,即可獲得最終的張量多視圖聚類結(jié)果。

    (3)效果分析

    研究采用純度(Purity)、蘭德系數(shù)(Rand Index,RI)、調(diào)整蘭德系數(shù)(Adjusted Rand Index,ARI)、F1值等常用的聚類評價指標(biāo)來評估張量多視圖聚類算法的有效性,以上評價指標(biāo)數(shù)值越大表示結(jié)果越好。為體現(xiàn)多視圖聚類算法的優(yōu)越性,研究還增加了其他幾種主流聚類算法進(jìn)行對比,結(jié)果如表3所示。可以看出,聚類評價指標(biāo)值最高的是以“闡釋、自我調(diào)節(jié)、分析”為視圖組合的張量多視圖聚類算法,其純度、蘭德系數(shù)、調(diào)整蘭德系數(shù)、F1值分別達(dá)到了0.676、0.639、0.153、0.409,較其他算法體現(xiàn)出較大的優(yōu)勢。多數(shù)主流聚類算法是將批判性思維每個指標(biāo)數(shù)據(jù)進(jìn)行單獨(dú)分析,故無法挖掘出不同模態(tài)數(shù)據(jù)間的特征結(jié)構(gòu)和關(guān)聯(lián)關(guān)系。而張量多視圖聚類算法能夠一次性綜合考慮多項批判性思維的指標(biāo)數(shù)據(jù),打破多源異構(gòu)數(shù)據(jù)間的壁壘,保留其信息完整性,有利于表達(dá)數(shù)據(jù)間的復(fù)雜關(guān)系,因而在關(guān)聯(lián)分析上顯示出一定的優(yōu)越性,也能更準(zhǔn)確地評估學(xué)生的批判性思維水平。

    3.批判性思維水平測定與教學(xué)干預(yù)

    (1)批判性思維水平測定

    依照張量多視圖聚類算法的聚類結(jié)果,研究根據(jù)“闡釋、自我調(diào)節(jié)、分析”的視圖組合,將研究對象劃分成四個類簇,即低水平型、中等水平型、中上水平型和高水平型,如表4所示。可以看出,低水平型學(xué)生有5名,中等水平型學(xué)生有14名,中上水平型學(xué)生有10名,高水平型學(xué)生有5名。其中,表述分類、澄清意義、自我修正的數(shù)據(jù)屬于分類型數(shù)據(jù),1~5依次表示能力弱、較弱、一般、較強(qiáng)、強(qiáng)。例如,低水平型學(xué)生的表述分類能力賦值為2,則代表其表述分類能力較弱。識別論點(diǎn)中的“2”代表學(xué)生做出的表態(tài)符合題意,若為0則代表表態(tài)不準(zhǔn)確。自我反思中的數(shù)據(jù)屬于數(shù)值型數(shù)據(jù),表示自我報告中出現(xiàn)反思要素(優(yōu)點(diǎn)、不足等)的總個數(shù)。

    (2)特征分析

    圖6展示了四類研究對象的批判性思維特征情況,可以看出,低水平型學(xué)生的各評價指標(biāo)值均較低,批判性思維呈低水平狀態(tài),主要表現(xiàn)為:在活動過程中發(fā)言次數(shù)較少、論證不全面,看待事物常停留于表象而較少探索事物與現(xiàn)象間的本質(zhì)聯(lián)系,難以準(zhǔn)確解讀符號、圖文的深層含義,不善于總結(jié)反思,可歸因于思維能力弱、學(xué)習(xí)情感消極、學(xué)習(xí)動力不足。中等水平型學(xué)生的占比最高,其自我調(diào)節(jié)能力有顯著優(yōu)勢,但闡釋、分析能力有待提高,深入分析后發(fā)現(xiàn),此類學(xué)生樂于反思但缺少辯證性眼光,思考問題缺乏全面性,面對復(fù)雜情景時隨機(jī)應(yīng)變、及時調(diào)整解決方案的能力不足。中上水平型學(xué)生有10名,其闡釋、分析、自我調(diào)節(jié)能力均較強(qiáng),但對于改進(jìn)措施等方面的思考較弱,且執(zhí)行力不足。高水平型學(xué)生有5名,各項指標(biāo)值均高于其他類型學(xué)生,其中自我調(diào)節(jié)能力最為突出,尤其是自我修正的能力,說明這類學(xué)生善于反思,能及時總結(jié)經(jīng)驗教訓(xùn),并能付諸實踐糾正錯誤,因而具有較高的批判性思維水平。

    圖6 學(xué)習(xí)者批判性思維特征分析

    (3)教學(xué)干預(yù)

    研究依據(jù)多模態(tài)測評及可視化分析結(jié)果實施了初步的教學(xué)干預(yù):針對批判性思維低水平型學(xué)生,首先依托超星學(xué)習(xí)通等在線學(xué)習(xí)平臺,引導(dǎo)學(xué)生對觀點(diǎn)及學(xué)習(xí)內(nèi)容進(jìn)行批判性提問與評論,引導(dǎo)他們每日復(fù)盤學(xué)習(xí)內(nèi)容并撰寫反思日志等;其次搭建詳細(xì)的學(xué)習(xí)腳手架,引導(dǎo)學(xué)生進(jìn)行高質(zhì)量學(xué)習(xí)討論與作業(yè)應(yīng)答。針對中等水平型學(xué)生,在闡釋觀點(diǎn)方面,指導(dǎo)他們高效利用網(wǎng)絡(luò)學(xué)習(xí)資源及思維導(dǎo)圖等工具,梳理學(xué)習(xí)資料并闡釋思路;在觀點(diǎn)討論及分析過程中,為學(xué)生提供關(guān)于如何提問的支架,引導(dǎo)他們層層遞進(jìn)學(xué)會分析并解決問題。針對中上水平型學(xué)生,對學(xué)習(xí)任務(wù)提出更高要求,增強(qiáng)其反思與改進(jìn)能力。針對高水平型學(xué)生,引導(dǎo)其接觸并分析領(lǐng)域研究熱點(diǎn),拓寬視野,不斷增強(qiáng)其用批判性思維學(xué)習(xí)最新知識的能力。

    五、結(jié)語

    本研究引入計算機(jī)科學(xué)領(lǐng)域的張量大數(shù)據(jù)建模理論,在批判性思維經(jīng)典測評理論、多模態(tài)學(xué)習(xí)測評與分析理論的基礎(chǔ)上,構(gòu)建了基于張量表示的大學(xué)生批判性思維多模態(tài)測評框架,并基于該框架開展了相應(yīng)的實證研究。

    本研究發(fā)現(xiàn)張量多視圖聚類算法對大學(xué)生批判性思維水平的聚類效果最優(yōu)。其中“闡釋、自我調(diào)節(jié)、分析”的視圖組合是批判性思維多模態(tài)測評張量的最佳指標(biāo);依據(jù)該指標(biāo)組合的聚類結(jié)果,可將研究對象分成低水平、中等水平、中上水平、高水平四個類簇。在此基礎(chǔ)上對不同思維水平的學(xué)生進(jìn)行特征分析并開展教學(xué)干預(yù),干預(yù)實施后發(fā)現(xiàn),80%的低水平型學(xué)生能對每日學(xué)習(xí)內(nèi)容進(jìn)行反思,并延伸至其他學(xué)科學(xué)習(xí)上;75%的中等水平型學(xué)生在多角度、辯證性看待問題方面的能力得到提升;7名中上水平型學(xué)生對自身學(xué)習(xí)行為的調(diào)控能力有所提升。

    總之,本研究通過理論框架搭建與技術(shù)方法實踐,從數(shù)據(jù)采集、編碼映射、統(tǒng)一表示、多視圖聚類分析等方面,較為系統(tǒng)地探索了面向大學(xué)生批判性思維的多模態(tài)測評理論與方法,不僅豐富了批判性思維及多模態(tài)學(xué)習(xí)測評等相關(guān)方面的研究,更為一線教師開展批判性思維科學(xué)測評提供了借鑒。多模態(tài)學(xué)習(xí)測評是一個快速發(fā)展的領(lǐng)域,新的工具、算法和技術(shù)將不斷涌現(xiàn),未來仍需保持對最新技術(shù)進(jìn)展的關(guān)注,根據(jù)需要更新批判性思維多模態(tài)測評方法和模型,并在此基礎(chǔ)上開展更為深入的教學(xué)干預(yù)研究,以期深入推進(jìn)大學(xué)生批判性思維測評與高效培養(yǎng)研究。

    參考文獻(xiàn):

    [1]崔麗媛,朱亞鑫,曲波(2021).批判性思維量表在醫(yī)學(xué)教育中的應(yīng)用與展望[J].復(fù)旦教育論壇,19(2):106-112.

    [2]范福蘭,李韓婷,戚天姣等(2023).基于多模態(tài)數(shù)據(jù)的大學(xué)生認(rèn)知深度評價框架構(gòu)建及應(yīng)用[J].現(xiàn)代遠(yuǎn)距離教育,(3):57-65.

    [3]胡雪,彭敦陸(2021).張量表達(dá)下的多模態(tài)交通缺失數(shù)據(jù)補(bǔ)全算法[J].小型微型計算機(jī)系統(tǒng),42(1):105-110.

    [4]冷靜,路曉旭(2020).題庫型游戲評測批判性思維能力研究[J].開放教育研究,26(1):82-89.

    [5]李新,李艷燕,包昊罡等(2021).學(xué)習(xí)投入測評新發(fā)展:從單維分析到多模態(tài)融合[J].電化教育研究,42(10):100-107.

    [6]李州健,郭銀章(2023).一種基于張量理論的云制造資源服務(wù)化封裝與發(fā)布策略[J].計算機(jī)應(yīng)用研究,40(8):2429-2434.

    [7]劉長紅,曾勝,張斌等(2022).基于語義關(guān)系圖的跨模態(tài)張量融合網(wǎng)絡(luò)的圖像文本檢索[J].計算機(jī)應(yīng)用,42(10):3018-3024.

    [8]羅清旭,楊鑫輝(2002).《加利福尼亞批判性思維技能測驗》的初步修訂[J].心理科學(xué),(6):740-741.

    [9]馬利紅,劉堅(2019).國外批判性思維測評研究進(jìn)展[J].外語學(xué)刊,(3):64-68.

    [10]彭紅超,姜雨晴(2022).多模態(tài)數(shù)據(jù)支持的教育科學(xué)研究發(fā)展脈絡(luò)與挑戰(zhàn)[J].中國遠(yuǎn)程教育,(9):19-26,33,78.

    [11]任永功,賈佳,多召軍(2022).批判性思維測評的核心要素與技術(shù)演變趨勢[J].現(xiàn)代教育技術(shù),32(6):81-88.

    [12]沈紅,汪洋,張青根(2019).我國高校本科生批判性思維能力測評工具的研制與檢測[J].高等教育研究,40(10):65-74.

    [13]汪維富,毛美娟(2021).多模態(tài)學(xué)習(xí)分析:理解與評價真實學(xué)習(xí)的新路向[J].電化教育研究,42(2):25-32.

    [14]王小根,陳瑤瑤(2022).多模態(tài)數(shù)據(jù)下混合協(xié)作學(xué)習(xí)者情感投入分析[J].電化教育研究,43(2):42-48,79.

    [15]王一巖,鄭永和(2022).多模態(tài)數(shù)據(jù)融合:破解智能教育關(guān)鍵問題的核心驅(qū)動力[J].現(xiàn)代遠(yuǎn)程教育研究,34(2):93-102.

    [16]吳軍其,吳飛燕,張萌萌等(2022).多模態(tài)視域下智慧課堂協(xié)作學(xué)習(xí)投入度分析模型構(gòu)建及應(yīng)用[J].電化教育研究,43(7):73-80,88.

    [17]徐學(xué)才,李偉(2021).基于批判性思維“生產(chǎn)與運(yùn)作管理”課程教學(xué)研究[J].教育教學(xué)論壇,(2):125-128.

    [18]余繼,夏歡歡(2021).批判性思維和創(chuàng)造性思維測評的理論基礎(chǔ)與實踐動向——基于國際典型測評工具的述評[J].中國考試,(6):70-77.

    [19]張家華,胡惠芝,黃昌勤(2022).多模態(tài)學(xué)習(xí)分析技術(shù)支持的學(xué)習(xí)評價研究[J].現(xiàn)代教育技術(shù),32(9):38-45.

    [20]張琪,武法提,許文靜(2020).多模態(tài)數(shù)據(jù)支持的學(xué)習(xí)投入評測:現(xiàn)狀、啟示與研究趨向[J].遠(yuǎn)程教育雜志,38(1):76-86.

    [21]張小榮,胡炳樑,潘志斌等(2019).基于張量表示的高光譜圖像目標(biāo)檢測[J].光學(xué)精密工程,27(2):488-498.

    [22]趙鵬,王美玉,紀(jì)霞等(2020).基于張量表示的域適配的遷移學(xué)習(xí)中特征表示方法[J].電子學(xué)報,48(2):359-368.

    [23]鐘薇,李若晨,馬曉玲等(2018).學(xué)習(xí)分析技術(shù)發(fā)展趨向——多模態(tài)數(shù)據(jù)環(huán)境下的研究與探索[J].中國遠(yuǎn)程教育,(11):41-49,79-80.

    [24]Baltru?aitis, T., Ahuja, C., amp; Morency, L. P. (2018). Multimodal Machine Learning: A Survey and Taxonomy[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 41(2):423-443.

    [25]Camacho, V. L., de la Guía, E., amp; Camacho, V. L. et al. (2020). Data Capture and Multimodal Learning Analytics Focused on Engagement with a New Wearable IoT Approach[J]. IEEE Transactions on Learning Technologies, 13(4):704-717.

    [26]Danczak, S. M., Thompson, C. D., amp; Overton, T. L. (2020). Development and Validation of an Instrument to Measure Undergraduate Chemistry Students’ Critical Thinking Skills[J]. Chemistry Education Research and Practice, 21(1):62-78.

    [27]Dong, B., Jian, S., amp; Lu, K. (2020). Learning Multimodal Representations by Symmetrically Transferring Local Structures[J]. Symmetry, 12(9):1504.

    [28]Ennis, R. H., amp; Wier, E. (1985). The Ennis-Wier Critical Thinking Essay Test[M]. Pacific Grove: Midwest Publications:1-14.

    [29]Facione, P. A. (1990a). Critical Thinking: A Statement of Expert Consensus for Purposes of Educational Assessment and Instruction[M]. Newark, DE: American Philosophical Association:8-30.

    [30]Facione, P. A. (1990b). The California Critical Thinking Skills Test-College Level. Technical Report #2. Factors Predictive of CT Skills[M]. Millbrae: California Academic Press:1-19.

    [31]Huang, F., Jolfaei, A., amp; Bashir, A. K. (2021). Robust Multimodal Representation Learning with Evolutionary Adversarial Attention Networks[J]. IEEE Transactions on Evolutionary Computation, 25(5):856-868.

    [32]Kuang, L., Hao, F., amp; Yang, L. T. et al. (2014). A Tensor-Based Approach for Big Data Representation and Dimensionality Reduction[J]. IEEE Transactions on Emerging Topics in Computing, 2(3):280-291.

    [33]Shavelson, R. J., Zlatkin-Troitschanskaia, O., amp; Beck, K. et al. (2019). Assessment of University Students’ Critical Thinking: Next Generation Performance Assessment[J]. International Journal of Testing, 19(4):337-362.

    [34]Sun, J., Tao, D., amp; Faloutsos, C. (2006). Beyond Streams and Graphs: Dynamic Tensor Analysis[C]// Proceedings of" the 12th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Association for Computing Machinery, New York:374-383.

    收稿日期 2023-12-23 責(zé)任編輯 劉選

    Research on Multi-Modal Assessment of College Students’ Critical Thinking Based on Tensor Representation

    FAN Fulan, LEI Xueying, WANG Jianshu, WANG Siyu, Mai Dinuer-Mai Hemuti

    Abstract: Critical thinking is the key to cultivating innovative talents in the 21st century. To enhance the critical thinking, training is the primary strategic objective in higher education of China. The accurate evaluation of critical thinking is considered a crucial approach to guaranteeing the effective cultivation of this skill. The multi-modal learning assessment that integrates data from multiple sources is more objective and comprehensive, providing a new idea for the accurate assessment of critical thinking. As a high-dimensional array, tensor can not only maintain the semantic characteristics and completeness of the data, but also represent and maintain the higher-level relationships among multi-modal data, maximizing the value density of multi-modal data information for critical thinking. The multi-modal assessment framework for college students’ critical thinking consists of three layers: the data layer, the analysis layer and the application layer. They are utilized for the collection and mapping of multi-modal data to facilitate critical thinking, the representation and analysis of data in a tensorized format, and the assessment of critical thinking levels as well as intervention through educational instruction. In the empirical studies based on this assessment framework, the multi-modal assessment data on critical thinking during the normal teaching process was collected, a unified representation model with tensor quantification method was constructed and multi-view cluster analysis was carried out. This multi-modal assessment approach for critical thinking can facilitate the more accurate evaluation of critical thinking skills.

    Keywords: Critical Thinking; Multi-Modal Assessment; Tensor; Multi-View Clustering

    猜你喜歡
    張量批判性思維
    偶數(shù)階張量core逆的性質(zhì)和應(yīng)用
    四元數(shù)張量方程A*NX=B 的通解
    弱A-調(diào)和張量的奇點(diǎn)可去性
    張量CSAMT方法及對比試驗
    批判性思維:中學(xué)語文課程改革的或然性突破口
    社會主義核心價值觀教育的批判性思維視角解讀
    擴(kuò)散張量成像MRI 在CO中毒后遲發(fā)腦病中的應(yīng)用
    論批判性思維與信息分析能力在高等教育中的培養(yǎng)
    培養(yǎng)學(xué)生批判性思維在美國高校英語課堂中的體現(xiàn)
    東方教育(2016年17期)2016-11-23 09:26:27
    將批判性思維融入英語專業(yè)閱讀課程的教與學(xué)
    日韩三级伦理在线观看| 一区二区三区乱码不卡18| 麻豆乱淫一区二区| 精品视频人人做人人爽| 男的添女的下面高潮视频| 日本午夜av视频| 亚洲欧洲精品一区二区精品久久久 | 日韩av免费高清视频| 丝袜美足系列| 内地一区二区视频在线| 国产男女超爽视频在线观看| 婷婷色综合大香蕉| 亚洲欧美日韩卡通动漫| 亚洲不卡免费看| 久久久久国产网址| 精品国产一区二区久久| 人人妻人人添人人爽欧美一区卜| 欧美日韩亚洲高清精品| 亚洲国产日韩一区二区| 亚洲欧美成人综合另类久久久| 亚洲精品久久午夜乱码| 久热久热在线精品观看| 久久久国产精品麻豆| av免费观看日本| 9色porny在线观看| 亚洲精品日韩在线中文字幕| 久久午夜综合久久蜜桃| 亚洲欧美一区二区三区国产| 蜜桃在线观看..| 母亲3免费完整高清在线观看 | 亚洲精品aⅴ在线观看| 成人国产av品久久久| 日韩,欧美,国产一区二区三区| 久久99精品国语久久久| 国产日韩一区二区三区精品不卡 | 全区人妻精品视频| 中国三级夫妇交换| 亚洲国产色片| 97超碰精品成人国产| 伊人亚洲综合成人网| 777米奇影视久久| 我要看黄色一级片免费的| 97在线人人人人妻| 亚洲欧美精品自产自拍| 黑人猛操日本美女一级片| 下体分泌物呈黄色| a级片在线免费高清观看视频| 日韩一本色道免费dvd| 少妇的逼好多水| 美女国产高潮福利片在线看| kizo精华| 欧美日韩精品成人综合77777| 最近中文字幕高清免费大全6| 亚洲精品456在线播放app| 亚洲性久久影院| av在线观看视频网站免费| 久久影院123| 国产乱来视频区| 日韩在线高清观看一区二区三区| 日本色播在线视频| 欧美日韩国产mv在线观看视频| 亚洲人成网站在线播| 国产成人精品一,二区| 日韩不卡一区二区三区视频在线| 国产成人免费观看mmmm| 91在线精品国自产拍蜜月| 韩国高清视频一区二区三区| 男人添女人高潮全过程视频| 日本欧美视频一区| 国产av一区二区精品久久| 三级国产精品欧美在线观看| 欧美性感艳星| 自线自在国产av| 久久久久久久久久久免费av| 大码成人一级视频| 国产乱来视频区| 高清视频免费观看一区二区| 99热国产这里只有精品6| 国精品久久久久久国模美| 久久久久久久国产电影| 久久久国产精品麻豆| 精品一区二区免费观看| 国产精品久久久久久精品电影小说| 日韩一区二区视频免费看| 天天躁夜夜躁狠狠久久av| 黑人猛操日本美女一级片| 一级黄片播放器| 国产精品不卡视频一区二区| 免费播放大片免费观看视频在线观看| 大香蕉97超碰在线| 久久久欧美国产精品| 在线观看免费日韩欧美大片 | 欧美激情 高清一区二区三区| 欧美日韩成人在线一区二区| 少妇猛男粗大的猛烈进出视频| 丝瓜视频免费看黄片| 国产av码专区亚洲av| 亚洲精品色激情综合| 成年人午夜在线观看视频| 久久婷婷青草| 日本色播在线视频| 一本久久精品| 少妇被粗大的猛进出69影院 | 桃花免费在线播放| 最近2019中文字幕mv第一页| 一个人看视频在线观看www免费| 日韩中字成人| 午夜福利影视在线免费观看| 国产不卡av网站在线观看| 亚洲精品,欧美精品| 日韩成人av中文字幕在线观看| 国产精品蜜桃在线观看| 国产免费现黄频在线看| 国产男女内射视频| 中文字幕制服av| .国产精品久久| 18禁裸乳无遮挡动漫免费视频| 亚洲欧美清纯卡通| 久久精品国产a三级三级三级| 国产成人免费无遮挡视频| 在线观看免费高清a一片| 亚洲成人手机| 久久久精品区二区三区| 日日啪夜夜爽| 国产一区二区三区综合在线观看 | 午夜福利视频在线观看免费| 两个人免费观看高清视频| 国产成人精品在线电影| 国产精品人妻久久久久久| 波野结衣二区三区在线| 高清黄色对白视频在线免费看| 中文欧美无线码| 五月玫瑰六月丁香| 91久久精品国产一区二区三区| 免费观看无遮挡的男女| 亚洲欧美中文字幕日韩二区| 亚洲精品成人av观看孕妇| av在线app专区| 久久久久久久久久成人| av.在线天堂| 日韩不卡一区二区三区视频在线| 在现免费观看毛片| 九草在线视频观看| 亚洲欧洲日产国产| 亚洲美女搞黄在线观看| 人妻夜夜爽99麻豆av| 欧美性感艳星| 免费人妻精品一区二区三区视频| 久久久久人妻精品一区果冻| 极品少妇高潮喷水抽搐| 久久99蜜桃精品久久| 精品少妇内射三级| 蜜桃在线观看..| 久久久久精品久久久久真实原创| 亚洲欧美一区二区三区国产| 老司机影院毛片| 久久久国产一区二区| 妹子高潮喷水视频| 日本-黄色视频高清免费观看| 久久久精品94久久精品| 欧美成人午夜免费资源| 午夜福利网站1000一区二区三区| 亚洲精品久久午夜乱码| 久久狼人影院| 久久精品久久久久久噜噜老黄| 高清欧美精品videossex| 考比视频在线观看| 美女国产视频在线观看| 少妇熟女欧美另类| 性高湖久久久久久久久免费观看| 男女边吃奶边做爰视频| 日日啪夜夜爽| 欧美日韩在线观看h| 成人无遮挡网站| 另类亚洲欧美激情| 国产成人免费观看mmmm| 香蕉精品网在线| 日本免费在线观看一区| 精品一区在线观看国产| videos熟女内射| 国产黄色免费在线视频| 午夜福利影视在线免费观看| 日本黄色日本黄色录像| 午夜久久久在线观看| 亚洲成人一二三区av| 人体艺术视频欧美日本| 观看美女的网站| 国产精品麻豆人妻色哟哟久久| 2022亚洲国产成人精品| 美女cb高潮喷水在线观看| 日韩在线高清观看一区二区三区| 国产精品人妻久久久影院| 国产精品国产三级国产专区5o| 久久久久久久久久久免费av| 国产日韩一区二区三区精品不卡 | 哪个播放器可以免费观看大片| 我要看黄色一级片免费的| 尾随美女入室| 大片电影免费在线观看免费| 亚洲精品国产av蜜桃| 满18在线观看网站| 亚洲成人手机| 少妇被粗大的猛进出69影院 | 国产精品欧美亚洲77777| 女的被弄到高潮叫床怎么办| 这个男人来自地球电影免费观看 | 久久久亚洲精品成人影院| 高清不卡的av网站| 91精品一卡2卡3卡4卡| 99热网站在线观看| 欧美成人精品欧美一级黄| 日本黄大片高清| 久久青草综合色| 国产色婷婷99| 亚洲综合色惰| 在线亚洲精品国产二区图片欧美 | 久久久久久久大尺度免费视频| 欧美xxⅹ黑人| 亚洲欧美日韩卡通动漫| 色5月婷婷丁香| 最近最新中文字幕免费大全7| 久久精品国产亚洲网站| 免费观看在线日韩| 亚洲高清免费不卡视频| 日本黄色日本黄色录像| 亚洲av电影在线观看一区二区三区| 97在线人人人人妻| 国产 一区精品| 精品一区二区三区视频在线| 99精国产麻豆久久婷婷| 黄色毛片三级朝国网站| 国产成人午夜福利电影在线观看| 2018国产大陆天天弄谢| 久久久国产欧美日韩av| 一区二区av电影网| 建设人人有责人人尽责人人享有的| 国产高清不卡午夜福利| 国精品久久久久久国模美| 久热这里只有精品99| 少妇人妻久久综合中文| 亚洲精品中文字幕在线视频| 91午夜精品亚洲一区二区三区| 能在线免费看毛片的网站| 麻豆成人av视频| 亚洲国产欧美在线一区| av黄色大香蕉| 一区二区av电影网| 女的被弄到高潮叫床怎么办| a级毛片在线看网站| 亚洲国产最新在线播放| 大香蕉久久网| 天堂8中文在线网| 日韩视频在线欧美| 亚洲精品色激情综合| 亚洲精品国产av蜜桃| 最新的欧美精品一区二区| 夜夜骑夜夜射夜夜干| 精品人妻熟女毛片av久久网站| 国产国拍精品亚洲av在线观看| 乱人伦中国视频| 超色免费av| 国产精品嫩草影院av在线观看| 亚洲久久久国产精品| 又粗又硬又长又爽又黄的视频| 蜜桃久久精品国产亚洲av| 亚洲精品,欧美精品| a级毛片黄视频| 久久国产精品大桥未久av| 天美传媒精品一区二区| 日日摸夜夜添夜夜添av毛片| 欧美国产精品一级二级三级| 日韩精品免费视频一区二区三区 | 欧美少妇被猛烈插入视频| 国产日韩欧美亚洲二区| 精品国产一区二区久久| 国产爽快片一区二区三区| 免费人妻精品一区二区三区视频| 亚洲国产精品成人久久小说| 久久99一区二区三区| 好男人视频免费观看在线| 久久精品国产亚洲av涩爱| 夫妻午夜视频| 日韩欧美一区视频在线观看| 亚洲精品乱久久久久久| 涩涩av久久男人的天堂| 99热网站在线观看| 97在线人人人人妻| www.色视频.com| 久热久热在线精品观看| 成人黄色视频免费在线看| 欧美xxxx性猛交bbbb| 亚洲欧美精品自产自拍| 99久久精品国产国产毛片| 亚洲经典国产精华液单| 免费观看性生交大片5| 97超碰精品成人国产| 一边亲一边摸免费视频| 亚洲三级黄色毛片| 又粗又硬又长又爽又黄的视频| 新久久久久国产一级毛片| 欧美日韩精品成人综合77777| 建设人人有责人人尽责人人享有的| 亚洲av欧美aⅴ国产| 一本大道久久a久久精品| 黄色配什么色好看| 亚洲,一卡二卡三卡| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 美女脱内裤让男人舔精品视频| 亚洲精品av麻豆狂野| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 成人综合一区亚洲| 啦啦啦在线观看免费高清www| 国产日韩欧美亚洲二区| 成人国产麻豆网| 香蕉精品网在线| 亚洲精品,欧美精品| 97精品久久久久久久久久精品| 男女免费视频国产| 亚洲精品日本国产第一区| 熟女电影av网| 91久久精品国产一区二区成人| 欧美+日韩+精品| 亚洲av电影在线观看一区二区三区| 久热这里只有精品99| 又粗又硬又长又爽又黄的视频| 午夜福利视频在线观看免费| 97超视频在线观看视频| 国产一区有黄有色的免费视频| 日本vs欧美在线观看视频| 熟妇人妻不卡中文字幕| 搡女人真爽免费视频火全软件| 欧美 日韩 精品 国产| 中文欧美无线码| a级毛色黄片| freevideosex欧美| 韩国高清视频一区二区三区| 制服诱惑二区| 欧美日韩亚洲高清精品| 国产极品粉嫩免费观看在线 | 亚洲激情五月婷婷啪啪| 亚洲欧美一区二区三区国产| 午夜日本视频在线| 麻豆精品久久久久久蜜桃| 亚洲精品自拍成人| 麻豆乱淫一区二区| 在线观看免费日韩欧美大片 | 精品久久久久久电影网| 九九爱精品视频在线观看| 日韩伦理黄色片| 中文字幕亚洲精品专区| 国产极品粉嫩免费观看在线 | 国产黄频视频在线观看| 亚洲精品456在线播放app| 日本av免费视频播放| 狂野欧美白嫩少妇大欣赏| 国产精品 国内视频| 熟女人妻精品中文字幕| 日韩av在线免费看完整版不卡| 九色亚洲精品在线播放| 日韩一本色道免费dvd| 日韩 亚洲 欧美在线| 日韩一本色道免费dvd| 九色亚洲精品在线播放| 欧美日韩成人在线一区二区| 在线观看www视频免费| 久久久亚洲精品成人影院| 国产黄色视频一区二区在线观看| 2022亚洲国产成人精品| 蜜桃国产av成人99| 少妇被粗大猛烈的视频| 伊人久久国产一区二区| 十分钟在线观看高清视频www| 国产日韩欧美亚洲二区| 亚洲av福利一区| 大又大粗又爽又黄少妇毛片口| 亚洲综合色网址| 夜夜爽夜夜爽视频| 欧美国产精品一级二级三级| 欧美激情 高清一区二区三区| 亚洲av电影在线观看一区二区三区| 熟女av电影| 久久人人爽av亚洲精品天堂| 亚洲国产日韩一区二区| 丝袜美足系列| 午夜福利在线观看免费完整高清在| 一本一本综合久久| 亚洲av欧美aⅴ国产| 国产成人aa在线观看| 亚洲一区二区三区欧美精品| 免费看av在线观看网站| 国产国语露脸激情在线看| 国产在线一区二区三区精| 国产成人免费观看mmmm| 男人添女人高潮全过程视频| 国产片内射在线| 亚洲国产精品999| 色视频在线一区二区三区| 国产一区二区三区综合在线观看 | 精品亚洲乱码少妇综合久久| 日韩大片免费观看网站| 亚洲三级黄色毛片| 制服人妻中文乱码| 国产一区二区三区综合在线观看 | 日日啪夜夜爽| 亚洲综合色网址| av视频免费观看在线观看| av天堂久久9| 亚洲久久久国产精品| 国精品久久久久久国模美| 亚洲av二区三区四区| 插阴视频在线观看视频| 国产免费一级a男人的天堂| 日韩 亚洲 欧美在线| 久久99精品国语久久久| 亚洲人成网站在线播| 少妇人妻久久综合中文| 大又大粗又爽又黄少妇毛片口| a级毛片免费高清观看在线播放| 欧美老熟妇乱子伦牲交| 一区二区三区四区激情视频| 精品国产露脸久久av麻豆| 在现免费观看毛片| 汤姆久久久久久久影院中文字幕| 国产精品久久久久久久久免| 久久久久久久久大av| 在线观看一区二区三区激情| 国国产精品蜜臀av免费| 国产精品99久久久久久久久| 一二三四中文在线观看免费高清| 欧美三级亚洲精品| 少妇人妻精品综合一区二区| 精品久久久久久久久亚洲| 亚洲图色成人| 国产国拍精品亚洲av在线观看| 免费看不卡的av| 校园人妻丝袜中文字幕| 18在线观看网站| 三级国产精品片| 国产熟女午夜一区二区三区 | 男女边吃奶边做爰视频| 99国产精品免费福利视频| 少妇猛男粗大的猛烈进出视频| 美女脱内裤让男人舔精品视频| 精品一区二区三区视频在线| av播播在线观看一区| 欧美成人精品欧美一级黄| 少妇人妻久久综合中文| 亚洲精品久久成人aⅴ小说 | 美女中出高潮动态图| 大片电影免费在线观看免费| 国产高清三级在线| 少妇丰满av| 日本wwww免费看| 少妇 在线观看| 午夜福利网站1000一区二区三区| 国产免费视频播放在线视频| 国产毛片在线视频| 精品一区在线观看国产| 亚洲人成网站在线观看播放| 在线观看国产h片| 国产又色又爽无遮挡免| 久久久国产一区二区| 久久婷婷青草| 国产一区亚洲一区在线观看| 日本欧美视频一区| 欧美精品国产亚洲| 99久久精品一区二区三区| 多毛熟女@视频| 高清欧美精品videossex| 亚洲人成网站在线观看播放| 日韩中文字幕视频在线看片| 午夜福利视频在线观看免费| 男女边吃奶边做爰视频| 国产一区二区三区综合在线观看 | 久久久久国产精品人妻一区二区| 亚洲精品日韩av片在线观看| 丁香六月天网| 国产精品一区二区在线不卡| 人人妻人人澡人人爽人人夜夜| 老司机影院成人| 欧美日韩成人在线一区二区| 乱人伦中国视频| 一级a做视频免费观看| 久久精品国产亚洲av涩爱| 日韩欧美精品免费久久| 日韩av不卡免费在线播放| 丝袜在线中文字幕| av又黄又爽大尺度在线免费看| 欧美老熟妇乱子伦牲交| 99九九在线精品视频| 天天躁夜夜躁狠狠久久av| 亚洲国产欧美日韩在线播放| 亚洲av成人精品一二三区| 美女中出高潮动态图| 欧美日韩视频高清一区二区三区二| 国产精品一区二区在线观看99| 亚洲欧美中文字幕日韩二区| 3wmmmm亚洲av在线观看| 亚洲三级黄色毛片| 高清午夜精品一区二区三区| 2021少妇久久久久久久久久久| 亚洲精品久久久久久婷婷小说| 18禁观看日本| 精品久久国产蜜桃| 五月开心婷婷网| 男人爽女人下面视频在线观看| 一区二区三区精品91| 十八禁高潮呻吟视频| 男女高潮啪啪啪动态图| 看十八女毛片水多多多| 国产 精品1| 一区在线观看完整版| 国产一区有黄有色的免费视频| 亚洲国产精品一区三区| 亚洲成人av在线免费| 亚洲欧美日韩另类电影网站| 亚洲av成人精品一二三区| h视频一区二区三区| 中文字幕av电影在线播放| 国产免费一级a男人的天堂| 国产一级毛片在线| 在线观看三级黄色| 看免费成人av毛片| 国产精品久久久久久精品电影小说| 婷婷色综合大香蕉| 日韩精品免费视频一区二区三区 | 一本一本综合久久| 国产熟女午夜一区二区三区 | 观看美女的网站| av.在线天堂| 免费看av在线观看网站| 国产一区亚洲一区在线观看| 精品人妻熟女毛片av久久网站| 热99国产精品久久久久久7| 欧美日韩视频精品一区| 日本欧美视频一区| 国精品久久久久久国模美| 永久免费av网站大全| 国产精品久久久久久久久免| 国产国拍精品亚洲av在线观看| 国产欧美亚洲国产| 下体分泌物呈黄色| 一区二区av电影网| 亚洲精华国产精华液的使用体验| 99九九在线精品视频| 国产极品天堂在线| 国产乱人偷精品视频| 伦理电影免费视频| 国产av码专区亚洲av| 在线观看www视频免费| 久久久久视频综合| 久久鲁丝午夜福利片| 下体分泌物呈黄色| 国产精品秋霞免费鲁丝片| 少妇的逼水好多| 精品国产国语对白av| 汤姆久久久久久久影院中文字幕| 午夜福利视频在线观看免费| 天美传媒精品一区二区| 国产女主播在线喷水免费视频网站| 女的被弄到高潮叫床怎么办| 亚洲欧洲日产国产| 国产高清不卡午夜福利| 韩国高清视频一区二区三区| 日韩中文字幕视频在线看片| 黄色配什么色好看| 少妇人妻精品综合一区二区| 色吧在线观看| 日本黄色日本黄色录像| 熟女人妻精品中文字幕| 少妇人妻久久综合中文| 麻豆成人av视频| 亚洲精品日本国产第一区| 又大又黄又爽视频免费| 少妇被粗大的猛进出69影院 | 久久精品国产亚洲网站| 久久久久视频综合| 岛国毛片在线播放| 亚洲精品成人av观看孕妇| 十分钟在线观看高清视频www| 91精品三级在线观看| 国产精品久久久久久精品电影小说| 亚洲av成人精品一二三区| 在线播放无遮挡| 2021少妇久久久久久久久久久| 少妇被粗大猛烈的视频| 热99久久久久精品小说推荐| 一本大道久久a久久精品| 欧美日韩精品成人综合77777| 午夜视频国产福利| 精品久久久精品久久久| 欧美人与性动交α欧美精品济南到 | 少妇的逼好多水| 亚洲人成77777在线视频| 国产视频内射| 在线观看三级黄色| 国产成人精品在线电影| 热re99久久精品国产66热6| 亚洲国产欧美在线一区| 成人亚洲精品一区在线观看| 国产 精品1| 成人国产av品久久久| 国产日韩一区二区三区精品不卡 | 最新中文字幕久久久久| 黑人欧美特级aaaaaa片| 亚洲久久久国产精品| 亚洲欧美日韩卡通动漫| 国产av码专区亚洲av| 亚洲五月色婷婷综合| 草草在线视频免费看| 久久精品熟女亚洲av麻豆精品| 亚洲色图综合在线观看| 交换朋友夫妻互换小说| 亚洲人成网站在线播| 2018国产大陆天天弄谢|