• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于外語(yǔ)慕課評(píng)論的學(xué)習(xí)者觀點(diǎn)挖掘與可視化研究

    2024-01-01 00:00:00楊林偉
    山東外語(yǔ)教學(xué) 2024年3期
    關(guān)鍵詞:學(xué)習(xí)體驗(yàn)課程評(píng)價(jià)語(yǔ)料庫(kù)

    [摘要] 課程評(píng)論蘊(yùn)含了學(xué)習(xí)者對(duì)慕課的感知、反應(yīng)、需求、行為表現(xiàn)等要素,是研究慕課的基礎(chǔ)數(shù)據(jù)源之一。本研究采用詞頻統(tǒng)計(jì)、詞匯共現(xiàn)網(wǎng)絡(luò)、文檔位置對(duì)應(yīng)分析和結(jié)構(gòu)主題模型等方法對(duì)課程評(píng)論進(jìn)行觀點(diǎn)挖掘和可視化分析。結(jié)果表明,中國(guó)學(xué)習(xí)者外語(yǔ)慕課學(xué)習(xí)呈現(xiàn)出積極的學(xué)習(xí)情感,正性學(xué)習(xí)體驗(yàn)主要受到課程教師、課程支持和課程內(nèi)容實(shí)用性三個(gè)維度的影響,負(fù)性學(xué)習(xí)體驗(yàn)受到成績(jī)考核、作業(yè)評(píng)價(jià)與個(gè)性化支持三個(gè)維度的影響。此外,與語(yǔ)言技能課程相比,學(xué)習(xí)者對(duì)文學(xué)和專門(mén)用途外語(yǔ)課程的體驗(yàn)和需求維度存在較大差異。大數(shù)據(jù)驅(qū)動(dòng)的可視化分析結(jié)果能夠?yàn)橥庹Z(yǔ)慕課的學(xué)習(xí)體驗(yàn)設(shè)計(jì)與教學(xué)設(shè)計(jì)提供宏觀和微觀支持,為高質(zhì)量外語(yǔ)慕課建設(shè)提供參考。

    [關(guān)鍵詞] 外語(yǔ)慕課;課程評(píng)價(jià);語(yǔ)料庫(kù);學(xué)習(xí)體驗(yàn)

    [中圖分類號(hào)] H319" [文獻(xiàn)標(biāo)識(shí)碼] A" [文獻(xiàn)編號(hào)] 1002-2643(2024)03-0070-10

    Mining and Visualizing Learners’ Opinions in Large-scaleLMOOCs Reviews

    YANG Linwei

    (School of Foreign Languages,Yantai University, Yantai 264005, China)

    Abstract: Course reviews contain elements such as learners’ perceptions, reactions, demands, and behavior towards Massive Open Online Courses (MOOCs), serving as one of the fundamental data sources for MOOCs research. This study utilizes methods such as word frequency analysis, word co-occurrence network analysis, correspondence analysis of document positions, and structural topic modeling to mine opinions from course reviews and visualize the learning experience. The results indicate an overall positive learning experience, with teacher support, course support, and course content practicality being key influencers. Students’ negative learning experience is also influenced by three focal dimensions: course test, assignment feedback and personalized support. Additionally, learners exhibit distinct needs for literature and ESP courses compared to general language courses. These data-driven insights have significant implications at both macro and micro levels for enhancing the teaching design of Language MOOCs to optimize the learning experience, offering reference for the development of high-quality Language MOOCs.

    Key words: language MOOCs; course review; corpus; learning experience

    1.引言

    近年來(lái),國(guó)內(nèi)外語(yǔ)慕課(Language MOOCs, LMOOCs)建設(shè)蓬勃發(fā)展,成績(jī)斐然。截至2023年6月,僅愛(ài)課程、學(xué)堂在線、智慧樹(shù)、學(xué)銀在線四大慕課平臺(tái)就開(kāi)設(shè)外語(yǔ)類課程1154門(mén),涵蓋了英、日、德、法等主要語(yǔ)種(王中祥、張文忠,2024)。與此同時(shí),教育部已經(jīng)連續(xù)多年組織認(rèn)定國(guó)家級(jí)精品在線開(kāi)放課程,并分別在2020年和2023年先后認(rèn)定了兩批國(guó)家級(jí)線上一流本科課程。與傳統(tǒng)的語(yǔ)言教育形式相比,外語(yǔ)慕課能夠?yàn)檎Z(yǔ)言學(xué)習(xí)者創(chuàng)造無(wú)限的學(xué)習(xí)機(jī)會(huì),提供創(chuàng)新的語(yǔ)言學(xué)習(xí)體驗(yàn),其研究已經(jīng)成為計(jì)算機(jī)輔助外語(yǔ)學(xué)習(xí)研究的新興領(lǐng)域(Martín-Monje amp; Borthwick, 2021)。國(guó)內(nèi)外相關(guān)研究較多從宏觀理論視角關(guān)注外語(yǔ)慕課本質(zhì)屬性(陳堅(jiān)林,2015; 葉興國(guó),2017),外語(yǔ)慕課教學(xué)設(shè)計(jì)與混合教學(xué)模式應(yīng)用及主要挑戰(zhàn)(胡杰輝,2021),學(xué)生保持率(Fridriksdottir,2021)、參與度(Mac Lochlainn et al.,2021)、外語(yǔ)教學(xué)與慕課技術(shù)的兼容性(韓艷輝,2019)等,但是鮮有從課程評(píng)論入手挖掘?qū)W習(xí)者觀點(diǎn)的實(shí)證研究。

    全面了解學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)、評(píng)價(jià)觀點(diǎn)和個(gè)性需求對(duì)改進(jìn)教學(xué)設(shè)計(jì),提升課程教學(xué)質(zhì)量至關(guān)重要。對(duì)此,已有學(xué)者開(kāi)展了一些小規(guī)模實(shí)驗(yàn)研究(Barkanyi,2021)或個(gè)案質(zhì)性分析(Barcena et al.,2014; Hsu,2021; Luo amp; Ye,2021),但囿于數(shù)據(jù)規(guī)模限制,上述研究難以做出自下而上的全面描述。另外,質(zhì)性分析課程評(píng)論需要研究者自行制定編碼體系,存在較強(qiáng)的主觀性??傊?,盡管基于課程評(píng)論的少數(shù)研究已經(jīng)在慕課質(zhì)量保證體系和學(xué)習(xí)者滿意度方面取得了一定成果,但仍存在片面性和主觀性的不足。為此,本研究利用語(yǔ)料庫(kù)和自然語(yǔ)言處理技術(shù)對(duì)課程評(píng)論進(jìn)行觀點(diǎn)挖掘和可視化分析并回答以下三方面的問(wèn)題:學(xué)習(xí)者對(duì)外語(yǔ)慕課的整體體驗(yàn)情況如何?學(xué)習(xí)者所關(guān)切的主要話題包括哪些?學(xué)習(xí)者對(duì)不同類別課程的需求是否存在差異?

    2.基于慕課評(píng)論的相關(guān)研究

    教育改革術(shù)語(yǔ)表①將學(xué)習(xí)體驗(yàn)定義為產(chǎn)生學(xué)習(xí)效果的任何互動(dòng)、課程、項(xiàng)目或其他體驗(yàn)。體驗(yàn)既可以發(fā)生在傳統(tǒng)的環(huán)境(如學(xué)校、教室),也可以發(fā)生在非傳統(tǒng)的環(huán)境(如校外地點(diǎn)、戶外環(huán)境);既包括傳統(tǒng)的教育互動(dòng)(如師生面對(duì)面交流),也包括非傳統(tǒng)的互動(dòng)(如學(xué)生通過(guò)游戲和互動(dòng)軟件學(xué)習(xí))。胡永斌和黃榮懷(2016:68)在此基礎(chǔ)上將智慧學(xué)習(xí)環(huán)境中的學(xué)習(xí)體驗(yàn)界定為“學(xué)習(xí)者對(duì)智慧學(xué)習(xí)環(huán)境、學(xué)習(xí)活動(dòng)和學(xué)習(xí)支持服務(wù)等過(guò)程中涉及的諸多教學(xué)要素的感知、反應(yīng)和行為表現(xiàn)”。據(jù)此,外語(yǔ)慕課中的學(xué)習(xí)體驗(yàn)包括學(xué)習(xí)者對(duì)物理/虛擬學(xué)習(xí)環(huán)境、教學(xué)材料、教學(xué)互動(dòng)(師生、生生、人機(jī)智能互動(dòng)等)以及教師等多種要素的感知、反應(yīng)和行為表現(xiàn)。

    外語(yǔ)慕課作為慕課的“特殊”形式,聚焦學(xué)習(xí)體驗(yàn)開(kāi)展研究具有重要意義(Martín-Monje amp; Bárcena,2014)。從數(shù)據(jù)類型和分析方法的角度看,外語(yǔ)慕課學(xué)習(xí)研究大致可以分為兩類。第一類是基于課程評(píng)價(jià)、課程論壇中的討論等小規(guī)模文本數(shù)據(jù)開(kāi)展質(zhì)性研究。例如,基于“愛(ài)課程”平臺(tái)上600條課程評(píng)論,Ye amp; Luo(2020)分析了學(xué)習(xí)者對(duì)外語(yǔ)慕課的感知現(xiàn)狀及影響因素。Luo amp; Ye(2021)進(jìn)一步基于1,000條外語(yǔ)慕課課程評(píng)論,利用扎根理論分析學(xué)習(xí)者對(duì)不同類型外語(yǔ)課程的學(xué)習(xí)體驗(yàn)和評(píng)價(jià)標(biāo)準(zhǔn)。Hsu(2021)發(fā)現(xiàn)學(xué)習(xí)者總體慕課學(xué)習(xí)情感體驗(yàn)積極,但有些學(xué)習(xí)者對(duì)慕課的適用性表示懷疑,課程類型和屬性對(duì)學(xué)習(xí)者保持率起到?jīng)Q定性作用。Appel amp; Pujola(2021)討論了口語(yǔ)慕課的諸多挑戰(zhàn),如分組、教師作用、有意義反饋、練習(xí)的有效性等。第二類是面向某一課程,基于學(xué)習(xí)者問(wèn)卷進(jìn)行量化研究。例如,胡杰輝(2017)采用大規(guī)模問(wèn)卷調(diào)查了影響基于慕課的大學(xué)英語(yǔ)混合學(xué)習(xí)者體驗(yàn)影響因素。楊港、戴朝暉(2021)調(diào)查了大學(xué)生英語(yǔ)在線學(xué)習(xí)投入的維度構(gòu)成,分析了學(xué)習(xí)動(dòng)機(jī)、能動(dòng)性、行為投入、認(rèn)知投入和情感投入的互動(dòng)影響。孫先洪等(2021)基于外語(yǔ)慕課學(xué)習(xí)體驗(yàn),構(gòu)建了外語(yǔ)慕課平臺(tái)的自適應(yīng)性評(píng)價(jià)指標(biāo)。

    綜合上述質(zhì)性和量化研究表明,學(xué)習(xí)者體驗(yàn)受多因素影響,其中課程類型及其質(zhì)量的制約作用較為突顯。但已有研究也存在兩個(gè)不足:一是課程論壇及評(píng)論的質(zhì)性分析雖然便于深挖學(xué)習(xí)者的觀點(diǎn)、需求和情感,但較多依賴主觀判斷且樣本有限,難以對(duì)學(xué)習(xí)體驗(yàn)做出客觀、整體分析;二是問(wèn)卷調(diào)查雖然可以收集大規(guī)模數(shù)據(jù)開(kāi)展量化分析,但屬于間接數(shù)據(jù)。且已有研究大多面向單一課程,對(duì)聽(tīng)、說(shuō)、讀、寫(xiě)、專門(mén)用途等不同課程的關(guān)注度不夠,研究結(jié)論的泛化能力有限。

    自然語(yǔ)言處理技術(shù)的優(yōu)勢(shì)在于可以對(duì)慕課平臺(tái)中的學(xué)生評(píng)論文本開(kāi)展大數(shù)據(jù)挖掘和分析,從而客觀反映學(xué)習(xí)者的慕課學(xué)習(xí)體驗(yàn)、觀點(diǎn)和傾向,為外語(yǔ)慕課的設(shè)計(jì)、建設(shè)、運(yùn)用和評(píng)價(jià)提供更好的支持。雖然國(guó)內(nèi)已有學(xué)者初步嘗試對(duì)課程評(píng)論開(kāi)展大數(shù)據(jù)挖掘分析(張文德、黃禹,2020),但非常缺少聚焦外語(yǔ)慕課學(xué)習(xí)者的相關(guān)研究。因此,本研究基于慕課課程評(píng)論大數(shù)據(jù),利用自然語(yǔ)言處理技術(shù),通過(guò)自動(dòng)化采集、統(tǒng)計(jì)和可視化手段,多維度刻畫(huà)外語(yǔ)學(xué)習(xí)者的觀點(diǎn),以期助力線上外語(yǔ)“金課”與一流本科課程建設(shè)。

    3.研究方法

    研究數(shù)據(jù)主要來(lái)自中國(guó)大學(xué)MOOC平臺(tái)中的外語(yǔ)類課程評(píng)論(截至2020年12月),包括256門(mén)課程,共計(jì)75,653 條記錄。如表1所示,學(xué)習(xí)者做出的課程評(píng)價(jià)主要由評(píng)價(jià)文本和反映滿意度的星級(jí)信息組成。所選示例涵蓋1-5顆星的不同星級(jí),表示從極不滿意到非常滿意,評(píng)價(jià)文本涉及課程內(nèi)容、教學(xué)方法、作業(yè)、評(píng)分以及課程管理等。研究采用的主要工具有PKUSEG②(Luo et al.,2019)文本分詞包、R語(yǔ)言、Quanteda(Benoit et al.,2018)以及LSX開(kāi)發(fā)包(Watanabe,2020)等文本分析與可視化工具。另外,本研究還調(diào)用了公開(kāi)的語(yǔ)言資源,包括Hownet情感詞典、中英文停用詞表等。

    本研究按以下步驟進(jìn)行:

    (1)大規(guī)模數(shù)據(jù)清理與分詞。在數(shù)據(jù)預(yù)處理階段,為了方便比較學(xué)習(xí)者對(duì)不同課程的評(píng)價(jià)差異,按照課程類型劃分為文學(xué)、語(yǔ)言學(xué)、文化、翻譯、寫(xiě)作、語(yǔ)法、閱讀、口語(yǔ)、聽(tīng)力、專門(mén)用途、雅思、大學(xué)英語(yǔ)、專四專八等13個(gè)大類;為保證評(píng)論數(shù)據(jù)的可靠性,經(jīng)充分觀察語(yǔ)料之后,制定以下預(yù)處理規(guī)則:刪除中文字?jǐn)?shù)小于5或者詞數(shù)小于3的評(píng)論;刪除英文詞數(shù)小于5的評(píng)論;刪除諸如“11111”“66666”“好好好”等不含有具體評(píng)價(jià)信息的評(píng)論。

    (2)文本挖掘與可視化分析。除詞頻和主題詞分析之外,作者使用文本挖掘研究中的文檔位置、主題建模、LSS(Latent Semantic Scaling)等可視化技術(shù)進(jìn)行探索性分析。其中,LSS是由Watanabe(2020)提出的一種啟發(fā)式、半監(jiān)督文本縮放技術(shù),將傳統(tǒng)的潛在語(yǔ)義分析與自定義種子詞(seed words)相結(jié)合,在不同的預(yù)先定義維度上定位文本的空間位置,實(shí)現(xiàn)不同領(lǐng)域、不同語(yǔ)言風(fēng)格的文本對(duì)比分析。

    4. 結(jié)果與發(fā)現(xiàn)

    4.1 高頻詞及其共現(xiàn)網(wǎng)絡(luò)

    經(jīng)PKUSEG分詞并統(tǒng)計(jì)詞頻后發(fā)現(xiàn),高頻詞主要包含對(duì)教師與課程內(nèi)容的評(píng)價(jià)、學(xué)習(xí)收獲的感受以及關(guān)于課程意義的看法。學(xué)習(xí)者普遍認(rèn)為教師授課與課程內(nèi)容非常“棒”,在知識(shí)獲取方面收獲非常“大”,課程很實(shí)用,總體非?!跋矚g”慕課課程。按照學(xué)習(xí)者的星級(jí)評(píng)價(jià)統(tǒng)計(jì)顯示,1-5星的評(píng)價(jià)數(shù)量分別占1.45%、0.73%、2.75%、12.74%和82.33%。分組觀察學(xué)習(xí)者在不同星級(jí)評(píng)價(jià)中詞匯分布發(fā)現(xiàn):1-2星的負(fù)面評(píng)價(jià)高頻詞主要有“難”“授課”“網(wǎng)絡(luò)”“聲音”“菜”“作業(yè)”“考試”“卡”“進(jìn)度”“成績(jī)”等;4-5星的積極評(píng)價(jià)高頻詞主要有“老師”“課程”“棒”“有趣”“感謝”“實(shí)用”“生動(dòng)”“內(nèi)容”“知識(shí)”“幫助”等。負(fù)面評(píng)價(jià)方面,除平臺(tái)本身的網(wǎng)絡(luò)卡頓以外,學(xué)習(xí)者對(duì)課程考核、授課進(jìn)度、內(nèi)容難易程度等方面表示不滿意,特別對(duì)作業(yè)批改、考試相關(guān)環(huán)節(jié)有較高的要求。積極評(píng)價(jià)方面,學(xué)習(xí)者對(duì)教師授課方式、課程趣味性、內(nèi)容豐富程度、實(shí)用性等表示高度認(rèn)可。

    基于稀疏文檔特征矩陣③(Document Feature Matrix,DFM),可以自動(dòng)提取語(yǔ)料庫(kù)中高頻詞匯共現(xiàn)的頻次并依據(jù)數(shù)值大小繪制語(yǔ)義網(wǎng)絡(luò),有助于揭示高頻詞之間的語(yǔ)義關(guān)聯(lián)及重要程度。鑒于語(yǔ)料庫(kù)規(guī)模較大、詞匯數(shù)量眾多、數(shù)據(jù)稀疏,本研究刪除了停用詞、標(biāo)點(diǎn)符號(hào)以及表示時(shí)間、日期的數(shù)字等信息,并將詞匯共現(xiàn)頻次的閾值設(shè)置為50,以繪制出高頻共現(xiàn)詞匯的網(wǎng)絡(luò)圖(圖1)。通過(guò)網(wǎng)絡(luò)節(jié)點(diǎn)之間連接線的強(qiáng)度可以看出,“老師”“課程”“學(xué)習(xí)”“知識(shí)”“講解”處于語(yǔ)義網(wǎng)絡(luò)的中心位置,與之共現(xiàn)的高頻詞匯以中間偏右

    圖1 詞匯共現(xiàn)網(wǎng)絡(luò)可視化的密度較大,左側(cè)詞匯網(wǎng)絡(luò)相對(duì)較為離散。根據(jù)語(yǔ)義網(wǎng)絡(luò)的分布,可將關(guān)鍵詞直觀概括為以下三個(gè)主要類別:教師講解清晰、細(xì)致,非常生動(dòng)且易懂,學(xué)習(xí)者尤其對(duì)教師的發(fā)音非常滿意;課程實(shí)用,特別是寫(xiě)作課的實(shí)用性優(yōu)于演講、語(yǔ)法、口語(yǔ)等課程;學(xué)生學(xué)習(xí)體驗(yàn)“不錯(cuò)”,收獲知識(shí),了解目的語(yǔ)語(yǔ)

    4.2 主題詞對(duì)比與情感分析

    主題詞分析是通過(guò)對(duì)比詞匯在參照語(yǔ)料庫(kù)和觀察語(yǔ)料庫(kù)中的頻數(shù)及分布,計(jì)算其關(guān)鍵性或主題性(keyness)的分析方法(Bondi amp; Scott,2010)。我們把4-5星級(jí)評(píng)論作為觀察語(yǔ)料庫(kù),把1-3星級(jí)評(píng)論作為參照語(yǔ)料庫(kù),使用似然比計(jì)算主題性,然后按照主題性大小排序并將正負(fù)10個(gè)主題詞可視化(圖2)。結(jié)果顯示,在4-5星級(jí)評(píng)價(jià)中,學(xué)習(xí)者對(duì)教師高度認(rèn)可,除對(duì)教師表達(dá)感謝以外,還表達(dá)了受益匪淺、學(xué)有所得,特別是在寫(xiě)作和學(xué)術(shù)課程上收獲最大。在1-3星級(jí)評(píng)價(jià)中,負(fù)面評(píng)價(jià)主題詞主要涉及以下幾個(gè)方面:網(wǎng)速比較卡,影響學(xué)習(xí)效果;教師念課件;作業(yè)以及課程內(nèi)容比較難;視頻沒(méi)有字幕,影響理解。另外,學(xué)習(xí)者還對(duì)考試較為關(guān)注??傊?,主題詞對(duì)比分析結(jié)果形成了鮮明對(duì)比,可為教師以及慕課運(yùn)行方提供直觀的話題數(shù)據(jù)展示,有利于全面了解學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)、學(xué)習(xí)需求等,為慕課教學(xué)提供決策參考。

    為了進(jìn)一步考察學(xué)習(xí)者對(duì)于慕課學(xué)習(xí)的整體情緒,本研究把“學(xué)習(xí)”作為節(jié)點(diǎn)詞,分析周?chē)Z(yǔ)境中的積極和消極情緒。利用LSS技術(shù),指定兩組表示積極和消極的“種子詞”并與Hownet情感詞匯表進(jìn)行對(duì)比考察。結(jié)果顯示,學(xué)習(xí)者對(duì)慕課學(xué)習(xí)過(guò)程普遍持積極態(tài)度,積極詞匯存在顯著性差異(plt;0.05)。學(xué)習(xí)者對(duì)學(xué)習(xí)過(guò)程感到“開(kāi)心”“快樂(lè)”,對(duì)知識(shí)獲取方面感到“滿足”,對(duì)授課教師表示“感謝”,進(jìn)而“希望”自己能夠在語(yǔ)言能力方面得到提升。在消極詞匯方面,“擔(dān)心”一詞被突顯出來(lái)。經(jīng)人工分析該詞所在的索引行后發(fā)現(xiàn),學(xué)習(xí)者“擔(dān)心”的內(nèi)容主要包括以下幾個(gè)話題:能否堅(jiān)持下去、能否跟上授課進(jìn)度、學(xué)習(xí)內(nèi)容太深?yuàn)W、考試時(shí)間是否沖突、可能會(huì)掛科、作業(yè)惡意互評(píng)等。上述話題主要涉及到學(xué)習(xí)動(dòng)機(jī)、個(gè)性化教學(xué)以及課程考核等多個(gè)方面,值得教師和研究者高度關(guān)注。

    4.3 主題聚類與對(duì)應(yīng)分析

    為了從宏觀上把握學(xué)習(xí)者在積極和消極評(píng)論中的主題分布,我們將課程評(píng)論劃分為4-5星級(jí)評(píng)論和1-2星級(jí)評(píng)論兩個(gè)子語(yǔ)料庫(kù),分別進(jìn)行主題建模以探索學(xué)習(xí)者所關(guān)切的主要話題。4-5星評(píng)論可概括為以下三個(gè)主題:教師授課特點(diǎn)、授課方式以及學(xué)習(xí)者受益點(diǎn)。教師授課具有詳細(xì)、生動(dòng)、實(shí)用等特點(diǎn),外語(yǔ)慕課的視頻學(xué)習(xí)方式使得知識(shí)點(diǎn)清晰、易懂,因此學(xué)習(xí)者在語(yǔ)言技能(如發(fā)音、聽(tīng)力、口語(yǔ)等)以及文化方面均有收獲。1-2星級(jí)評(píng)論的主題更為集中,可概括為兩個(gè)主題。一是負(fù)性評(píng)價(jià),即教學(xué)進(jìn)度、作業(yè)評(píng)價(jià)與考核方式等無(wú)法滿足學(xué)習(xí)者的個(gè)性化需求;二是正性評(píng)價(jià),即學(xué)習(xí)者對(duì)授課內(nèi)容、授課方式以及學(xué)習(xí)視頻等方面基本持積極態(tài)度。

    對(duì)應(yīng)分析可以把學(xué)習(xí)者對(duì)不同類型課程所作的評(píng)價(jià)做降維處理,以顯示學(xué)習(xí)者對(duì)課程的個(gè)性化需求。本研究按照文學(xué)、語(yǔ)言學(xué)、文化、翻譯、寫(xiě)作、語(yǔ)法、閱讀、口語(yǔ)、聽(tīng)力、專門(mén)用途、雅思、大學(xué)英語(yǔ)、專四專八等13個(gè)大類把課程評(píng)論進(jìn)行分組,經(jīng)過(guò)對(duì)應(yīng)分析之后發(fā)現(xiàn)(圖3),“文學(xué)”“專門(mén)用途”類課程評(píng)論屬于“離群值”,與其它語(yǔ)言類課程評(píng)論之間存在顯著差異。一般來(lái)說(shuō),文學(xué)與文化課程屬于知識(shí)性課程,而聽(tīng)力、語(yǔ)法、翻譯以及基礎(chǔ)課程屬于技能類課程,文檔位置的可視化結(jié)果符合外語(yǔ)學(xué)科的常識(shí)。值得注意的是,專門(mén)用途類課程既遠(yuǎn)離技能類課程,又遠(yuǎn)離文學(xué)類課程,表明學(xué)生對(duì)該類課程的期待維度與其他類型的課程不同。

    5.討論

    5.1 學(xué)習(xí)者的整體學(xué)習(xí)體驗(yàn)

    分析結(jié)果表明,作為大數(shù)據(jù)、信息化時(shí)代的重要教學(xué)手段,外語(yǔ)慕課課程為學(xué)習(xí)者提供了較好的學(xué)習(xí)體驗(yàn)。課程評(píng)論以5星級(jí)為主,評(píng)價(jià)主題非常集中,LSS分析結(jié)果積極,學(xué)習(xí)者整體情緒呈現(xiàn)正性體驗(yàn)。這一結(jié)果與(Hsu, 2021; Ye amp; Luo, 2020; 戴朝暉、陳堅(jiān)林, 2016)關(guān)于慕課注重學(xué)習(xí)體驗(yàn)的研究結(jié)論相一致。盡管有研究指出,側(cè)重于技能訓(xùn)練的外語(yǔ)類課程并不太適合目前的慕課模式,但是本研究學(xué)習(xí)者體驗(yàn)結(jié)果表明目前的語(yǔ)言類慕課基本能夠滿足學(xué)習(xí)者的整體學(xué)習(xí)需求,呈現(xiàn)出積極的態(tài)勢(shì)。雖然體驗(yàn)好、受歡迎等并不等同于課程成功或質(zhì)量高(Sokolik, 2014:26),但是積極的課程體驗(yàn)是有效語(yǔ)言學(xué)習(xí)發(fā)生的先決條件,為學(xué)習(xí)者提升課程參與度、降低輟學(xué)率甚至提升語(yǔ)言能力奠定了先發(fā)基礎(chǔ)。研究者可以在未來(lái)研究中進(jìn)一步考察用戶體驗(yàn)、受歡迎程度與課程質(zhì)量或教學(xué)效果之間的關(guān)系。

    5.2 學(xué)習(xí)者關(guān)切主題的維度

    系列數(shù)據(jù)分析結(jié)果表明中國(guó)學(xué)習(xí)者外語(yǔ)慕課的學(xué)習(xí)體驗(yàn)受到課程教師、課程支持服務(wù)與課程內(nèi)容趣味、實(shí)用性的多維度影響。

    5.2.1 授課教師

    主題詞對(duì)比分析以及詞匯共現(xiàn)網(wǎng)絡(luò)的可視化結(jié)果顯示,學(xué)習(xí)者對(duì)教師的授課技巧、發(fā)音、講課思路等方面較為關(guān)注。整體上,積極評(píng)論認(rèn)為教師發(fā)音好、思路清晰、授課生動(dòng)。不容忽視的是,諸如“念”“字幕”“難”等關(guān)鍵詞存在顯著性差異?!澳睢闭n件、講義或視頻腳本可能是一種較為普遍的現(xiàn)象,甚至在多門(mén)課程中普遍存在,學(xué)習(xí)者對(duì)此表現(xiàn)出較為消極的態(tài)度。這要求教師擺脫傳統(tǒng)課堂的思維定式,在授課理念和手段兩個(gè)方面加強(qiáng)學(xué)習(xí)和實(shí)踐。不難想象,如果教師語(yǔ)速過(guò)快,容易造成中低水平學(xué)習(xí)者難以跟上節(jié)奏和思路的現(xiàn)象。教師或慕課平臺(tái)可采用人工智能技術(shù)為視頻自動(dòng)添加字幕,將有助于降低難度,保證教學(xué)質(zhì)量。很大程度上,慕課成功與否取決于教師及其團(tuán)隊(duì),在外語(yǔ)教師“搶奪機(jī)遇,加速建設(shè)線上金課”(馮智文,2020)的背景下,固然需要追求速度和數(shù)量,但更需要注重教師自身的能力和素質(zhì),特別是信息素養(yǎng)的提升,從細(xì)節(jié)入手做到規(guī)范發(fā)音、理清思路、優(yōu)化字幕,為學(xué)習(xí)者提供高質(zhì)量的外語(yǔ)課堂。

    5.2.2 個(gè)性化服務(wù)支持

    對(duì)比主題詞分析的可視化結(jié)果顯示,學(xué)習(xí)者對(duì)作業(yè)、測(cè)驗(yàn)、考試、學(xué)習(xí)進(jìn)度等多個(gè)方面持一定程度的消極態(tài)度,既反映出大部分學(xué)習(xí)者“希望”得到更為個(gè)性化的支持服務(wù),又證實(shí)了前人研究中所發(fā)現(xiàn)的“對(duì)教學(xué)支持,尤其是交互支持還比較薄弱”(戴朝暉、陳堅(jiān)林, 2016:40),甚至“頭重腳輕”(韓艷輝,2019:34)的現(xiàn)象。教師在慕課建設(shè)過(guò)程中的時(shí)間投入由高到低依次是錄制視頻、準(zhǔn)備學(xué)習(xí)材料、交流答疑、測(cè)驗(yàn)與作業(yè)設(shè)計(jì)、了解學(xué)習(xí)者學(xué)習(xí)需求以及組織教學(xué)活動(dòng)(馮永華、劉志軍,2016:85)。固然,制作精良的視頻資源可以激發(fā)學(xué)習(xí)者的興趣和學(xué)習(xí)動(dòng)機(jī),但是在時(shí)間與精力分配嚴(yán)重失衡的情況下,教師與學(xué)習(xí)者缺乏交流與互動(dòng)、課程考核過(guò)于簡(jiǎn)單粗暴、缺乏教學(xué)活動(dòng)設(shè)計(jì)、甚至無(wú)視學(xué)習(xí)者的具體需求,會(huì)導(dǎo)致慕課教學(xué)出現(xiàn)“頭重腳輕”的運(yùn)行現(xiàn)狀。換言之,慕課視頻僅是課程教學(xué)的重要組成部分,缺乏個(gè)性化支持服務(wù)的慕課無(wú)異于、甚至不及“改頭換面”的傳統(tǒng)課堂,難以實(shí)現(xiàn)智慧外語(yǔ)教學(xué)。因此,外語(yǔ)慕課教師亟待克服傳統(tǒng)面授思維的慣性及其束縛,避免機(jī)械化復(fù)制,做到個(gè)性化拓展和延伸(王中祥、張文忠,2024);慕課平臺(tái)運(yùn)營(yíng)方應(yīng)完善相應(yīng)的功能,在技術(shù)上提供模塊支持,重點(diǎn)在測(cè)驗(yàn)、考核、進(jìn)度控制、學(xué)習(xí)者需求分析等方面提升學(xué)習(xí)者的滿意度,為實(shí)現(xiàn)一流外語(yǔ)課程建設(shè)或“金課”建設(shè)打好關(guān)鍵基礎(chǔ)。

    5.2.3 趣味性與實(shí)用性

    綜合積極評(píng)價(jià)中的高頻詞和主題詞分析結(jié)果,“文化”“趣味”“實(shí)用”“academic”“write”“寫(xiě)作”等關(guān)鍵詞較為突顯,顯示出學(xué)習(xí)者一方面喜歡“趣味性”強(qiáng)的文化類課程,另一方面又對(duì)實(shí)用性強(qiáng)的寫(xiě)作課程和學(xué)術(shù)課程普遍認(rèn)可。因此慕課必須有效結(jié)合多模態(tài)手段,增強(qiáng)趣味性,為線上學(xué)習(xí)提供強(qiáng)大動(dòng)力。在“高階性”的前提下讓課程充滿趣味卻不失專業(yè)性(覃軍,2019:60)。有趣的是,學(xué)習(xí)者對(duì)較為“枯燥”的寫(xiě)作與學(xué)術(shù)英語(yǔ)課程高度認(rèn)可,認(rèn)為從實(shí)用課程中可以學(xué)習(xí)到豐富的知識(shí)。究其原因,一方面可能在于慕課模式下的寫(xiě)作和學(xué)術(shù)課程可以結(jié)合現(xiàn)代技術(shù)手段,與傳統(tǒng)的同類課程相比更具新穎性和趣味性;另一方面,學(xué)習(xí)者偏重實(shí)用型的外語(yǔ)課程,認(rèn)為基礎(chǔ)能力的提升需要長(zhǎng)期積累,而實(shí)用能力的提升可以通過(guò)慕課模式得以快速提高。外語(yǔ)教師應(yīng)該從中獲得啟發(fā),在相關(guān)課程設(shè)計(jì)中格外關(guān)注實(shí)用知識(shí)和技巧的設(shè)計(jì)。

    5.3 學(xué)習(xí)者對(duì)文學(xué)和專門(mén)用途類課程的需求

    文檔位置的可視化結(jié)果顯示,學(xué)習(xí)者對(duì)文學(xué)和專門(mén)用途類課程的評(píng)論與其它課程評(píng)論距離較遠(yuǎn),明顯屬于不同的類別。文學(xué)課具有與內(nèi)容結(jié)合更加緊密的特點(diǎn),涉及作家、作品、時(shí)代背景等,而專門(mén)用途課程則需要對(duì)學(xué)科知識(shí)背景的深入了解。在觀察語(yǔ)料后發(fā)現(xiàn),文學(xué)與專門(mén)用途類課程評(píng)價(jià)表現(xiàn)出以下兩個(gè)特點(diǎn):一是學(xué)習(xí)者傾向于用英語(yǔ)發(fā)表評(píng)論,而且其評(píng)論長(zhǎng)度明顯高于漢語(yǔ);二是相當(dāng)一部分評(píng)論與課程內(nèi)容相關(guān),涉及文學(xué)作品信息以及不同專業(yè)領(lǐng)域的獨(dú)特詞匯。學(xué)習(xí)者對(duì)文學(xué)和專門(mén)用途類課程的需求有別于普通的語(yǔ)言技能類課程,其原因可能在于以下兩個(gè)方面:首先,兩類課程具有較強(qiáng)的知識(shí)性,文學(xué)課程具有較強(qiáng)的鑒賞性和思辨性,專門(mén)用途類課程具有較強(qiáng)的學(xué)術(shù)性和實(shí)用性。二者輸入材料比較正式,體裁鮮明,學(xué)習(xí)者的課程評(píng)論顯示出與輸入材料的協(xié)同效應(yīng)。其次,兩類課程難度較大,為了強(qiáng)化學(xué)習(xí)效果,學(xué)習(xí)者在寫(xiě)評(píng)論時(shí)以反思的方式,發(fā)表與課程內(nèi)容相關(guān)的見(jiàn)解。正如有學(xué)習(xí)者這樣寫(xiě)道:學(xué)習(xí)的過(guò)程既“痛苦”又有趣有意義,“痛苦”是因?yàn)樵谡n程中需要不斷輸入新知識(shí),同時(shí)挑戰(zhàn)自己,完成各項(xiàng)任務(wù);“有趣”在于完成任務(wù)后的成就感,而“有意義”在于這門(mén)課是真真正正可以讓我對(duì)學(xué)術(shù)英語(yǔ)寫(xiě)作有所了解,而且對(duì)日常的寫(xiě)作能力、信息檢索能力、邏輯思維能力都有很大的幫助。

    6.結(jié)語(yǔ)

    基于大數(shù)據(jù)可視化分析工具,本研究嘗試從課程評(píng)論中挖掘外語(yǔ)慕課學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)。可視化方法可以作為語(yǔ)料庫(kù)語(yǔ)言學(xué)分析方法的補(bǔ)充,直觀呈現(xiàn)出學(xué)習(xí)者對(duì)教學(xué)過(guò)程中多元素的感知、反應(yīng)及其學(xué)習(xí)需求。結(jié)果表明,中國(guó)外語(yǔ)慕課學(xué)習(xí)者整體上高度認(rèn)可現(xiàn)有的慕課課程,情感態(tài)度積極,積極學(xué)習(xí)體驗(yàn)受到了課程教師、課程支持和課程內(nèi)容實(shí)用性三個(gè)重要維度的影響。同時(shí),學(xué)習(xí)者在不同類型課程上具有明顯的個(gè)性化需求。值得注意的是,負(fù)性情感體驗(yàn)與成績(jī)考核、作業(yè)互評(píng)以及個(gè)性化支持等維度密切相關(guān),應(yīng)成為下一步外語(yǔ)慕課設(shè)計(jì)的關(guān)注重點(diǎn)。囿于現(xiàn)有數(shù)據(jù)和Quanteda工具包的局限性,未來(lái)應(yīng)在以下三個(gè)方面展開(kāi)研究以補(bǔ)足其不足之處:(1)增加中國(guó)外語(yǔ)慕課網(wǎng)的課程評(píng)論數(shù)據(jù);(2)改進(jìn)Quanteda基于單詞的算法,將二元或三元短語(yǔ)視為基本特征,考察主題短語(yǔ)的分布;(3)未來(lái)從可視化分析結(jié)果中選擇重點(diǎn)研究的話題,通過(guò)解讀索引行進(jìn)行微觀層面的質(zhì)性分析。

    注釋:

    ① 該術(shù)語(yǔ)表由Nellie Mae教育基金會(huì)資助建設(shè),網(wǎng)址:https://www.edglossary.org/learning-experience/。

    ② 該分詞工具由北京大學(xué)語(yǔ)言計(jì)算與機(jī)器學(xué)習(xí)研究組發(fā)布,在公開(kāi)標(biāo)準(zhǔn)測(cè)試集上的準(zhǔn)確率高達(dá)97%,在不同領(lǐng)域測(cè)試集上的平均準(zhǔn)確率達(dá)到91%。

    ③ 在Quanteda工具包中,文檔特征矩陣(DFM)即自然語(yǔ)言處理中常用的詞匯文檔矩陣(Term-Document Matrix),每行代表一個(gè)文檔,每列代表單詞在文檔中出現(xiàn)的次數(shù)。

    參考文獻(xiàn)

    [1]Appel, C. amp; T. Pujola. Designing speaking interaction in LMOOCs: An eTandem approach[J]. Recall, 2021, 33(2):161-176.

    [2]Barcena, E., T. Read, E. Martin-Monje amp; M. Castrillo. Analysing student participation in Foreign Language MOOCs: A case study. EMOOCs 2014[A]. In C. Ulrike amp; K. Delgado (eds.) European MOOCs Stakeholders Summit[C]. Lausanne: Ecole Polytechnique Federale de Lausanne, 2014. 11-17.

    [3]Barkanyi, Z. Motivation, self-efficacy beliefs, and speaking anxiety in language MOOCs[J]. Recall, 2021, 33(2):143-160.

    [4]Benoit, K., K. Watanabe, H. Wang, P. Nulty, A. Obeng, S. Müller amp; A. Matsuo. Quanteda: An R package for the quantitative analysis of textual data[J]. The Journal of Open Source Software, 2018, 3(30):774-776.

    [5]Bondi, M. amp; M. Scott. Keyness in Texts[M]. Amsterdam: John Benjamins Publishing Company, 2010.

    [6]Fridriksdottir, K. The effect of content-related and external factors on student retention in LMOOCs[J]. Recall, 2021, 33(2):128-142.

    [7]Hsu, L. What makes good LMOOCs for EFL learners? Learners’ personal characteristics and Information System Success Model[J]. Computer Assisted Language Learning, 2021, (3): 1-25.

    [8]Hsu, L. A grounded theory exploration of Language Massive Open Online Courses (LMOOCs): Understanding students’ viewpoints[J]. Sustainability, 2021, 13(5):2577-2594.

    [9]Luo, R., J. Xu, Y. Zhang, X. Ren amp; X. Sun. PKUSEG: A toolkit for multi-domain Chinese word segmentation[J/OL]. 2019. https://arxiv.org/pdf/1906.11455.pdf.[2023-12-06]

    [10]Luo, R. amp; Z. Ye. What makes a good-quality language MOOC? An empirical study of criteria to evaluate the quality of online language courses from learners’ perspectives[J]. Recall, 2021, 33(2):177-192.

    [11]Mac Lochlainn, C., M. N. G. Mhichil amp; E. Beirne. Clicking, but connecting? L2 learning engagement on an ab initio Irish language LMOOC[J]. Recall, 2021, 33(2):111-127.

    [12]Martín-Monje, E. amp; E. Bárcena. Language MOOCs: Providing Learning, Transcending Boundaries[M]. Berlin: De Gruyter Open, 2014.

    [13]Martín-Monje, E. amp; K. Borthwick. Researching massive open online courses for language teaching and learning[J]. ReCALL, 2021, 33(2):107-110.

    [14]Sokolik, M. What Constitutes an Effective Language MOOC?[A]. In E. M. Monje amp; E. Bárcena Madera (eds.). Language MOOCs: Providing Learning, Transcending Boundaries[C]. Berlin: De Gruyter Open, 2014. 16-32.

    [15]Watanabe, K. Latent Semantic Scaling: A semisupervised text analysis technique for new domains and languages[J]. Communication Methods and Measures, 2020, 15(2):81-102.

    [16]Ye, Z. amp; R. Luo, Evaluating online courses: How learners perceive language MOOCs[A]. In C. Pang, et al. (eds.). Learning Technologies and Systems. SETE ICWL 2020. Lecture Notes in Computer Science, Vol. 12511[C]. Cham: Springer, 2021. 334-343.

    [17]陳堅(jiān)林. 大數(shù)據(jù)時(shí)代的慕課與外語(yǔ)教學(xué)研究——挑戰(zhàn)與機(jī)遇[J]. 外語(yǔ)電化教學(xué), 2015, (1): 3-8+16.

    [18]戴朝暉,陳堅(jiān)林. 基于慕課理念的大學(xué)英語(yǔ)翻轉(zhuǎn)課堂影響因素研究[J]. 外語(yǔ)電化教學(xué), 2016, (6): 35-41.

    [19]馮永華,劉志軍. 慕課開(kāi)發(fā)的問(wèn)題、成因及改進(jìn)路徑——基于開(kāi)設(shè)慕課的高校教師調(diào)查[J]. 現(xiàn)代遠(yuǎn)程教育研究, 2016, (6): 82-92.

    [20]馮智文. 中國(guó)外語(yǔ)金課的內(nèi)涵及其建設(shè)方略[J]. 外語(yǔ)教學(xué), 2020, (2):59-63.

    [21]韓艷輝. 國(guó)內(nèi)慕課建設(shè)評(píng)議——兼論外語(yǔ)類課程的慕課適用性[J]. 外語(yǔ)電化教學(xué), 2019, (5): 33-38.

    [22]胡杰輝. 外語(yǔ)翻轉(zhuǎn)課堂促學(xué)效能差異的對(duì)比研究[J]. 外語(yǔ)界, 2017, (6): 20-28.

    [23]胡杰輝. 混合式外語(yǔ)教學(xué)的理論內(nèi)涵與研究范式[J]. 外語(yǔ)界, 2021, (4): 2-10.

    [24]胡永斌,黃榮懷. 智慧學(xué)習(xí)環(huán)境的學(xué)習(xí)體驗(yàn):定義、要素與量表開(kāi)發(fā)[J]. 電化教育研究, 2016, (37): 67-73.

    [25]覃軍. 技術(shù)驅(qū)動(dòng)學(xué)習(xí)" 打造外語(yǔ)“金課”——外語(yǔ)類國(guó)家精品在線開(kāi)放課程建設(shè)現(xiàn)狀、問(wèn)題及對(duì)策研究[J]. 外語(yǔ)電化教學(xué), 2019, (3): 55-61.

    [26]孫先洪,張茜,邵越,李靜. 外語(yǔ)慕課平臺(tái)自適應(yīng)性評(píng)價(jià)指標(biāo)驗(yàn)證研究[J]. 外語(yǔ)電化教學(xué), 2021, (1): 66-70+11.

    [27]王中祥,張文忠. 我國(guó)外語(yǔ)類線上一流本科課程建設(shè): 成就、困境與策略[J]. 山東外語(yǔ)教學(xué),2024,(1) : 44-53.

    [28]楊港,戴朝暉. 大學(xué)生英語(yǔ)在線學(xué)習(xí)投入維度構(gòu)成及影響路徑分析[J]. 外語(yǔ)與外語(yǔ)教學(xué), 2021, (4): 113-123+150-151.

    [29]葉興國(guó). 外語(yǔ)教師面臨的新形勢(shì)新問(wèn)題[J]. 外語(yǔ)教學(xué)與研究, 2017, (2): 292-295.

    [30]張文德,黃禹. MOOC課程評(píng)論可視化分析系統(tǒng)構(gòu)建——以中國(guó)大學(xué)MOOC平臺(tái)為例[J]. 情報(bào)探索, 2020, (5): 59-64.(責(zé)任編輯:潘潔)

    猜你喜歡
    學(xué)習(xí)體驗(yàn)課程評(píng)價(jià)語(yǔ)料庫(kù)
    《語(yǔ)料庫(kù)翻譯文體學(xué)》評(píng)介
    把課文的優(yōu)美表達(dá)存進(jìn)語(yǔ)料庫(kù)
    面向卓越教師的師范生實(shí)訓(xùn)課程評(píng)價(jià)研究
    考試周刊(2016年21期)2016-12-16 11:34:37
    基于學(xué)習(xí)行為數(shù)據(jù)的在線學(xué)習(xí)時(shí)間規(guī)律探析
    例談數(shù)學(xué)課程改革熱潮中的冷靜思索
    基于工作室教學(xué)模式的工業(yè)設(shè)計(jì)課程評(píng)價(jià)體系研究
    云計(jì)算背景下的學(xué)生課程評(píng)價(jià)模式探究
    契合感知,讓學(xué)生在快樂(lè)中學(xué)習(xí)數(shù)學(xué)
    應(yīng)用型本科院?!巴ㄗR(shí)教育”的教務(wù)管理及對(duì)策分析
    基于JAVAEE的維吾爾中介語(yǔ)語(yǔ)料庫(kù)開(kāi)發(fā)與實(shí)現(xiàn)
    欧美人与善性xxx| 最新在线观看一区二区三区 | 一级,二级,三级黄色视频| 中文字幕人妻丝袜一区二区 | 国产伦人伦偷精品视频| 女人被躁到高潮嗷嗷叫费观| 一级毛片 在线播放| 天天添夜夜摸| 人妻 亚洲 视频| 亚洲国产成人一精品久久久| 国产精品久久久久久精品电影小说| 青青草视频在线视频观看| 国产精品人妻久久久影院| 久久99精品国语久久久| 久久人妻熟女aⅴ| 欧美激情极品国产一区二区三区| 人人妻人人爽人人添夜夜欢视频| 欧美av亚洲av综合av国产av | 欧美另类一区| xxx大片免费视频| 只有这里有精品99| 亚洲美女黄色视频免费看| 免费不卡黄色视频| 黄片无遮挡物在线观看| 91国产中文字幕| 18在线观看网站| 精品一区二区三区四区五区乱码 | 如何舔出高潮| 丝袜在线中文字幕| 日韩一区二区三区影片| 丰满迷人的少妇在线观看| 久久99热这里只频精品6学生| 欧美国产精品一级二级三级| 大片电影免费在线观看免费| 欧美少妇被猛烈插入视频| 欧美久久黑人一区二区| 国产精品人妻久久久影院| 色婷婷av一区二区三区视频| 精品一区二区三区四区五区乱码 | avwww免费| 欧美97在线视频| 欧美日本中文国产一区发布| 久久久欧美国产精品| 婷婷成人精品国产| 黄色视频在线播放观看不卡| 亚洲综合精品二区| 美女福利国产在线| 黑人猛操日本美女一级片| 免费不卡黄色视频| 成人黄色视频免费在线看| 电影成人av| 夫妻性生交免费视频一级片| 精品视频人人做人人爽| 黄色 视频免费看| 超碰成人久久| 老司机在亚洲福利影院| av不卡在线播放| 下体分泌物呈黄色| 国产精品一区二区精品视频观看| 久久久久精品性色| 老司机在亚洲福利影院| 美女国产高潮福利片在线看| av国产久精品久网站免费入址| 看免费av毛片| 毛片一级片免费看久久久久| 色婷婷久久久亚洲欧美| 亚洲精品第二区| tube8黄色片| 精品亚洲成a人片在线观看| 99久久人妻综合| 国产 精品1| 亚洲五月色婷婷综合| 国产精品免费视频内射| av女优亚洲男人天堂| av不卡在线播放| 99热全是精品| 国产精品一二三区在线看| 秋霞在线观看毛片| 另类精品久久| 丁香六月天网| 欧美人与性动交α欧美软件| 在线观看免费高清a一片| 伦理电影免费视频| 国产成人91sexporn| 黄片无遮挡物在线观看| 免费高清在线观看视频在线观看| 纵有疾风起免费观看全集完整版| 精品国产乱码久久久久久男人| 老司机影院毛片| 亚洲av日韩在线播放| 中文欧美无线码| 国产精品无大码| 国产麻豆69| 久久久国产一区二区| 国产男人的电影天堂91| 久久久久精品国产欧美久久久 | 免费观看a级毛片全部| 国产精品香港三级国产av潘金莲 | 日韩一区二区三区影片| 日韩一区二区三区影片| 青春草国产在线视频| 婷婷成人精品国产| 国产精品蜜桃在线观看| 最近的中文字幕免费完整| 夜夜骑夜夜射夜夜干| 一级毛片我不卡| av国产久精品久网站免费入址| 欧美精品人与动牲交sv欧美| 久热这里只有精品99| 免费久久久久久久精品成人欧美视频| 中文天堂在线官网| 丝袜美腿诱惑在线| 国产精品.久久久| 亚洲第一青青草原| 国产成人一区二区在线| 亚洲久久久国产精品| 人妻一区二区av| 日本黄色日本黄色录像| 天堂中文最新版在线下载| 欧美精品一区二区大全| 亚洲一码二码三码区别大吗| 只有这里有精品99| 制服诱惑二区| 黄片无遮挡物在线观看| 欧美xxⅹ黑人| 精品少妇黑人巨大在线播放| av线在线观看网站| 日韩一区二区三区影片| 丰满少妇做爰视频| 热re99久久国产66热| 少妇猛男粗大的猛烈进出视频| 国产99久久九九免费精品| 久久久久久久精品精品| 日日爽夜夜爽网站| 一区二区三区乱码不卡18| 国语对白做爰xxxⅹ性视频网站| 午夜日韩欧美国产| 国产免费一区二区三区四区乱码| 99久国产av精品国产电影| 欧美日韩精品网址| 久久久久精品性色| 国产精品久久久久久精品电影小说| 精品国产超薄肉色丝袜足j| 18禁观看日本| 国产日韩欧美在线精品| 精品人妻在线不人妻| www.av在线官网国产| 人成视频在线观看免费观看| 观看av在线不卡| 各种免费的搞黄视频| 1024视频免费在线观看| 国产毛片在线视频| 天堂中文最新版在线下载| 亚洲一卡2卡3卡4卡5卡精品中文| 亚洲精品乱久久久久久| 久久久国产一区二区| 黄色毛片三级朝国网站| 人妻人人澡人人爽人人| 一本大道久久a久久精品| 一二三四在线观看免费中文在| 欧美国产精品一级二级三级| 中文字幕高清在线视频| 秋霞在线观看毛片| 国产欧美日韩一区二区三区在线| a级片在线免费高清观看视频| 成人亚洲欧美一区二区av| 精品免费久久久久久久清纯 | 9热在线视频观看99| av线在线观看网站| 欧美变态另类bdsm刘玥| 夫妻性生交免费视频一级片| 亚洲精品日韩在线中文字幕| 色吧在线观看| 综合色丁香网| 男人爽女人下面视频在线观看| 成年av动漫网址| 亚洲男人天堂网一区| 精品免费久久久久久久清纯 | 91精品伊人久久大香线蕉| 777久久人妻少妇嫩草av网站| 侵犯人妻中文字幕一二三四区| 老司机深夜福利视频在线观看 | 视频在线观看一区二区三区| av免费观看日本| xxx大片免费视频| 午夜福利视频精品| 亚洲精品第二区| 丁香六月天网| 熟女av电影| 成人亚洲欧美一区二区av| 又大又爽又粗| 成人三级做爰电影| 久久久久人妻精品一区果冻| 王馨瑶露胸无遮挡在线观看| 欧美另类一区| 激情五月婷婷亚洲| 久久精品国产综合久久久| 在线 av 中文字幕| 一边摸一边做爽爽视频免费| 婷婷色av中文字幕| 男女午夜视频在线观看| 中文字幕制服av| 97在线人人人人妻| av在线老鸭窝| 少妇被粗大的猛进出69影院| 亚洲国产日韩一区二区| 欧美激情高清一区二区三区 | 亚洲国产精品一区三区| 男男h啪啪无遮挡| 亚洲国产精品成人久久小说| 青春草国产在线视频| 97在线人人人人妻| 欧美变态另类bdsm刘玥| av有码第一页| 最近最新中文字幕大全免费视频 | 免费观看av网站的网址| 青春草视频在线免费观看| 久久国产精品男人的天堂亚洲| 日韩电影二区| 男人舔女人的私密视频| 飞空精品影院首页| 欧美日韩精品网址| 国产精品国产三级国产专区5o| 久久人人97超碰香蕉20202| 国产亚洲欧美精品永久| 国产精品一区二区在线不卡| 国精品久久久久久国模美| 大片免费播放器 马上看| 色婷婷久久久亚洲欧美| 免费看av在线观看网站| 亚洲精品一区蜜桃| 在线观看免费视频网站a站| 人人妻人人爽人人添夜夜欢视频| 久久精品国产亚洲av涩爱| 久久精品人人爽人人爽视色| 国产成人精品久久久久久| 久久久久久久久久久久大奶| 别揉我奶头~嗯~啊~动态视频 | 下体分泌物呈黄色| 国产精品久久久久久久久免| 女人高潮潮喷娇喘18禁视频| 久久性视频一级片| 久久久亚洲精品成人影院| 日本色播在线视频| 一本—道久久a久久精品蜜桃钙片| 黑人猛操日本美女一级片| 亚洲,一卡二卡三卡| 美女国产高潮福利片在线看| 18禁动态无遮挡网站| 免费黄网站久久成人精品| 精品国产一区二区三区四区第35| 亚洲成av片中文字幕在线观看| 国产女主播在线喷水免费视频网站| 在线观看免费日韩欧美大片| 女人精品久久久久毛片| 成人18禁高潮啪啪吃奶动态图| 精品卡一卡二卡四卡免费| 丰满饥渴人妻一区二区三| 亚洲精品一区蜜桃| 欧美变态另类bdsm刘玥| 看十八女毛片水多多多| 日韩av不卡免费在线播放| 波多野结衣一区麻豆| 十分钟在线观看高清视频www| 中国国产av一级| 女性被躁到高潮视频| 亚洲欧美日韩另类电影网站| 亚洲精品成人av观看孕妇| 国产亚洲av片在线观看秒播厂| 国产精品国产av在线观看| 亚洲久久久国产精品| 欧美xxⅹ黑人| 日本av免费视频播放| 中文精品一卡2卡3卡4更新| 男女高潮啪啪啪动态图| 在现免费观看毛片| 欧美成人午夜精品| 少妇精品久久久久久久| 亚洲精品久久成人aⅴ小说| 久久精品人人爽人人爽视色| 日本av免费视频播放| 日韩一卡2卡3卡4卡2021年| 精品午夜福利在线看| 啦啦啦在线免费观看视频4| 一区二区三区乱码不卡18| 99热全是精品| 一个人免费看片子| 啦啦啦 在线观看视频| 伊人亚洲综合成人网| 免费不卡黄色视频| 亚洲 欧美一区二区三区| 在线免费观看不下载黄p国产| 涩涩av久久男人的天堂| 色94色欧美一区二区| 亚洲国产欧美一区二区综合| 欧美日韩视频精品一区| 日韩av免费高清视频| 人妻人人澡人人爽人人| 婷婷色av中文字幕| 一个人免费看片子| 国产成人精品福利久久| 最新的欧美精品一区二区| 自拍欧美九色日韩亚洲蝌蚪91| 精品少妇内射三级| 激情视频va一区二区三区| 久久狼人影院| 国产高清不卡午夜福利| 如日韩欧美国产精品一区二区三区| 日韩大片免费观看网站| 亚洲精品久久午夜乱码| 亚洲欧美精品综合一区二区三区| 91成人精品电影| 国产欧美亚洲国产| 亚洲av国产av综合av卡| 最近最新中文字幕免费大全7| 看免费av毛片| 少妇 在线观看| 日本欧美视频一区| 久久精品人人爽人人爽视色| 只有这里有精品99| 一边亲一边摸免费视频| 咕卡用的链子| 亚洲精品国产av成人精品| 亚洲美女搞黄在线观看| 人妻一区二区av| 日韩av不卡免费在线播放| 日韩大片免费观看网站| 国产1区2区3区精品| 亚洲成人一二三区av| 午夜福利一区二区在线看| 免费观看人在逋| 亚洲色图 男人天堂 中文字幕| 一级毛片电影观看| 亚洲四区av| 成年动漫av网址| 国产有黄有色有爽视频| 亚洲伊人久久精品综合| 毛片一级片免费看久久久久| 欧美亚洲日本最大视频资源| 宅男免费午夜| 亚洲国产欧美一区二区综合| 日本vs欧美在线观看视频| 高清不卡的av网站| 欧美亚洲日本最大视频资源| 在线观看免费视频网站a站| 狠狠婷婷综合久久久久久88av| 精品国产一区二区久久| 91精品国产国语对白视频| 丰满饥渴人妻一区二区三| 国产精品久久久人人做人人爽| 国产女主播在线喷水免费视频网站| 一本色道久久久久久精品综合| 王馨瑶露胸无遮挡在线观看| 亚洲av综合色区一区| 午夜福利,免费看| 十八禁人妻一区二区| 精品一区在线观看国产| 在现免费观看毛片| 国产精品久久久人人做人人爽| 成人毛片60女人毛片免费| 中国国产av一级| 晚上一个人看的免费电影| avwww免费| 制服诱惑二区| 国产免费一区二区三区四区乱码| 一区福利在线观看| 日韩人妻精品一区2区三区| av天堂久久9| 悠悠久久av| 叶爱在线成人免费视频播放| 日韩av免费高清视频| 亚洲三区欧美一区| 精品人妻熟女毛片av久久网站| 精品国产乱码久久久久久小说| 亚洲精品国产av成人精品| 国产精品久久久人人做人人爽| av在线观看视频网站免费| 欧美日韩视频高清一区二区三区二| 久久久久久久国产电影| 国产女主播在线喷水免费视频网站| 久久久久精品国产欧美久久久 | 热re99久久精品国产66热6| 亚洲成av片中文字幕在线观看| 制服诱惑二区| 久久99热这里只频精品6学生| 中文字幕亚洲精品专区| 国产免费现黄频在线看| 精品一区二区三区四区五区乱码 | 欧美日韩视频精品一区| 中文乱码字字幕精品一区二区三区| 人人妻人人爽人人添夜夜欢视频| 亚洲一卡2卡3卡4卡5卡精品中文| 国精品久久久久久国模美| www.自偷自拍.com| 亚洲av电影在线进入| 午夜激情久久久久久久| 另类精品久久| 黄频高清免费视频| 久久韩国三级中文字幕| 一区二区日韩欧美中文字幕| 日韩精品有码人妻一区| 久热爱精品视频在线9| 免费看不卡的av| 国产精品成人在线| 亚洲 欧美一区二区三区| 18禁观看日本| 精品国产乱码久久久久久男人| 美女主播在线视频| 日日爽夜夜爽网站| 国产日韩欧美亚洲二区| 欧美激情极品国产一区二区三区| 日本一区二区免费在线视频| 好男人视频免费观看在线| 天天影视国产精品| 午夜福利网站1000一区二区三区| 又粗又硬又长又爽又黄的视频| 97精品久久久久久久久久精品| 黄色视频不卡| 日韩制服骚丝袜av| 国产精品久久久久成人av| 一区福利在线观看| 如日韩欧美国产精品一区二区三区| 久久99热这里只频精品6学生| 天天躁夜夜躁狠狠躁躁| 亚洲成人av在线免费| 熟女少妇亚洲综合色aaa.| 亚洲精品第二区| 国产一区二区三区综合在线观看| 国产精品秋霞免费鲁丝片| 又黄又粗又硬又大视频| 日韩欧美一区视频在线观看| 这个男人来自地球电影免费观看 | 亚洲少妇的诱惑av| 精品免费久久久久久久清纯 | 久久人人97超碰香蕉20202| 天天添夜夜摸| 男女边吃奶边做爰视频| 黄色 视频免费看| 黄频高清免费视频| 男女高潮啪啪啪动态图| 中文字幕亚洲精品专区| 成年美女黄网站色视频大全免费| 欧美中文综合在线视频| 亚洲精品国产区一区二| av.在线天堂| 久久久精品94久久精品| 久久久久久久大尺度免费视频| 亚洲人成77777在线视频| 2018国产大陆天天弄谢| 黄色 视频免费看| 中文字幕人妻丝袜制服| 国产精品欧美亚洲77777| 免费看av在线观看网站| 最近中文字幕2019免费版| 国产视频首页在线观看| 亚洲图色成人| 丝袜美腿诱惑在线| xxx大片免费视频| 麻豆乱淫一区二区| 欧美日本中文国产一区发布| 美女主播在线视频| 男女高潮啪啪啪动态图| 18禁观看日本| 人成视频在线观看免费观看| 色吧在线观看| 超碰成人久久| 亚洲在久久综合| 免费不卡黄色视频| 欧美成人午夜精品| 久久亚洲国产成人精品v| 国产精品 国内视频| 日日爽夜夜爽网站| 18禁动态无遮挡网站| 欧美激情极品国产一区二区三区| svipshipincom国产片| 一区二区三区乱码不卡18| 少妇的丰满在线观看| 男男h啪啪无遮挡| 精品一区二区三卡| 亚洲精品视频女| 久久精品亚洲熟妇少妇任你| 亚洲成色77777| 欧美中文综合在线视频| 啦啦啦啦在线视频资源| 国产精品 国内视频| 亚洲综合精品二区| 80岁老熟妇乱子伦牲交| 女人精品久久久久毛片| www日本在线高清视频| 欧美激情 高清一区二区三区| 亚洲av福利一区| 黄网站色视频无遮挡免费观看| 亚洲国产精品一区二区三区在线| www.熟女人妻精品国产| 一级爰片在线观看| 亚洲精品视频女| 亚洲精品日本国产第一区| 女性生殖器流出的白浆| 各种免费的搞黄视频| 婷婷成人精品国产| 成人亚洲精品一区在线观看| 一级毛片电影观看| 悠悠久久av| 欧美日韩视频精品一区| 高清不卡的av网站| 精品一品国产午夜福利视频| 交换朋友夫妻互换小说| 国产1区2区3区精品| 亚洲欧美成人精品一区二区| 免费观看a级毛片全部| 黄色视频在线播放观看不卡| 国产成人午夜福利电影在线观看| 最近最新中文字幕免费大全7| 午夜激情av网站| 99精国产麻豆久久婷婷| 十分钟在线观看高清视频www| 自线自在国产av| 国产 一区精品| 午夜91福利影院| 亚洲成av片中文字幕在线观看| 精品国产一区二区久久| 另类精品久久| 国产xxxxx性猛交| 日韩大片免费观看网站| 免费黄色在线免费观看| 男的添女的下面高潮视频| 视频在线观看一区二区三区| 老司机亚洲免费影院| 久久精品人人爽人人爽视色| 美女扒开内裤让男人捅视频| 男女无遮挡免费网站观看| 欧美日韩福利视频一区二区| 国产黄频视频在线观看| 亚洲欧美中文字幕日韩二区| 男女床上黄色一级片免费看| e午夜精品久久久久久久| 中文字幕亚洲精品专区| 美女午夜性视频免费| e午夜精品久久久久久久| 少妇人妻久久综合中文| 欧美成人午夜精品| 天天操日日干夜夜撸| www.熟女人妻精品国产| 国产精品久久久久久久久免| 亚洲精品,欧美精品| 日日摸夜夜添夜夜爱| 精品人妻熟女毛片av久久网站| 又粗又硬又长又爽又黄的视频| 丁香六月欧美| 中文字幕人妻丝袜一区二区 | 大码成人一级视频| 校园人妻丝袜中文字幕| 自线自在国产av| 久久久久精品久久久久真实原创| 国产无遮挡羞羞视频在线观看| 久久国产精品大桥未久av| 91老司机精品| tube8黄色片| 最近最新中文字幕免费大全7| 日韩成人av中文字幕在线观看| av视频免费观看在线观看| 免费女性裸体啪啪无遮挡网站| 咕卡用的链子| 精品国产露脸久久av麻豆| 亚洲欧洲精品一区二区精品久久久 | 久久精品亚洲av国产电影网| 天天躁日日躁夜夜躁夜夜| 久久天堂一区二区三区四区| 母亲3免费完整高清在线观看| 一区二区三区乱码不卡18| 免费在线观看完整版高清| 亚洲国产欧美在线一区| 五月天丁香电影| 国产毛片在线视频| 男女之事视频高清在线观看 | 亚洲第一青青草原| 大片电影免费在线观看免费| 日韩一区二区视频免费看| 永久免费av网站大全| 久久精品亚洲熟妇少妇任你| 777久久人妻少妇嫩草av网站| 精品福利永久在线观看| 在线 av 中文字幕| 国产色婷婷99| 精品久久蜜臀av无| 悠悠久久av| 中文字幕人妻熟女乱码| 丝袜在线中文字幕| 久久精品国产亚洲av高清一级| 不卡av一区二区三区| 色网站视频免费| 午夜老司机福利片| 国产精品嫩草影院av在线观看| 天天躁狠狠躁夜夜躁狠狠躁| 免费观看a级毛片全部| 看非洲黑人一级黄片| 五月天丁香电影| 高清黄色对白视频在线免费看| 久久综合国产亚洲精品| 欧美老熟妇乱子伦牲交| 制服人妻中文乱码| 久久婷婷青草| 69精品国产乱码久久久| 免费日韩欧美在线观看| 又大又爽又粗| 女的被弄到高潮叫床怎么办| 久久这里只有精品19| 老司机靠b影院| 国产麻豆69| 天天影视国产精品| 少妇的丰满在线观看| 欧美乱码精品一区二区三区| 男女之事视频高清在线观看 | 欧美日韩亚洲高清精品| 国产一区二区三区av在线|