• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    教育領(lǐng)域的系統(tǒng)性文獻綜述:本質(zhì)、價值與實現(xiàn)

    2024-01-24 12:47:31胡曉玲韋慕春袁民張惠
    電化教育研究 2024年1期
    關(guān)鍵詞:系統(tǒng)評價教育領(lǐng)域

    胡曉玲 韋慕春 袁民 張惠

    [摘?要]?系統(tǒng)性文獻綜述是對某一研究主題下的研究成果進行標準化的篩選評價和系統(tǒng)化的分析綜合,從而實現(xiàn)知識整合并獲得更客觀的結(jié)論的研究方法。近年來,系統(tǒng)性文獻綜述已成為國際上主流的綜述研究方法,在我國也逐漸受到重視,并被廣泛應(yīng)用于各個領(lǐng)域。但我國教育領(lǐng)域?qū)ο到y(tǒng)文獻綜述的認識還比較模糊,在應(yīng)用的規(guī)范性和程序性方面還存在諸多不足。本文通過追溯系統(tǒng)性文獻綜述在教育領(lǐng)域應(yīng)用的歷史緣由和歷程,探析系統(tǒng)性文獻綜述的定義、類別及其在教育領(lǐng)域的多重價值,并因循該方法的科學(xué)步驟提出其在教育領(lǐng)域規(guī)范應(yīng)用的具體方法步驟,以期助力教育領(lǐng)域系統(tǒng)性文獻綜述的科學(xué)性發(fā)展與實踐。

    [關(guān)鍵詞]?教育領(lǐng)域; 系統(tǒng)性文獻綜述; 系統(tǒng)評價; 實現(xiàn)步驟

    [中圖分類號] G434?[文獻標志碼] A

    [作者簡介]?胡曉玲(1975—),女,山東濟寧人。副教授,博士,主要從事學(xué)習(xí)科學(xué)、循證教育學(xué)研究。E-mail:hxiaoling@lzu.edu.cn。

    一、系統(tǒng)性文獻綜述在教育領(lǐng)域的興起與應(yīng)用

    (一)國外:從循證理念萌芽到系統(tǒng)性文獻綜述的綜合應(yīng)用

    在18世紀50年代,為減少舊知識中可能存在的主觀偏見和平衡客觀誤差,外科醫(yī)生詹姆斯·林德提出應(yīng)對已有研究進行系統(tǒng)整理與批判性評價,刪除可能出現(xiàn)的錯誤源以盡量消除偏差,這一觀點被視為醫(yī)學(xué)領(lǐng)域循證思想的開端。隨著循證醫(yī)學(xué)的不斷發(fā)展及其行為模式的系統(tǒng)化,循證理念逐漸深入人心,并在社會科學(xué)領(lǐng)域得到了普遍認可。同時,進行證據(jù)搜集、評價和綜合的循證方法也逐漸完善,循證醫(yī)學(xué)領(lǐng)域?qū)⑵涿麨椤癝ystematic Review”(系統(tǒng)評價)。教育心理學(xué)家格拉斯也基于證據(jù)綜合的想法提出了“Meta-Analysis”(元分析),作為定量研究合并結(jié)論的統(tǒng)計方法。之后,受實證主義風(fēng)潮的影響,基于數(shù)據(jù)表征的量化研究開始迅速累積,為依賴于系統(tǒng)評價和元分析的循證教育研究奠定了堅實基礎(chǔ)。循證理念進而廣泛影響了西方的教育決策,系統(tǒng)評價成為教育政策制定的重要科學(xué)參考。如1995年,英國教育與技能部資助成立了政策和實踐證據(jù)信息與協(xié)調(diào)中心(Evidence for Policy and Practice Information and Coordinating Centre,EPPI Centre),開展大規(guī)模的系統(tǒng)評價以指導(dǎo)實踐與政策制定,形成教育研究、教育政策、教育實踐之間的有序循環(huán),在教育管理決策循證化的路途中持續(xù)提速。

    到了上世紀后期,西方實證主義受到質(zhì)疑與挑戰(zhàn),教育研究呈現(xiàn)出研究方法多元化、結(jié)論表征多樣化的局面,系統(tǒng)評價也陷入了難以對定性證據(jù)整合以及研究問題過于局限的困境,于是研究者開始探尋系統(tǒng)評價的多種結(jié)果合并方法以調(diào)和研究結(jié)論表征的差異性。過去20年間,國外教育領(lǐng)域發(fā)表的文獻綜述標題呈現(xiàn)出由“Systematic Review”向“Systematic Literature Review”(系統(tǒng)性文獻綜述)的轉(zhuǎn)變,可見系統(tǒng)性文獻綜述納入的研究實現(xiàn)了由單一量化研究向多元證據(jù)類型的轉(zhuǎn)變,由此,得到了廣泛應(yīng)用。同時,指導(dǎo)科學(xué)運用與撰寫系統(tǒng)性文獻綜述的工具也相繼誕生,如系統(tǒng)評價與元分析指南(PRISMA),文檔與評價工具(DART),非隨機干預(yù)性研究偏倚風(fēng)險評估工具(the ROBINS-I Tool)等先后開發(fā)并投入應(yīng)用。

    (二)國內(nèi):系統(tǒng)性文獻綜述的逐漸興起與存在的問題

    我國教育領(lǐng)域系統(tǒng)性文獻綜述的出現(xiàn)源于對傳統(tǒng)文獻綜述科學(xué)性的反思。有研究者對傳統(tǒng)文獻綜述存在的文獻獲取不全面、文獻選擇太隨意、文獻質(zhì)量難把握、信息提取不完整、結(jié)果綜合太主觀、缺乏系統(tǒng)規(guī)范的操作性方法程序等問題提出批評,稱其不是一種真正意義上的研究方法。教育研究往往依托對已有文獻或?qū)嵺`經(jīng)驗的回顧與辨析而展開,忽視文獻綜述的重要作用、窄化文獻綜述的意義勢必會影響教育研究質(zhì)量。在這一背景下,國內(nèi)研究者開始努力追求文獻綜述的程序化、規(guī)范化和科學(xué)化,部分國內(nèi)研究者學(xué)習(xí)引介了國外“Meta-Analysis”“Systematic Review”等綜述方法,并譯為“元分析”、“系統(tǒng)評價”、“系統(tǒng)性文獻綜述”等。近年來,國內(nèi)教育類期刊中采用此類方法的論文數(shù)量顯著增加,內(nèi)容涉及數(shù)字技術(shù)干預(yù)、教師發(fā)展、教育教學(xué)模式等多方面。盡管這些論文的方法內(nèi)核都是系統(tǒng)性文獻綜述,但由于方法來源、概念翻譯等存在差異,導(dǎo)致論文存在術(shù)語表述不一致、方法規(guī)范性不夠等問題。這對系統(tǒng)性文獻綜述的科學(xué)運用與傳播造成了阻礙。對于研究者而言,系統(tǒng)性文獻綜述似乎始終是“陌生人”。

    二、系統(tǒng)性文獻綜述是什么

    (一)系統(tǒng)性文獻綜述的定義

    國內(nèi)外研究者曾從不同的角度對系統(tǒng)性文獻綜述進行描述。在國內(nèi),卜彩麗等人從方法程序及其功能的角度指出,系統(tǒng)性文獻綜述是以解決某一具體研究問題為目的,按照一定的文獻納入和排除標準,搜集、分析、總結(jié)和歸納某研究主題下的實證類文獻系統(tǒng)回答和解決問題的綜述方法。龔禮林等人從較為宏觀的知識創(chuàng)新視角提出,系統(tǒng)性文獻綜述法是借助互聯(lián)網(wǎng)、利用不同數(shù)據(jù)庫和多種檢索與分析技術(shù),全面而準確地掌握某一專題研究進展并得出和檢驗研究結(jié)論的標準化文獻研究方法,并強調(diào)了系統(tǒng)性文獻綜述法的知識創(chuàng)新功能。在國外研究者中,查爾莫斯(Chalmers)等人將系統(tǒng)性文獻綜述概括為特定主題下所有相關(guān)研究的集合及其批判性評價以及研究綜合過程中偏差減少策略的應(yīng)用,強調(diào)它與傳統(tǒng)文獻綜述的差別。貝內(nèi)特(Bennett)把系統(tǒng)性文獻綜述定義為從已發(fā)表的研究中,識別相關(guān)研究并描述相關(guān)研究特征以提取該領(lǐng)域已有研究的系統(tǒng)地圖,從而確定研究結(jié)果的價值、綜合并報告相關(guān)結(jié)果,以回答具體綜述問題的一種方法。

    基于對系統(tǒng)性文獻綜述的方法學(xué)溯源,同時,以“系統(tǒng)性文獻綜述”統(tǒng)括國外“Systematic Review”“Systematic Literature Review”等用語以及國內(nèi)“系統(tǒng)評價”“系統(tǒng)綜述”“系統(tǒng)文獻綜述”等各種相關(guān)表述,并強調(diào)關(guān)注系統(tǒng)性文獻綜述的操作程序,本文對其作如下定義:系統(tǒng)性文獻綜述是一種文獻綜述方法,它系統(tǒng)全面收集某一問題的相關(guān)研究結(jié)果,采用恰當(dāng)?shù)奈墨I評價方法和流程,篩選出符合納入標準的研究文獻后提取相關(guān)信息,并對其進行定量合并分析或定性客觀評價,以對該問題進行系統(tǒng)總結(jié)并得出可靠結(jié)論。

    (二)系統(tǒng)性文獻綜述的類別

    根據(jù)研究問題、所納入研究的性質(zhì)、結(jié)論合并方法的不同,系統(tǒng)性文獻綜述又可以分為定量系統(tǒng)性文獻綜述和定性系統(tǒng)性文獻綜述。

    定量系統(tǒng)性文獻綜述是以元分析為統(tǒng)計手段開展合并研究的系統(tǒng)性文獻綜述,納入的研究類型均為定量研究,能夠綜合某一領(lǐng)域的研究結(jié)論,對研究問題作出更客觀的回答。但它的局限性在于研究無法對社會科學(xué)中諸如情感、價值觀等難以量化的因素進行綜合,而這類影響因素往往在社會科學(xué)中起著重要作用。

    定性系統(tǒng)性文獻綜述是對定性研究或定量研究的定性綜合,能從不同角度觀察和分析問題,為決策者基于實際情況的決策提供可靠依據(jù)。但它的局限性在于無法處理量化的研究結(jié)論,因此,在證據(jù)綜合的過程中就可能會出現(xiàn)由于研究者立場和主觀態(tài)度等的差異,導(dǎo)致綜合結(jié)果存在較大偏差的現(xiàn)象。

    (三)教育領(lǐng)域系統(tǒng)性文獻綜述的研究層次

    1. 單向度因果效應(yīng)研究

    測量教育實踐中的某一措施與某一結(jié)果間的因果效應(yīng)是系統(tǒng)性文獻綜述最基本且最為廣泛的應(yīng)用。如“CSCL中群體感知工具能提升學(xué)習(xí)效果嗎”“虛擬現(xiàn)實更能引發(fā)學(xué)生共情嗎”。系統(tǒng)性文獻綜述能夠借助元分析手段合并對某一教育干預(yù)進行的單一研究,將獨立的小樣本轉(zhuǎn)化為一個假定的大樣本,并根據(jù)研究可信度將效應(yīng)值加權(quán)平均后得到假定大樣本的理論效應(yīng)值,從而預(yù)計該教育干預(yù)在大范圍推廣后可能產(chǎn)生的效果,克服單一研究難以達到完全統(tǒng)一的認識并確定教育干預(yù)的普適性的弊端。

    2. 多維度影響因素研究

    系統(tǒng)性文獻綜述通過全面的文獻檢索和恰當(dāng)?shù)暮Y選評價,能夠提取研究過程中涉及的諸多復(fù)雜信息,針對研究問題進行歸納與分析,探索其中涉及的影響因素,從而提出抵達教育目標的多條可行路徑,幫助教育實踐者從多維因素入手系統(tǒng)地調(diào)控教育實踐。

    這一層次的研究通常以某一路徑如何實現(xiàn)為題,如“數(shù)字化轉(zhuǎn)型期如何培養(yǎng)職前教師的數(shù)字勝任力”“虛擬游戲如何支持孤獨癥兒童教育”等?;卮疬@一類問題只需對單一研究中的干預(yù)措施、評價方式、影響效果等信息進行提取與歸納分析,因此,可以在不考慮研究同質(zhì)性的情況下,廣泛納入各種范式下進行的實證研究,無論量化還是質(zhì)性研究都能被統(tǒng)一合并。

    3. 跨時空認識延伸研究

    系統(tǒng)性文獻綜述可以超越時空和證據(jù)表征的界限,將某一領(lǐng)域內(nèi)長期以來積淀的學(xué)術(shù)認識進行辯證總結(jié),最大程度規(guī)避綜述者的主觀隨意性,使不同范式下的研究結(jié)論互為支撐,形成龐大穩(wěn)固的證據(jù)結(jié)構(gòu),在現(xiàn)有認識的基礎(chǔ)上深入發(fā)展,形成有利于實踐和未來研究的新見解。例如,有研究者利用系統(tǒng)性文獻綜述對“互聯(lián)網(wǎng)+”背景下教師專業(yè)發(fā)展的實踐模式、規(guī)律與原則進行了深入分析,對新環(huán)境下的教師專業(yè)發(fā)展提出了寶貴建議。此外,系統(tǒng)性文獻綜述還能夠全面追溯某一研究領(lǐng)域長時段的研究進展,找出有待補充的知識空白,指明未來探索的方向,如“基于系統(tǒng)性文獻綜述的國外學(xué)習(xí)投入實證研究分析”。

    三、教育領(lǐng)域系統(tǒng)性文獻綜述的價值

    (一)趨近客觀真相

    人們認識客觀世界的過程遵循著由基于感覺和經(jīng)驗的感性認識,到通過思維、推理和邏輯獲得的理性認識,再到深層次、顛覆式的創(chuàng)新認識的發(fā)展規(guī)律,由此一步步地擺脫主觀偏見,接近客觀真相,人們對教育規(guī)律的認識也是如此。系統(tǒng)性文獻綜述要求對與某個研究主題相關(guān)的文獻進行全面無偏見的篩查與總結(jié),實質(zhì)上是對已有的研究成果進行更加科學(xué)嚴格地再審視。如定量研究中系統(tǒng)性文獻綜述的森林圖繪制步驟,可以讓研究者觀測單一研究的效應(yīng)值分布及其置信區(qū)間,認識到不同研究間的結(jié)論差距,分析不同研究結(jié)論差距的來源,從而對于諸如國別、文化、經(jīng)濟等潛在的宏觀影響因素有更加清晰的認識,為教育實踐提供與時俱進的科學(xué)理論指導(dǎo)。

    (二)知識整合創(chuàng)新

    在哲學(xué)詮釋學(xué)看來,“理解”是創(chuàng)生的關(guān)鍵,“問題”決定著理解的程度,意義創(chuàng)生的內(nèi)在機制是“問題—理解—創(chuàng)生”,即研究者帶著特定的問題去閱讀文本,“使被問的東西轉(zhuǎn)入某種特定的背景中”,通過和原作者之間進行跨時空的主體間性“對話”而達成新視界,從而舊有知識獲得了整合,文本的意義也獲得了創(chuàng)生。

    系統(tǒng)性文獻綜述的特點之一是研究者在特定的研究背景下,帶著具體的問題和自身的經(jīng)驗為尋求答案而開啟和以往文獻的“對話”,并對文獻提供的“答案”進行判斷、篩選、重組與整合,使古今中外的文本突破了時空的限制,與研究者當(dāng)下情境發(fā)生有機聯(lián)結(jié),從而形成一個集歷史性與現(xiàn)實性、普遍性與特殊性于一體的新的研究成果。這一過程與“問題—理解—創(chuàng)生”的哲學(xué)詮釋學(xué)意義創(chuàng)生機制具有內(nèi)在的一致性,能夠?qū)崿F(xiàn)知識的整合與意義的創(chuàng)生,促進教育領(lǐng)域零散的知識系統(tǒng)化整合和創(chuàng)新性發(fā)展。

    (三)教育實踐轉(zhuǎn)化

    跨入實踐領(lǐng)域是認識進一步超越自身的內(nèi)在要求。相較于其他類型的文獻綜述,系統(tǒng)性文獻綜述最突出的價值在于它實現(xiàn)了“實踐—認識—實踐”的多維跨越,是理論研究、實證研究運用于實踐的橋梁和直接運用于實踐的科學(xué)依據(jù)。

    系統(tǒng)性文獻綜述的研究結(jié)果既是對研究主題所有文獻的整合,又是研究者能動性的創(chuàng)新成果,這種內(nèi)在的創(chuàng)新性決定了其與實踐決策有更緊密的聯(lián)系,也因此能夠更好地指導(dǎo)實踐,即“創(chuàng)新認識帶有更強烈的主體性、價值性,更體現(xiàn)出主體的價值取向、價值選擇;同時創(chuàng)新認識也帶有更強烈的實踐性和現(xiàn)實性、內(nèi)在地要求向?qū)嵺`決策轉(zhuǎn)化”。

    值得關(guān)注的是,當(dāng)前國內(nèi)醫(yī)療領(lǐng)域?qū)ο到y(tǒng)性文獻綜述的實踐轉(zhuǎn)化價值給予了充分的重視和落實,但教育領(lǐng)域并未充分發(fā)揮系統(tǒng)性文獻綜述教育實踐轉(zhuǎn)化的作用,許多有價值的研究成果被束之高閣,今后還需多方人員共同努力促進研究向?qū)嵺`的轉(zhuǎn)化。

    (四)調(diào)和研究范式

    純粹的思辨研究由于其固有的特質(zhì),不可避免地陷入形而上學(xué)的困境。實證研究過于注重資料本身的特點又有可能致使其忽視文化和階級等人文因素,陷入唯科學(xué)主義的泥沼。正如社會科學(xué)領(lǐng)域下的批判范式和詮釋范式所強調(diào)的那樣,純粹的實證研究難以詮釋文化、語言和階級性,研究應(yīng)著眼于對話溝通和共享言論,致力于創(chuàng)造真實的文化意義。

    系統(tǒng)性文獻綜述調(diào)和了思辨范式和實證范式、同時吸收了批判范式與詮釋范式的方法,能夠從多個視角和層次形成對教育問題的全面認識。比如,思辨研究方法以個體的理性認識能力為基礎(chǔ),以研究者的研究經(jīng)驗為研究出發(fā)點,教育研究者在運用系統(tǒng)性文獻綜述法時必須依據(jù)直觀經(jīng)驗和推理能力歸納出亟待解決的問題,定性系統(tǒng)性文獻綜述中的數(shù)據(jù)提取與結(jié)局測量指標制定等環(huán)節(jié)很大程度上也依賴研究者的邏輯思維能力,這些都體現(xiàn)了思辨的特征。而系統(tǒng)性文獻綜述的文獻檢索和搜集、明確的納入標準框架和研究質(zhì)量評價量表等又體現(xiàn)了科學(xué)嚴謹?shù)膶嵶C特征。此外,系統(tǒng)性文獻綜述研究成果向教育實踐轉(zhuǎn)化的過程也是其本土化并實現(xiàn)文化意義的過程,體現(xiàn)了批判和詮釋的特征。

    四、教育領(lǐng)域系統(tǒng)性文獻綜述的規(guī)范應(yīng)用

    系統(tǒng)性文獻綜述主要由明確問題、文獻檢索、文獻篩選、信息提取與編碼、證據(jù)綜合、結(jié)果報告六個步驟組成,考慮到為展現(xiàn)清晰明確的步驟以及定量與定性系統(tǒng)性文獻綜述在操作上的差別,本文選取《開放教育研究》2019年第1期上柳春艷等人的《SPOC翻轉(zhuǎn)課堂教學(xué)有效性的系統(tǒng)評價與元分析》作為定量系統(tǒng)性文獻綜述的案例;2022年第37期上Banihashem等人的作為定性系統(tǒng)性文獻綜述的案例,對定量和定性系統(tǒng)性文獻綜述的具體方法原理及步驟進行詳細闡述。鑒于文章篇幅,以下內(nèi)容中“綜述”均指“系統(tǒng)性文獻綜述”。

    (一) 明確問題

    1. 具體步驟

    (1)確定問題領(lǐng)域

    確定綜述所要圍繞的中心領(lǐng)域是開展綜述研究的前提。研究者需要對關(guān)鍵詞作出可操作定義,并對綜述接下來錨定的研究層次進行預(yù)設(shè),以明確問題所涉領(lǐng)域的界限。

    (2)陳述綜述背景

    陳述綜述背景能夠幫助研究者或讀者理解綜述開展的意義和目標等,從而便于研究者構(gòu)建問題框架或讀者確認綜述對其所具有的價值。研究者需要對相關(guān)領(lǐng)域的歷史研究成果做出回顧,總結(jié)當(dāng)前研究的不足或空白點等。

    (3)構(gòu)建綜述問題

    系統(tǒng)性文獻綜述的問題應(yīng)該做到精細化,其精細程度關(guān)系到后續(xù)文獻檢索和篩選的精細程度,進而影響綜述結(jié)果的精細程度。定量系統(tǒng)性文獻綜述通常可參照常用的“PICOS”模型構(gòu)建研究問題:P(Population,群體)、I(Intervention,干預(yù)措施)、C(Comparision,比較)、O(Outcome,結(jié)果)、S(Study design,研究設(shè)計)。定性系統(tǒng)性文獻綜述則可依據(jù)綜述目標靈活構(gòu)建問題概念框架。這個框架要能夠明確地陳述出需要解決的主要問題,讓研究擁有一個清晰的問題支點,以便于讀者能夠快速地抓住研究中心。

    2. 案例示范(見表1)

    (二)文獻檢索

    1. 具體步驟

    (1)確定文獻類型

    為了減少和克服發(fā)表偏倚現(xiàn)象,系統(tǒng)性文獻綜述要求廣泛納入所有類型的文獻,如學(xué)術(shù)期刊論文、會議論文、學(xué)位論文、書籍章節(jié)、政府或商業(yè)報告、政策文件等公開發(fā)表的文獻或未發(fā)表的灰色文獻。

    (2)確定文獻來源

    可以選擇中國知網(wǎng)、萬方、維普等中文數(shù)據(jù)庫或EBSCO、Web Of Science等外文數(shù)據(jù)庫文獻,此類數(shù)據(jù)庫具備良好的搜索引擎以幫助研究者進行復(fù)雜的組合搜索,還能導(dǎo)出適用于各類文獻計量分析軟件、文獻管理軟件的文獻信息格式,便于研究者進行后續(xù)分析;同時,這些數(shù)據(jù)庫有高質(zhì)量文獻合集,可以幫助研究者控制文獻質(zhì)量下限,降低文獻篩選的難度和綜述結(jié)果失真的隱患。另外,有一些報告并不容易在文獻類數(shù)據(jù)庫中呈現(xiàn),研究者應(yīng)當(dāng)盡量擴大搜索引擎和搜索范圍,比如使用百度、谷歌等,以盡可能地增強搜索的全面性。

    (3)確定檢索詞

    檢索詞是與研究問題相關(guān)的主題詞。應(yīng)該明確兩到三個中心主題詞,并盡可能羅列出所有近義詞,再通過布爾邏輯詞進行組合檢索。需要注意,在系統(tǒng)性文獻綜述的研究論文或研究報告中必須公布檢索詞和檢索式,以便讀者或后續(xù)的研究者進行再檢索,以驗證研究的嚴謹性或在新研究中查漏補缺。

    (4)確定檢索時期

    檢索時期設(shè)置應(yīng)貼合研究需要和歷史情況,對于新興領(lǐng)域或還未進行過系統(tǒng)性歷史回溯的研究領(lǐng)域,可以保持開放檢索以確保檢索全面,而對于一些成果豐富、發(fā)展成熟或在某時期已有系統(tǒng)性回溯的領(lǐng)域,應(yīng)根據(jù)特定的歷史事件發(fā)生時間或回溯截止時間設(shè)置檢索時期,補充對研究領(lǐng)域的認識。

    2. 案例示范(見表2)

    (三)文獻篩選

    1. 具體步驟

    (1)設(shè)定納入或排除標準

    研究者依據(jù)問題構(gòu)建框架和具體研究需要制定文獻納入或排除的標準,用以確定符合綜述問題需要的文獻。當(dāng)前一些研究存在著制定標準矛盾、不貼合主題等問題,所以研究者在此環(huán)節(jié)需格外注意,制定的納入標準之間必須是互斥的,且需要貼合該研究所構(gòu)建的問題。

    (2)文獻篩選

    為了避免納入文獻的科學(xué)性和客觀性受到損害,篩選環(huán)節(jié)需要不少于兩名研究者獨立進行。具體如下:使用文獻管理軟件對多數(shù)據(jù)庫來源文獻進行重復(fù)排查;閱讀標題、摘要、關(guān)鍵詞,初步排除不符合納入標準的文獻;閱讀剩余文獻具體內(nèi)容,依據(jù)納入或排除標準篩選文獻;采取“滾雪球”等辦法補充文獻選擇,避免相關(guān)文獻遺漏。

    (3)文獻質(zhì)量評價

    要制定恰當(dāng)?shù)馁|(zhì)量評價標準,并由不少于兩名研究者對納入文獻進行獨立質(zhì)量評價,確保評分者信度。質(zhì)量評價可以依照各領(lǐng)域制定的認可度較高的質(zhì)量評價工具進行,如適用于隨機對照試驗的證據(jù)質(zhì)量分級和推薦強度系統(tǒng)(the Grading of Recommendations Assessment, Development and Evaluation,GRADE)等。定性研究質(zhì)量評價工具可選用ROBINS-I、DART以及挪威知識轉(zhuǎn)化中心協(xié)同多個循證科學(xué)組織開發(fā)的定性系統(tǒng)評價證據(jù)分級工具CERQual(Confidence in the Evidence from Reviews of Qualitative Research)等。當(dāng)前許多教育類系統(tǒng)性文獻綜述文章缺少納入文獻的質(zhì)量評價環(huán)節(jié),這可能導(dǎo)致研究納入低質(zhì)量文獻,也可能納入了一些高質(zhì)量文獻,但這些高質(zhì)量文獻因其研究過程和方法與研究者的研究并不貼合,從而降低了研究結(jié)果的科學(xué)性。

    (4)報告評審過程及結(jié)果

    系統(tǒng)性文獻綜述文章應(yīng)詳細記錄文獻篩選流程,最好搭配篩選流程圖進行結(jié)果匯報;提供各文獻的質(zhì)量評價結(jié)果,并報告通過評審的文獻目錄。但由于國內(nèi)大部分期刊對發(fā)文篇幅有所限制,很難實現(xiàn)完整信息的提供。研究者可以用電子附件的形式將這部分內(nèi)容進行公示,提供鏈接以便于讀者進行后續(xù)的核對。

    2. 案例示范(見表3)

    (四)信息提取與編碼

    1. 具體步驟

    (1)確定信息提取條目

    待提取的文獻數(shù)據(jù)一般包括基本出版信息、問題構(gòu)建要素信息、質(zhì)量評價標準對應(yīng)信息以及與研究相關(guān)的其余信息,研究者應(yīng)該確定并報告信息提取條目。這一環(huán)節(jié)方便后續(xù)的研究者根據(jù)這一研究進行拓展性的綜述,在原研究結(jié)論的基礎(chǔ)上創(chuàng)新。

    (2)確定信息編碼信度

    由不少于兩名研究者獨立進行,并通過核對、協(xié)商確保高度一致性。文獻信息是證據(jù)綜合的重要基礎(chǔ),要保證綜述結(jié)果的偏差最小化,就要做到文獻信息的無偏提取。但當(dāng)前部分系統(tǒng)性文獻綜述文章存在著不闡明編碼過程、不提供編碼信度的問題,導(dǎo)致綜述結(jié)果的科學(xué)性難以證明。因此,最好能夠闡明編碼過程并提供編碼的可信程度。

    (3)報告信息提取結(jié)果

    研究要對提取結(jié)果進行完整和全面的報告,保證信息提取過程的透明度,向讀者直觀地說明“證據(jù)中的哪些信息導(dǎo)致了研究的最終結(jié)論”,便于讀者理解證據(jù)和結(jié)論之間的聯(lián)系。

    2. 案例示范(見表4)

    (五)證據(jù)綜合

    1. 具體步驟

    (1)確定證據(jù)綜合的方法

    系統(tǒng)性文獻綜述需要明確描述證據(jù)綜合所采用的方法。定量系統(tǒng)性文獻綜述一般以元分析作為證據(jù)綜合方法,元分析具備明確的統(tǒng)計原理、計算方式與偏倚分析辦法,研究者應(yīng)進行簡要說明并闡明所使用的分析工具、效應(yīng)指標、其余偏差的檢驗或排除方法等。定性系統(tǒng)性文獻綜述可采用的綜合方法較多,如扎根理論合成、元民族志、主題分析綜合法、內(nèi)容分析法、框架合成等,其更需要解釋方法論以增加綜述的透明度。當(dāng)前國內(nèi)的一些定性系統(tǒng)性文獻綜述存在著綜合形式缺乏方法論支撐的問題,這些文章只是對統(tǒng)計手段進行簡單描述,而未對方法論進行明確闡述,研究者在進行相關(guān)研究時應(yīng)格外注意這一問題。

    (2)報告證據(jù)綜合結(jié)果

    定量系統(tǒng)性文獻綜述應(yīng)該詳細報告證據(jù)綜合過程中不同證據(jù)的應(yīng)用情況、異質(zhì)性檢驗結(jié)果,以及證據(jù)綜合結(jié)果。證據(jù)綜合過程中不同證據(jù)的應(yīng)用情況反映了納入文獻與研究主題的貼合程度,異質(zhì)性檢驗結(jié)果直接關(guān)系到證據(jù)綜合時所采用的分析模型,證據(jù)綜合結(jié)果則直觀地給出了系統(tǒng)性文獻綜述所討論問題的結(jié)論,因此三者都必須被詳盡報告。定性系統(tǒng)性文獻綜述應(yīng)依據(jù)證據(jù)綜合的方法論框架,展現(xiàn)納入文獻對回答各研究問題的證據(jù)作用,并進行相應(yīng)的解釋說明。

    (3)結(jié)果分析

    由于受定量綜合過程中發(fā)表偏倚、研究異質(zhì)性、敏感性等因素的潛在影響,定量系統(tǒng)性文獻綜述特別強調(diào)對證據(jù)綜合結(jié)果可靠性的充分分析,以避免對結(jié)果產(chǎn)生誤解。這一環(huán)節(jié)的意義在于對證據(jù)綜合后產(chǎn)生的結(jié)論進行補充,交代“結(jié)論是否可信”“結(jié)論適用于什么范圍”“結(jié)論在什么情況下成立”等問題,即報告結(jié)論的信度和效度,降低研究轉(zhuǎn)入實踐環(huán)節(jié)后所產(chǎn)生的不確定性風(fēng)險。定性系統(tǒng)性文獻綜述則要深入分析概念聯(lián)系、結(jié)論差異、差異原因等,在研究內(nèi)部或研究之間進行對比或構(gòu)建聯(lián)系。

    2. 案例示范(見表5)

    (六)討論與報告

    1. 具體步驟

    (1)報告綜述結(jié)論

    對綜述發(fā)現(xiàn)進行總結(jié),并提供間接證明結(jié)論合理可行的證據(jù)。需要注意,系統(tǒng)性文獻綜述的結(jié)論有一個主要作用是指導(dǎo)實踐,其讀者不僅是科研人員,也涉及教育管理者和實踐者,因此,結(jié)論陳述需要注意語言的簡要性和可讀性。

    (2)分析綜述局限性

    研究者應(yīng)詳細分析綜述開展過程中的不足,如人為原因或歷史等一些不可控因素而導(dǎo)致的客觀性受損的問題,盡可能規(guī)避綜述存在的局限誤導(dǎo)認識和實踐的不良后果。

    (3)討論結(jié)論適用性

    研究者需要根據(jù)綜述開展過程中獲得的信息以及綜述存在的局限性,討論綜述結(jié)論的適用性。注意討論所納入的研究可能涉及的之前的實踐環(huán)境,并聯(lián)系當(dāng)今的客觀實踐去討論結(jié)論的適用范圍以及使用中的注意事項等。

    (4)撰寫結(jié)果報告

    系統(tǒng)性文獻綜述的論文或報告需要提供綜述對解決真實教育問題的指導(dǎo)意義或未來實踐價值;利用圖表說明綜述過程,增強報告的可讀性和易懂性;依據(jù)具備廣泛認可度的報告指南進行系統(tǒng)性文獻綜述報告撰寫,如適用于定量系統(tǒng)性文獻綜述的PRISMA、適用于定性系統(tǒng)性文獻綜述的ENTREQ(the Enhancing Transparency in Reporting the Synthesis of Qualitative Research)等,保證系統(tǒng)性文獻綜述過程的透明度。同時,注意再一次依據(jù)標準化指南去回顧整個系統(tǒng)性文獻綜述的過程,核對這一過程的規(guī)范性,并盡可能地提升透明度,最終形成高可信度、高透明度、高可讀性的適應(yīng)廣泛讀者需求和實踐需要的綜述。

    2.案例示范(見表6)

    五、結(jié)??語

    系統(tǒng)性文獻綜述因其科學(xué)、規(guī)范的特質(zhì)近年來在教育研究中備受重視,成為綜述領(lǐng)域的熱點方法,得到了研究者的普遍認可和廣泛應(yīng)用。但作為“舶來品”,并且在教育研究領(lǐng)域推廣時間不長,目前系統(tǒng)性文獻綜述的應(yīng)用中存在著概念混淆、執(zhí)行步驟不清晰、報告不規(guī)范等現(xiàn)實問題。針對這些問題,本文從發(fā)展歷史、內(nèi)涵價值和規(guī)范應(yīng)用步驟三個方面對系統(tǒng)性文獻綜述進行了詳細論述,并特別選取了兩個優(yōu)秀的系統(tǒng)性文獻綜述案例嚴格依照規(guī)范步驟進行闡釋說明,期望能夠?qū)ρ芯空呃斫庀到y(tǒng)性文獻綜述內(nèi)涵,規(guī)范使用該方法起到支持作用,并由此助力教育研究和實踐的科學(xué)化發(fā)展。

    [參考文獻]

    [1] CHALMERS I, HEDGES L V, COOPER H. A brief history of research synthesis[J]. Evaluation & the health professions, 2002,25(1):12-37.

    [2] HONG Q N, PIERRE P. Systematic reviews: a brief historical overview[J]. Education for information, 2018,34(4):261-276.

    [3] GLASS G V. Primary, secondary, and meta-analysis of research[J]. Education research, 1976, 6 (5):3-8.

    [4] ANDREWS R. The place of systematic reviews in education research[J]. British journal of educational studies, 2005,53(4):399-416.

    [5] 瑪塔·佩萊格里尼,朱利亞諾·維瓦內(nèi),謝晨.證據(jù)驅(qū)動的教育政策在歐洲的發(fā)展:舉措與挑戰(zhàn)[J].華東師范大學(xué)學(xué)報(教育科學(xué)版),2021,39(3):23-32.

    [6] MOHER D, LIBERATI A, TETZLAFF J, et al. Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement[J]. Journal of clinical epidemiology, 2009,62(10):1006-1012.

    [7] DIEKEMPER L R, IRELAND K B, MERZ R L. Development of the documentation and appraisal review tool for systematic reviews[J]. World journal of meta-analysis,2015,3(3):142-150.

    [8] STERNE J A C, HERNAN M A, REEVES B C, et al. ROBINS-I: a tool for assessing risk of bias in non-randomised studies of interventions[J]. British medicine journal, 2016,355:i4919.

    [9] 姚計海.“文獻法”是研究方法嗎——兼談研究整合法[J].國家教育行政學(xué)院學(xué)報,2017(7):89-94.

    [10] 吳重涵.教育實證研究中綜述什么:研究方法論的視角[J].現(xiàn)代遠程教育研究,2017(1):21-25.

    [11] 毛良斌,鄭全全.元分析的特點、方法及其應(yīng)用的現(xiàn)狀分析[J].應(yīng)用心理學(xué),2005(4):354-359.

    [12] 柳春艷,李丹,張寶仁,胡曉玲.SPOC翻轉(zhuǎn)課堂教學(xué)有效性的系統(tǒng)評價與元分析[J].開放教育研究,2019,25(1):82- 91,36.

    [13] 鐘柏昌,黃水艷.合作學(xué)習(xí)動態(tài)分組的研究進展與思考——基于國際文獻的系統(tǒng)綜述[J].開放教育研究,2021, 27(4):85-97.

    [14] 卜彩麗,曹婉迎,靳宇,等.教學(xué)視頻設(shè)計的原則、理論基礎(chǔ)與評價工具研究——基于國外72篇實證研究的系統(tǒng)綜述[J].現(xiàn)代遠距離教育,2021,194(2):35-44.

    [15] 龔禮林,趙蔚,劉陽,等.近十年國際K-12領(lǐng)域機器人教育研究最新進展及啟示——基于系統(tǒng)性文獻綜述法[J].中國遠程教育,2020,542(3):25-34.

    [16] BENNETT J, LUBBEN F, HOGARTH S, CAMPBELL B. Systematic reviews of research in science education:rigour or rigidity?[J]. International journal of science education, 2005,27(4):387-406.

    [17] 楊克虎.循證社會科學(xué)的產(chǎn)生、發(fā)展與未來[J].圖書與情報,2018(3):1-10.

    [18] 毛子琪,李艷燕,張慕華,李曉然,李新.CSCL中群體感知工具能提升學(xué)習(xí)效果嗎?——基于2002—2021年國內(nèi)外35篇實證研究文獻的元分析[J].現(xiàn)代教育技術(shù),2023,33(3):65-74.

    [19] 王浩,唐愛民.虛擬現(xiàn)實更能引發(fā)學(xué)生共情?——基于19項隨機對照實驗的元分析[J].開放教育研究,2023,29(1):60-69.

    [20] 姚倩,逯行,張軍.數(shù)字化轉(zhuǎn)型期如何培養(yǎng)職前教師的數(shù)字勝任力?——基于2012—2022年25項國際實證研究的系統(tǒng)性文獻綜述[J]. 現(xiàn)代教育技術(shù), 2023,33(3):36-45.

    [21] 蔣艷雙,朱立新,逯行,高紅英.虛擬游戲如何支持孤獨癥兒童教育?——基于國際研究的系統(tǒng)性文獻綜述[J].現(xiàn)代遠程教育研究,2022,34(3):104-112.

    [22] 馮曉英,何春,宋佳欣,孫洪濤.“互聯(lián)網(wǎng)+”教師專業(yè)發(fā)展的實踐模式、規(guī)律與原則——基于國內(nèi)外核心期刊的系統(tǒng)性文獻綜述[J].開放教育研究,2022,28(6):37-51.

    [23] 李新,李艷燕.基于系統(tǒng)性文獻綜述的國外學(xué)習(xí)投入實證研究分析[J].現(xiàn)代遠程教育研究,2021,33(2):73-83,95.

    [24] 伽達默爾.真理與方法[M].洪漢鼎,譯.上海:上海譯文出版社,1999.

    [25] 彭啟福.哲學(xué)詮釋學(xué)中的“問題意識”[J].安徽師范大學(xué)學(xué)報(人文社會科學(xué)版),2005(4):424-428.

    [26] 翁世盛.馬克思主義認識論的本質(zhì)是實踐創(chuàng)新論[J].中共福建省委黨校學(xué)報,2002(7):6-8.

    A Systematic Literature Review in the Field of Education:

    Essence, Value and Realization

    HU Xiaoling, WEI Muchun, YUAN Min1, ZHANG Hui

    (1.Institute of Higher Education, Lanzhou University, Lanzhou Gansu 730000,

    2.Health Emergency Office of Gansu Health Commission, Lanzhou Gansu 730030)

    [Abstract]?Systematic literature review is a research method used to conduct standardized screening and evaluation and systematic analysis and synthesis of research results under a certain research topic, so as to realize knowledge integration and obtain more objective conclusions. In recent years, systematic literature review has become the mainstream review research method in the world, and it has been gradually paid attention to in China and?widely used in many fields. However, the understanding of systematic literature review in the field of education in China is still vague, and there are still many deficiencies in the normative and procedural aspects of its application. This paper traces the historical reasons and process of systematic literature review in the field of education, explores the definition, categories and multiple values of systematic literature review in the field of education, and puts forward specific methods and steps to standardize its application in the field of education according to the scientific steps of this method, in order to help the scientific development and practice of systematic literature review in education.

    [Keywords]?Education Field; Systematic Literature Review; Systematic Evaluation; Implementation Steps

    猜你喜歡
    系統(tǒng)評價教育領(lǐng)域
    人工智能視閾下教育領(lǐng)域各層次的戰(zhàn)略管理框架
    時代人物(2019年27期)2019-10-23 06:12:10
    3D顯示技術(shù)在教育領(lǐng)域的應(yīng)用研究
    中藥注射劑治療冠心病的系統(tǒng)評價再評價
    高壓氧治療血管性癡呆隨機對照試驗的Meta分析
    利卡汀聯(lián)合肝動脈栓塞化療治療中晚期肝癌的效果及安全性的系統(tǒng)評價
    細辛腦注射液治療慢性阻塞性肺疾病急性加重期療效的Meta分析
    丹紅注射液治療特發(fā)性肺纖維化臨床療效及安全性的Meta分析
    教育領(lǐng)域綜合改革成功運行的三大機制
    銀杏葉注射液治療急性腦梗死隨機對照試驗的系統(tǒng)評價
    對深化教育領(lǐng)域綜合改革的初步認識
    99热这里只有是精品在线观看| 91成人精品电影| 国产极品天堂在线| 亚洲国产毛片av蜜桃av| 亚洲av免费高清在线观看| 国产亚洲欧美精品永久| 亚洲av中文av极速乱| 久久亚洲国产成人精品v| 麻豆精品久久久久久蜜桃| 久久99热这里只频精品6学生| 最新中文字幕久久久久| 久久女婷五月综合色啪小说| 国产片特级美女逼逼视频| 午夜免费鲁丝| 亚洲av.av天堂| 亚洲久久久国产精品| 亚洲国产色片| av天堂久久9| 日韩中字成人| 美女脱内裤让男人舔精品视频| 亚洲精品久久成人aⅴ小说 | 亚洲精品日韩在线中文字幕| 高清在线视频一区二区三区| 久久久久国产精品人妻一区二区| 色吧在线观看| 成人手机av| 制服丝袜香蕉在线| 高清视频免费观看一区二区| 国产在线一区二区三区精| 精品国产国语对白av| 亚洲欧洲日产国产| 国产成人精品久久久久久| 亚洲第一av免费看| 日日撸夜夜添| 99国产综合亚洲精品| 人妻人人澡人人爽人人| 中文字幕最新亚洲高清| 日韩中字成人| 亚洲成色77777| 国产免费又黄又爽又色| 国产精品久久久久久久久免| 国产 精品1| 国产一区二区在线观看日韩| 国产成人一区二区在线| 国产亚洲av片在线观看秒播厂| 欧美成人午夜免费资源| 久久精品久久久久久久性| 午夜91福利影院| 日本wwww免费看| .国产精品久久| 赤兔流量卡办理| 国产色婷婷99| 亚洲精品乱码久久久v下载方式| av在线播放精品| 国产欧美另类精品又又久久亚洲欧美| 午夜av观看不卡| 美女大奶头黄色视频| 欧美+日韩+精品| 国产色婷婷99| 精品人妻一区二区三区麻豆| 春色校园在线视频观看| 国产日韩一区二区三区精品不卡 | av网站免费在线观看视频| 老女人水多毛片| 高清毛片免费看| 国产欧美日韩一区二区三区在线 | 国产亚洲av片在线观看秒播厂| 精品亚洲成国产av| 91成人精品电影| 老熟女久久久| 飞空精品影院首页| 亚洲精品日本国产第一区| 中国国产av一级| 黑人高潮一二区| 亚洲精品乱码久久久久久按摩| videosex国产| 久久狼人影院| 免费少妇av软件| 内地一区二区视频在线| 久久 成人 亚洲| 黑人高潮一二区| 肉色欧美久久久久久久蜜桃| 秋霞在线观看毛片| 超碰97精品在线观看| 亚洲国产精品国产精品| 中文字幕制服av| 欧美一级a爱片免费观看看| 久久精品久久久久久久性| 一区二区三区四区激情视频| a级毛片免费高清观看在线播放| 日本vs欧美在线观看视频| 精品国产一区二区三区久久久樱花| 丰满饥渴人妻一区二区三| 色婷婷久久久亚洲欧美| 女人精品久久久久毛片| 成人黄色视频免费在线看| 边亲边吃奶的免费视频| 欧美日本中文国产一区发布| 欧美精品高潮呻吟av久久| 美女视频免费永久观看网站| 老司机影院成人| 黄色毛片三级朝国网站| 大话2 男鬼变身卡| 亚洲精品456在线播放app| 日韩欧美精品免费久久| √禁漫天堂资源中文www| 亚洲精品视频女| 你懂的网址亚洲精品在线观看| 成人亚洲欧美一区二区av| 欧美变态另类bdsm刘玥| 99久久精品一区二区三区| 熟妇人妻不卡中文字幕| 欧美亚洲日本最大视频资源| 国产69精品久久久久777片| 韩国av在线不卡| 丰满饥渴人妻一区二区三| 美女国产高潮福利片在线看| 中文乱码字字幕精品一区二区三区| 亚洲精品日本国产第一区| 老司机亚洲免费影院| 精品卡一卡二卡四卡免费| 91精品国产国语对白视频| 一二三四中文在线观看免费高清| 91在线精品国自产拍蜜月| 久久久久久久精品精品| 在线观看三级黄色| 精品一区二区免费观看| 视频区图区小说| 久久久久精品久久久久真实原创| 国产一区二区三区av在线| 视频区图区小说| 日韩伦理黄色片| 极品人妻少妇av视频| 亚洲怡红院男人天堂| 中文欧美无线码| 一区在线观看完整版| 国产一区二区在线观看日韩| 久久精品国产自在天天线| 久久99蜜桃精品久久| 一区二区日韩欧美中文字幕 | 亚洲精品成人av观看孕妇| 一二三四中文在线观看免费高清| 国产成人av激情在线播放 | 精品久久久噜噜| 亚洲国产精品国产精品| 久久久久网色| 我的女老师完整版在线观看| 免费观看av网站的网址| 免费大片黄手机在线观看| 欧美激情国产日韩精品一区| 国产精品人妻久久久久久| 伊人久久国产一区二区| 又黄又爽又刺激的免费视频.| 乱码一卡2卡4卡精品| 亚洲第一区二区三区不卡| 性高湖久久久久久久久免费观看| 久久久久久久久久成人| 80岁老熟妇乱子伦牲交| 日日摸夜夜添夜夜添av毛片| 欧美老熟妇乱子伦牲交| av卡一久久| 久久久久久久久久久久大奶| 在线看a的网站| 美女主播在线视频| 久久久精品94久久精品| 高清不卡的av网站| 国产 精品1| 天天影视国产精品| 女人久久www免费人成看片| 蜜臀久久99精品久久宅男| 亚洲av福利一区| 好男人视频免费观看在线| 18禁动态无遮挡网站| 午夜视频国产福利| av有码第一页| 一级,二级,三级黄色视频| 国产成人免费观看mmmm| 免费大片18禁| 曰老女人黄片| 亚洲少妇的诱惑av| 在线精品无人区一区二区三| 亚洲精品aⅴ在线观看| 桃花免费在线播放| 在线观看免费高清a一片| 麻豆乱淫一区二区| 国产一区有黄有色的免费视频| 亚洲久久久国产精品| 天堂中文最新版在线下载| 精品国产一区二区久久| 9色porny在线观看| 热99国产精品久久久久久7| 99久久人妻综合| 九草在线视频观看| 视频在线观看一区二区三区| 成人国语在线视频| 高清不卡的av网站| a级毛色黄片| 亚洲久久久国产精品| 男的添女的下面高潮视频| 国产精品人妻久久久影院| 精品卡一卡二卡四卡免费| 亚洲av不卡在线观看| 国产伦理片在线播放av一区| 制服丝袜香蕉在线| 日本色播在线视频| 国产日韩一区二区三区精品不卡 | 三上悠亚av全集在线观看| 日韩成人伦理影院| 两个人的视频大全免费| 最近最新中文字幕免费大全7| 99久久综合免费| 美女视频免费永久观看网站| 国产毛片在线视频| 国产午夜精品久久久久久一区二区三区| 2018国产大陆天天弄谢| 日韩亚洲欧美综合| 乱码一卡2卡4卡精品| 久久久久久久久久人人人人人人| 国产一区二区在线观看日韩| 国产精品女同一区二区软件| 熟女人妻精品中文字幕| 日韩视频在线欧美| 人成视频在线观看免费观看| 国产一区亚洲一区在线观看| 精品卡一卡二卡四卡免费| 97在线人人人人妻| 色94色欧美一区二区| 成人黄色视频免费在线看| 午夜激情久久久久久久| 中文字幕av电影在线播放| 中文字幕亚洲精品专区| 看十八女毛片水多多多| 国产国语露脸激情在线看| 黄色毛片三级朝国网站| 亚洲国产成人一精品久久久| 不卡视频在线观看欧美| 成人手机av| 国产精品一区二区在线不卡| 五月天丁香电影| 亚洲丝袜综合中文字幕| 亚洲欧美一区二区三区黑人 | 91精品一卡2卡3卡4卡| 国产永久视频网站| 成人漫画全彩无遮挡| 免费日韩欧美在线观看| 97在线人人人人妻| 大话2 男鬼变身卡| 七月丁香在线播放| 成人18禁高潮啪啪吃奶动态图 | 亚洲性久久影院| 午夜av观看不卡| 国产日韩一区二区三区精品不卡 | 国产欧美亚洲国产| 国产精品无大码| 久久综合国产亚洲精品| 香蕉精品网在线| 国产成人精品在线电影| 97超视频在线观看视频| 国产老妇伦熟女老妇高清| 久热这里只有精品99| 亚洲av日韩在线播放| 夫妻午夜视频| 国产乱来视频区| 国产一区二区三区综合在线观看 | 亚洲欧洲国产日韩| 国产亚洲最大av| 人妻 亚洲 视频| 肉色欧美久久久久久久蜜桃| av又黄又爽大尺度在线免费看| 免费观看的影片在线观看| 午夜免费观看性视频| 日本与韩国留学比较| 大片免费播放器 马上看| 午夜影院在线不卡| 天天躁夜夜躁狠狠久久av| 色哟哟·www| 少妇熟女欧美另类| 国产成人精品福利久久| 极品人妻少妇av视频| 高清欧美精品videossex| 国产亚洲精品第一综合不卡 | 亚洲av国产av综合av卡| 美女主播在线视频| av在线播放精品| 亚洲av在线观看美女高潮| 亚洲经典国产精华液单| 草草在线视频免费看| 99九九在线精品视频| 亚洲丝袜综合中文字幕| 大话2 男鬼变身卡| 午夜久久久在线观看| 99热6这里只有精品| 99re6热这里在线精品视频| 日本与韩国留学比较| 午夜福利视频精品| 亚洲av成人精品一区久久| 美女大奶头黄色视频| 国产日韩一区二区三区精品不卡 | 成年人免费黄色播放视频| 日韩伦理黄色片| 亚洲四区av| 免费人成在线观看视频色| 亚洲精品乱码久久久久久按摩| 99九九线精品视频在线观看视频| 欧美成人精品欧美一级黄| 免费观看在线日韩| 免费av中文字幕在线| 韩国av在线不卡| 国产欧美亚洲国产| 女人精品久久久久毛片| 春色校园在线视频观看| 亚洲丝袜综合中文字幕| 91国产中文字幕| 99九九在线精品视频| 欧美97在线视频| 欧美日韩在线观看h| 美女福利国产在线| 欧美97在线视频| 男人操女人黄网站| av不卡在线播放| 蜜桃在线观看..| 成人国产av品久久久| 免费不卡的大黄色大毛片视频在线观看| a级毛片免费高清观看在线播放| 日韩一区二区三区影片| 久久精品人人爽人人爽视色| 国产精品国产三级国产av玫瑰| 人妻少妇偷人精品九色| 国产探花极品一区二区| 国产伦精品一区二区三区视频9| 国产精品嫩草影院av在线观看| 蜜桃在线观看..| 人人妻人人澡人人看| 在线 av 中文字幕| 精品人妻在线不人妻| 最黄视频免费看| 春色校园在线视频观看| 考比视频在线观看| 亚洲欧洲国产日韩| 一级黄片播放器| 女性生殖器流出的白浆| 免费久久久久久久精品成人欧美视频 | 日韩欧美一区视频在线观看| 日本与韩国留学比较| 精品卡一卡二卡四卡免费| 午夜视频国产福利| 日本色播在线视频| 婷婷色综合www| 日韩成人伦理影院| 桃花免费在线播放| 一级黄片播放器| 人人妻人人澡人人爽人人夜夜| 久久久国产一区二区| 亚洲av不卡在线观看| 在线看a的网站| 久久99热这里只频精品6学生| 一个人免费看片子| 只有这里有精品99| 久久久久久久精品精品| tube8黄色片| 91午夜精品亚洲一区二区三区| 免费观看无遮挡的男女| 欧美变态另类bdsm刘玥| 国产国语露脸激情在线看| 亚洲人与动物交配视频| 女人久久www免费人成看片| 午夜激情久久久久久久| 欧美3d第一页| 国产熟女欧美一区二区| 18禁在线播放成人免费| 精品亚洲成a人片在线观看| 亚洲av国产av综合av卡| 精品国产国语对白av| 精品亚洲乱码少妇综合久久| 久久99精品国语久久久| 午夜免费鲁丝| 亚洲av成人精品一区久久| 成人毛片60女人毛片免费| 最近中文字幕高清免费大全6| 免费少妇av软件| 国产一区二区在线观看日韩| 99久国产av精品国产电影| 午夜免费观看性视频| 日韩制服骚丝袜av| a级毛色黄片| 亚洲欧美一区二区三区黑人 | 97超碰精品成人国产| 成人毛片a级毛片在线播放| 一边亲一边摸免费视频| 欧美 亚洲 国产 日韩一| 久久精品国产亚洲av天美| 亚洲无线观看免费| 日韩一本色道免费dvd| 亚洲内射少妇av| 丝袜脚勾引网站| 精品一区二区三卡| 国产成人精品在线电影| 国产熟女午夜一区二区三区 | 久久毛片免费看一区二区三区| 亚洲精品美女久久av网站| 18在线观看网站| 制服人妻中文乱码| 亚洲精品日本国产第一区| 丁香六月天网| 高清午夜精品一区二区三区| 亚洲国产av影院在线观看| 18禁在线无遮挡免费观看视频| 免费看av在线观看网站| 熟女av电影| freevideosex欧美| 午夜久久久在线观看| 久久久久网色| 精品一区二区三卡| 两个人的视频大全免费| 九色成人免费人妻av| 99久久综合免费| 欧美日韩亚洲高清精品| 免费看光身美女| 亚洲内射少妇av| 十八禁高潮呻吟视频| 大香蕉久久成人网| 亚洲四区av| 女性生殖器流出的白浆| 久久影院123| 夜夜爽夜夜爽视频| 美女主播在线视频| 秋霞在线观看毛片| 你懂的网址亚洲精品在线观看| 青青草视频在线视频观看| 丝袜喷水一区| 亚洲色图 男人天堂 中文字幕 | 免费av中文字幕在线| av在线老鸭窝| 日韩精品有码人妻一区| 水蜜桃什么品种好| 精品酒店卫生间| av一本久久久久| 国产一区有黄有色的免费视频| 久久久午夜欧美精品| 9色porny在线观看| 最近的中文字幕免费完整| 十八禁高潮呻吟视频| 少妇高潮的动态图| 午夜福利网站1000一区二区三区| 我的女老师完整版在线观看| 国产成人免费无遮挡视频| 妹子高潮喷水视频| 国产精品蜜桃在线观看| 午夜免费男女啪啪视频观看| 精品熟女少妇av免费看| 最近最新中文字幕免费大全7| 99久久人妻综合| 精品久久久久久久久亚洲| 欧美精品亚洲一区二区| 亚洲成色77777| 最近中文字幕高清免费大全6| 亚洲人成网站在线观看播放| 亚州av有码| av线在线观看网站| 69精品国产乱码久久久| 亚洲五月色婷婷综合| 亚洲欧美精品自产自拍| 欧美日韩国产mv在线观看视频| 国产欧美亚洲国产| 黄片播放在线免费| 少妇被粗大的猛进出69影院 | 美女国产高潮福利片在线看| 人妻制服诱惑在线中文字幕| 国产高清国产精品国产三级| 国产精品麻豆人妻色哟哟久久| 国产精品秋霞免费鲁丝片| 亚洲精品中文字幕在线视频| 精品人妻偷拍中文字幕| 91精品国产国语对白视频| 日韩一区二区视频免费看| 大码成人一级视频| av线在线观看网站| 哪个播放器可以免费观看大片| 最近2019中文字幕mv第一页| 精品熟女少妇av免费看| 国模一区二区三区四区视频| 欧美最新免费一区二区三区| 天天操日日干夜夜撸| 99久国产av精品国产电影| 精品人妻一区二区三区麻豆| 欧美xxⅹ黑人| 嫩草影院入口| 九草在线视频观看| 黑人欧美特级aaaaaa片| 高清毛片免费看| 狠狠婷婷综合久久久久久88av| 亚洲内射少妇av| 丰满饥渴人妻一区二区三| 伦精品一区二区三区| 成人国产av品久久久| 一区二区三区免费毛片| 男人添女人高潮全过程视频| 亚洲色图 男人天堂 中文字幕 | 久久女婷五月综合色啪小说| 亚洲综合色网址| 亚洲欧美日韩另类电影网站| 大香蕉久久网| 国产男女内射视频| 亚洲av不卡在线观看| 国产免费福利视频在线观看| 成人无遮挡网站| 人人妻人人爽人人添夜夜欢视频| 丰满乱子伦码专区| 久久婷婷青草| 亚洲内射少妇av| 午夜免费观看性视频| 国产男人的电影天堂91| 亚洲第一av免费看| 中文精品一卡2卡3卡4更新| 一级爰片在线观看| 日韩中文字幕视频在线看片| 国产高清三级在线| 亚洲国产欧美在线一区| 亚洲三级黄色毛片| 最近最新中文字幕免费大全7| 久久精品久久久久久噜噜老黄| 久久精品夜色国产| 国产永久视频网站| av女优亚洲男人天堂| 母亲3免费完整高清在线观看 | 亚洲丝袜综合中文字幕| 国产亚洲欧美精品永久| 中文字幕久久专区| 午夜激情久久久久久久| 免费人成在线观看视频色| 2018国产大陆天天弄谢| 久久狼人影院| 有码 亚洲区| 国产色爽女视频免费观看| 777米奇影视久久| 青春草视频在线免费观看| 精品久久国产蜜桃| 午夜免费男女啪啪视频观看| av一本久久久久| 国产毛片在线视频| 色视频在线一区二区三区| 日韩,欧美,国产一区二区三区| 久久ye,这里只有精品| 精品亚洲成a人片在线观看| 精品一区二区免费观看| 久久久久久久久久久丰满| 精品久久久久久电影网| 国产亚洲精品第一综合不卡 | 国产高清国产精品国产三级| 麻豆成人av视频| 视频中文字幕在线观看| 黄色配什么色好看| 精品少妇久久久久久888优播| 不卡视频在线观看欧美| 精品少妇久久久久久888优播| 国产成人精品福利久久| 国产免费一区二区三区四区乱码| 色网站视频免费| 午夜老司机福利剧场| 色网站视频免费| 性色avwww在线观看| 一级毛片黄色毛片免费观看视频| 一本一本综合久久| 成人毛片a级毛片在线播放| 最近的中文字幕免费完整| 国产精品偷伦视频观看了| 婷婷成人精品国产| 哪个播放器可以免费观看大片| 国产欧美日韩一区二区三区在线 | 免费看av在线观看网站| 日韩伦理黄色片| 伊人久久国产一区二区| 亚洲一级一片aⅴ在线观看| 欧美97在线视频| 日韩av免费高清视频| 国产精品不卡视频一区二区| 日韩成人av中文字幕在线观看| 免费大片黄手机在线观看| 在线观看免费高清a一片| 国产av码专区亚洲av| 亚洲四区av| 日韩一本色道免费dvd| 麻豆乱淫一区二区| 日本午夜av视频| 黑人巨大精品欧美一区二区蜜桃 | 一级片'在线观看视频| 另类亚洲欧美激情| 综合色丁香网| .国产精品久久| 一本一本综合久久| 亚洲激情五月婷婷啪啪| 国产精品国产三级国产专区5o| 国产精品一国产av| 久久精品国产亚洲av天美| 女人精品久久久久毛片| 成年女人在线观看亚洲视频| 一级a做视频免费观看| kizo精华| 啦啦啦视频在线资源免费观看| av.在线天堂| 狂野欧美白嫩少妇大欣赏| 免费观看a级毛片全部| 国产在线一区二区三区精| 一级片'在线观看视频| 热99久久久久精品小说推荐| 国产黄片视频在线免费观看| 插逼视频在线观看| a 毛片基地| 国产熟女午夜一区二区三区 | 一区二区av电影网| 新久久久久国产一级毛片| 免费久久久久久久精品成人欧美视频 | 九九久久精品国产亚洲av麻豆| 一级爰片在线观看| 国产精品一区二区在线不卡|