• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    外語(yǔ)寫作思辨能力評(píng)價(jià)效度研究*
    ——基于多面Rasch模型分析

    2021-07-19 02:08:46北京科技大學(xué)馬利紅北京師范大學(xué)
    關(guān)鍵詞:評(píng)分標(biāo)準(zhǔn)效度外語(yǔ)

    北京科技大學(xué) 馬利紅 北京師范大學(xué) 劉 堅(jiān)

    提 要:采用多面Rasch模型,以913名高中生為研究對(duì)象,從被試、評(píng)分員、任務(wù)和評(píng)分標(biāo)準(zhǔn)四個(gè)層面對(duì)外語(yǔ)寫作思辨能力評(píng)價(jià)進(jìn)行效度驗(yàn)證。研究結(jié)果顯示:(1)包含提出問題、表達(dá)觀點(diǎn)、提供證據(jù)、推理論證、得出結(jié)論、闡釋評(píng)價(jià)的評(píng)價(jià)框架符合多面Rasch模型的測(cè)評(píng)要求,能體現(xiàn)并合理區(qū)分被試的外語(yǔ)寫作思辨能力。(2)推理論證和提供證據(jù)對(duì)測(cè)試結(jié)果的整體效度有一定影響,需要進(jìn)一步完善。研究結(jié)果對(duì)于外語(yǔ)教學(xué)中的思辨能力培養(yǎng)與評(píng)價(jià)具有一定的啟示意義。

    1.研究背景

    作為21世紀(jì)核心技能,思辨能力近年來受到國(guó)內(nèi)外教育界廣泛關(guān)注。思辨能力與寫作關(guān)系密切,寫作過程既是提出觀點(diǎn)、組織證據(jù)、開展論證和反思的過程,又是分析、推理、評(píng)價(jià)和自我調(diào)控的思辨過程(Deane,2011),思辨能力影響寫作成績(jī)(高宵、文秋芳,2018)。研究表明,寫作文本是評(píng)價(jià)思辨能力的有力工具(Stapleton,2001),通過寫作文本評(píng)價(jià)思辨能力是思辨能力測(cè)評(píng)發(fā)展的重要趨勢(shì)(Preiss,2013;馬利紅、劉堅(jiān),2018)。外語(yǔ)寫作思辨能力既具有思辨能力的共性,又具有外語(yǔ)寫作的特性,常常指寫作時(shí)分析事實(shí)、表達(dá)觀點(diǎn)、堅(jiān)持立場(chǎng)、開展論證和解決問題的能力(Barnawi,2011)。目前,外語(yǔ)寫作思辨能力評(píng)價(jià)研究主要針對(duì)大學(xué)外語(yǔ)學(xué)習(xí)者(Barnawi,2011;Chason,2016;Stapleton,2001;穆叢軍,2016),對(duì)其他學(xué)段關(guān)注不夠;而且以往研究構(gòu)建的外語(yǔ)寫作思辨能力評(píng)價(jià)框架主要以理論構(gòu)建和經(jīng)驗(yàn)總結(jié)為主,缺乏通過實(shí)證研究進(jìn)行效度驗(yàn)證(陳則航等,2016;董焱寧,2017)。

    發(fā)展心理學(xué)研究表明,青少年的獨(dú)立性和批判性顯著發(fā)展,不但能批判地對(duì)待別人的意見,而且能有意識(shí)地調(diào)節(jié)、支配、檢查和論證自己的思維過程(林崇德,1998:382)?!镀胀ǜ咧杏⒄Z(yǔ)課程標(biāo)準(zhǔn)(2017年版)》(以下簡(jiǎn)稱課標(biāo))強(qiáng)調(diào)要發(fā)展學(xué)生的多元思維和批判性思維。臺(tái)灣和香港地區(qū)的相關(guān)研究表明,通過外語(yǔ)寫作培養(yǎng)和評(píng)價(jià)中學(xué)生的思辨能力是可行的(Liaw,2007;Mok,2009)。因此,本研究以高中生為研究對(duì)象探索外語(yǔ)寫作思辨能力評(píng)價(jià)效度問題,本研究既有政策依據(jù),又有實(shí)證研究支持,對(duì)于高中英語(yǔ)教學(xué)和《課標(biāo)》落地具有重要的現(xiàn)實(shí)意義。

    2.評(píng)價(jià)指標(biāo)的確定

    以往外語(yǔ)寫作思辨能力評(píng)價(jià)研究主要關(guān)注思辨能力和思辨標(biāo)準(zhǔn),比如Connors(2008)從問題的完整性、答案的精確性與簡(jiǎn)潔性、結(jié)論的嚴(yán)謹(jǐn)性、能否結(jié)合案例討論、整體論證質(zhì)量;Stapleton(2001)從結(jié)論邏輯性、論點(diǎn)數(shù)量、證據(jù)充分性、識(shí)別反駁、回應(yīng)反駁、謬誤數(shù)量;Qin和Karabacak(2010)基于圖爾敏論證模型從論證、證據(jù)、反面論證、反面證據(jù)、反駁論證、反駁證據(jù);Osana和Seymour(2004)從基于證據(jù)、得出結(jié)論、不同視角論證等方面分析和評(píng)價(jià)等,這些都是從思辨能力視角開展的評(píng)價(jià)研究。另外,穆從軍(2016)從相關(guān)度、清晰度、精確度、深度、寬度和修辭自洽度;McLean(2005)從清晰度、相關(guān)性、深度、邏輯性、精確性、寬度和支持度;董焱寧(2017)從清晰性、準(zhǔn)確性、精確性、深度、廣度、重要性、相關(guān)性、邏輯性和公正性等方面構(gòu)建外語(yǔ)寫作思辨能力評(píng)價(jià)標(biāo)準(zhǔn),而這些是從思辨標(biāo)準(zhǔn)視角開展的評(píng)價(jià)研究。從思辨能力視角開展評(píng)價(jià)研究,強(qiáng)調(diào)外語(yǔ)寫作思辨的具體技能,但忽略了評(píng)價(jià)應(yīng)堅(jiān)持的標(biāo)準(zhǔn),容易降低評(píng)價(jià)結(jié)果的科學(xué)性;從思辨標(biāo)準(zhǔn)視角開展評(píng)價(jià)研究,雖重視外語(yǔ)寫作思辨質(zhì)量評(píng)價(jià)應(yīng)遵循的標(biāo)準(zhǔn),但弱化了評(píng)價(jià)的具體對(duì)象,導(dǎo)致評(píng)價(jià)的可操作性不強(qiáng)。

    本研究以思辨能力三元結(jié)構(gòu)模型(Paul & Elder,2006)為理論依據(jù),將思辨能力(包括目的、問題、觀點(diǎn)、信息、推理、概念、假設(shè)、啟示)和思辨標(biāo)準(zhǔn)(包括清晰性、準(zhǔn)確性、精準(zhǔn)性、相關(guān)性、重要性、完整性、邏輯性、公正性、有廣度、有深度)共同融入高中外語(yǔ)寫作中。通過寫作文本分析初步篩選評(píng)價(jià)指標(biāo),基于三輪專家調(diào)查進(jìn)一步凝練評(píng)價(jià)指標(biāo)并完善其內(nèi)涵。(1)高中外語(yǔ)寫作思辨能力評(píng)價(jià)指標(biāo)的確定過程將另文表述,感興趣的讀者可與研究者聯(lián)系索取。最后形成的外語(yǔ)寫作思辨能力評(píng)價(jià)指標(biāo)體系包括提出問題、表達(dá)觀點(diǎn)、提供證據(jù)、推理論證、得出結(jié)論和闡釋評(píng)價(jià)(如表1所示)。

    表1.外語(yǔ)寫作思辨能力評(píng)價(jià)指標(biāo)

    上述指標(biāo)體系借鑒了思辨能力三元結(jié)構(gòu)模型的理論觀點(diǎn),并通過動(dòng)態(tài)交互的教師訪談、學(xué)生訪談和專家訪談,篩選和完善評(píng)價(jià)指標(biāo),彌補(bǔ)了以往研究相對(duì)靜態(tài)的、線性的基于文本視角的局限性,但是評(píng)價(jià)指標(biāo)的效度還需要通過實(shí)證研究檢驗(yàn)。本研究擬根據(jù)上述評(píng)價(jià)指標(biāo)命制英語(yǔ)寫作題目并進(jìn)行測(cè)試,通過多面Rasch模型對(duì)上述評(píng)價(jià)指標(biāo)進(jìn)行效度驗(yàn)證。

    3.研究方法

    1)研究對(duì)象

    2018年1月上旬,通過方便抽樣和目的抽樣相結(jié)合的方法,對(duì)H、K和S三個(gè)城市6所高中共1 001名學(xué)生進(jìn)行英語(yǔ)寫作測(cè)試。收集完數(shù)據(jù)后,研究者首先對(duì)作文進(jìn)行編號(hào),隱去姓名、學(xué)校等信息,并剔除無(wú)效作文,共得到有效信息913人,其中男生394人,約占43.2%,女生519人,約占56.8%。

    2)研究工具

    研究工具是兩道英語(yǔ)寫作題目。Azizollah等人(2013)發(fā)現(xiàn)學(xué)生在不同類型的寫作任務(wù)中表現(xiàn)出來的思辨能力不同,這說明評(píng)價(jià)外語(yǔ)寫作思辨能力應(yīng)該考慮寫作任務(wù)的類型。根據(jù)認(rèn)知需求,寫作任務(wù)類型分為信息類、觀點(diǎn)類和推理類,信息類任務(wù)要求學(xué)習(xí)者敘述個(gè)人信息、以書面形式與讀者交流,觀點(diǎn)類任務(wù)要求學(xué)習(xí)者就某一主題表達(dá)觀點(diǎn)、形成論證、以書面形式辯護(hù)自己的立場(chǎng),推理類任務(wù)要求學(xué)習(xí)者通過推理總結(jié)和整合已有信息(Prabhu,1987)。由此可見,觀點(diǎn)類任務(wù)是考查思辨能力的最佳任務(wù)類型。盡管高中英語(yǔ)寫作中的常見文體包括記敘文、應(yīng)用文、說明文和議論文四種,但研究表明議論文在激發(fā)和評(píng)價(jià)思辨能力方面具有獨(dú)特優(yōu)勢(shì)(如Qin & Karabacak,2010;Stapleton,2001),因此本研究中的英語(yǔ)寫作重點(diǎn)關(guān)注議論文。

    基于表1中的外語(yǔ)寫作思辨能力評(píng)價(jià)指標(biāo),研究者編制了雙向細(xì)目表,以充滿矛盾觀點(diǎn)且高中生熟悉的語(yǔ)言材料為素材,讓被試提出問題、表達(dá)觀點(diǎn)、基于證據(jù)進(jìn)行論證、得出結(jié)論并對(duì)其進(jìn)行反思評(píng)價(jià)。然后通過6人訪談、30人試測(cè)、專家審題、300人試測(cè)等規(guī)范程序進(jìn)一步研磨題目。最終用于測(cè)試的寫作題目包括兩部分內(nèi)容,一是閱讀材料,約150—200個(gè)單詞;二是寫作指令,約40—50個(gè)單詞。研究表明,在有時(shí)間壓力的情況下,思維能力難以充分發(fā)展(秦曉晴、文秋芳,2007)。因此,本研究的寫作測(cè)試時(shí)間比高考英語(yǔ)寫作延長(zhǎng)0.5倍,設(shè)定為45分鐘。

    3)評(píng)分過程

    評(píng)分前需要根據(jù)評(píng)價(jià)指標(biāo)和寫作題目研制外語(yǔ)寫作思辨能力評(píng)分標(biāo)準(zhǔn)。評(píng)分標(biāo)準(zhǔn)要適合被試的心智發(fā)展和外語(yǔ)水平,反映測(cè)試構(gòu)念,評(píng)分檔數(shù)量應(yīng)切實(shí)可行(McKay,2006)。本研究采用直覺法和數(shù)據(jù)法相結(jié)合,通過初步擬定評(píng)分標(biāo)準(zhǔn)、專家審閱、試評(píng)、試評(píng)數(shù)據(jù)分析、討論修訂等步驟研制評(píng)分標(biāo)準(zhǔn)。最終形成的分項(xiàng)評(píng)分標(biāo)準(zhǔn)包括提出問題、表達(dá)觀點(diǎn)、提供證據(jù)、推理論證、得出結(jié)論和闡釋評(píng)價(jià)六個(gè)評(píng)分點(diǎn),每個(gè)評(píng)分點(diǎn)包括0—4五個(gè)分?jǐn)?shù)等級(jí)。

    本研究中的評(píng)分過程包括評(píng)分前培訓(xùn)、試評(píng)、正式評(píng)分、抽查四個(gè)環(huán)節(jié)。研究者首先詳細(xì)講解外語(yǔ)寫作思辨能力評(píng)分標(biāo)準(zhǔn),然后讓評(píng)分員試評(píng)60份寫作樣本(題目1和2各30份),將評(píng)分結(jié)果與評(píng)分標(biāo)準(zhǔn)對(duì)比,討論理解有誤的地方,直至評(píng)分員完全掌握評(píng)分標(biāo)準(zhǔn)。正式評(píng)分實(shí)行雙評(píng),即兩位評(píng)分員獨(dú)立對(duì)一份寫作文本進(jìn)行評(píng)分,如果評(píng)分差異在預(yù)先設(shè)定的閾值范圍內(nèi)(本研究閾值設(shè)為2),取二者的平均分作為最終得分;如果評(píng)分差值超過2,則由研究者進(jìn)行三評(píng)。為保證評(píng)分結(jié)果的準(zhǔn)確性,研究者抽取10%左右的寫作文本進(jìn)行核查。

    根據(jù)經(jīng)典測(cè)驗(yàn)理論,評(píng)分員信度是主觀題測(cè)試的重要信度指標(biāo),通常用評(píng)分員間的評(píng)分一致性表示。本研究中,兩名評(píng)分員采用分項(xiàng)評(píng)分法對(duì)913份寫作文本進(jìn)行獨(dú)立評(píng)分,適合運(yùn)用斯皮爾曼(Spearman)等級(jí)相關(guān)計(jì)算評(píng)分員間的評(píng)分一致性。以寫作任務(wù)一為例,相關(guān)分析結(jié)果表明,兩位評(píng)分員在提出問題、表達(dá)觀點(diǎn)、提供證據(jù)、推理論證、得出結(jié)論和闡釋評(píng)價(jià)6個(gè)評(píng)分點(diǎn)所評(píng)分?jǐn)?shù)高度相關(guān)(0.711<ρ<0.994),而且兩位評(píng)分員在每個(gè)評(píng)分點(diǎn)所評(píng)分?jǐn)?shù)的平均數(shù)差異不顯著(p>0.5),進(jìn)一步說明評(píng)分員之間具有較好的評(píng)分一致性。

    4)采用多面Rasch模型的理?yè)?jù)及統(tǒng)計(jì)量解釋

    (1)采用多面Rasch模型的理?yè)?jù)

    Linacre(1989)提出的多面Rasch模型能用來衡量評(píng)分員的寬嚴(yán)程度和評(píng)分一致性,修正由評(píng)分員造成的評(píng)分差異,檢測(cè)被試能力、評(píng)分標(biāo)準(zhǔn)、評(píng)分員、評(píng)分項(xiàng)目、任務(wù)等各面之間可能存在的交互效應(yīng),為檢查開放題評(píng)分質(zhì)量提供了一種理論框架。因此,本研究采用多面Rasch模型,從評(píng)分員層面、學(xué)生層面、任務(wù)層面和評(píng)分標(biāo)準(zhǔn)層面分析高中英語(yǔ)寫作思辨能力評(píng)價(jià)效度問題,所建立的分析模型如下:

    Log[Pnijmk/Pnijm(k-1)]=Bn-Cj-Di-Fm-Gmk

    Pnijmk代表被試n在完成寫作任務(wù)i時(shí)在第m個(gè)評(píng)分指標(biāo)上由評(píng)分員j給出k分的概率;Pnijm(k-1)被試n在完成寫作任務(wù)i時(shí)在第m個(gè)評(píng)分指標(biāo)上由評(píng)分員j給出k-1分的概率;Bn代表被試n的能力參數(shù);Cj代表評(píng)分員j的寬嚴(yán)程度;Di代表寫作任務(wù)的難度;Fm代表第m個(gè)評(píng)分指標(biāo)的難度參數(shù);Gmk代表在第m個(gè)評(píng)分標(biāo)準(zhǔn)中被試得分從k-1到k的等級(jí)難度。

    (2)多面Rasch模型中的統(tǒng)計(jì)量解釋

    本研究采用軟件Facets進(jìn)行多面Rach模型分析。多面Rasch 模型為測(cè)量側(cè)面中的每個(gè)要素都提供測(cè)量值(measure)、標(biāo)準(zhǔn)差(S.E.)和擬合統(tǒng)計(jì)量(Fit)。measure代表研究者想要測(cè)量的對(duì)象,如被試能力、評(píng)分員的寬嚴(yán)程度等;S.E.提供每個(gè)測(cè)量值的精確程度;Fit代表原始觀測(cè)值與模型估計(jì)值之間的差異程度,包括Infit MsSq(加權(quán)均方擬合統(tǒng)計(jì)量)和Outfit MsSq(未加權(quán)均方擬合統(tǒng)計(jì)量)。Outfit對(duì)異常值比較敏感,波動(dòng)較大,一般使用Infit作為擬合統(tǒng)計(jì)量的指標(biāo),理論區(qū)間為[0,+∞],期望值為1,Infit沒有固定的取值范圍,一般設(shè)定為0.5—1.5(Linacre,1989)。

    多面Rasch模型還提供分隔系數(shù)(Separation)和分隔信度(Reliability)。分隔系數(shù)為校正后的測(cè)量值的標(biāo)準(zhǔn)差,一般大于3.0就說明存在顯著差異;分隔信度為真實(shí)變異與觀測(cè)數(shù)據(jù)變異的比值,比值越高表明測(cè)量側(cè)面的區(qū)分度越好(Linacre,1989)。另外,多面Rasch模型中偏差分析的最重要指標(biāo)是T值,T值的均值為0,一般界限值為|T|=2,若T值大于2,表明評(píng)分員過于寬松,若T值小于-2,表明評(píng)分員過于嚴(yán)格(Linacre,1989)。

    4.研究發(fā)現(xiàn)

    本研究中的測(cè)試得分受被試能力水平、評(píng)分員嚴(yán)厲程度、寫作任務(wù)難度、評(píng)分標(biāo)準(zhǔn)區(qū)分度四方面因素影響。假設(shè)不同評(píng)分員對(duì)不同被試、不同任務(wù)和不同評(píng)分指標(biāo)的嚴(yán)厲程度不同,在數(shù)據(jù)分析時(shí)加入了不同層面的交互作用。下面從多面Rasch模型總體分析、不同層面分析、偏差分析三方面匯報(bào)分析結(jié)果。

    1)多面Rasch模型總體分析

    圖1是多面Rasch模型的整體層面圖,第一列為洛基值(Logits),第二列是評(píng)分員層面,第三列是被試層面,第四列是寫作任務(wù)層面,第五列是評(píng)分標(biāo)準(zhǔn)層面。在多面Rasch模型中,各層面以及各層面指標(biāo)之間的比較和分析均基于洛基值。本研究中,被試層面的表現(xiàn)是正向的,表示測(cè)量值越大,被試的思辨能力就越強(qiáng);評(píng)分員、寫作任務(wù)和評(píng)分標(biāo)準(zhǔn)層面是負(fù)向的,表示測(cè)量值越大,評(píng)分員越嚴(yán)厲、寫作任務(wù)越難,被試在某個(gè)評(píng)價(jià)指標(biāo)上獲得高分的概率越低。

    圖1.多面Rasch模型層面圖

    根據(jù)圖1,兩名評(píng)分員的嚴(yán)厲程度和兩項(xiàng)寫作任務(wù)的難度均存在差異。六項(xiàng)評(píng)價(jià)指標(biāo)中,得出結(jié)論最難,提出問題最容易。被試分布在4個(gè)洛基值之間,跨度基本合理,表示評(píng)分的離散程度較好。

    2)分層面分析

    多面Rasch模型的優(yōu)勢(shì)在于不但能將各面統(tǒng)一在同一量表進(jìn)行估算,而且能提供每個(gè)層面的統(tǒng)計(jì)數(shù)據(jù)。

    (1)評(píng)分員層面

    從表2可以看出,評(píng)分員1(Logits=0.54)比評(píng)分員2嚴(yán)厲(Logits=0.44),但I(xiàn)nfit值在可接受的范圍內(nèi),表明兩位評(píng)分員的評(píng)分較為可信。評(píng)分員層面的分割系數(shù)為1.67,信度為.74,卡方檢驗(yàn)結(jié)果(χ2=3.8,df=1,p=0.5)說明兩位評(píng)分員之間的評(píng)分差異不具有統(tǒng)計(jì)學(xué)上的顯著意義,即兩位評(píng)分員的評(píng)分較為一致。

    表2.評(píng)分員層面

    Separation=1.67,Reliability=.74,χ2=3.8,df=1,P=.05

    (2)被試層面

    因被試較多,表3按測(cè)量值高低截取了被試層面的部分分析結(jié)果。根據(jù)表3,被試層面的分割系數(shù)為2.08,信度為.81,卡方檢驗(yàn)統(tǒng)計(jì)量為683.4(df=166),說明被試的得分差異具有統(tǒng)計(jì)學(xué)上的顯著意義(p<0.001)。另外,本研究中非擬合被試有18名,占總?cè)藬?shù)的1.9%;過度擬合被試50人,其中|Z|大于2的有34人,(2)|Z|>2表示被試顯著過度擬合。占總?cè)藬?shù)的5%,表明非擬合被試和過度擬合被試人數(shù)均在可接受的范圍內(nèi)(Linacre,1989)。

    Separation=2.08,Reliability=.81,χ2=683.4,df=166,p=.00

    統(tǒng)計(jì)結(jié)果顯示,大約93%的被試的原始評(píng)分與模型估計(jì)的期望測(cè)量值擬合較好,表明被試的外語(yǔ)寫作思辨能力能被科學(xué)、準(zhǔn)確測(cè)量。盡管有極端值存在,但數(shù)量在可接受的范圍內(nèi)。因此,本評(píng)分結(jié)果基本能反映被試的外語(yǔ)寫作思辨能力,評(píng)價(jià)指標(biāo)的構(gòu)念效度較好。

    (3)寫作任務(wù)層面

    從表4可以看出,寫作任務(wù)2(Logits=.03)比寫作任務(wù)1難(Logits=-.03)。但I(xiàn)nfit值在可接受的范圍內(nèi),表明兩項(xiàng)寫作任務(wù)較為可信。分割信度值.68雖然不高,但分割系數(shù).62遠(yuǎn)遠(yuǎn)小于3,表明兩個(gè)寫作任務(wù)之間不存在明顯差異。卡方值為1.4(df=1),表明兩項(xiàng)寫作任務(wù)之間的差異不顯著(p=.24),即二者難度較為一致。

    表4.寫作任務(wù)層面

    Separation=.62,Reliability=.68,χ2=1.4,df=1,p=.24

    (4)評(píng)分標(biāo)準(zhǔn)層面

    表5所示,分割系數(shù)為9.89,分割信度為.99,卡方值62.2(df=5),顯著性p=.00,表明各評(píng)價(jià)指標(biāo)的難度和區(qū)分度具有統(tǒng)計(jì)學(xué)意義上的顯著差異。相對(duì)而言,得出結(jié)論最難,提出問題最容易,而且論證能力和提供證據(jù)的Infit擬合不太理想,|Z|值大于2,表明對(duì)推理論證和提供證據(jù)的評(píng)分受其他評(píng)分指標(biāo)影響,研究者需進(jìn)一步明確推理論證和提供證據(jù)的操作性定義和評(píng)分細(xì)則。除推理論證和提供證據(jù)外,其他評(píng)分指標(biāo)對(duì)模型的擬合均在可接受的范圍內(nèi),各指標(biāo)間相關(guān)合理,且沒有出現(xiàn)過度擬合,表明評(píng)分員能準(zhǔn)確使用評(píng)分標(biāo)準(zhǔn)進(jìn)行評(píng)分,通過評(píng)分結(jié)果可以區(qū)分出不同水平的被試。

    表5.評(píng)分標(biāo)準(zhǔn)層面

    多面Rasch模型還可對(duì)評(píng)分等級(jí)是否有效進(jìn)行評(píng)價(jià)。參照各評(píng)分等級(jí)的概率曲線圖(如圖2所示)可觀察分值的使用情況,每個(gè)波形對(duì)應(yīng)一個(gè)分值,各波形的交點(diǎn)就是相鄰兩個(gè)分值的臨界點(diǎn)。圖2表明,所有波形都有獨(dú)立且具有一定間隔的波峰,表示每個(gè)評(píng)分等級(jí)對(duì)應(yīng)一個(gè)能力區(qū)域(Park,2004)。

    圖2.評(píng)分等級(jí)概率曲線圖

    3)偏差分析

    雖然分層面分析可發(fā)現(xiàn)一般意義上的評(píng)分誤差,但各層面間的交互作用還需進(jìn)行偏差分析。偏差分析指實(shí)際分?jǐn)?shù)偏離模型預(yù)測(cè)值的程度。本研究將考察評(píng)分員與被試、寫作任務(wù)、評(píng)分標(biāo)準(zhǔn)之間的交互作用,并設(shè)定|T|大于2為顯著偏差。

    (1)評(píng)分員與被試的偏差分析

    偏差分析時(shí),需要對(duì)主效應(yīng)模型進(jìn)行拓展,添加交互效應(yīng)參數(shù),評(píng)分員與被試之間的偏差分析需要添加評(píng)分員與被試的交互效應(yīng)參數(shù)Φnj,其他指標(biāo)都與主效應(yīng)一致,拓展后的模型為:

    Log[Pnijmk/Pnijm(k-1)]=Bn-Cj-Di-Fm-Gmk-Φjn

    本研究共有1826對(duì)評(píng)分員與被試的交互效應(yīng)組合(913×2)。表6按T值大小,將評(píng)分員與被試的交互效應(yīng)進(jìn)行排列,沒有出現(xiàn)|T|大于2的偏差組合。根據(jù)卡方檢驗(yàn)結(jié)果(χ2=27.7,df=334,p=1.00),評(píng)分員與被試之間的偏差并不顯著,表明評(píng)分員對(duì)所有被試的評(píng)分都可能保持較好的一致性。

    表6.評(píng)分員與被試的偏差分析結(jié)果

    (2)評(píng)分員與寫作任務(wù)的偏差分析

    評(píng)分員與寫作任務(wù)的偏差分析可考察評(píng)分員一致性在不同寫作任務(wù)上的表現(xiàn),若偏差顯著,說明評(píng)分員對(duì)不同任務(wù)的評(píng)分不一致。

    評(píng)分員與寫作任務(wù)的偏差分析需要添加評(píng)分員與任務(wù)的交互效應(yīng)參數(shù)Φji,拓展后的模型為:

    Log[Pnijmk/Pnijm(k-1)]=Bn-Cj-Di-Fm-Gmk-Φji

    本研究共有4對(duì)評(píng)分員與被試的交互效應(yīng)組合(2×2),表7表明評(píng)分員與寫作任務(wù)之間沒有出現(xiàn)|T|大于2的偏差組合。根據(jù)卡方檢驗(yàn)結(jié)果(χ2=.1,df=4,p=1.00),評(píng)分員與寫作任務(wù)之間的偏差并不顯著,表明評(píng)分員在兩個(gè)寫作任務(wù)上都可能保持較好的一致性。

    表7.評(píng)分員與寫作任務(wù)的偏差分析結(jié)果

    (3)評(píng)分員與評(píng)分標(biāo)準(zhǔn)的偏差分析

    評(píng)分員與評(píng)分標(biāo)準(zhǔn)的偏差分析可以考察評(píng)分員在哪些評(píng)分指標(biāo)上出現(xiàn)偏差,偏差程度如何,偏差顯著表明評(píng)分員對(duì)每項(xiàng)評(píng)分指標(biāo)的評(píng)分不一致。

    評(píng)分員與評(píng)分標(biāo)準(zhǔn)之間的偏差分析需要添加評(píng)分員與評(píng)分標(biāo)準(zhǔn)的偏差參數(shù)Φjm,拓展后的模型為:

    Log[Pnijmk/Pnijm(k-1)]=Bn-Cj-Di-Fm-Gmk-Φjm

    本研究共有12對(duì)評(píng)分員與評(píng)分標(biāo)準(zhǔn)的交互效應(yīng)組合(2×6),表8表明評(píng)分員與評(píng)分標(biāo)準(zhǔn)之間沒有出現(xiàn)|T|大于2的偏差組合。根據(jù)卡方檢驗(yàn)結(jié)果(χ2=4.4,df=12,p=.97),評(píng)分員與評(píng)分標(biāo)準(zhǔn)的偏差并不顯著,表明評(píng)分員在六個(gè)評(píng)分指標(biāo)上都可能保持較好的一致性。

    表8.評(píng)分員與評(píng)分標(biāo)準(zhǔn)的偏差分析結(jié)果

    綜上所述,評(píng)分員與被試、寫作任務(wù)、評(píng)分標(biāo)準(zhǔn)之間的交互作用并不顯著,表明評(píng)分員在對(duì)兩個(gè)寫作任務(wù)評(píng)分時(shí),在提出問題、表達(dá)觀點(diǎn)、提供證據(jù)、推理論證、得出結(jié)論、闡釋評(píng)價(jià)6個(gè)評(píng)分點(diǎn)上均能保持較好的一致性,進(jìn)一步說明本研究中的外語(yǔ)寫作思辨能力評(píng)價(jià)效度較好。

    5.討論與啟示

    根據(jù)多面Rasch模型對(duì)評(píng)分員、被試、寫作任務(wù)、評(píng)分標(biāo)準(zhǔn)的分析以及偏差分析結(jié)果,可得出以下結(jié)論:(1)包含提出問題、表達(dá)觀點(diǎn)、提供證據(jù)、推理論證、得出結(jié)論、闡釋評(píng)價(jià)6個(gè)評(píng)分指標(biāo)的外語(yǔ)寫作思辨能力評(píng)價(jià)框架符合多面Rasch模型的關(guān)鍵測(cè)量指標(biāo)要求,具有較好的效度,能體現(xiàn)并合理區(qū)分被試的外語(yǔ)寫作思辨能力,適用于外語(yǔ)寫作思辨能力的評(píng)分。(2)推理論證和提供證據(jù)對(duì)測(cè)試結(jié)果的整體效度有一定影響,需要進(jìn)一步完善這兩個(gè)子項(xiàng)的操作性定義,通過更大樣本被試進(jìn)行效度驗(yàn)證,也可通過訪談、觀察等質(zhì)性研究手段進(jìn)一步探索評(píng)價(jià)指標(biāo)的內(nèi)涵。

    本研究中的多面Rasch模型分析結(jié)果整體上與Connors(2008)構(gòu)建的多步分析評(píng)價(jià)標(biāo)準(zhǔn)的效度驗(yàn)證結(jié)果一致,為外語(yǔ)寫作思辨能力評(píng)價(jià)提供了效度證據(jù),也證實(shí)了Liaw(2007)在臺(tái)灣和Mok(2009)在香港中學(xué)外語(yǔ)課堂的研究發(fā)現(xiàn)。本研究從評(píng)分員層面、寫作任務(wù)層面、評(píng)價(jià)標(biāo)準(zhǔn)層面和被試層面多角度考慮外語(yǔ)寫作思辨能力評(píng)價(jià)的效度證據(jù),是對(duì)以往研究的有益補(bǔ)充。思辨能力是伴隨寫作過程并指導(dǎo)寫作過程的高層次思維。寫作中的布局謀篇和說理論證需要思辨能力,而思辨能力的發(fā)展可以通過寫作表現(xiàn)來實(shí)現(xiàn)(余繼英,2014)。外語(yǔ)寫作活動(dòng)既是語(yǔ)言運(yùn)用活動(dòng),又是思辨活動(dòng),二者相互影響、相得益彰,通過寫作文本評(píng)價(jià)思辨能力是思辨能力測(cè)評(píng)發(fā)展的重要趨勢(shì)(Preiss,2013;馬利紅,2018)。研究結(jié)果表明,合理的評(píng)價(jià)指標(biāo)是保證外語(yǔ)寫作思辨能力評(píng)價(jià)效度的關(guān)鍵,科學(xué)系統(tǒng)的效度檢驗(yàn)有助于發(fā)現(xiàn)影響評(píng)價(jià)效度的因素。

    在實(shí)踐層面上,本研究構(gòu)建的評(píng)價(jià)指標(biāo)不但能對(duì)外語(yǔ)寫作思辨能力進(jìn)行評(píng)價(jià),而且對(duì)外語(yǔ)教學(xué)中的思辨能力測(cè)評(píng)和培養(yǎng)具有啟示意義。

    首先,在命題、評(píng)分、效度驗(yàn)證三個(gè)方面對(duì)外語(yǔ)教學(xué)中的思辨能力測(cè)評(píng)研究具有啟示意義。思辨能力是一個(gè)復(fù)雜整體,任何思辨能力評(píng)價(jià)工具都具有局限性,需要從多角度收集效度證據(jù)。本研究采用多面Rasch模型收集效度證據(jù),為進(jìn)一步提高思辨能力測(cè)試記錄的一致性、提高分?jǐn)?shù)解釋的意義和概括性、改進(jìn)試題質(zhì)量提供了參考和借鑒?;谕庹Z(yǔ)寫作文本評(píng)價(jià)思辨能力,是在高中外語(yǔ)教學(xué)領(lǐng)域以開放題形式評(píng)價(jià)思辨能力的有益嘗試,考查思辨能力的外語(yǔ)寫作試題的命題思路、命題過程、評(píng)分過程、評(píng)分方法、評(píng)分標(biāo)準(zhǔn)的設(shè)計(jì)等,可為外語(yǔ)教學(xué)領(lǐng)域以開放題形式測(cè)評(píng)思辨能力提供可以借鑒的實(shí)踐經(jīng)驗(yàn)。

    其次,本研究構(gòu)建的外語(yǔ)寫作思辨能力評(píng)價(jià)指標(biāo)體系以思辨能力三元結(jié)構(gòu)模型為理論基礎(chǔ),結(jié)合高中生的心智特征和英語(yǔ)寫作水平,且經(jīng)過了系統(tǒng)的效度驗(yàn)證,評(píng)價(jià)指標(biāo)可為高中英語(yǔ)教師開展思辨能力培養(yǎng)提供參考和借鑒。具體講,外語(yǔ)寫作思辨能力評(píng)價(jià)結(jié)果可以為參測(cè)學(xué)生和教師提供詳細(xì)的診斷信息,對(duì)于教師發(fā)現(xiàn)教學(xué)盲點(diǎn),改善教學(xué)方法,調(diào)整教學(xué)策略有積極作用。教師可從熟悉話題入手,鼓勵(lì)學(xué)生質(zhì)疑權(quán)威,提出問題,表達(dá)觀點(diǎn),多角度論證,運(yùn)用批判性寫作技巧,讓文章更有說服力。在平時(shí)英語(yǔ)教學(xué)中,可以多給學(xué)生提供機(jī)會(huì)表達(dá)觀點(diǎn),通過論證、反證、推理等思維過程,得出結(jié)論或提出建議。地方教育決策者也可以通過評(píng)價(jià)結(jié)果了解作為英語(yǔ)學(xué)科核心素養(yǎng)之一的思維品質(zhì)培養(yǎng)在英語(yǔ)教學(xué)中的落實(shí)情況,以便在教學(xué)資源配置、課程設(shè)置、教師專業(yè)培訓(xùn)等方面做出決策和調(diào)整。

    猜你喜歡
    評(píng)分標(biāo)準(zhǔn)效度外語(yǔ)
    慈善募捐規(guī)制中的國(guó)家與社會(huì):兼論《慈善法》的效度和限度
    外語(yǔ)教育:“高大上”+“接地氣”
    海峽姐妹(2018年3期)2018-05-09 08:20:43
    永遠(yuǎn)的格紋
    優(yōu)雅(2017年11期)2017-11-11 08:59:21
    初高中英語(yǔ)作文評(píng)分標(biāo)準(zhǔn)初探
    海峽兩岸高考語(yǔ)文作文評(píng)分標(biāo)準(zhǔn)的比較研究
    大山教你學(xué)外語(yǔ)
    大山教你學(xué)外語(yǔ)
    被看重感指數(shù)在中國(guó)大學(xué)生中的構(gòu)念效度
    針對(duì)TOPIK評(píng)分標(biāo)準(zhǔn)的韓國(guó)語(yǔ)寫作教育
    外語(yǔ)形成性評(píng)估的效度驗(yàn)證框架
    免费在线观看视频国产中文字幕亚洲 | 日韩电影二区| 免费看十八禁软件| 国产亚洲一区二区精品| 久久99精品国语久久久| 999久久久国产精品视频| 国产成人免费无遮挡视频| 国产片内射在线| 最新在线观看一区二区三区 | 桃花免费在线播放| 久久这里只有精品19| 日本色播在线视频| 日韩av不卡免费在线播放| 九草在线视频观看| 国产伦理片在线播放av一区| 韩国精品一区二区三区| 欧美精品亚洲一区二区| 久久精品亚洲熟妇少妇任你| 啦啦啦在线免费观看视频4| 久久久久精品国产欧美久久久 | 看十八女毛片水多多多| 国产午夜精品一二区理论片| 黑人巨大精品欧美一区二区蜜桃| 丝袜脚勾引网站| 99久久综合免费| 午夜福利视频精品| 久久人人爽av亚洲精品天堂| 狂野欧美激情性xxxx| 丝袜人妻中文字幕| 男女下面插进去视频免费观看| 熟女av电影| 91成人精品电影| 亚洲专区中文字幕在线| 亚洲三区欧美一区| 丝袜脚勾引网站| 欧美 亚洲 国产 日韩一| √禁漫天堂资源中文www| 国产在线一区二区三区精| 一级片'在线观看视频| 欧美日韩福利视频一区二区| 中文欧美无线码| 精品福利永久在线观看| 精品国产一区二区三区久久久樱花| 中文乱码字字幕精品一区二区三区| 精品少妇内射三级| 久久影院123| 日韩中文字幕视频在线看片| 巨乳人妻的诱惑在线观看| 亚洲国产最新在线播放| 成人黄色视频免费在线看| 亚洲欧美一区二区三区黑人| 亚洲精品美女久久av网站| 赤兔流量卡办理| 国产真人三级小视频在线观看| 热re99久久精品国产66热6| 欧美 亚洲 国产 日韩一| 免费一级毛片在线播放高清视频 | 亚洲精品日韩在线中文字幕| 欧美97在线视频| 热re99久久精品国产66热6| 亚洲精品第二区| 一区二区三区乱码不卡18| 亚洲欧洲精品一区二区精品久久久| 最黄视频免费看| 大香蕉久久成人网| 日韩一本色道免费dvd| 叶爱在线成人免费视频播放| 美女高潮到喷水免费观看| 国产成人一区二区在线| 在线观看一区二区三区激情| 18禁观看日本| 亚洲中文字幕日韩| 国产精品久久久久久精品电影小说| 国产成人免费无遮挡视频| 日本av手机在线免费观看| 自拍欧美九色日韩亚洲蝌蚪91| 嫁个100分男人电影在线观看 | 日韩中文字幕欧美一区二区 | 免费在线观看完整版高清| 宅男免费午夜| av视频免费观看在线观看| 新久久久久国产一级毛片| 欧美日韩亚洲高清精品| 日韩 亚洲 欧美在线| 国产片特级美女逼逼视频| 黄色a级毛片大全视频| 一级毛片女人18水好多 | 亚洲欧美色中文字幕在线| 久久精品熟女亚洲av麻豆精品| 亚洲欧美色中文字幕在线| 久久狼人影院| 欧美精品高潮呻吟av久久| 免费黄频网站在线观看国产| 国产亚洲一区二区精品| 国产精品免费视频内射| 水蜜桃什么品种好| 亚洲欧美中文字幕日韩二区| 亚洲欧美清纯卡通| 无限看片的www在线观看| 国产免费视频播放在线视频| 日日夜夜操网爽| 精品卡一卡二卡四卡免费| 真人做人爱边吃奶动态| 啦啦啦在线免费观看视频4| 中文字幕高清在线视频| 美女福利国产在线| 欧美性长视频在线观看| 免费日韩欧美在线观看| 一二三四在线观看免费中文在| 日日夜夜操网爽| 久久青草综合色| 免费在线观看日本一区| 99久久综合免费| 最近手机中文字幕大全| 亚洲精品av麻豆狂野| 热re99久久国产66热| 高潮久久久久久久久久久不卡| 69精品国产乱码久久久| 国产精品偷伦视频观看了| 久久性视频一级片| 日韩精品免费视频一区二区三区| 一本大道久久a久久精品| 夜夜骑夜夜射夜夜干| 亚洲av片天天在线观看| 9191精品国产免费久久| 欧美乱码精品一区二区三区| 最近手机中文字幕大全| 91精品伊人久久大香线蕉| 黄色毛片三级朝国网站| 男男h啪啪无遮挡| 亚洲av片天天在线观看| 最近手机中文字幕大全| av电影中文网址| 91九色精品人成在线观看| 国产精品久久久久成人av| 老司机影院成人| 夜夜骑夜夜射夜夜干| a级毛片黄视频| 国产精品一区二区精品视频观看| 一边摸一边做爽爽视频免费| 亚洲三区欧美一区| 大片免费播放器 马上看| 亚洲精品国产av成人精品| 五月天丁香电影| 国产精品一区二区精品视频观看| 欧美性长视频在线观看| 国产黄色视频一区二区在线观看| 亚洲五月色婷婷综合| 日韩一区二区三区影片| 亚洲,一卡二卡三卡| 高清欧美精品videossex| 精品久久久精品久久久| netflix在线观看网站| 欧美日韩av久久| 丰满饥渴人妻一区二区三| 美女视频免费永久观看网站| 97在线人人人人妻| 国产淫语在线视频| 欧美精品高潮呻吟av久久| 免费在线观看完整版高清| 精品国产一区二区三区久久久樱花| 亚洲九九香蕉| 你懂的网址亚洲精品在线观看| 久久久久精品人妻al黑| 精品国产一区二区三区四区第35| 美女视频免费永久观看网站| 久久精品国产a三级三级三级| 亚洲精品在线美女| 777久久人妻少妇嫩草av网站| 国产成人免费无遮挡视频| 黄片播放在线免费| 午夜福利影视在线免费观看| 人妻人人澡人人爽人人| 一本久久精品| 曰老女人黄片| 国产精品久久久久久精品古装| 亚洲专区中文字幕在线| 亚洲少妇的诱惑av| 亚洲欧美色中文字幕在线| 亚洲av美国av| 亚洲av电影在线进入| 免费观看av网站的网址| 交换朋友夫妻互换小说| 久久精品成人免费网站| 一区在线观看完整版| xxx大片免费视频| 成人影院久久| 在线观看免费高清a一片| 一本综合久久免费| 天堂俺去俺来也www色官网| 午夜免费成人在线视频| 午夜影院在线不卡| 国产不卡av网站在线观看| 亚洲精品美女久久久久99蜜臀 | 男女下面插进去视频免费观看| 亚洲激情五月婷婷啪啪| 亚洲精品自拍成人| 久久精品亚洲av国产电影网| 人人妻人人澡人人看| 桃花免费在线播放| 精品一区在线观看国产| 成人三级做爰电影| 多毛熟女@视频| 午夜福利视频精品| 欧美国产精品va在线观看不卡| 免费日韩欧美在线观看| 女人被躁到高潮嗷嗷叫费观| 欧美精品高潮呻吟av久久| 国产精品国产av在线观看| 肉色欧美久久久久久久蜜桃| 久久99精品国语久久久| 美女主播在线视频| 亚洲国产中文字幕在线视频| 亚洲欧美日韩高清在线视频 | 国产又爽黄色视频| 久久天堂一区二区三区四区| 成人亚洲精品一区在线观看| 一级毛片黄色毛片免费观看视频| 欧美精品人与动牲交sv欧美| 青草久久国产| 日韩中文字幕视频在线看片| 制服人妻中文乱码| 天天添夜夜摸| 日本a在线网址| 别揉我奶头~嗯~啊~动态视频 | 在线看a的网站| 丝袜人妻中文字幕| 人人妻人人澡人人看| √禁漫天堂资源中文www| 91九色精品人成在线观看| 久久久精品区二区三区| 丁香六月天网| 亚洲久久久国产精品| 国产精品 国内视频| 色婷婷av一区二区三区视频| 伦理电影免费视频| 一本综合久久免费| 午夜两性在线视频| 亚洲精品一区蜜桃| 一区福利在线观看| 成在线人永久免费视频| 超色免费av| 精品欧美一区二区三区在线| 黑人欧美特级aaaaaa片| 亚洲精品日本国产第一区| 亚洲专区国产一区二区| 手机成人av网站| 亚洲欧美一区二区三区久久| 啦啦啦视频在线资源免费观看| 一级片'在线观看视频| 国产欧美日韩综合在线一区二区| 欧美精品一区二区大全| 欧美黄色片欧美黄色片| 午夜福利乱码中文字幕| 在线观看一区二区三区激情| 天天躁夜夜躁狠狠躁躁| 激情视频va一区二区三区| 亚洲欧美激情在线| 日韩一区二区三区影片| 欧美 亚洲 国产 日韩一| 国语对白做爰xxxⅹ性视频网站| 久久久精品94久久精品| 国产国语露脸激情在线看| 成人黄色视频免费在线看| 18禁黄网站禁片午夜丰满| 亚洲欧洲日产国产| 亚洲,一卡二卡三卡| 免费看av在线观看网站| 久久天堂一区二区三区四区| 久久99一区二区三区| 国产97色在线日韩免费| 国产成人免费无遮挡视频| 丝袜在线中文字幕| 国产精品二区激情视频| a级毛片在线看网站| 高清av免费在线| 国产1区2区3区精品| 每晚都被弄得嗷嗷叫到高潮| 日本黄色日本黄色录像| 免费人妻精品一区二区三区视频| 婷婷丁香在线五月| 热99国产精品久久久久久7| 午夜两性在线视频| 黄片小视频在线播放| 亚洲激情五月婷婷啪啪| 国产精品亚洲av一区麻豆| 丝袜美足系列| 午夜视频精品福利| 国产在线免费精品| 一区二区三区精品91| 国产一区二区 视频在线| 国产亚洲av高清不卡| 成人午夜精彩视频在线观看| 五月开心婷婷网| 欧美日韩一级在线毛片| 国产免费视频播放在线视频| 纯流量卡能插随身wifi吗| 高清视频免费观看一区二区| 久久性视频一级片| 亚洲情色 制服丝袜| 婷婷成人精品国产| www.av在线官网国产| 欧美精品一区二区大全| 777米奇影视久久| 9191精品国产免费久久| 极品少妇高潮喷水抽搐| 黄色一级大片看看| 国产熟女午夜一区二区三区| 久久青草综合色| 精品少妇一区二区三区视频日本电影| 国产成人系列免费观看| 老司机影院毛片| 免费在线观看黄色视频的| 久久 成人 亚洲| 亚洲av综合色区一区| 亚洲成av片中文字幕在线观看| 1024视频免费在线观看| 欧美国产精品一级二级三级| 国产精品一区二区精品视频观看| 免费少妇av软件| 国产精品一区二区在线观看99| 免费观看a级毛片全部| 国产高清国产精品国产三级| 色婷婷久久久亚洲欧美| 精品国产一区二区三区四区第35| 另类精品久久| 韩国精品一区二区三区| 亚洲av日韩精品久久久久久密 | 18在线观看网站| 丰满人妻熟妇乱又伦精品不卡| 日本a在线网址| 中文欧美无线码| √禁漫天堂资源中文www| 国产精品99久久99久久久不卡| 精品一区二区三卡| 久久久国产精品麻豆| 少妇人妻 视频| 日日摸夜夜添夜夜爱| 晚上一个人看的免费电影| 人妻一区二区av| 国产黄频视频在线观看| 国产精品三级大全| 无限看片的www在线观看| 少妇精品久久久久久久| 人体艺术视频欧美日本| 两人在一起打扑克的视频| 亚洲欧美清纯卡通| 亚洲第一av免费看| 亚洲一码二码三码区别大吗| 午夜久久久在线观看| 中文乱码字字幕精品一区二区三区| 精品亚洲乱码少妇综合久久| 九草在线视频观看| 日本wwww免费看| 日日摸夜夜添夜夜爱| 免费看av在线观看网站| www.av在线官网国产| 婷婷色综合大香蕉| 欧美日韩视频高清一区二区三区二| 国产日韩欧美视频二区| 免费在线观看完整版高清| 中国美女看黄片| 国产av国产精品国产| 在线观看www视频免费| 国产欧美亚洲国产| 一级毛片 在线播放| 欧美人与性动交α欧美软件| 一级黄色大片毛片| 青春草视频在线免费观看| 欧美日韩亚洲综合一区二区三区_| 久久精品亚洲av国产电影网| 亚洲人成电影观看| 丝袜人妻中文字幕| 一区二区日韩欧美中文字幕| 老司机在亚洲福利影院| 免费av中文字幕在线| 最近中文字幕2019免费版| 欧美在线黄色| 人成视频在线观看免费观看| 日韩av免费高清视频| 夜夜骑夜夜射夜夜干| 91成人精品电影| 欧美精品人与动牲交sv欧美| 丰满人妻熟妇乱又伦精品不卡| 97精品久久久久久久久久精品| 久久毛片免费看一区二区三区| 欧美精品人与动牲交sv欧美| 亚洲欧美日韩高清在线视频 | 男女下面插进去视频免费观看| 一边亲一边摸免费视频| 一区二区三区乱码不卡18| 韩国精品一区二区三区| 国产av精品麻豆| 少妇的丰满在线观看| 亚洲精品第二区| 久久亚洲国产成人精品v| 久久精品成人免费网站| 亚洲 欧美一区二区三区| www.自偷自拍.com| 精品国产乱码久久久久久男人| 精品久久蜜臀av无| 国产老妇伦熟女老妇高清| 两个人免费观看高清视频| 国产精品一国产av| 午夜日韩欧美国产| 男人添女人高潮全过程视频| 欧美在线一区亚洲| 午夜免费鲁丝| videos熟女内射| 一级毛片黄色毛片免费观看视频| 七月丁香在线播放| 中文字幕av电影在线播放| 男女午夜视频在线观看| 老鸭窝网址在线观看| 在线观看免费高清a一片| 亚洲国产成人一精品久久久| 国产一区二区激情短视频 | 欧美日韩成人在线一区二区| 亚洲,一卡二卡三卡| 国产在线观看jvid| 只有这里有精品99| 色视频在线一区二区三区| 亚洲欧美色中文字幕在线| 亚洲精品久久久久久婷婷小说| 久久久久久久久免费视频了| 人人妻,人人澡人人爽秒播 | 免费高清在线观看视频在线观看| 天堂8中文在线网| 日韩制服丝袜自拍偷拍| 男女免费视频国产| 脱女人内裤的视频| 午夜影院在线不卡| 日本av免费视频播放| 一本综合久久免费| 宅男免费午夜| 亚洲一卡2卡3卡4卡5卡精品中文| 啦啦啦中文免费视频观看日本| 亚洲国产精品国产精品| 丝袜美腿诱惑在线| 成人三级做爰电影| 亚洲成人免费电影在线观看 | 国产高清国产精品国产三级| 亚洲欧美激情在线| 性色av乱码一区二区三区2| 久久午夜综合久久蜜桃| 精品亚洲成a人片在线观看| 久久久亚洲精品成人影院| 天堂8中文在线网| 国产一区有黄有色的免费视频| 亚洲av欧美aⅴ国产| 亚洲av电影在线观看一区二区三区| 国产成人影院久久av| 国产成人一区二区在线| 99热网站在线观看| 一边摸一边做爽爽视频免费| 国产成人一区二区在线| 久久久久视频综合| 久久久久久免费高清国产稀缺| 亚洲国产精品999| 国产成人免费观看mmmm| 国产精品99久久99久久久不卡| 精品少妇黑人巨大在线播放| 精品久久久久久电影网| 亚洲一区中文字幕在线| www.av在线官网国产| 各种免费的搞黄视频| 国产一级毛片在线| 欧美日韩综合久久久久久| 日本猛色少妇xxxxx猛交久久| 国产精品一二三区在线看| 国产一区二区激情短视频 | 最黄视频免费看| 手机成人av网站| 欧美日本中文国产一区发布| 久久久国产一区二区| 飞空精品影院首页| 久久免费观看电影| av电影中文网址| 一本一本久久a久久精品综合妖精| 亚洲av成人精品一二三区| 亚洲精品一卡2卡三卡4卡5卡 | 激情视频va一区二区三区| 国产成人精品无人区| 黄色毛片三级朝国网站| 免费少妇av软件| 如日韩欧美国产精品一区二区三区| 91九色精品人成在线观看| 亚洲精品美女久久久久99蜜臀 | 成人国产一区最新在线观看 | 一本综合久久免费| 一二三四社区在线视频社区8| 国产男人的电影天堂91| 亚洲图色成人| 制服诱惑二区| 久久国产精品影院| 国产有黄有色有爽视频| 精品一区在线观看国产| 国产日韩欧美亚洲二区| 欧美日韩视频精品一区| 一二三四在线观看免费中文在| 老司机影院毛片| 高清av免费在线| 男人舔女人的私密视频| 国产一区二区三区av在线| 一区二区三区乱码不卡18| 免费看不卡的av| 久久这里只有精品19| 妹子高潮喷水视频| 男女边摸边吃奶| 99国产精品99久久久久| 欧美人与善性xxx| 久久ye,这里只有精品| 午夜福利乱码中文字幕| e午夜精品久久久久久久| 婷婷成人精品国产| 亚洲人成电影观看| 日韩 亚洲 欧美在线| 黑丝袜美女国产一区| 久久人人爽av亚洲精品天堂| 考比视频在线观看| 午夜激情久久久久久久| 午夜视频精品福利| 如日韩欧美国产精品一区二区三区| 美女国产高潮福利片在线看| 老司机影院毛片| 成人18禁高潮啪啪吃奶动态图| 国产深夜福利视频在线观看| 一区在线观看完整版| 亚洲欧美激情在线| 亚洲精品日韩在线中文字幕| 美国免费a级毛片| videosex国产| 一级毛片女人18水好多 | 又大又黄又爽视频免费| 亚洲精品第二区| 男女之事视频高清在线观看 | 狠狠精品人妻久久久久久综合| 亚洲av国产av综合av卡| 在线 av 中文字幕| 99国产综合亚洲精品| 日日夜夜操网爽| 深夜精品福利| 青青草视频在线视频观看| 搡老岳熟女国产| 99久久精品国产亚洲精品| 人人妻,人人澡人人爽秒播 | 午夜久久久在线观看| 巨乳人妻的诱惑在线观看| 女人精品久久久久毛片| 97在线人人人人妻| 一级毛片 在线播放| 韩国精品一区二区三区| 人人妻人人澡人人看| 在线亚洲精品国产二区图片欧美| 欧美精品人与动牲交sv欧美| 丝袜脚勾引网站| 男的添女的下面高潮视频| 夜夜骑夜夜射夜夜干| 99精国产麻豆久久婷婷| 久久精品国产综合久久久| 啦啦啦 在线观看视频| 校园人妻丝袜中文字幕| 午夜福利,免费看| 国产成人av激情在线播放| 亚洲视频免费观看视频| av天堂久久9| 免费看不卡的av| 视频在线观看一区二区三区| 一级黄色大片毛片| 日韩av不卡免费在线播放| 精品卡一卡二卡四卡免费| 色94色欧美一区二区| 热re99久久国产66热| 午夜福利在线免费观看网站| 99久久综合免费| 欧美日韩综合久久久久久| 午夜日韩欧美国产| 丝袜美腿诱惑在线| 最近手机中文字幕大全| 欧美日韩综合久久久久久| 丝袜美足系列| 视频区欧美日本亚洲| 日日爽夜夜爽网站| 老汉色av国产亚洲站长工具| 久久久久久久精品精品| 国产在线免费精品| 国产高清videossex| 国产av一区二区精品久久| 日本猛色少妇xxxxx猛交久久| www.自偷自拍.com| 亚洲av成人精品一二三区| 久热爱精品视频在线9| 欧美亚洲 丝袜 人妻 在线| 免费看av在线观看网站| 观看av在线不卡| 黑人巨大精品欧美一区二区蜜桃| 欧美日韩视频精品一区| 国产欧美日韩一区二区三区在线| 久久精品成人免费网站| 久久久精品区二区三区| 99香蕉大伊视频| 午夜免费成人在线视频| 黄色片一级片一级黄色片| 久久精品久久久久久久性| 日本a在线网址| 一边摸一边抽搐一进一出视频| cao死你这个sao货| 狂野欧美激情性bbbbbb| 亚洲av国产av综合av卡| 777久久人妻少妇嫩草av网站| 亚洲精品第二区| 母亲3免费完整高清在线观看| 秋霞在线观看毛片| 嫁个100分男人电影在线观看 | 国产精品久久久久久人妻精品电影 |