• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    分步增值評分——提高主觀題評分質(zhì)量的有效方法

    2015-12-27 06:25:26劉斯佳張建新
    心理學(xué)探新 2015年3期
    關(guān)鍵詞:區(qū)分度主觀題檔位

    劉斯佳,張建新

    (1.中國科學(xué)院心理研究所,北京100101;2.中國科學(xué)院大學(xué),北京100049)

    1 問題的提出

    1.1 主觀題評分中存在的問題

    主觀題包括簡答題、論述題、應(yīng)用題、作文題等。相對客觀題,主觀題能更為真實地反映考生的能力,因此被廣泛運用于人員選拔考試和語言類考試中,對人員的錄用和篩選具有重要的現(xiàn)實意義。然而,主觀題評分的客觀性和有效性卻不容樂觀(關(guān)丹丹,2008)。前期研究發(fā)現(xiàn)甚至某國家級考試論述題依然存在評分員寬嚴(yán)程度異常的現(xiàn)象(李中權(quán),孫曉敏,張厚粲,張立松,2008)。作文題作為一種復(fù)雜主觀題型,其誤差控制問題相較其他類型的主觀題型更為棘手,也更早受到研究者關(guān)注(劉遠我,張厚粲,1998)。有研究發(fā)現(xiàn),評分員對作文評分寬嚴(yán)程度同樣存在著顯著差異(劉紅云,陳閱,駱方,王云峰,2010)。

    主觀題評分的信度受到許多因素影響,包括題目難度、評分程序復(fù)雜程度、評分者間差異等等。有作者指出評分者誤差復(fù)雜性最高(王博,卞冉,車宏生,王蓉,2012)。評分者因為不能很好地掌握評分標(biāo)準(zhǔn),造成他們在評分過程中認(rèn)知負(fù)荷過大,對不同等級評分標(biāo)準(zhǔn)認(rèn)識模糊,從而擴大了評分誤差;另一方面,為了減少認(rèn)知負(fù)荷,評分者可能形成保守的打分策略,使考生評分結(jié)果難以進行區(qū)分(Gilfert &Harada,1992)。王博等(2012)對某大型人事考試評分分析中,首次描述了保守現(xiàn)象的“習(xí)得”過程??梢灶A(yù)見的是,作文的評分過程可能存在更為嚴(yán)重的失真現(xiàn)象。因此,在有效評價主觀評分誤差的基礎(chǔ)上,有必要通過優(yōu)化評分流程來降低作文評分的誤差程度。

    1.2 分步增值評分模式

    在此背景下,國外研究者提出了分步增值評分模式(rating augmentation)以進行有效的流程控制(Johnson,Penny,& Gorden,2000)。王博等(2012)在國內(nèi)首先對這種評分模式進行了介紹。分步增值評分模式首先在較為寬泛的檔位上(bench mark)對試卷進行打分,比如1 至4 檔;然后評分者通過附加分?jǐn)?shù)對試卷傾向性(lean)進行評估,以“+”“-”進行表示;最后分?jǐn)?shù)通過統(tǒng)一算法轉(zhuǎn)化為數(shù)值,形成考生的原始成績。這種方式可以幫助評分者確保評分成績的一致性和區(qū)分性。分步增值評分模式近期在國外的作文評分和言語類考試評分中得到了較為廣泛的應(yīng)用(如Penny & Johnson,2011;Morgan,Zhu,Johnson,& Hodge,2014)。然而對中文數(shù)據(jù)庫搜索之后,尚未發(fā)現(xiàn)分步增值評分模式的實證研究。

    1.3 評分模式的量化考察

    在另一個方面,如何選擇方法更好地量化主觀題的評分評價也是需要考慮的一個問題。關(guān)丹丹(2008)認(rèn)為項目反應(yīng)理論對于主觀題的評分評價具有較明顯的優(yōu)勢,并且特別對多面Rasch 模型(MFRM)進行了介紹。MFRM 是項目反應(yīng)理論的衍生模型,可以很好地量化主觀題的區(qū)分度以及評分者評分時的寬嚴(yán)程度和偏差程度,MFRM 模型在往期研究中較為常見(李中權(quán)等,2008;劉紅云等,2010)。本文主要旨在通過MFRM 模型,分別考察傳統(tǒng)綜合評分模式和分步增值評分模式對于評分結(jié)果的區(qū)分度以及評分者的評分寬嚴(yán)程度和偏差程度;另外,通過引入專家評分,并假定其為評分的真分?jǐn)?shù)后,進而考察綜合評分模式和分步增值評分模式的誤差程度;最后,通過評分用時來描述兩種評分模式的評分效率。研究假設(shè)相對于綜合評分模式,分步增值評分模式對評分結(jié)果的區(qū)分度更好、評分者在評分偏差程度指標(biāo)上的表現(xiàn)更加理想,并且可以提高評分效率。

    2 研究設(shè)計

    研究抽取某國家級大型考試的實測作文題答卷500 份作為樣本。挑選20 名評分經(jīng)驗在三年以上的評分者參與評分。評分種類包括了傳統(tǒng)評分使用的綜合評分模式,以及上述介紹的分步增值評分模式。其中,綜合評分模式由6 名評分者參與評分,而分步增值評分模式由其余14 名評分者參與評分。在評分之前,首先對評分者進行集中培訓(xùn),讓所有評分者了解作文題評分的要求和標(biāo)準(zhǔn)(見表1)。而參與分步增值評分模式的評分者則附加培訓(xùn)了分步評分過程中的等級、檔位和傾向(即“+”、“-”)標(biāo)準(zhǔn)(見表2)。評分者分為綜合評分組和分步評分組,他們的評分過程在下文中詳細(xì)介紹。

    表1 綜合評分法的評分標(biāo)準(zhǔn)

    綜合評分組:隨機選擇6 名評分者采用雙評方式獨立對500 份試卷進行評價,要求評分者按照表1 中的分制直接給考生打分。如果兩名評分者的評分結(jié)果超出誤差允許范圍,則要求第三名評分者進行評分??忌淖罱K成績?nèi)∽詢擅u分者評定成績的平均值,或者第三名評分者和與其評分最接近的評分成績的平均值。

    分步評分組:評分過程共分兩個階段。第一階段隨機選擇4 名評分者對500 份試卷參照表1 中的等級標(biāo)準(zhǔn)進行定級工作;第二階段,對已經(jīng)定好等級的試卷,在每個等級內(nèi)再分為三檔,評分者對照各等級內(nèi)挑選的檔位標(biāo)桿卷進行歸檔,歸檔原則是判斷當(dāng)前試卷水平與哪份檔位標(biāo)桿卷水平更為接近;評分者從整數(shù)水平對文章進行歸檔后,還須進一步指出文章是否有必要通過“+”和“-”進行額外評分。如果標(biāo)記“+”,則代表比標(biāo)桿卷的能力水平要高;反之則要低(見表2)。評分者按照等級評分結(jié)果分成了四種類型,其中1 類卷(8.3%)每組由2 人評分,2 類卷(58. 2%)每組由3 人評分,3 類卷(30.5%)每組由3 人評分,4 類卷(3.0%)每組由2人評分。上述兩階段均采用評分者獨立評分的雙評方式。

    表2 分步評分分?jǐn)?shù)轉(zhuǎn)換對應(yīng)表

    需要說明的是,在分步評分中,對于第一階段評分者12 評給出等級不一致的情況,先保留各自評判等級到第二階段,在第二階段分別在不一致的等級上再進行雙評,即在定檔階段會出現(xiàn)12 評和1234評兩種情況。這么處理是因為,對于大多數(shù)判等不一致卷而言,由于有可能試卷本身就處于等級臨界水平上下,如果第二階段定檔時各評分者分歧不大,且所給出的檔位也在這個臨界點附近,第一階段定級的不一致就是可以接受的。另外,在第二階段如果認(rèn)為待評卷定級不夠準(zhǔn)確,可以做出“裁定”操作,不再進行歸檔,重新回到第一階段進行定級工作。

    3 研究結(jié)果

    3.1 評分等級不一致性

    對兩種評分模式下的評分結(jié)果進行等級不一致分析。其中綜合評分組不一致評分卷數(shù)為177 份(占35.40%),分步評分組不一致評分卷數(shù)為185 份(占37.00%)。兩種評分模式下評分不一致情況沒有顯著差異(χ2=0.22,p=0.64,odds ratio=1.03)。

    3.2 評分成績水平分布

    圖1 綜合評分組及分步評分組評分成績的直方圖和密度線

    如圖1 所示,綜合評分組的評分成績(M =27.91,SD =3.92)相比分步評分組的評分成績(M=24. 14,SD = 6. 18)偏高,t(998)= 11. 51,p <0.001。并且綜合評分的峰度(Kurtosis=5.31,SE=0.22)相對分步評分的峰度(Kurtosis = -0.12,SE =0.22)更高,因此成績相對更為集中。另外,綜合評分的偏度(Skewness = -1.47,SE =0.11)相比分步評分(Skewness= -0.28,SE =0.11)顯示出更高的負(fù)偏態(tài)趨勢。另外,相比綜合評分組12 評的相關(guān)性(r=0.67,p <0.001),分步評分組12 評的相關(guān)性更高(r=0.76,p <0.001)。并且,以1 評作為因變量,一般線性模型發(fā)現(xiàn)2 評成績 × 組別(綜合、分步組)的交互作用顯著,F(xiàn) =33. 26,p <0. 001,η2=0.59,說明兩組相關(guān)系數(shù)大小存在顯著差異。

    3.3 評分成績的多面Rasch 模型分析

    使用Facets 3.71.4 學(xué)生版對兩種評分模式下的平均評分結(jié)果進行多面Rasch 模型分析。首先將兩種評分模式成績劃分為12 個檔位,通過概率曲線進行描述。理想情況下,概率曲線的峰值在每個檔位的分布比較均勻,如果概率分布過高或過低則表明檔位較難以區(qū)分。從圖2A 的檔位概率曲線可見綜合評分成績在低檔位較難區(qū)分,然而分步評分成績的概率曲線相比較綜合評分卻較為均勻。將12個檔位歸并成6 個分?jǐn)?shù)段之后,結(jié)果顯示分步評分成績的概率曲線依然較為理想(見圖2B)。

    繼而對評分者的寬嚴(yán)程度、偏差程度以及區(qū)分度進行分析(Linacre,2014)。分析選取綜合評分1評成績和分步評分第二步1 評成績作為因變量,考察各自1 評評分者的寬嚴(yán)程度、偏差程度和分?jǐn)?shù)的區(qū)分度。由于在分步增值評分模式中,每個評分者分別對某一等級的答卷進行評分,故被給予高分答卷的評分者在寬嚴(yán)程度的結(jié)果上自然會“更高”或“更低”,因此并不能有效評定評分者的寬嚴(yán)程度,因此本研究只對綜合評分組評分者的寬嚴(yán)程度進行分析。結(jié)果如表3 所示。

    表3 評分者的寬嚴(yán)程度、偏差程度以及區(qū)分度

    續(xù)表3

    圖2 不同評分成績層次的概率曲線

    寬嚴(yán)程度指標(biāo)(severity estimate)是對某個評分者總體對評分是否呈現(xiàn)偏低或偏高的趨勢(大于0為評分寬松,反之亦然),而寬嚴(yán)程度所對應(yīng)的標(biāo)準(zhǔn)誤可以判斷評分的穩(wěn)定程度。從表3 中的寬嚴(yán)程度指標(biāo)來看,所有綜合評分組評分者在這個指標(biāo)的分值都為正,因此說明評分存在過于寬松的現(xiàn)象。

    偏差程度,或偏差診斷指標(biāo)(misfit diagnosis)由OUTFIT 和INFIT 卡方指標(biāo)來進行評價。其中,OUTFIT 對位于兩端的成績比較敏感,而INFIT 則對所有成績等級中存在的偏差現(xiàn)象比較敏感,可以診斷成績中不可預(yù)期的復(fù)雜特性。如果OUTFIT 和INFIT 分?jǐn)?shù)在0.5 和1.5 之間,則說明成績比較合理;如果分?jǐn)?shù)高于1.5,則說明在某個成績段上存在評分偏差,而如果分?jǐn)?shù)低于0.5,則可能說明評分者沒有用所有的分?jǐn)?shù)段進行評分。結(jié)果顯示,綜合評分組評分者ID 01 和ID 06 的偏差程度超出了可接受的范圍,說明評分偏差過高;而評分者ID 02 的偏差沒有達到可接受的范圍,說明可能沒有使用所有的評分段來進行評分。相比之下,分步評分組評分者的評分結(jié)果卻沒有出現(xiàn)評分偏差過大或過小的現(xiàn)象。

    區(qū)分度(item discrimination)考察的是考生的評分成績相對于理想的區(qū)分度之間的偏差程度。區(qū)分度越接近1 越好,表明成績的區(qū)分與檔位相符合,大于1 則說明在某些成績上的區(qū)分度比預(yù)期更高,相比合理區(qū)分度打分更為細(xì)致;而小于1 則說明在某些成績上的區(qū)分度比預(yù)期更低,相比合理區(qū)分度打分較為粗疏。結(jié)果顯示,綜合評分組評分者的評分成績的區(qū)分度較1 的偏差(M =0.29,SD =0.17),相比分步評分組偏差更大(M =0.15,SD =0.10),Cohen’s d=1.15,達到高差異水平。

    3.4 評分成績的誤差分析

    為了進一步探究兩種評分方法在評分效果上的差異,研究選取了不同評分方法下最終成績爭議較大的試卷進行評分準(zhǔn)確性分析。在挑選爭議卷時,選取兩種評分方法最終得分差值在8 分以上的試卷共94 份,由專家先進行評定。一般認(rèn)為,主觀閱卷雙評的評分差值閾限在滿分的20%以內(nèi)是可接受的。專家閱卷時,并沒有限定具體的評分方式,而是讓專家根據(jù)自己的評分習(xí)慣進行評分。假定專家評分結(jié)果為真分?jǐn)?shù),分別計算綜合評分組和分步評分組成績和專家評分的差異,并且再由分步評分組挑出1 評成績作為比較,其差值視為評分誤差。

    結(jié)果發(fā)現(xiàn),綜合評分組的誤差值最高(M=7.11,SD=2.53),分步評分組(M=3.22,SD=2.34)和分步評分組1 評誤差值較小(M=3.51,SD=2.95)。三組間的差異顯著(F=64.12,p <0.001,η2=0.32),而事后檢驗發(fā)現(xiàn)綜合評分組和分步評分組(MD =3.88,p<0.001,Cohen’s d =0.20)以及分步評分1 評成績(MD=3.59,p <0.001)的差異均顯著,然而分步評分組和分步評分1 評成績之間的差異卻不顯著(MD =0.29,p=0.73,Cohen’s d=1.71)。

    3.5 評分效率分析

    實驗中,對評分者的評分時間進行了測量。由于評分時間記錄了裝訂了10 至20 份試卷的試卷本為單位,通過求平均計算了在某個試卷本中試卷評分的平均時間;另外,分步評分組試卷在第二階段進行了不同等級的匯總,因此可以相應(yīng)地計算出每個等級卷本的評分時間,并與第一階段相應(yīng)的試卷評分時間進行求和;最后求得500 份試卷在綜合評分組12 評、分步評分組12 評和分步評分1 評中所用的總評分時間進行比較。

    結(jié)果發(fā)現(xiàn),綜合評分組的平均用時(秒)較短(M=112.20,SD=23.31),分步評分組的平均用時較長(M=169.49,SD =26.89),而分步評分1 評的總評分時間卻比綜合評分12 評所用的總時間更短(M=91.68,SD=19.59)。三組間的差異顯著(F =1478.82,p <0.001,η2=0.66),而事后檢驗發(fā)現(xiàn)綜合評分組評分效率比分步評分組更高(MD=57.29,p <0.001,Cohen’s d =0.60),但卻不如分步評分1評(MD= -20.52,p <0.001,Cohen’s d=0.17)。

    4 討論

    4.1 主觀題的評分誤差問題

    實證結(jié)果顯示,作文題成績的確存在大量評分等級不一致情況。這樣的結(jié)果和往期作文題或其他主觀題成績研究結(jié)果是相互吻合的(關(guān)丹丹,2008;劉遠我,張厚粲,1998;劉紅云,陳閱,駱方,王云峰,2010)。這說明雖然主觀題能更好地反映考生能力,然而對主觀題評分進行控制存在問題。劉紅云等(2010)通過多面Rasch 模型對作文綜合評分模式下評分者的寬嚴(yán)程度和區(qū)分度進行了量化分析,然而現(xiàn)在尚沒有探討作文評分模式的其他實證研究文獻。

    4.2 分步增值評分模式的優(yōu)越性

    通過引入分步增值評分模式進行流程控制(王博等,2012),我們發(fā)現(xiàn)分步評分組相對于傳統(tǒng)綜合評分組的評分分布情況確實存在一些優(yōu)越性,并且12 評的一致性程度也更高。概率曲線結(jié)果進一步表明,分步評分相較于綜合評分的平均值在不同難度上區(qū)分程度更好。這樣的結(jié)果說明,分步增值評分模式是一種有價值的嘗試,或許可以有效解決主觀題(特別是作文題)中的評分質(zhì)量問題。

    從各個評分者評分寬嚴(yán)程度、偏差程度和區(qū)分度的角度而言,分步評分組相較于綜合評分組同樣更加優(yōu)越,而綜合評分組某些評分者的偏差程度指標(biāo)則出現(xiàn)過高或過低的異常現(xiàn)象,說明存在評分不穩(wěn)定或者某些分?jǐn)?shù)段數(shù)值太少的不利現(xiàn)象。因此,分步增值評分模式不僅對于總體評分成績有積極影響,對評分者導(dǎo)致評分成績差異的現(xiàn)象或許也可以起到良好的控制作用。然而,為何分步評分組相比綜合評分組在評分者的偏差程度和區(qū)分度層面有更好的控制作用呢?這樣的差異或許來自于主觀題考試對評分尺度的選擇層面。

    值得注意的是,我國國家級作文題一般采用15分以上的大量尺評分量表。而陳睿(2011)、關(guān)丹丹等人(2011)的實證研究認(rèn)為大尺度評分量表下評分者間的一致性有待提高。在保持大尺度評分的前提下,分步增值評分模式將難以區(qū)分的評分標(biāo)準(zhǔn)細(xì)化成可控制的等級和檔位尺度,將大尺度評分化簡為不同階段的小尺度評分。如同王博等(2012)文中的介紹,我們的研究結(jié)果證實分步評分優(yōu)化了評分流程且提高了作文評分的質(zhì)量;而評分成績分布的合理性以及對評分者差異性的降低,或許來自對大尺度評分認(rèn)知負(fù)荷和保守打分策略的有效控制(Gilfert & Harada,1992)。

    4.3 分步增值評分模式的實用性

    在評分的實用性方面,研究抽取了分步評分1評和綜合評分12 評的情況進行比較。結(jié)果發(fā)現(xiàn)分步評分1 評比綜合評分12 評的誤差程度還要低,而分步評分1 評和分步評分12 評的誤差程度卻不存在顯著差異。然而分步評分單評所用的時間卻要比綜合雙評所用的時間更短。因此,分步增值評分模式不僅是一種更為準(zhǔn)確的評分方式,還是一種更為經(jīng)濟有效的評分策略。

    5 研究結(jié)論

    雖然主觀題(特別是作文題)總是存在著評分不一致的問題,然而分步增值評分模式能夠有效的控制評分的質(zhì)量問題。這種新的評分模式相對于傳統(tǒng)綜合評分模式的優(yōu)越性表現(xiàn)在評分成績分布的合理性以及對評分者差異有效控制這兩個層面。其次,分步增值評分模式不僅能降低評分成績的誤差,還能有效提高評分程序的效率,或許可以視為一種更為實用的評分模式。

    6 不足及建議

    研究中抽取了500 份作文主觀題答卷,未來可以抽取樣本量更大的答卷來進行分析,并且分別對不同類型主觀題評分成績的情況進行分析。后期訪談中,筆者發(fā)現(xiàn)部分評分者對定級和定檔的標(biāo)準(zhǔn)有時把握不準(zhǔn),也就是在相鄰等級或相鄰檔位水平的試卷評定上有時把握不太穩(wěn)定。如何更好地規(guī)范評分者評分的準(zhǔn)確性也是未來流程設(shè)計需要改進的方向。另外,研究中的評分時間以裝訂試卷本為單位,未來研究或許可以通過網(wǎng)絡(luò)評分手段,對每一份試卷的評分時間進行單獨測量。最后,本次研究并沒有對評分過程中的認(rèn)知加工過程進行深入分析。通過引入與認(rèn)知加工能力相關(guān)的行為測試,或許可以更好地考察認(rèn)知個體差異對試卷評分的影響情況。

    陳睿.(2011).國內(nèi)外寫作評分量表的對比研究.考試研究,6,59 -67.

    關(guān)丹丹,陳睿,張開,趙靜宇. (2011). 兩種評分量表的評分效應(yīng)比較研究.教育研究與實驗,4,92 -96.

    關(guān)丹丹.(2008). 主觀題評分質(zhì)量的估計方法評述.中國考試,10,52 -55.

    李中權(quán),孫曉敏,張厚粲,張立松.(2008).多面Rasch 模型在主觀題評分培訓(xùn)中的應(yīng)用.中國考試,1,26 -31.

    劉紅云,陳閱,駱方,王云峰. (2010). 學(xué)業(yè)水平測試中作文評分誤差的多面Rasch 分析.心理科學(xué),33(4),925 -927.

    劉遠我,張厚粲. (1998). 概化理論在作文評分中的應(yīng)用研究.心理學(xué)報,30,211 -218.

    王博,卞冉,車宏生,王蓉. (2012). 主觀評分保守現(xiàn)象的形成機制與控制研究.心理學(xué)探新,32(5),429 -438.

    Gilfert,S.,& Harada,K. (1992). Two composition swcoring methods:The analytic vs. holistic method. Bulletin of Faculty of Foreign Languages,1,17 -22.

    Johnson,R. L.,Penny,J.,& Gordon,B. (2000). The relation between score resolution methods and interrater reliability:An empirical study of an analytic scoring rubric.Applied Measurement in Education,13,121 -138.

    Morgan,G. B.,Zhu,M.,Johnson,R. L.,& Hodge,K. J.(2014). Interrater reliability estimators commonly used in scoring language assessments:A monte carlo investigation of estimator accuracy.Language Assessment Quarterly,11,304 -324.Penny,J. A.,& Johnson,R. L. (2011). The accuracy of performance task scores after resolution of rater disagreement:A Monte Carlo study.Assessing Writing,16,221 -236.

    猜你喜歡
    區(qū)分度主觀題檔位
    淺談“立體幾何主觀題”的復(fù)習(xí)備考
    淺談高中政治“認(rèn)識類”主觀題答題技巧
    井岡教育(2022年2期)2022-10-14 03:11:28
    極坐標(biāo)方程主觀題考點分析
    高考政治主觀題對學(xué)生思維能力的考查
    甘肅教育(2021年10期)2021-11-02 06:14:28
    淺談試卷分析常用的幾個參數(shù)及其應(yīng)用
    三繞組變壓器運行分接頭檔位計算及電壓分析
    智富時代(2018年9期)2018-10-19 18:51:44
    圖形推理測量指標(biāo)相關(guān)性考察*
    江淮論壇(2018年4期)2018-08-24 01:22:30
    淺觀一道題的“區(qū)分度”
    單維參數(shù)型與非參數(shù)型項目反應(yīng)理論項目參數(shù)的比較研究*
    引入分接頭檔位的換流變差動保護方案研究
    河南科技(2015年2期)2015-02-27 14:20:29
    色网站视频免费| 国模一区二区三区四区视频| 最近视频中文字幕2019在线8| 男女国产视频网站| 免费av毛片视频| 黄片无遮挡物在线观看| av在线观看视频网站免费| 寂寞人妻少妇视频99o| 国产老妇女一区| 中文资源天堂在线| 午夜免费男女啪啪视频观看| 亚洲性久久影院| 国产伦理片在线播放av一区| h日本视频在线播放| 伊人久久精品亚洲午夜| 99视频精品全部免费 在线| 久久精品国产亚洲av涩爱| 国产精品乱码一区二三区的特点| 免费无遮挡裸体视频| 国产免费一级a男人的天堂| 亚洲av中文av极速乱| 亚洲激情五月婷婷啪啪| 国产乱人视频| 精品久久久久久久久亚洲| 黄片wwwwww| 少妇丰满av| 男女下面进入的视频免费午夜| 亚洲精品成人久久久久久| 亚洲美女视频黄频| 欧美日韩精品成人综合77777| 五月伊人婷婷丁香| 亚洲怡红院男人天堂| 亚洲国产欧洲综合997久久,| 偷拍熟女少妇极品色| 搡老妇女老女人老熟妇| 久久久久九九精品影院| 狂野欧美白嫩少妇大欣赏| 嘟嘟电影网在线观看| 精品久久久久久久久久久久久| 一级毛片aaaaaa免费看小| 高清视频免费观看一区二区 | 高清午夜精品一区二区三区| 国产私拍福利视频在线观看| 禁无遮挡网站| 久久久精品大字幕| 日韩一本色道免费dvd| 久久精品影院6| 国产老妇伦熟女老妇高清| 国产成人精品一,二区| 在线天堂最新版资源| 九九久久精品国产亚洲av麻豆| 99久久无色码亚洲精品果冻| 久久久久久久国产电影| 小说图片视频综合网站| 国产精品久久久久久精品电影| 91精品伊人久久大香线蕉| 久久久久久久国产电影| 成年女人看的毛片在线观看| 国产精品,欧美在线| 日韩欧美精品免费久久| 免费观看精品视频网站| 人人妻人人澡欧美一区二区| 精品免费久久久久久久清纯| 在线播放国产精品三级| 纵有疾风起免费观看全集完整版 | 九色成人免费人妻av| 男人和女人高潮做爰伦理| 亚洲欧美中文字幕日韩二区| 99热这里只有精品一区| 真实男女啪啪啪动态图| 啦啦啦韩国在线观看视频| 国产精品1区2区在线观看.| 久久久亚洲精品成人影院| 少妇被粗大猛烈的视频| 在线观看美女被高潮喷水网站| 麻豆av噜噜一区二区三区| 国产伦理片在线播放av一区| 国产精品av视频在线免费观看| 国产免费视频播放在线视频 | 特级一级黄色大片| 亚洲欧美成人综合另类久久久 | 欧美精品一区二区大全| 久久国产乱子免费精品| 亚洲国产精品成人久久小说| 国产三级在线视频| 精品人妻偷拍中文字幕| 黄片无遮挡物在线观看| 七月丁香在线播放| 天堂√8在线中文| 91在线精品国自产拍蜜月| 亚洲av免费高清在线观看| 女的被弄到高潮叫床怎么办| 国产色婷婷99| 天天一区二区日本电影三级| 99视频精品全部免费 在线| 久久99精品国语久久久| 久久久久久久久大av| 最近视频中文字幕2019在线8| 男插女下体视频免费在线播放| 建设人人有责人人尽责人人享有的 | 两个人视频免费观看高清| 中文字幕制服av| 三级经典国产精品| 久久久久久久久久黄片| 桃色一区二区三区在线观看| 国产精品一区二区在线观看99 | 听说在线观看完整版免费高清| 久久精品久久久久久久性| 伊人久久精品亚洲午夜| 亚洲一级一片aⅴ在线观看| 老司机影院成人| 免费一级毛片在线播放高清视频| av在线观看视频网站免费| av在线播放精品| 高清在线视频一区二区三区 | 欧美成人a在线观看| 久久精品国产亚洲av天美| 在线播放无遮挡| 网址你懂的国产日韩在线| h日本视频在线播放| 精品欧美国产一区二区三| 亚洲最大成人手机在线| 国产黄色视频一区二区在线观看 | 亚洲在久久综合| 亚洲欧美精品自产自拍| 日韩中字成人| a级毛片免费高清观看在线播放| 视频中文字幕在线观看| 久久国内精品自在自线图片| 青春草国产在线视频| 免费看av在线观看网站| 婷婷色av中文字幕| av黄色大香蕉| 人人妻人人看人人澡| www.av在线官网国产| 免费观看在线日韩| 国产亚洲5aaaaa淫片| 久久这里只有精品中国| 久久久久久国产a免费观看| 精品免费久久久久久久清纯| 日本欧美国产在线视频| 久久人人爽人人片av| 成人亚洲精品av一区二区| 人人妻人人看人人澡| 精品人妻偷拍中文字幕| 性插视频无遮挡在线免费观看| 久久人妻av系列| 国产三级中文精品| 成人无遮挡网站| 午夜精品一区二区三区免费看| 久久欧美精品欧美久久欧美| 午夜免费激情av| 秋霞伦理黄片| 中文欧美无线码| 亚洲国产精品成人综合色| 中文字幕人妻熟人妻熟丝袜美| 亚洲第一区二区三区不卡| 亚洲欧洲日产国产| 亚洲久久久久久中文字幕| 国产免费福利视频在线观看| 免费观看性生交大片5| 午夜久久久久精精品| 国产高潮美女av| 午夜亚洲福利在线播放| 亚洲在线自拍视频| av国产免费在线观看| 能在线免费看毛片的网站| av专区在线播放| 少妇人妻一区二区三区视频| 国内精品宾馆在线| 色综合色国产| 欧美性猛交黑人性爽| 欧美极品一区二区三区四区| 在线观看av片永久免费下载| 亚洲婷婷狠狠爱综合网| 国产午夜精品论理片| 菩萨蛮人人尽说江南好唐韦庄 | 网址你懂的国产日韩在线| 又粗又硬又长又爽又黄的视频| 韩国高清视频一区二区三区| 麻豆久久精品国产亚洲av| 少妇裸体淫交视频免费看高清| 内地一区二区视频在线| 两个人的视频大全免费| 国产免费视频播放在线视频 | 男女啪啪激烈高潮av片| 97热精品久久久久久| 日韩一区二区视频免费看| 国产一区二区三区av在线| 一本久久精品| 黄色一级大片看看| 久久久久久久午夜电影| 国产亚洲av片在线观看秒播厂 | 午夜a级毛片| 国产免费视频播放在线视频 | 亚洲国产精品国产精品| 成人高潮视频无遮挡免费网站| 黄片wwwwww| 国产精品熟女久久久久浪| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 2022亚洲国产成人精品| 日韩高清综合在线| 少妇熟女aⅴ在线视频| 亚洲av男天堂| 亚洲高清免费不卡视频| 禁无遮挡网站| 亚洲内射少妇av| 国语对白做爰xxxⅹ性视频网站| 欧美极品一区二区三区四区| 日韩视频在线欧美| 国产免费福利视频在线观看| 国产成人免费观看mmmm| 亚洲国产最新在线播放| 中文字幕制服av| 欧美激情久久久久久爽电影| 日本五十路高清| 成人漫画全彩无遮挡| 乱系列少妇在线播放| 美女被艹到高潮喷水动态| 精品一区二区三区人妻视频| 欧美精品国产亚洲| 亚洲欧美中文字幕日韩二区| 夜夜爽夜夜爽视频| 成年女人看的毛片在线观看| 免费观看性生交大片5| 精品国内亚洲2022精品成人| 高清日韩中文字幕在线| 极品教师在线视频| 久久欧美精品欧美久久欧美| 精品一区二区三区视频在线| 亚洲国产高清在线一区二区三| 少妇裸体淫交视频免费看高清| 国产免费又黄又爽又色| 久久婷婷人人爽人人干人人爱| 日韩 亚洲 欧美在线| h日本视频在线播放| 激情 狠狠 欧美| 乱码一卡2卡4卡精品| 日韩欧美精品v在线| 国产精品嫩草影院av在线观看| 一个人看视频在线观看www免费| 免费不卡的大黄色大毛片视频在线观看 | 午夜福利视频1000在线观看| 国产精品1区2区在线观看.| 中国国产av一级| 久久精品国产亚洲av天美| 日产精品乱码卡一卡2卡三| 亚洲精品国产av成人精品| 国产探花极品一区二区| 日韩强制内射视频| 免费观看精品视频网站| 久久久久久久久久黄片| 国产在视频线在精品| 国产午夜精品久久久久久一区二区三区| 久久久色成人| 国产精品一区二区在线观看99 | 日韩欧美精品免费久久| 亚洲色图av天堂| 国产精品三级大全| 日本一本二区三区精品| 国产成人免费观看mmmm| 久久精品国产亚洲av天美| 亚洲欧美精品专区久久| 国产精品国产三级国产专区5o | 麻豆av噜噜一区二区三区| 人妻夜夜爽99麻豆av| 好男人视频免费观看在线| 中文资源天堂在线| 亚洲最大成人av| 日本一本二区三区精品| 国产精品,欧美在线| 中文字幕亚洲精品专区| 久久99精品国语久久久| 成人性生交大片免费视频hd| 麻豆久久精品国产亚洲av| 亚洲婷婷狠狠爱综合网| 国产黄片美女视频| 久久韩国三级中文字幕| 欧美激情久久久久久爽电影| 噜噜噜噜噜久久久久久91| 午夜精品一区二区三区免费看| 九九久久精品国产亚洲av麻豆| 免费看av在线观看网站| 国产精品福利在线免费观看| 日韩一区二区三区影片| 亚洲激情五月婷婷啪啪| 欧美xxxx性猛交bbbb| 国产极品精品免费视频能看的| 国产免费视频播放在线视频 | 久久国产乱子免费精品| 干丝袜人妻中文字幕| 在线观看av片永久免费下载| 乱系列少妇在线播放| 久久精品91蜜桃| 亚洲五月天丁香| 欧美+日韩+精品| 国产成人91sexporn| 久久精品夜色国产| 亚洲av中文字字幕乱码综合| 97热精品久久久久久| 欧美日本视频| 婷婷六月久久综合丁香| 亚洲国产最新在线播放| 亚洲不卡免费看| 一个人看的www免费观看视频| 日本黄大片高清| 九九热线精品视视频播放| 麻豆av噜噜一区二区三区| 人体艺术视频欧美日本| 久久久久久久午夜电影| 成年av动漫网址| 三级国产精品欧美在线观看| 九九热线精品视视频播放| 亚洲图色成人| 亚洲精品久久久久久婷婷小说 | 日韩高清综合在线| 国产91av在线免费观看| 我的老师免费观看完整版| 一夜夜www| 亚洲人成网站高清观看| 国产av在哪里看| 久久综合国产亚洲精品| 国产69精品久久久久777片| 国产精品.久久久| 精品久久国产蜜桃| 成年av动漫网址| 国产女主播在线喷水免费视频网站 | 久久久久久国产a免费观看| 欧美成人免费av一区二区三区| 一区二区三区高清视频在线| 插阴视频在线观看视频| kizo精华| 亚洲国产精品专区欧美| 色视频www国产| 在线天堂最新版资源| 18禁在线播放成人免费| 午夜久久久久精精品| 国产高潮美女av| 一区二区三区免费毛片| 熟妇人妻久久中文字幕3abv| av又黄又爽大尺度在线免费看 | 人妻制服诱惑在线中文字幕| 日韩三级伦理在线观看| 免费看日本二区| 国产老妇女一区| 九九热线精品视视频播放| 日韩av不卡免费在线播放| 69人妻影院| 久久精品熟女亚洲av麻豆精品 | 欧美bdsm另类| 国产人妻一区二区三区在| 中文资源天堂在线| 国产不卡一卡二| 最近2019中文字幕mv第一页| 久久久久久久久久久免费av| 亚洲熟妇中文字幕五十中出| 久久久久久久国产电影| 中文字幕av成人在线电影| 一区二区三区免费毛片| 国产在线男女| 99在线人妻在线中文字幕| 乱码一卡2卡4卡精品| 国产精品福利在线免费观看| 亚洲欧美日韩高清专用| www.av在线官网国产| 久久久久久国产a免费观看| 国产av一区在线观看免费| 黄片无遮挡物在线观看| 免费看美女性在线毛片视频| 十八禁国产超污无遮挡网站| 97人妻精品一区二区三区麻豆| 成人av在线播放网站| 小说图片视频综合网站| 狠狠狠狠99中文字幕| 日日摸夜夜添夜夜添av毛片| 亚洲内射少妇av| 国产在线一区二区三区精 | 亚洲成人中文字幕在线播放| 男插女下体视频免费在线播放| 国产午夜精品论理片| 欧美日韩精品成人综合77777| 亚洲欧美清纯卡通| 黄色一级大片看看| 国产高清国产精品国产三级 | 九九在线视频观看精品| 欧美一区二区亚洲| 国产淫语在线视频| 亚洲精品乱久久久久久| 亚洲美女搞黄在线观看| 自拍偷自拍亚洲精品老妇| 少妇裸体淫交视频免费看高清| 青春草视频在线免费观看| 亚洲伊人久久精品综合 | 看免费成人av毛片| 中国国产av一级| 天堂av国产一区二区熟女人妻| 日韩大片免费观看网站 | 在线观看66精品国产| 男女国产视频网站| 天堂网av新在线| 日韩中字成人| 亚洲欧美日韩高清专用| 波野结衣二区三区在线| 日日干狠狠操夜夜爽| 日韩成人伦理影院| 九九热线精品视视频播放| 亚洲在线自拍视频| 亚洲av.av天堂| av线在线观看网站| av在线观看视频网站免费| 大香蕉97超碰在线| 国产精品1区2区在线观看.| 69av精品久久久久久| 国产又色又爽无遮挡免| 亚洲av免费在线观看| 国产精品永久免费网站| 黄片wwwwww| 国产精品久久久久久久久免| 久久99精品国语久久久| 天天躁日日操中文字幕| 天堂av国产一区二区熟女人妻| 久久婷婷人人爽人人干人人爱| 久久久国产成人精品二区| 2022亚洲国产成人精品| 男人的好看免费观看在线视频| 欧美日韩一区二区视频在线观看视频在线 | 97热精品久久久久久| 一级毛片aaaaaa免费看小| 婷婷六月久久综合丁香| 精品人妻熟女av久视频| 国内精品美女久久久久久| 一边摸一边抽搐一进一小说| 国产精品一区二区三区四区免费观看| 免费看美女性在线毛片视频| 国产又色又爽无遮挡免| 亚洲av福利一区| 国产精品永久免费网站| 日日啪夜夜撸| 午夜爱爱视频在线播放| 99久久精品热视频| 18禁在线无遮挡免费观看视频| 少妇熟女aⅴ在线视频| 高清av免费在线| 丝袜喷水一区| 97超视频在线观看视频| 老女人水多毛片| 26uuu在线亚洲综合色| 国产麻豆成人av免费视频| av.在线天堂| 我要看日韩黄色一级片| 成人欧美大片| 亚洲欧美成人综合另类久久久 | 久久婷婷人人爽人人干人人爱| 亚洲国产精品久久男人天堂| 国产av在哪里看| 狂野欧美白嫩少妇大欣赏| 成年女人看的毛片在线观看| 久久午夜福利片| 在线a可以看的网站| 亚洲婷婷狠狠爱综合网| 三级经典国产精品| av视频在线观看入口| 特级一级黄色大片| 观看美女的网站| 黄色配什么色好看| 美女xxoo啪啪120秒动态图| 成人午夜精彩视频在线观看| 中文精品一卡2卡3卡4更新| 国产成人a区在线观看| 亚洲综合色惰| 久热久热在线精品观看| 日韩av在线免费看完整版不卡| 好男人在线观看高清免费视频| 国产高清不卡午夜福利| 亚洲综合精品二区| 最近中文字幕2019免费版| 一区二区三区免费毛片| 亚洲成色77777| 亚洲高清免费不卡视频| 人人妻人人澡人人爽人人夜夜 | 五月玫瑰六月丁香| 亚洲在线观看片| 亚洲av成人av| 啦啦啦观看免费观看视频高清| 九九久久精品国产亚洲av麻豆| 国产大屁股一区二区在线视频| 日韩欧美精品v在线| 最近的中文字幕免费完整| 一区二区三区高清视频在线| 亚洲国产色片| av.在线天堂| 欧美成人一区二区免费高清观看| 一个人看的www免费观看视频| av免费在线看不卡| videos熟女内射| 欧美精品国产亚洲| 久久这里有精品视频免费| 亚洲av成人av| 又黄又爽又刺激的免费视频.| 婷婷六月久久综合丁香| 老女人水多毛片| 亚洲内射少妇av| 少妇的逼水好多| 一级二级三级毛片免费看| 精品少妇黑人巨大在线播放 | av在线亚洲专区| av在线天堂中文字幕| 国产探花在线观看一区二区| 亚洲精品国产成人久久av| 欧美人与善性xxx| 欧美zozozo另类| 色网站视频免费| 插阴视频在线观看视频| 身体一侧抽搐| 亚洲欧美中文字幕日韩二区| 久久欧美精品欧美久久欧美| 久久草成人影院| 国产不卡一卡二| 国产精品蜜桃在线观看| 最新中文字幕久久久久| 99热这里只有精品一区| 99久久中文字幕三级久久日本| 国产亚洲av片在线观看秒播厂 | 欧美一区二区精品小视频在线| 国产淫片久久久久久久久| 在线观看av片永久免费下载| 国产亚洲一区二区精品| 亚洲成人精品中文字幕电影| 蜜桃亚洲精品一区二区三区| 国内揄拍国产精品人妻在线| 精品久久久久久久久久久久久| 亚洲自偷自拍三级| 久久久欧美国产精品| 岛国在线免费视频观看| 亚洲色图av天堂| 丰满少妇做爰视频| 国产免费福利视频在线观看| 最近2019中文字幕mv第一页| 黄片无遮挡物在线观看| 亚洲av电影不卡..在线观看| 九九久久精品国产亚洲av麻豆| 国产精品麻豆人妻色哟哟久久 | 国产亚洲午夜精品一区二区久久 | 国产精品一区www在线观看| ponron亚洲| 建设人人有责人人尽责人人享有的 | 国产探花极品一区二区| 日日摸夜夜添夜夜爱| 亚洲av二区三区四区| 亚洲va在线va天堂va国产| 麻豆久久精品国产亚洲av| 最近2019中文字幕mv第一页| 国产三级在线视频| 亚洲av不卡在线观看| 少妇丰满av| 国产 一区 欧美 日韩| 国产国拍精品亚洲av在线观看| 精品久久久久久久人妻蜜臀av| 色综合站精品国产| 久久精品国产亚洲av涩爱| 一个人观看的视频www高清免费观看| 欧美区成人在线视频| 国产片特级美女逼逼视频| 国产极品天堂在线| 国产一级毛片在线| 国产伦精品一区二区三区视频9| 最近最新中文字幕大全电影3| 九色成人免费人妻av| 老女人水多毛片| 九九在线视频观看精品| 久久久久网色| 久久国产乱子免费精品| 国产在视频线在精品| 少妇的逼好多水| 国产精品99久久久久久久久| 18禁在线无遮挡免费观看视频| 国产一级毛片七仙女欲春2| 国产麻豆成人av免费视频| 看非洲黑人一级黄片| 观看免费一级毛片| 床上黄色一级片| 日日摸夜夜添夜夜添av毛片| 亚洲av熟女| 亚洲国产高清在线一区二区三| 日韩 亚洲 欧美在线| 国产午夜精品久久久久久一区二区三区| 99久国产av精品| 色综合亚洲欧美另类图片| 国产免费又黄又爽又色| 乱人视频在线观看| .国产精品久久| 亚洲av一区综合| 欧美人与善性xxx| 美女内射精品一级片tv| 亚洲第一区二区三区不卡| 成年免费大片在线观看| 精品久久久久久电影网 | 少妇被粗大猛烈的视频| 乱码一卡2卡4卡精品| 床上黄色一级片| 久久久久久久久久成人| 国产成人a∨麻豆精品| 高清午夜精品一区二区三区| 欧美xxxx性猛交bbbb| 看非洲黑人一级黄片| videos熟女内射| 国产精品三级大全| 欧美+日韩+精品| 美女内射精品一级片tv| 久久精品91蜜桃| 热99re8久久精品国产| 亚洲成人精品中文字幕电影| 日本三级黄在线观看| 亚洲av免费在线观看| 久久久欧美国产精品|