• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    效度研究領(lǐng)域中的爭議

    2014-02-04 20:07:31趙琪鳳
    中國考試 2014年6期
    關(guān)鍵詞:陳宏內(nèi)容效度效度

    趙琪鳳

    效度研究領(lǐng)域中的爭議

    趙琪鳳

    在教育和心理測量界,效度被認(rèn)為是最為核心的概念。作為效度問題的根本,構(gòu)想效度研究仍然是心理測量界的一大難題,仍然存在諸多爭議和挑戰(zhàn)。本文在一系列前期研究和分析的基礎(chǔ)上,從構(gòu)想效度的概念本質(zhì)、構(gòu)想效度的研究視角、構(gòu)想效度的研究方法三大方面探討了效度研究領(lǐng)域中存在的爭議。我們認(rèn)為,迄今為止構(gòu)想效度研究在本質(zhì)定位、探究視角和方法論方面仍然爭議不斷,需要理順和統(tǒng)一,并接受和借鑒物理學(xué)等成熟學(xué)科的一些研究思路和方法,這才是實現(xiàn)科學(xué)研究構(gòu)想效度的重要途徑。

    構(gòu)想效度;構(gòu)想;心理物理學(xué);因果分析

    時至今日,效度研究已經(jīng)經(jīng)歷了近1個世紀(jì)的歷程,并取得了較為豐碩的研究成果,雖然具體的心理測驗極大地滿足了社會應(yīng)用及政治決策的需要,但是作為效度問題的根本,構(gòu)想效度研究仍然是心理測量界的一大難題,仍然存在諸多爭議和挑戰(zhàn)。其中,我們認(rèn)為主要的爭議體現(xiàn)在關(guān)于“構(gòu)想效度究竟是指什么有效”的爭議,“對心理構(gòu)想的解釋采用物理學(xué)視角還是社會學(xué)視角”之間的爭議,以及在方法論上“確定因果效應(yīng)還是構(gòu)建相關(guān)網(wǎng)絡(luò)”之間的爭議三大方面。

    1 構(gòu)想效度究竟是指什么有效?

    在教育和心理測量界,效度被認(rèn)為是最為核心的概念。雖然在1921年效度概念正式提出時,研究者就聲稱“效度是指測驗在多大程度上測到了它想要測的東西”,但是經(jīng)過多年的效度研究歷程,我們可以看到這個概念并不足以清楚、準(zhǔn)確地表達效度的本質(zhì)含義,至少我們看到不同的學(xué)者根據(jù)自己的理解和知識背景,以及所處的社會環(huán)境等因素,對效度(尤其是構(gòu)想效度)存在不同的理解;正是因為沒有對構(gòu)想效度要測什么形成一致的認(rèn)識,一些學(xué)者會對不同的構(gòu)想效度定義均表認(rèn)同;有時會在不同的構(gòu)想效度定義之間反復(fù)、搖擺。因此,“構(gòu)想效度究竟是指什么有效”成了一個爭議頗多的問題,在確定構(gòu)想效度是指什么東西有效方面,已經(jīng)存在各種不同的說法和見解,混淆了構(gòu)想效度的研究基礎(chǔ)和思路。

    根據(jù)常曉宇(2001)、張凱(2004)等人之前對構(gòu)想效度概念混亂狀況所做的總結(jié)和闡述,我們認(rèn)為目前心理測量界對構(gòu)想效度定義的研究大致呈現(xiàn)以下五種狀態(tài)。

    1.1 從字面入手理解關(guān)鍵詞的含義——把“構(gòu)想”(construct)理解為“結(jié)構(gòu)”(structure)

    構(gòu)想效度的英文表述是“construct validity”,國內(nèi)的學(xué)者將這個關(guān)鍵詞翻譯成中文,就會出現(xiàn)一些不同的譯法和理解。例如凌文輇、濱治世(1988:16)把構(gòu)想效度翻譯成“構(gòu)造概念效度”,王重鳴(1990:142)把構(gòu)想效度翻譯成“構(gòu)思效度”,劉潤清(1991:18)則翻譯為“編制效度”,徐樅?。?992:344)把構(gòu)想效度理解為“構(gòu)念效度”或“構(gòu)造效度”等。不僅是國內(nèi)的學(xué)者,國外的一些研究者也持有同樣的觀點,如Allison(1999)認(rèn)為“[Construct(構(gòu)想或結(jié)構(gòu))是]我們想要教或想要測的東西的表征,如‘聽力理解’及其組成成分”??梢?,很多人把構(gòu)想效度這個概念譯成“結(jié)構(gòu)效度”。張凱(2004)總結(jié)認(rèn)為:“根據(jù)這個譯法,有人認(rèn)為結(jié)構(gòu)(構(gòu)想)效度是指所測能力的構(gòu)成(如智力的各個因素)和測驗結(jié)構(gòu)(structure)之間的一致性程度或?qū)?yīng)程度”(2004:8)。

    1.2 將構(gòu)想效度等同于內(nèi)容效度

    部分學(xué)者認(rèn)為,構(gòu)想效度與內(nèi)容效度類似,如果測驗沒有什么實在的內(nèi)容可以依據(jù)(談不上內(nèi)容效度)的話,總得找點東西來代替內(nèi)容效度,這東西就是構(gòu)想效度。

    還有的學(xué)者把內(nèi)容效度與構(gòu)想效度混為一談,認(rèn)為內(nèi)容效度的考察大綱是理論結(jié)構(gòu)的一個樣本,內(nèi)容效度可以轉(zhuǎn)化為構(gòu)想效度,內(nèi)容效度與構(gòu)想效度很難截然分開,屬于一個整體。

    其實,在建立構(gòu)想效度的方法中,先考察測驗的內(nèi)容效度的方法也是其中一種,“因為有些測驗對所測內(nèi)容或行為范圍的定義或解釋類似于理論構(gòu)想的解釋”(戴海琦、張鋒、陳雪楓,1999),但這種方法當(dāng)且僅當(dāng)“測驗對所測內(nèi)容或行為范圍的定義或解釋類似于理論構(gòu)想的解釋”時才成立,考察內(nèi)容效度的方法多數(shù)情況下并不適用,況且內(nèi)容效度本身就難以測定(常曉宇,2001)。

    1.3 徹底否定構(gòu)想效度

    在構(gòu)想效度提出50多年后,出現(xiàn)少量學(xué)者對構(gòu)想效度持徹底否定的態(tài)度。如Borsboom等人對Cronbach和Meehl(1955)的認(rèn)識是:

    構(gòu)想效度的觀點從產(chǎn)生就注定了死亡。Cronbach和Meehl(1955)提出的構(gòu)想效度從來沒有過任何研究實例。相應(yīng)地,在當(dāng)今的效度理論中也沒有定律網(wǎng)絡(luò)的軌跡(Borsboom et al.,2009)

    在這種完全否定的態(tài)度下,Borsboom等人更加堅定了對構(gòu)想效度批判,同時從效度命名的角度試圖取消“構(gòu)想效度”這一術(shù)語:

    我們認(rèn)為構(gòu)想效度理論中使用的“構(gòu)想”一詞,在兩個方面是不一致的,也就是說,這個詞同時指向了理論術(shù)語(如,一個標(biāo)記)和指派術(shù)語的證明(如,一個研究者使用一種測量工具發(fā)現(xiàn)了這一現(xiàn)象)。這種雙重意義制造了大量的誤解和混亂……。因此,我們建議將‘構(gòu)想’一詞去掉,……。我們認(rèn)為效度的概念,正如通常所理解的那樣,在理論上和實踐上都優(yōu)于構(gòu)想效度概念。最后,我們提出的主張是構(gòu)想效度一直使得研究者躲在迷霧之后,免于思考和解決心理測量的真正問題。(Borsboom et al.,2009)

    Borsboom等人在上述觀點中,認(rèn)為構(gòu)想效度中的“構(gòu)想”一詞,不僅沒有任何實際意義,反而制造了混亂和誤解,他們更加贊成使用“效度”替代構(gòu)想效度的核心地位,也就是說之前對構(gòu)想效度的多方論述和證明,都是無益于效度檢驗的,可見,Borsboom等人(2009)徹底否定了構(gòu)想效度的地位和作用。

    1.4 片面的理解

    除了上述對構(gòu)想效度概念產(chǎn)生的不同理解和解釋外,提到一個測驗具有構(gòu)想效度時,究竟是什么東西有效?測量界有三種不同的解釋:構(gòu)想有效、測驗有效、測驗的分?jǐn)?shù)或分?jǐn)?shù)解釋有效。

    1.4.1 構(gòu)想有效

    測量界里,這種看法由來已久。早在提出構(gòu)想效度之時,Cronbach和Meehl就已經(jīng)不是把效度問題理解為測驗是否測到了某個特質(zhì)這樣單純的事實性問題,而是當(dāng)作由測驗分?jǐn)?shù)所作出的推論是否與包含各種理論與觀察術(shù)語的規(guī)則網(wǎng)絡(luò)(nomological)相一致的問題(1955)(陳宏,2012:2)。

    Henning(1987:98)認(rèn)為“建立構(gòu)想效度的目的是證明被測量的潛在的理論構(gòu)想本身是有效的”。

    國內(nèi)的桂詩春、寧春巖(1997:293)以及陳俊良(1991:103)的說法與之類似。

    《教育與心理測量標(biāo)準(zhǔn)》(AERA,1999:5)聲稱,“測驗就是對構(gòu)想的測量工具”,“所有測驗分?jǐn)?shù)”都應(yīng)“看作某種構(gòu)想的測度”(AERA,1999:174)。有了《標(biāo)準(zhǔn)》的支持,效度指構(gòu)想有效這一解釋很快成為測量界居統(tǒng)治地位的主流意識(陳宏,2012:2)。

    1.4.2 測驗有效

    還有學(xué)者認(rèn)為構(gòu)想效度是測驗(測量)的有效性,如Kelly早在1927年就提出,測驗如果測到了它聲稱要測的東西就是有效的(1927:14)。Anastasi對效度定義的闡述幾十年基本未變,她在效度問題上的看法長期以來為人們廣泛引用并產(chǎn)生了深遠(yuǎn)影響,Anastasi(1982:144;1997:126)認(rèn)為“測驗的構(gòu)想效度就是測驗在多大程度上測出了理論構(gòu)想或理論特質(zhì)?!边@種觀點實質(zhì)上強調(diào)的是測驗或測量的工具屬性。

    國內(nèi)學(xué)者戴忠恒(1987:233)、凌文輇、濱治世(1988:17)、王重鳴(1990:142)Fraenkel&Wallen(1993:548)、Brown(1996:239)、Kline(1998:37)、劉永芳、房慧聰(2001:188)對構(gòu)想效度的界定,也都認(rèn)同測驗有效的理解(張凱,2004)。

    1.4.3 測驗的分?jǐn)?shù)或分?jǐn)?shù)解釋有效

    在構(gòu)想效度的表述對象問題上,目前占據(jù)主導(dǎo)思想的解釋是,效度是分?jǐn)?shù)解釋或根據(jù)分?jǐn)?shù)所作推斷的有效性。Messick(1989:13)說,“效度不是測驗……的特性,而是測驗分?jǐn)?shù)的意義的特性”。Fraenkel&Wallen(1993:193)說,“需要證明有效的,不是工具本身,而是工具在特定的應(yīng)用中產(chǎn)生的推論”。Cronbach(1989:151)自己后來也說,構(gòu)想效度“證明的是特定的分?jǐn)?shù)解釋”。持這種觀點的還有Ebel&Frisbie(1991:108),Bachman(1990:290),Bachman&Palmer(1996:21),Chapelle(1998:50)等。

    1999年APA《標(biāo)準(zhǔn)》的修訂版基本接受了Messick對效度的定義,承認(rèn)效度檢驗過程所“評估的是根據(jù)人們提出的應(yīng)用需求對測驗分?jǐn)?shù)所作的解釋,而非測驗本身?!蓖瑫r承認(rèn)“人們提出的測驗應(yīng)用需要對測驗分?jǐn)?shù)作出解釋,效度指的是證據(jù)和理論對這種分?jǐn)?shù)解釋的支持程度”(AERA,1999:9)。此后,“這種效度觀念在測量界便逐漸形成思維定式,而且表述更簡單、明確、直截了當(dāng)”(陳宏,2012:4)。

    1.5 含混不清、前后矛盾的表述

    正是由于心理測量學(xué)界對構(gòu)想效度表述對象的不確定和不統(tǒng)一的現(xiàn)狀,導(dǎo)致爭議不僅表現(xiàn)為研究者們對這個問題有不同的理解,而且還表現(xiàn)為,“研究者個人有時會同時認(rèn)可兩種表述對象;有時會在不同的表述對象間反復(fù)、搖擺;而且有些學(xué)者在效度表述對象問題上的不一致甚至在同一部著作中也會出現(xiàn)”(陳宏,2012:4)。這種對構(gòu)想效度含混不清的表述,很容易給讀者造成誤解和歧義。

    Alderson,Clapham和Wall(1995)說:

    每個理論都包含若干構(gòu)想,并力圖定義構(gòu)想之間的關(guān)系?!瓰榱藴y出一個測驗的構(gòu)想效度,編測驗的人必須使測驗和潛在的理論掛上鉤,然后將測驗結(jié)果和那個理論進行比較。(1995:286-287)

    這好像是說構(gòu)想有效,但他們接著又說:“構(gòu)想效度就是評價一個測驗對那些構(gòu)想的測量程度如何?!边@又似乎是說測驗有效了。杰克遜(1996:91)、Sax(1997:313)以及Loewenthal(2001:17)等人對構(gòu)想效度的表述也同樣存在各種混亂,對構(gòu)想效度的界定通常指代不明(張凱,2004)。

    Henning雖然在陳述效度定義時說過:“效度一般指某個特定測驗或其任何組成部分作為對它聲稱要測量的那個東西的測度的恰當(dāng)性”(1987:89),似乎認(rèn)為效度是測量的屬性,然而其后在同一部著作中定義構(gòu)想效度時,Henning卻明確指出,測驗“聲稱要測量”的,就是“潛在的理論構(gòu)想”,而“建立構(gòu)想效度的目的,就是證明被測量的潛在的理論構(gòu)想本身有效”(Henning,1987:89),可見當(dāng)時在Henning意識中,效度實質(zhì)就是構(gòu)想效度。

    Borsboom等荷蘭學(xué)者也是很明顯的例子。一方面,他們承認(rèn)效度是測驗本身的屬性,明確肯定Kelly(1927)提出的效度定義是正確的。另一方面,Borsboom等人(2004)在闡述其效度主張的文獻中,卻明確表示:

    僅憑心理測量技術(shù)和心理測量模型解決不了效度問題。正相反,這個問題必須由實體理論來處理。測驗效度是個心理學(xué)無法外包給方法論去解決的問題。(Borsboom et.al.,2004)

    顯然,這里“有效”所表述的已非測驗本身的屬性,而是測驗構(gòu)想或有關(guān)構(gòu)想的理論了(陳宏,2012:6)。這些令人費解的表述,是由于研究者自身對構(gòu)想效度理解的模糊和不確定所造成的。

    由上述多種多樣的構(gòu)想效度概念,我們可以明確,“構(gòu)想效度究竟是指什么有效”這個問題存在多樣的回答和復(fù)雜的論爭,是一個值得研究的課題。

    2 心理構(gòu)想解釋采用物理學(xué)視角還是社會學(xué)視角

    早在19世紀(jì)中期,心理物理學(xué)的出現(xiàn),引發(fā)了一場關(guān)于人類心理構(gòu)想解釋采用物理學(xué)視角還是采用社會學(xué)視角的爭論。

    心理物理學(xué)(psychophysics)研究,像這個詞本身所表明的那樣,研究的是精神(心理)世界和物質(zhì)(物理)世界的關(guān)系。這一研究包括提起重物、視覺明度、視覺距離和觸覺距離的實驗(舒爾茲,2005:66)。從名稱上看,心理物理學(xué)一方面要以心理學(xué)為基礎(chǔ),另一方面還要能為心理學(xué)提供數(shù)學(xué)基礎(chǔ)。心理物理學(xué)要從物理學(xué)研究中得到啟發(fā)和方法論,從生理學(xué)和解剖學(xué)中得到更多的神經(jīng)系統(tǒng)方面的東西??梢?,心理物理學(xué)的解釋視角主張從客觀存在的生理機制上尋求依據(jù),并結(jié)合物理學(xué)的數(shù)字化表達方式,力圖使心理學(xué)成為物理學(xué)那樣的精密科學(xué)。而心理學(xué)的傳統(tǒng)做法是將這兩種視角相結(jié)合,一些心理學(xué)家認(rèn)為有關(guān)自然本性視角和后天因素視角的爭論根本就不存在,因為人類行為是由外部環(huán)境和遺傳物質(zhì)共同作用的結(jié)果,把兩者分開是不明智的。

    然而,“在測量界乃至一般測驗用戶那里,主張效度的實在性似乎注定是要坐冷板凳的”(陳宏,2012:7),顯然,在關(guān)于人類行為解釋的生物學(xué)和社會學(xué)(自然本性和后天因素)視角之間的這場爭論中,社會學(xué)解釋視角占據(jù)了上風(fēng),這一視角對心理測驗的思考和分析與測驗所處的社會環(huán)境相聯(lián)系,從道德和實際應(yīng)用等方面研究人類行為,至今仍是心理測量和構(gòu)想效度研究的主流觀點。

    我們認(rèn)為,主張從生物學(xué)視角解釋行為,其根本還是心理特質(zhì)的實在性問題。我們知道,在經(jīng)驗世界里,無論通過感官還是借助各種測量工具,心理特質(zhì)都是無法直接觀察的,一切關(guān)于特質(zhì)的構(gòu)想和理論都只是假設(shè):假設(shè)被試行為的原因可以用某種特質(zhì)的作用來解釋,這些特質(zhì)影響了被試行為,被試行為的差異體現(xiàn)了特質(zhì)的差異。

    可不幸的是,探究心理特質(zhì)實在性這一點,偏偏正是現(xiàn)代教育和心理測量界長期以來一個最大的難題。將特質(zhì)的實在性看作效度的核心,就是要求測驗構(gòu)想確有某種外在的實體與之明確對應(yīng)。

    其實早在19世紀(jì)中期,費希納就嘗試從生物學(xué)視角解釋人類行為。著名的費希納律將感覺這種不可直接觀察的屬性定為構(gòu)想,然后找到了一種可觀察的屬性——刺激量作為直接測量對象,經(jīng)過反復(fù)試驗,在刺激量和感覺量之間找到了一條(用數(shù)學(xué)表達的)定律,即S=KlogR,根據(jù)上述證明理論的要求,這時感覺量作為構(gòu)想得到了證明。這一定律的出現(xiàn)表明,對心理構(gòu)想實在性的探究和科學(xué)測量雖然難度很大,但也并非毫無希望??梢哉f,費希納開拓了心理測量科學(xué)方法的先例和思路,這一方向是值得繼續(xù)深入挖掘和繼承的。這正是心理測量需要繼續(xù)努力的方向。而回避和忽略這一研究思路,轉(zhuǎn)而從社會學(xué)視角解釋行為,則趨于主觀判斷和人為因素的摻雜,研究難度驟然降低,而且可滿足實際需求和社會需要,但是“這樣一個完全靠假設(shè)構(gòu)建起來的效驗推論鏈條是十分脆弱的,因為假設(shè)終究需要證實:測驗所測特質(zhì)不僅存在于構(gòu)想,而且有其實體”(陳宏,2012)。

    總之,通過對行為解釋的生物學(xué)視角和社會學(xué)視角之間的論爭,我們發(fā)現(xiàn)這兩大研究視角在長期的爭論中,已經(jīng)形成了兩種主要變量,即與本能相關(guān)聯(lián)的生理機能因素,和與環(huán)境經(jīng)驗相關(guān)聯(lián)的因素。但是這兩種截然不同的觀點是無法互相融合的,在尚無定論的情況下只能各自為政。

    3 確定因果效應(yīng)還是構(gòu)建相關(guān)網(wǎng)絡(luò)

    測驗效度實質(zhì)上就看測驗是否能夠通過分?jǐn)?shù)變異真實反映特質(zhì)作用于被試行為的效應(yīng)。如果效度檢驗結(jié)果顯示,分?jǐn)?shù)變異是因特質(zhì)變異而起,這就意味著,當(dāng)前觀察到的被試行為之變異正是測驗打算測量的那種特質(zhì)變異的效應(yīng),就測量這一特定的特質(zhì)而言,測驗就是有效的。正是由于作用于測驗分?jǐn)?shù)的一系列心理生理因素始終是個謎團,對二者之間因果關(guān)系的探究也舉步維艱,甚至備遭冷落。

    實際上,因果關(guān)聯(lián)研究是非常必要的。但是因果分析為何未見其效呢?對于這個疑問,陳宏(2012)作出了相應(yīng)的解釋和回答:

    因果關(guān)聯(lián)研究在方法論方面有一些優(yōu)勢,卻在效度概念發(fā)展的大半個世紀(jì)里一直處于測量專家們的視野之外,最關(guān)鍵的原因,恐怕就在于這種簡單的從因果效應(yīng)發(fā)生過程求證的效度檢驗思路需要直接的觀察手段,而現(xiàn)代教育心理測量包括語言測驗恰恰缺少這樣的條件。令人鼓舞的是,近年來,隨著時間的推移和科技進步,我們似乎已經(jīng)可以依稀看到因果關(guān)聯(lián)性的定性研究在測量領(lǐng)域尤其是效度研究中得以應(yīng)用的希望曙光。(陳宏,2012:18)

    可見,陳宏(2012)將因果關(guān)聯(lián)研究法的使用局限,歸結(jié)為心理測量缺少直接的觀察手段,是有一定道理的。畢竟想要得到因果關(guān)系,需要找到確切的關(guān)聯(lián),而直接的觀察手段則是最理想的證明因果關(guān)系的途徑。但是,直接的觀察手段的實現(xiàn),需要根據(jù)所測特質(zhì)的具體情況而定,并非所有的特質(zhì)都能夠?qū)崿F(xiàn)直接的觀察。

    與因果關(guān)系的艱難探究不同的是,相關(guān)關(guān)聯(lián)的研究則由來已久,且占據(jù)主導(dǎo)地位,大受社會學(xué)解釋視角的青睞。早在20世紀(jì)50年代以前效度概念發(fā)展的初期,人們曾普遍相信有效即相關(guān)。例如Guilford曾夸張地認(rèn)為“從某種非常一般的意義上說,測驗對任何與其相關(guān)的事物都是有效的”(Guilford,1946)。以至于之后的大多數(shù)研究者都認(rèn)同相關(guān)分析為效度研究的主要方法。

    Borsboom等人為了說明相關(guān)性分析對于理論解釋存在的缺陷,他們從以下幾個方面對以相關(guān)為基礎(chǔ)的效度檢驗研究做出了概括:

    第一,世界上各種事物之間完全無關(guān)的情況實際上非常少見,特別是在社會科學(xué)領(lǐng)域中,一切事物都趨于彼此相關(guān)(Meehl,1978)。

    第二,用相關(guān)來表示效度,就會使人誤以為相關(guān)系數(shù)越高,效度就越高……然而,這種邏輯往往還會導(dǎo)致進一步極端的推論,即兩個變量完全相關(guān),便意味著完全有效,甚至使人誤以為有確切關(guān)聯(lián)的特質(zhì)就是一回事,這可是極大的謬誤。

    第三,因為相關(guān)關(guān)系本身就是一個總體依賴的統(tǒng)計量,所以任何以相關(guān)為基礎(chǔ)建立起來的效度檢驗觀點都必然導(dǎo)致效度在不同總體之間是可變的推論。然而,效度只應(yīng)取決于特質(zhì)變異,與相關(guān)關(guān)系和總體變化并沒有必然聯(lián)系。(陳宏,2012:16-17)

    需要說明的是,雖然相關(guān)分析的缺陷已經(jīng)被很多心理學(xué)家所發(fā)現(xiàn)和批判,效標(biāo)關(guān)聯(lián)效度檢驗由于依賴于相關(guān)分析的研究方法,存在循環(huán)論證問題而遭到研究者的抨擊。但是,心理學(xué)界面臨著社會對心理測量(包括語言測驗)的迫切需求,需要回答有關(guān)測驗的效度和效度檢驗方面的問題,而在心理測量尚未成熟的情況下,相關(guān)分析這一檢驗方法及時地為心理測量學(xué)家解圍,成為目前效度檢驗的重要方法,這也可以說是心理測量不得不面對和承認(rèn)的一個客觀事實和無奈。由此可見,因果關(guān)系的實現(xiàn)應(yīng)該居于研究的首位,因果關(guān)系中包含相關(guān)關(guān)系,兩種分析不可分割,但也應(yīng)有主有次。

    總之,在效度研究中建立因果關(guān)聯(lián)探究,還是繼續(xù)奉行相關(guān)分析的研究方法,這一爭論正在進行,且隨著心理測量學(xué)家對心理特質(zhì)和構(gòu)想效度思考的深入,這個議題日益凸顯出來,并在近些年來的效度探討中成為關(guān)注的核心問題之一。爭論雙方各執(zhí)一詞,有待深入分析和探究。

    [1]Alderson,J.C.,Clapham,C.,Wall,D.Language Test Construction and Evaluation[M].Cambridge:Cambridge University Press.1995.

    [2]Allison,D.Language Testing and Evaluation:An Introductory Course[M].Singapore:Singapore University Press.1999.

    [3]American Psychological Association.Standards for educational and psychological tests and manuals[M].Washington,DC:American Psychological Association.1999.

    [4]Anastasi,A.Psychological Testing(5th ed.)[M].New York:Macmillan Publishing Co.,Inc.1982.

    [5]Anastasi,A.,Urbina.S.Psychological Testing.(7th ed.)[M].New Jersey:Prentice-Hall,Inc.1997.

    [6]Bachman,L.F.Fundamental Consideration in Language Testing[M].New York:Oxford University Press.1990.

    [7]Bachman,L.F.,Palmer,A.S.Language Testing in Practice[M].New York:Oxford University Press.1996.

    [8]Borsboom,D.,Mellenbergh,G.J.Why psychometrics is not pathological:A comment on Michell[J].Theory&Psychology.2004(14):105-120.

    [9]Borsboom,D.,Ange’Iique O.J.Cramer;RogierA.Kievit,Annemarie Zand Scholten,Sanja Franic.The End of Construct Validity.The concept of validity:revisions,new directions,and applications[M].edited by Robert W.Lissitz.Information Age Publishing Inc.2009:135-172.

    [10]Chapelle,C.A.Construct definition and validity in SLA research.L.F.Bachman and A.D.Cohn(eds.).Interfaces Between Second Language Acquisition and Language Testing Research[M].Cambridge:Cambridge University Press.1998.

    [11]Cronbach,L.J.Five perspectives on validation argument.In H.Wainer&H.Braun(Eds),Test validity[M].Hillsdale,NJ:Lawrence Erlbaum.1988:3-17.

    [12]Cronbach,L.J.,Meehl.P.E.Construct validity in psychological tests[M].Psychological Bulletin.1955:52,281-302.

    [13]Ebel,R.L.,Frisbie,D.A.Essentials of Educational Measurement[M].New Jersey:Prentice-Hall.1991.

    [14]Fraenkel J.R.,Wallen,N.E.How to Design and Evaluate Research in Education(2nd ed.)[M].McGraw-Hill,Inc.1993.

    [15]Guilford,J.P.New standards for test evaluation[J].Educational and Psycbological Measurement.1946(6):427-439.

    [16]Henning,G.A Guide to Language Testing:Development,Evaluation,Research[M].New York:Newbury House Publisher.1987.

    [17]Kelley,T.L.Interpretation of educational measurement[M].Yonkers-on-Hudson,NY:World Book Co.1927.

    [18]Meehl,P.E.Theoretical risks and tabularasterisks:Sir Karl,Sir Ronald,and the sIowprogress of soft psychology[J].Journal of Consulting and Clinical Psycbology.1978(46):806-834.

    [19]Messick,S.Meaning and Values in Test Validation:The Science and Ethics of Assessment[M].Educational Researcher.1989(18):2,5-11.

    [20]常曉宇.效度理論的變遷[D].北京語言大學(xué)碩士畢業(yè)論文,2001.

    [21]陳宏.效度的基本概念[J].語言測試的跨學(xué)科探索:北京語言大學(xué)漢語水平考試中心2011年科研報告會論文集.北京:華語教學(xué)出版社,2012.

    [22]戴海琦,張鋒,陳雪楓.心理與教育測量[M].廣州:暨南大學(xué)出版社,1999.

    [23]杜·舒爾茲,等,著.葉浩生,譯.現(xiàn)代心理學(xué)史(第八版)[M].鳳凰出版?zhèn)髅郊瘓F,江蘇教育出版社,2005.

    [24]桂詩春,寧春巖.語言學(xué)方法論[M].北京:外語教學(xué)與研究出版社,1997.

    [25]凌文輇,濱治世.心理測驗法[M].北京:科學(xué)出版社,1988.

    [26]劉潤清.語言測試和它的方法[M].北京:外語教學(xué)與研究出版社,1991.

    [27]徐樅巍,許建鉞,等,譯.效度.引自:Huesn,T.,Postlethwaite,T.N.簡明國際教育百科全書·教育測量與評價[M].北京:教育科學(xué)出版社,1992.

    [28]張凱.測量是理論的組成部分—再談構(gòu)想效度[J].云南師范大學(xué)學(xué)報(對外漢語教學(xué)與研究版),2004(5):7-14.

    (責(zé)任編輯 周黎明)

    The Dispute in the Field of Validity Research

    ZHAO Qifeng

    Validity is of the most important concepts in Educational and Psychological Measurement academia.After 60 years,Construct Validity is still an unsettled problem.Based on the previous studies,We discussed three aspects of validity of the present controversy in the field,including the nature of the concept of construct validity,construct validity research perspective and the research methods.We think that by far the construct validity of position in nature,exploring perspectives and methodological aspects are still controversial.This situation need to be rationalized and unified.Researchers need to accept and learn from some of the established disciplines such as physics research ideas and methods.This is an important way to the realization of scientific research for Construct validity.

    Construct Validity;Construct;Psychophysics;Causal Analysis

    G405

    A

    1005-8427(2014)06-0011-7

    本文系北京語言大學(xué)校級科研項目資助(中央高校基本科研業(yè)務(wù)專項資金)(項目編號為13YBB22)。

    趙琪鳳,女,北京語言大學(xué)語言科學(xué)學(xué)院漢語水平考試中心博士,副研究員(北京 100083)

    猜你喜歡
    陳宏內(nèi)容效度效度
    高考物理模擬試題(五)
    Improvement on short-circuit ability of SiC super-junction MOSFET with partially widened pillar structure
    竊愛靜悄悄:亡妻郵件里有個鬼魅身影
    COSMIN方法介紹:評價患者報告結(jié)局測量工具內(nèi)容效度的評分系統(tǒng)
    循證護理(2021年5期)2021-05-28 09:17:26
    慈善募捐規(guī)制中的國家與社會:兼論《慈善法》的效度和限度
    室友A4
    英語專八閱讀理解部分內(nèi)容效度的歷時對比研究(2009—2017年)
    被看重感指數(shù)在中國大學(xué)生中的構(gòu)念效度
    大學(xué)英語新四級閱讀理解內(nèi)容效度研究
    外語形成性評估的效度驗證框架
    日本av免费视频播放| 精品少妇久久久久久888优播| 欧美 亚洲 国产 日韩一| 亚洲欧美日韩另类电影网站| 国产淫语在线视频| 久久国产精品大桥未久av| 美女大奶头黄色视频| 最新中文字幕久久久久| 午夜激情久久久久久久| 欧美日韩一级在线毛片| 波多野结衣av一区二区av| 欧美av亚洲av综合av国产av | 在线观看三级黄色| 欧美中文综合在线视频| 欧美成人午夜免费资源| 久久久久久久大尺度免费视频| 免费看av在线观看网站| 18禁观看日本| 亚洲欧美色中文字幕在线| 国产亚洲精品第一综合不卡| 男女无遮挡免费网站观看| 久久毛片免费看一区二区三区| 伦精品一区二区三区| 久久久久久久久久久免费av| 99精国产麻豆久久婷婷| 亚洲av日韩在线播放| 成人毛片60女人毛片免费| 这个男人来自地球电影免费观看 | 精品久久久久久电影网| 免费不卡的大黄色大毛片视频在线观看| 免费不卡的大黄色大毛片视频在线观看| 欧美中文综合在线视频| 久久精品久久精品一区二区三区| 美国免费a级毛片| 2021少妇久久久久久久久久久| 日韩 亚洲 欧美在线| 国产精品久久久久久精品古装| 国产精品久久久久久久久免| 欧美av亚洲av综合av国产av | 人体艺术视频欧美日本| 中文字幕色久视频| 人妻少妇偷人精品九色| 青春草视频在线免费观看| 制服丝袜香蕉在线| 亚洲内射少妇av| 国产精品嫩草影院av在线观看| 在线观看人妻少妇| 国产成人精品无人区| 免费不卡的大黄色大毛片视频在线观看| 国语对白做爰xxxⅹ性视频网站| 韩国精品一区二区三区| 国产免费现黄频在线看| 亚洲一级一片aⅴ在线观看| 久久午夜福利片| 久久人人97超碰香蕉20202| 亚洲国产日韩一区二区| 亚洲国产av新网站| 日韩免费高清中文字幕av| 久久精品国产鲁丝片午夜精品| 免费高清在线观看日韩| 免费不卡的大黄色大毛片视频在线观看| 亚洲欧美清纯卡通| 国产成人精品一,二区| 一级毛片黄色毛片免费观看视频| 国产成人精品婷婷| 亚洲欧美一区二区三区国产| 欧美黄色片欧美黄色片| 人人妻人人澡人人看| 毛片一级片免费看久久久久| 日日啪夜夜爽| 寂寞人妻少妇视频99o| 国产男人的电影天堂91| 777久久人妻少妇嫩草av网站| 一区福利在线观看| 亚洲精品自拍成人| 综合色丁香网| 免费黄网站久久成人精品| 精品酒店卫生间| 最黄视频免费看| 最近中文字幕高清免费大全6| 丝袜在线中文字幕| 夫妻性生交免费视频一级片| 日韩一卡2卡3卡4卡2021年| 大片免费播放器 马上看| 日韩制服丝袜自拍偷拍| 亚洲一码二码三码区别大吗| 中文字幕最新亚洲高清| 老汉色∧v一级毛片| 精品少妇黑人巨大在线播放| 中文字幕人妻熟女乱码| 一级毛片我不卡| 男女午夜视频在线观看| 寂寞人妻少妇视频99o| 777米奇影视久久| 啦啦啦在线免费观看视频4| 成人国产av品久久久| 老鸭窝网址在线观看| 亚洲av日韩在线播放| 国产成人精品久久久久久| 婷婷色麻豆天堂久久| 精品久久久久久电影网| 欧美日韩视频高清一区二区三区二| 亚洲欧美清纯卡通| 欧美 日韩 精品 国产| 午夜免费观看性视频| 美女高潮到喷水免费观看| 国产成人精品久久二区二区91 | 人体艺术视频欧美日本| 成人手机av| 自拍欧美九色日韩亚洲蝌蚪91| 亚洲国产精品一区三区| 在线 av 中文字幕| 成年av动漫网址| 1024香蕉在线观看| 久久女婷五月综合色啪小说| av又黄又爽大尺度在线免费看| 国产精品嫩草影院av在线观看| 一区二区日韩欧美中文字幕| 天天操日日干夜夜撸| 久久这里只有精品19| av视频免费观看在线观看| tube8黄色片| 国产又色又爽无遮挡免| 国产成人精品福利久久| 交换朋友夫妻互换小说| 免费在线观看黄色视频的| 伦理电影免费视频| 中文字幕精品免费在线观看视频| 国产片内射在线| 老司机影院成人| 亚洲国产精品国产精品| 中文字幕人妻丝袜一区二区 | 日本免费在线观看一区| 国产精品偷伦视频观看了| 欧美日韩亚洲国产一区二区在线观看 | 成人亚洲精品一区在线观看| 亚洲一级一片aⅴ在线观看| 人妻少妇偷人精品九色| 深夜精品福利| av片东京热男人的天堂| 欧美成人午夜精品| 亚洲精华国产精华液的使用体验| 只有这里有精品99| 亚洲综合精品二区| 亚洲精品一二三| 男人操女人黄网站| 又黄又粗又硬又大视频| 十八禁网站网址无遮挡| xxx大片免费视频| 国产黄色视频一区二区在线观看| 中文字幕人妻丝袜一区二区 | 咕卡用的链子| 免费看不卡的av| 婷婷色综合大香蕉| 国产精品嫩草影院av在线观看| 亚洲视频免费观看视频| 亚洲国产av影院在线观看| 亚洲综合精品二区| 不卡视频在线观看欧美| 亚洲av福利一区| 麻豆乱淫一区二区| 最近中文字幕2019免费版| 777米奇影视久久| 亚洲三区欧美一区| 黑丝袜美女国产一区| 2018国产大陆天天弄谢| 飞空精品影院首页| 久久久久久久久久久久大奶| 国产免费视频播放在线视频| 秋霞伦理黄片| 国产麻豆69| 国产片特级美女逼逼视频| 午夜福利乱码中文字幕| 国产国语露脸激情在线看| 在线 av 中文字幕| 亚洲成色77777| 日本猛色少妇xxxxx猛交久久| 日韩中文字幕欧美一区二区 | 18+在线观看网站| 又大又黄又爽视频免费| 中文字幕精品免费在线观看视频| tube8黄色片| 婷婷色麻豆天堂久久| 国产精品免费大片| 一边摸一边做爽爽视频免费| 久久女婷五月综合色啪小说| 黄片播放在线免费| 女人高潮潮喷娇喘18禁视频| 男人操女人黄网站| 亚洲欧美中文字幕日韩二区| 国产欧美亚洲国产| 搡老乐熟女国产| 亚洲精品一区蜜桃| 在线观看免费日韩欧美大片| 男人爽女人下面视频在线观看| 午夜福利,免费看| av片东京热男人的天堂| 如何舔出高潮| 最新的欧美精品一区二区| 大片免费播放器 马上看| 考比视频在线观看| 成人国产av品久久久| 在线观看国产h片| 欧美少妇被猛烈插入视频| 国产一区二区 视频在线| 国产亚洲一区二区精品| 欧美在线黄色| 天天操日日干夜夜撸| 亚洲av电影在线观看一区二区三区| 丰满饥渴人妻一区二区三| 精品国产一区二区三区四区第35| 亚洲欧美一区二区三区黑人 | 日本91视频免费播放| 性高湖久久久久久久久免费观看| av免费在线看不卡| 午夜激情av网站| 欧美激情 高清一区二区三区| 国产一区二区三区av在线| 午夜免费鲁丝| 国产乱人偷精品视频| 成人亚洲精品一区在线观看| 精品一区二区免费观看| 少妇猛男粗大的猛烈进出视频| 在线观看www视频免费| kizo精华| 最近中文字幕2019免费版| 国产成人91sexporn| 春色校园在线视频观看| 精品一区二区三卡| 青草久久国产| 久久国产亚洲av麻豆专区| www.自偷自拍.com| 欧美日韩一区二区视频在线观看视频在线| 精品午夜福利在线看| a 毛片基地| 另类亚洲欧美激情| 欧美精品一区二区免费开放| 91久久精品国产一区二区三区| 免费黄色在线免费观看| 777久久人妻少妇嫩草av网站| 午夜福利乱码中文字幕| 汤姆久久久久久久影院中文字幕| 美女福利国产在线| 亚洲国产毛片av蜜桃av| 日产精品乱码卡一卡2卡三| 国产成人免费无遮挡视频| 极品少妇高潮喷水抽搐| 久久人妻熟女aⅴ| 有码 亚洲区| 最近的中文字幕免费完整| 久久久久久人妻| kizo精华| 亚洲欧美精品自产自拍| 哪个播放器可以免费观看大片| 中文字幕色久视频| 啦啦啦在线免费观看视频4| a 毛片基地| 午夜福利视频精品| 一区二区三区乱码不卡18| 狠狠精品人妻久久久久久综合| 欧美变态另类bdsm刘玥| 成人毛片60女人毛片免费| 日韩精品有码人妻一区| 中国国产av一级| 女性被躁到高潮视频| 在线观看人妻少妇| 国产高清不卡午夜福利| 日本午夜av视频| 久久ye,这里只有精品| 午夜激情av网站| 久久国产精品男人的天堂亚洲| 久久久久久久久久人人人人人人| 91aial.com中文字幕在线观看| 亚洲欧洲日产国产| 一本大道久久a久久精品| 女人被躁到高潮嗷嗷叫费观| 亚洲国产精品999| 亚洲精品视频女| 国产亚洲欧美精品永久| 一区二区三区乱码不卡18| www.自偷自拍.com| 大香蕉久久网| 五月伊人婷婷丁香| 天美传媒精品一区二区| 韩国av在线不卡| 18+在线观看网站| 亚洲精品自拍成人| 欧美另类一区| 国产成人aa在线观看| 国产精品二区激情视频| 亚洲色图 男人天堂 中文字幕| 亚洲国产av影院在线观看| 成人漫画全彩无遮挡| 99久国产av精品国产电影| 国产爽快片一区二区三区| 亚洲欧美成人精品一区二区| 欧美xxⅹ黑人| 久久久精品国产亚洲av高清涩受| 久久ye,这里只有精品| 热99国产精品久久久久久7| 亚洲美女搞黄在线观看| 亚洲视频免费观看视频| 精品国产乱码久久久久久男人| 久久久久精品久久久久真实原创| 两个人看的免费小视频| 下体分泌物呈黄色| 久久婷婷青草| 久久久久久久久久久久大奶| 欧美中文综合在线视频| 97人妻天天添夜夜摸| h视频一区二区三区| 高清黄色对白视频在线免费看| 国产精品亚洲av一区麻豆 | 黄色怎么调成土黄色| 婷婷色av中文字幕| 在线精品无人区一区二区三| 香蕉国产在线看| 国产综合精华液| 热99国产精品久久久久久7| 久久精品国产a三级三级三级| 亚洲精品美女久久久久99蜜臀 | 国产老妇伦熟女老妇高清| 日日啪夜夜爽| 日韩熟女老妇一区二区性免费视频| 91国产中文字幕| 色哟哟·www| 夜夜骑夜夜射夜夜干| 狠狠精品人妻久久久久久综合| 国产探花极品一区二区| 免费高清在线观看视频在线观看| 91久久精品国产一区二区三区| 亚洲欧美日韩另类电影网站| 黄片小视频在线播放| 久久精品亚洲av国产电影网| 青春草亚洲视频在线观看| 麻豆乱淫一区二区| 亚洲,欧美精品.| 亚洲天堂av无毛| 久久韩国三级中文字幕| 99久久人妻综合| 国产熟女欧美一区二区| 一本—道久久a久久精品蜜桃钙片| 亚洲av免费高清在线观看| 亚洲在久久综合| 久久久久国产一级毛片高清牌| 性色av一级| 美女午夜性视频免费| 国产成人精品久久久久久| 国产精品女同一区二区软件| videos熟女内射| 天堂中文最新版在线下载| 久久久精品94久久精品| 人妻系列 视频| 免费大片黄手机在线观看| 美女国产视频在线观看| 水蜜桃什么品种好| 日韩熟女老妇一区二区性免费视频| 99热网站在线观看| 欧美国产精品va在线观看不卡| 欧美精品高潮呻吟av久久| 纵有疾风起免费观看全集完整版| 欧美精品国产亚洲| 97人妻天天添夜夜摸| 亚洲精品一二三| 国产精品一国产av| 国产免费视频播放在线视频| 精品亚洲乱码少妇综合久久| 国产av精品麻豆| av片东京热男人的天堂| av不卡在线播放| 日韩电影二区| 人成视频在线观看免费观看| 色视频在线一区二区三区| 亚洲第一av免费看| 久久久久久久久久久久大奶| 亚洲成人手机| 免费在线观看完整版高清| 大码成人一级视频| 韩国高清视频一区二区三区| 国产又色又爽无遮挡免| 一本色道久久久久久精品综合| 少妇 在线观看| 久久av网站| 777米奇影视久久| 国产成人欧美| 国产有黄有色有爽视频| av国产精品久久久久影院| 精品国产一区二区三区四区第35| 国产成人精品无人区| 国产综合精华液| 久久久精品区二区三区| 成人亚洲欧美一区二区av| 黑人欧美特级aaaaaa片| 久久婷婷青草| 日本vs欧美在线观看视频| 九九爱精品视频在线观看| 如日韩欧美国产精品一区二区三区| 9热在线视频观看99| 国产有黄有色有爽视频| 亚洲色图综合在线观看| 巨乳人妻的诱惑在线观看| 精品一区二区三区四区五区乱码 | 极品少妇高潮喷水抽搐| 久久精品国产亚洲av高清一级| xxxhd国产人妻xxx| 成年动漫av网址| 国产精品秋霞免费鲁丝片| 一区二区三区激情视频| 日韩伦理黄色片| 亚洲av在线观看美女高潮| 国产成人免费观看mmmm| 日韩电影二区| 9色porny在线观看| 日韩熟女老妇一区二区性免费视频| 丝袜美足系列| 欧美日韩一区二区视频在线观看视频在线| 下体分泌物呈黄色| 一区二区三区精品91| 黄色 视频免费看| 五月伊人婷婷丁香| av在线app专区| 中国三级夫妇交换| 日韩电影二区| 久久人人爽av亚洲精品天堂| 精品酒店卫生间| 咕卡用的链子| 成人毛片a级毛片在线播放| 97人妻天天添夜夜摸| 亚洲精品久久久久久婷婷小说| 另类精品久久| 极品人妻少妇av视频| 国产一区有黄有色的免费视频| 大码成人一级视频| 少妇被粗大的猛进出69影院| 久久99热这里只频精品6学生| 黄色配什么色好看| 亚洲欧美清纯卡通| 男的添女的下面高潮视频| 麻豆乱淫一区二区| 久久精品久久久久久噜噜老黄| 黑人巨大精品欧美一区二区蜜桃| 国产成人91sexporn| 国产又爽黄色视频| 伦理电影免费视频| 捣出白浆h1v1| 日韩免费高清中文字幕av| 大话2 男鬼变身卡| 97精品久久久久久久久久精品| 香蕉国产在线看| 韩国精品一区二区三区| 国产av国产精品国产| 伦理电影大哥的女人| 国产成人a∨麻豆精品| 免费女性裸体啪啪无遮挡网站| 午夜激情av网站| 两性夫妻黄色片| 日韩制服丝袜自拍偷拍| 久久久国产一区二区| 欧美老熟妇乱子伦牲交| 亚洲 欧美一区二区三区| 90打野战视频偷拍视频| a级毛片黄视频| 亚洲精品,欧美精品| 久久久久久人妻| 成年女人毛片免费观看观看9 | 日韩 亚洲 欧美在线| 亚洲美女黄色视频免费看| 久久精品国产亚洲av天美| 免费不卡的大黄色大毛片视频在线观看| 国产日韩欧美在线精品| 搡老乐熟女国产| 五月开心婷婷网| 最近手机中文字幕大全| 一级片免费观看大全| 美女视频免费永久观看网站| 18禁裸乳无遮挡动漫免费视频| 国产av一区二区精品久久| 免费观看性生交大片5| 国产熟女欧美一区二区| 亚洲精品成人av观看孕妇| 欧美日韩一级在线毛片| 欧美在线黄色| 成人18禁高潮啪啪吃奶动态图| 女人久久www免费人成看片| 免费在线观看视频国产中文字幕亚洲 | 久久久久久久久免费视频了| 久久久久久久久久久免费av| 亚洲欧美中文字幕日韩二区| 只有这里有精品99| 女人高潮潮喷娇喘18禁视频| av一本久久久久| 亚洲精品美女久久av网站| 最近手机中文字幕大全| 欧美日韩成人在线一区二区| 伊人久久国产一区二区| 久久久国产一区二区| 中文字幕人妻丝袜一区二区 | 91成人精品电影| 欧美精品国产亚洲| 久久精品国产亚洲av涩爱| 精品亚洲成国产av| 国产高清不卡午夜福利| 国精品久久久久久国模美| 日韩,欧美,国产一区二区三区| 国产亚洲最大av| 亚洲国产看品久久| 久久久久久人人人人人| 亚洲精品视频女| 久久国产亚洲av麻豆专区| 精品酒店卫生间| videossex国产| 国产精品二区激情视频| 日本av手机在线免费观看| 久久av网站| 最近中文字幕高清免费大全6| 精品少妇黑人巨大在线播放| 国产精品三级大全| tube8黄色片| 亚洲国产av新网站| 久久久久久人人人人人| 久久99精品国语久久久| 777米奇影视久久| 日韩大片免费观看网站| 天天影视国产精品| 国产精品欧美亚洲77777| 久久久欧美国产精品| 91久久精品国产一区二区三区| 日韩精品免费视频一区二区三区| 国产精品三级大全| 1024香蕉在线观看| 亚洲精品av麻豆狂野| 美女脱内裤让男人舔精品视频| 日韩免费高清中文字幕av| 男女下面插进去视频免费观看| 国产精品熟女久久久久浪| 亚洲一码二码三码区别大吗| 麻豆乱淫一区二区| 99热国产这里只有精品6| 国产成人aa在线观看| 黄片无遮挡物在线观看| 久久久久久久国产电影| 又大又黄又爽视频免费| 一个人免费看片子| www.熟女人妻精品国产| 亚洲精品美女久久久久99蜜臀 | 日本-黄色视频高清免费观看| 9热在线视频观看99| 免费高清在线观看视频在线观看| 中文字幕制服av| 日日撸夜夜添| 日本91视频免费播放| 中文字幕色久视频| 人妻 亚洲 视频| 免费观看性生交大片5| 国产高清不卡午夜福利| 丝袜脚勾引网站| 国产 一区精品| 精品99又大又爽又粗少妇毛片| 中文字幕人妻熟女乱码| 亚洲国产毛片av蜜桃av| 久久ye,这里只有精品| 人人妻人人爽人人添夜夜欢视频| 少妇猛男粗大的猛烈进出视频| 大话2 男鬼变身卡| 日韩一区二区三区影片| 日本av免费视频播放| 久久精品国产a三级三级三级| 成人国语在线视频| 热99久久久久精品小说推荐| 国产免费视频播放在线视频| 大话2 男鬼变身卡| 久久久久久免费高清国产稀缺| 欧美bdsm另类| 新久久久久国产一级毛片| 免费av中文字幕在线| 捣出白浆h1v1| 亚洲婷婷狠狠爱综合网| 国产福利在线免费观看视频| 热re99久久精品国产66热6| 99香蕉大伊视频| 97在线人人人人妻| 日本猛色少妇xxxxx猛交久久| 两个人免费观看高清视频| 国产人伦9x9x在线观看 | av卡一久久| 午夜福利网站1000一区二区三区| 久久久久国产精品人妻一区二区| 婷婷色麻豆天堂久久| 国产精品蜜桃在线观看| 精品国产乱码久久久久久小说| 男女午夜视频在线观看| 欧美精品av麻豆av| 夫妻性生交免费视频一级片| 国产精品免费视频内射| 日韩中字成人| 亚洲三级黄色毛片| 色视频在线一区二区三区| 美女高潮到喷水免费观看| www.精华液| 亚洲成av片中文字幕在线观看 | 美女中出高潮动态图| 在线观看国产h片| 免费大片黄手机在线观看| 一本大道久久a久久精品| 边亲边吃奶的免费视频| 韩国av在线不卡| 亚洲熟女精品中文字幕| 日韩制服丝袜自拍偷拍| 午夜激情久久久久久久| 国产成人一区二区在线| 91精品国产国语对白视频| 亚洲成人av在线免费| 欧美日韩精品网址| 波多野结衣一区麻豆| 天天躁狠狠躁夜夜躁狠狠躁|