• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    效度研究領(lǐng)域中的爭議

    2014-02-04 20:07:31趙琪鳳
    中國考試 2014年6期
    關(guān)鍵詞:陳宏內(nèi)容效度效度

    趙琪鳳

    效度研究領(lǐng)域中的爭議

    趙琪鳳

    在教育和心理測量界,效度被認(rèn)為是最為核心的概念。作為效度問題的根本,構(gòu)想效度研究仍然是心理測量界的一大難題,仍然存在諸多爭議和挑戰(zhàn)。本文在一系列前期研究和分析的基礎(chǔ)上,從構(gòu)想效度的概念本質(zhì)、構(gòu)想效度的研究視角、構(gòu)想效度的研究方法三大方面探討了效度研究領(lǐng)域中存在的爭議。我們認(rèn)為,迄今為止構(gòu)想效度研究在本質(zhì)定位、探究視角和方法論方面仍然爭議不斷,需要理順和統(tǒng)一,并接受和借鑒物理學(xué)等成熟學(xué)科的一些研究思路和方法,這才是實現(xiàn)科學(xué)研究構(gòu)想效度的重要途徑。

    構(gòu)想效度;構(gòu)想;心理物理學(xué);因果分析

    時至今日,效度研究已經(jīng)經(jīng)歷了近1個世紀(jì)的歷程,并取得了較為豐碩的研究成果,雖然具體的心理測驗極大地滿足了社會應(yīng)用及政治決策的需要,但是作為效度問題的根本,構(gòu)想效度研究仍然是心理測量界的一大難題,仍然存在諸多爭議和挑戰(zhàn)。其中,我們認(rèn)為主要的爭議體現(xiàn)在關(guān)于“構(gòu)想效度究竟是指什么有效”的爭議,“對心理構(gòu)想的解釋采用物理學(xué)視角還是社會學(xué)視角”之間的爭議,以及在方法論上“確定因果效應(yīng)還是構(gòu)建相關(guān)網(wǎng)絡(luò)”之間的爭議三大方面。

    1 構(gòu)想效度究竟是指什么有效?

    在教育和心理測量界,效度被認(rèn)為是最為核心的概念。雖然在1921年效度概念正式提出時,研究者就聲稱“效度是指測驗在多大程度上測到了它想要測的東西”,但是經(jīng)過多年的效度研究歷程,我們可以看到這個概念并不足以清楚、準(zhǔn)確地表達效度的本質(zhì)含義,至少我們看到不同的學(xué)者根據(jù)自己的理解和知識背景,以及所處的社會環(huán)境等因素,對效度(尤其是構(gòu)想效度)存在不同的理解;正是因為沒有對構(gòu)想效度要測什么形成一致的認(rèn)識,一些學(xué)者會對不同的構(gòu)想效度定義均表認(rèn)同;有時會在不同的構(gòu)想效度定義之間反復(fù)、搖擺。因此,“構(gòu)想效度究竟是指什么有效”成了一個爭議頗多的問題,在確定構(gòu)想效度是指什么東西有效方面,已經(jīng)存在各種不同的說法和見解,混淆了構(gòu)想效度的研究基礎(chǔ)和思路。

    根據(jù)常曉宇(2001)、張凱(2004)等人之前對構(gòu)想效度概念混亂狀況所做的總結(jié)和闡述,我們認(rèn)為目前心理測量界對構(gòu)想效度定義的研究大致呈現(xiàn)以下五種狀態(tài)。

    1.1 從字面入手理解關(guān)鍵詞的含義——把“構(gòu)想”(construct)理解為“結(jié)構(gòu)”(structure)

    構(gòu)想效度的英文表述是“construct validity”,國內(nèi)的學(xué)者將這個關(guān)鍵詞翻譯成中文,就會出現(xiàn)一些不同的譯法和理解。例如凌文輇、濱治世(1988:16)把構(gòu)想效度翻譯成“構(gòu)造概念效度”,王重鳴(1990:142)把構(gòu)想效度翻譯成“構(gòu)思效度”,劉潤清(1991:18)則翻譯為“編制效度”,徐樅?。?992:344)把構(gòu)想效度理解為“構(gòu)念效度”或“構(gòu)造效度”等。不僅是國內(nèi)的學(xué)者,國外的一些研究者也持有同樣的觀點,如Allison(1999)認(rèn)為“[Construct(構(gòu)想或結(jié)構(gòu))是]我們想要教或想要測的東西的表征,如‘聽力理解’及其組成成分”??梢?,很多人把構(gòu)想效度這個概念譯成“結(jié)構(gòu)效度”。張凱(2004)總結(jié)認(rèn)為:“根據(jù)這個譯法,有人認(rèn)為結(jié)構(gòu)(構(gòu)想)效度是指所測能力的構(gòu)成(如智力的各個因素)和測驗結(jié)構(gòu)(structure)之間的一致性程度或?qū)?yīng)程度”(2004:8)。

    1.2 將構(gòu)想效度等同于內(nèi)容效度

    部分學(xué)者認(rèn)為,構(gòu)想效度與內(nèi)容效度類似,如果測驗沒有什么實在的內(nèi)容可以依據(jù)(談不上內(nèi)容效度)的話,總得找點東西來代替內(nèi)容效度,這東西就是構(gòu)想效度。

    還有的學(xué)者把內(nèi)容效度與構(gòu)想效度混為一談,認(rèn)為內(nèi)容效度的考察大綱是理論結(jié)構(gòu)的一個樣本,內(nèi)容效度可以轉(zhuǎn)化為構(gòu)想效度,內(nèi)容效度與構(gòu)想效度很難截然分開,屬于一個整體。

    其實,在建立構(gòu)想效度的方法中,先考察測驗的內(nèi)容效度的方法也是其中一種,“因為有些測驗對所測內(nèi)容或行為范圍的定義或解釋類似于理論構(gòu)想的解釋”(戴海琦、張鋒、陳雪楓,1999),但這種方法當(dāng)且僅當(dāng)“測驗對所測內(nèi)容或行為范圍的定義或解釋類似于理論構(gòu)想的解釋”時才成立,考察內(nèi)容效度的方法多數(shù)情況下并不適用,況且內(nèi)容效度本身就難以測定(常曉宇,2001)。

    1.3 徹底否定構(gòu)想效度

    在構(gòu)想效度提出50多年后,出現(xiàn)少量學(xué)者對構(gòu)想效度持徹底否定的態(tài)度。如Borsboom等人對Cronbach和Meehl(1955)的認(rèn)識是:

    構(gòu)想效度的觀點從產(chǎn)生就注定了死亡。Cronbach和Meehl(1955)提出的構(gòu)想效度從來沒有過任何研究實例。相應(yīng)地,在當(dāng)今的效度理論中也沒有定律網(wǎng)絡(luò)的軌跡(Borsboom et al.,2009)

    在這種完全否定的態(tài)度下,Borsboom等人更加堅定了對構(gòu)想效度批判,同時從效度命名的角度試圖取消“構(gòu)想效度”這一術(shù)語:

    我們認(rèn)為構(gòu)想效度理論中使用的“構(gòu)想”一詞,在兩個方面是不一致的,也就是說,這個詞同時指向了理論術(shù)語(如,一個標(biāo)記)和指派術(shù)語的證明(如,一個研究者使用一種測量工具發(fā)現(xiàn)了這一現(xiàn)象)。這種雙重意義制造了大量的誤解和混亂……。因此,我們建議將‘構(gòu)想’一詞去掉,……。我們認(rèn)為效度的概念,正如通常所理解的那樣,在理論上和實踐上都優(yōu)于構(gòu)想效度概念。最后,我們提出的主張是構(gòu)想效度一直使得研究者躲在迷霧之后,免于思考和解決心理測量的真正問題。(Borsboom et al.,2009)

    Borsboom等人在上述觀點中,認(rèn)為構(gòu)想效度中的“構(gòu)想”一詞,不僅沒有任何實際意義,反而制造了混亂和誤解,他們更加贊成使用“效度”替代構(gòu)想效度的核心地位,也就是說之前對構(gòu)想效度的多方論述和證明,都是無益于效度檢驗的,可見,Borsboom等人(2009)徹底否定了構(gòu)想效度的地位和作用。

    1.4 片面的理解

    除了上述對構(gòu)想效度概念產(chǎn)生的不同理解和解釋外,提到一個測驗具有構(gòu)想效度時,究竟是什么東西有效?測量界有三種不同的解釋:構(gòu)想有效、測驗有效、測驗的分?jǐn)?shù)或分?jǐn)?shù)解釋有效。

    1.4.1 構(gòu)想有效

    測量界里,這種看法由來已久。早在提出構(gòu)想效度之時,Cronbach和Meehl就已經(jīng)不是把效度問題理解為測驗是否測到了某個特質(zhì)這樣單純的事實性問題,而是當(dāng)作由測驗分?jǐn)?shù)所作出的推論是否與包含各種理論與觀察術(shù)語的規(guī)則網(wǎng)絡(luò)(nomological)相一致的問題(1955)(陳宏,2012:2)。

    Henning(1987:98)認(rèn)為“建立構(gòu)想效度的目的是證明被測量的潛在的理論構(gòu)想本身是有效的”。

    國內(nèi)的桂詩春、寧春巖(1997:293)以及陳俊良(1991:103)的說法與之類似。

    《教育與心理測量標(biāo)準(zhǔn)》(AERA,1999:5)聲稱,“測驗就是對構(gòu)想的測量工具”,“所有測驗分?jǐn)?shù)”都應(yīng)“看作某種構(gòu)想的測度”(AERA,1999:174)。有了《標(biāo)準(zhǔn)》的支持,效度指構(gòu)想有效這一解釋很快成為測量界居統(tǒng)治地位的主流意識(陳宏,2012:2)。

    1.4.2 測驗有效

    還有學(xué)者認(rèn)為構(gòu)想效度是測驗(測量)的有效性,如Kelly早在1927年就提出,測驗如果測到了它聲稱要測的東西就是有效的(1927:14)。Anastasi對效度定義的闡述幾十年基本未變,她在效度問題上的看法長期以來為人們廣泛引用并產(chǎn)生了深遠(yuǎn)影響,Anastasi(1982:144;1997:126)認(rèn)為“測驗的構(gòu)想效度就是測驗在多大程度上測出了理論構(gòu)想或理論特質(zhì)?!边@種觀點實質(zhì)上強調(diào)的是測驗或測量的工具屬性。

    國內(nèi)學(xué)者戴忠恒(1987:233)、凌文輇、濱治世(1988:17)、王重鳴(1990:142)Fraenkel&Wallen(1993:548)、Brown(1996:239)、Kline(1998:37)、劉永芳、房慧聰(2001:188)對構(gòu)想效度的界定,也都認(rèn)同測驗有效的理解(張凱,2004)。

    1.4.3 測驗的分?jǐn)?shù)或分?jǐn)?shù)解釋有效

    在構(gòu)想效度的表述對象問題上,目前占據(jù)主導(dǎo)思想的解釋是,效度是分?jǐn)?shù)解釋或根據(jù)分?jǐn)?shù)所作推斷的有效性。Messick(1989:13)說,“效度不是測驗……的特性,而是測驗分?jǐn)?shù)的意義的特性”。Fraenkel&Wallen(1993:193)說,“需要證明有效的,不是工具本身,而是工具在特定的應(yīng)用中產(chǎn)生的推論”。Cronbach(1989:151)自己后來也說,構(gòu)想效度“證明的是特定的分?jǐn)?shù)解釋”。持這種觀點的還有Ebel&Frisbie(1991:108),Bachman(1990:290),Bachman&Palmer(1996:21),Chapelle(1998:50)等。

    1999年APA《標(biāo)準(zhǔn)》的修訂版基本接受了Messick對效度的定義,承認(rèn)效度檢驗過程所“評估的是根據(jù)人們提出的應(yīng)用需求對測驗分?jǐn)?shù)所作的解釋,而非測驗本身?!蓖瑫r承認(rèn)“人們提出的測驗應(yīng)用需要對測驗分?jǐn)?shù)作出解釋,效度指的是證據(jù)和理論對這種分?jǐn)?shù)解釋的支持程度”(AERA,1999:9)。此后,“這種效度觀念在測量界便逐漸形成思維定式,而且表述更簡單、明確、直截了當(dāng)”(陳宏,2012:4)。

    1.5 含混不清、前后矛盾的表述

    正是由于心理測量學(xué)界對構(gòu)想效度表述對象的不確定和不統(tǒng)一的現(xiàn)狀,導(dǎo)致爭議不僅表現(xiàn)為研究者們對這個問題有不同的理解,而且還表現(xiàn)為,“研究者個人有時會同時認(rèn)可兩種表述對象;有時會在不同的表述對象間反復(fù)、搖擺;而且有些學(xué)者在效度表述對象問題上的不一致甚至在同一部著作中也會出現(xiàn)”(陳宏,2012:4)。這種對構(gòu)想效度含混不清的表述,很容易給讀者造成誤解和歧義。

    Alderson,Clapham和Wall(1995)說:

    每個理論都包含若干構(gòu)想,并力圖定義構(gòu)想之間的關(guān)系?!瓰榱藴y出一個測驗的構(gòu)想效度,編測驗的人必須使測驗和潛在的理論掛上鉤,然后將測驗結(jié)果和那個理論進行比較。(1995:286-287)

    這好像是說構(gòu)想有效,但他們接著又說:“構(gòu)想效度就是評價一個測驗對那些構(gòu)想的測量程度如何?!边@又似乎是說測驗有效了。杰克遜(1996:91)、Sax(1997:313)以及Loewenthal(2001:17)等人對構(gòu)想效度的表述也同樣存在各種混亂,對構(gòu)想效度的界定通常指代不明(張凱,2004)。

    Henning雖然在陳述效度定義時說過:“效度一般指某個特定測驗或其任何組成部分作為對它聲稱要測量的那個東西的測度的恰當(dāng)性”(1987:89),似乎認(rèn)為效度是測量的屬性,然而其后在同一部著作中定義構(gòu)想效度時,Henning卻明確指出,測驗“聲稱要測量”的,就是“潛在的理論構(gòu)想”,而“建立構(gòu)想效度的目的,就是證明被測量的潛在的理論構(gòu)想本身有效”(Henning,1987:89),可見當(dāng)時在Henning意識中,效度實質(zhì)就是構(gòu)想效度。

    Borsboom等荷蘭學(xué)者也是很明顯的例子。一方面,他們承認(rèn)效度是測驗本身的屬性,明確肯定Kelly(1927)提出的效度定義是正確的。另一方面,Borsboom等人(2004)在闡述其效度主張的文獻中,卻明確表示:

    僅憑心理測量技術(shù)和心理測量模型解決不了效度問題。正相反,這個問題必須由實體理論來處理。測驗效度是個心理學(xué)無法外包給方法論去解決的問題。(Borsboom et.al.,2004)

    顯然,這里“有效”所表述的已非測驗本身的屬性,而是測驗構(gòu)想或有關(guān)構(gòu)想的理論了(陳宏,2012:6)。這些令人費解的表述,是由于研究者自身對構(gòu)想效度理解的模糊和不確定所造成的。

    由上述多種多樣的構(gòu)想效度概念,我們可以明確,“構(gòu)想效度究竟是指什么有效”這個問題存在多樣的回答和復(fù)雜的論爭,是一個值得研究的課題。

    2 心理構(gòu)想解釋采用物理學(xué)視角還是社會學(xué)視角

    早在19世紀(jì)中期,心理物理學(xué)的出現(xiàn),引發(fā)了一場關(guān)于人類心理構(gòu)想解釋采用物理學(xué)視角還是采用社會學(xué)視角的爭論。

    心理物理學(xué)(psychophysics)研究,像這個詞本身所表明的那樣,研究的是精神(心理)世界和物質(zhì)(物理)世界的關(guān)系。這一研究包括提起重物、視覺明度、視覺距離和觸覺距離的實驗(舒爾茲,2005:66)。從名稱上看,心理物理學(xué)一方面要以心理學(xué)為基礎(chǔ),另一方面還要能為心理學(xué)提供數(shù)學(xué)基礎(chǔ)。心理物理學(xué)要從物理學(xué)研究中得到啟發(fā)和方法論,從生理學(xué)和解剖學(xué)中得到更多的神經(jīng)系統(tǒng)方面的東西??梢?,心理物理學(xué)的解釋視角主張從客觀存在的生理機制上尋求依據(jù),并結(jié)合物理學(xué)的數(shù)字化表達方式,力圖使心理學(xué)成為物理學(xué)那樣的精密科學(xué)。而心理學(xué)的傳統(tǒng)做法是將這兩種視角相結(jié)合,一些心理學(xué)家認(rèn)為有關(guān)自然本性視角和后天因素視角的爭論根本就不存在,因為人類行為是由外部環(huán)境和遺傳物質(zhì)共同作用的結(jié)果,把兩者分開是不明智的。

    然而,“在測量界乃至一般測驗用戶那里,主張效度的實在性似乎注定是要坐冷板凳的”(陳宏,2012:7),顯然,在關(guān)于人類行為解釋的生物學(xué)和社會學(xué)(自然本性和后天因素)視角之間的這場爭論中,社會學(xué)解釋視角占據(jù)了上風(fēng),這一視角對心理測驗的思考和分析與測驗所處的社會環(huán)境相聯(lián)系,從道德和實際應(yīng)用等方面研究人類行為,至今仍是心理測量和構(gòu)想效度研究的主流觀點。

    我們認(rèn)為,主張從生物學(xué)視角解釋行為,其根本還是心理特質(zhì)的實在性問題。我們知道,在經(jīng)驗世界里,無論通過感官還是借助各種測量工具,心理特質(zhì)都是無法直接觀察的,一切關(guān)于特質(zhì)的構(gòu)想和理論都只是假設(shè):假設(shè)被試行為的原因可以用某種特質(zhì)的作用來解釋,這些特質(zhì)影響了被試行為,被試行為的差異體現(xiàn)了特質(zhì)的差異。

    可不幸的是,探究心理特質(zhì)實在性這一點,偏偏正是現(xiàn)代教育和心理測量界長期以來一個最大的難題。將特質(zhì)的實在性看作效度的核心,就是要求測驗構(gòu)想確有某種外在的實體與之明確對應(yīng)。

    其實早在19世紀(jì)中期,費希納就嘗試從生物學(xué)視角解釋人類行為。著名的費希納律將感覺這種不可直接觀察的屬性定為構(gòu)想,然后找到了一種可觀察的屬性——刺激量作為直接測量對象,經(jīng)過反復(fù)試驗,在刺激量和感覺量之間找到了一條(用數(shù)學(xué)表達的)定律,即S=KlogR,根據(jù)上述證明理論的要求,這時感覺量作為構(gòu)想得到了證明。這一定律的出現(xiàn)表明,對心理構(gòu)想實在性的探究和科學(xué)測量雖然難度很大,但也并非毫無希望??梢哉f,費希納開拓了心理測量科學(xué)方法的先例和思路,這一方向是值得繼續(xù)深入挖掘和繼承的。這正是心理測量需要繼續(xù)努力的方向。而回避和忽略這一研究思路,轉(zhuǎn)而從社會學(xué)視角解釋行為,則趨于主觀判斷和人為因素的摻雜,研究難度驟然降低,而且可滿足實際需求和社會需要,但是“這樣一個完全靠假設(shè)構(gòu)建起來的效驗推論鏈條是十分脆弱的,因為假設(shè)終究需要證實:測驗所測特質(zhì)不僅存在于構(gòu)想,而且有其實體”(陳宏,2012)。

    總之,通過對行為解釋的生物學(xué)視角和社會學(xué)視角之間的論爭,我們發(fā)現(xiàn)這兩大研究視角在長期的爭論中,已經(jīng)形成了兩種主要變量,即與本能相關(guān)聯(lián)的生理機能因素,和與環(huán)境經(jīng)驗相關(guān)聯(lián)的因素。但是這兩種截然不同的觀點是無法互相融合的,在尚無定論的情況下只能各自為政。

    3 確定因果效應(yīng)還是構(gòu)建相關(guān)網(wǎng)絡(luò)

    測驗效度實質(zhì)上就看測驗是否能夠通過分?jǐn)?shù)變異真實反映特質(zhì)作用于被試行為的效應(yīng)。如果效度檢驗結(jié)果顯示,分?jǐn)?shù)變異是因特質(zhì)變異而起,這就意味著,當(dāng)前觀察到的被試行為之變異正是測驗打算測量的那種特質(zhì)變異的效應(yīng),就測量這一特定的特質(zhì)而言,測驗就是有效的。正是由于作用于測驗分?jǐn)?shù)的一系列心理生理因素始終是個謎團,對二者之間因果關(guān)系的探究也舉步維艱,甚至備遭冷落。

    實際上,因果關(guān)聯(lián)研究是非常必要的。但是因果分析為何未見其效呢?對于這個疑問,陳宏(2012)作出了相應(yīng)的解釋和回答:

    因果關(guān)聯(lián)研究在方法論方面有一些優(yōu)勢,卻在效度概念發(fā)展的大半個世紀(jì)里一直處于測量專家們的視野之外,最關(guān)鍵的原因,恐怕就在于這種簡單的從因果效應(yīng)發(fā)生過程求證的效度檢驗思路需要直接的觀察手段,而現(xiàn)代教育心理測量包括語言測驗恰恰缺少這樣的條件。令人鼓舞的是,近年來,隨著時間的推移和科技進步,我們似乎已經(jīng)可以依稀看到因果關(guān)聯(lián)性的定性研究在測量領(lǐng)域尤其是效度研究中得以應(yīng)用的希望曙光。(陳宏,2012:18)

    可見,陳宏(2012)將因果關(guān)聯(lián)研究法的使用局限,歸結(jié)為心理測量缺少直接的觀察手段,是有一定道理的。畢竟想要得到因果關(guān)系,需要找到確切的關(guān)聯(lián),而直接的觀察手段則是最理想的證明因果關(guān)系的途徑。但是,直接的觀察手段的實現(xiàn),需要根據(jù)所測特質(zhì)的具體情況而定,并非所有的特質(zhì)都能夠?qū)崿F(xiàn)直接的觀察。

    與因果關(guān)系的艱難探究不同的是,相關(guān)關(guān)聯(lián)的研究則由來已久,且占據(jù)主導(dǎo)地位,大受社會學(xué)解釋視角的青睞。早在20世紀(jì)50年代以前效度概念發(fā)展的初期,人們曾普遍相信有效即相關(guān)。例如Guilford曾夸張地認(rèn)為“從某種非常一般的意義上說,測驗對任何與其相關(guān)的事物都是有效的”(Guilford,1946)。以至于之后的大多數(shù)研究者都認(rèn)同相關(guān)分析為效度研究的主要方法。

    Borsboom等人為了說明相關(guān)性分析對于理論解釋存在的缺陷,他們從以下幾個方面對以相關(guān)為基礎(chǔ)的效度檢驗研究做出了概括:

    第一,世界上各種事物之間完全無關(guān)的情況實際上非常少見,特別是在社會科學(xué)領(lǐng)域中,一切事物都趨于彼此相關(guān)(Meehl,1978)。

    第二,用相關(guān)來表示效度,就會使人誤以為相關(guān)系數(shù)越高,效度就越高……然而,這種邏輯往往還會導(dǎo)致進一步極端的推論,即兩個變量完全相關(guān),便意味著完全有效,甚至使人誤以為有確切關(guān)聯(lián)的特質(zhì)就是一回事,這可是極大的謬誤。

    第三,因為相關(guān)關(guān)系本身就是一個總體依賴的統(tǒng)計量,所以任何以相關(guān)為基礎(chǔ)建立起來的效度檢驗觀點都必然導(dǎo)致效度在不同總體之間是可變的推論。然而,效度只應(yīng)取決于特質(zhì)變異,與相關(guān)關(guān)系和總體變化并沒有必然聯(lián)系。(陳宏,2012:16-17)

    需要說明的是,雖然相關(guān)分析的缺陷已經(jīng)被很多心理學(xué)家所發(fā)現(xiàn)和批判,效標(biāo)關(guān)聯(lián)效度檢驗由于依賴于相關(guān)分析的研究方法,存在循環(huán)論證問題而遭到研究者的抨擊。但是,心理學(xué)界面臨著社會對心理測量(包括語言測驗)的迫切需求,需要回答有關(guān)測驗的效度和效度檢驗方面的問題,而在心理測量尚未成熟的情況下,相關(guān)分析這一檢驗方法及時地為心理測量學(xué)家解圍,成為目前效度檢驗的重要方法,這也可以說是心理測量不得不面對和承認(rèn)的一個客觀事實和無奈。由此可見,因果關(guān)系的實現(xiàn)應(yīng)該居于研究的首位,因果關(guān)系中包含相關(guān)關(guān)系,兩種分析不可分割,但也應(yīng)有主有次。

    總之,在效度研究中建立因果關(guān)聯(lián)探究,還是繼續(xù)奉行相關(guān)分析的研究方法,這一爭論正在進行,且隨著心理測量學(xué)家對心理特質(zhì)和構(gòu)想效度思考的深入,這個議題日益凸顯出來,并在近些年來的效度探討中成為關(guān)注的核心問題之一。爭論雙方各執(zhí)一詞,有待深入分析和探究。

    [1]Alderson,J.C.,Clapham,C.,Wall,D.Language Test Construction and Evaluation[M].Cambridge:Cambridge University Press.1995.

    [2]Allison,D.Language Testing and Evaluation:An Introductory Course[M].Singapore:Singapore University Press.1999.

    [3]American Psychological Association.Standards for educational and psychological tests and manuals[M].Washington,DC:American Psychological Association.1999.

    [4]Anastasi,A.Psychological Testing(5th ed.)[M].New York:Macmillan Publishing Co.,Inc.1982.

    [5]Anastasi,A.,Urbina.S.Psychological Testing.(7th ed.)[M].New Jersey:Prentice-Hall,Inc.1997.

    [6]Bachman,L.F.Fundamental Consideration in Language Testing[M].New York:Oxford University Press.1990.

    [7]Bachman,L.F.,Palmer,A.S.Language Testing in Practice[M].New York:Oxford University Press.1996.

    [8]Borsboom,D.,Mellenbergh,G.J.Why psychometrics is not pathological:A comment on Michell[J].Theory&Psychology.2004(14):105-120.

    [9]Borsboom,D.,Ange’Iique O.J.Cramer;RogierA.Kievit,Annemarie Zand Scholten,Sanja Franic.The End of Construct Validity.The concept of validity:revisions,new directions,and applications[M].edited by Robert W.Lissitz.Information Age Publishing Inc.2009:135-172.

    [10]Chapelle,C.A.Construct definition and validity in SLA research.L.F.Bachman and A.D.Cohn(eds.).Interfaces Between Second Language Acquisition and Language Testing Research[M].Cambridge:Cambridge University Press.1998.

    [11]Cronbach,L.J.Five perspectives on validation argument.In H.Wainer&H.Braun(Eds),Test validity[M].Hillsdale,NJ:Lawrence Erlbaum.1988:3-17.

    [12]Cronbach,L.J.,Meehl.P.E.Construct validity in psychological tests[M].Psychological Bulletin.1955:52,281-302.

    [13]Ebel,R.L.,Frisbie,D.A.Essentials of Educational Measurement[M].New Jersey:Prentice-Hall.1991.

    [14]Fraenkel J.R.,Wallen,N.E.How to Design and Evaluate Research in Education(2nd ed.)[M].McGraw-Hill,Inc.1993.

    [15]Guilford,J.P.New standards for test evaluation[J].Educational and Psycbological Measurement.1946(6):427-439.

    [16]Henning,G.A Guide to Language Testing:Development,Evaluation,Research[M].New York:Newbury House Publisher.1987.

    [17]Kelley,T.L.Interpretation of educational measurement[M].Yonkers-on-Hudson,NY:World Book Co.1927.

    [18]Meehl,P.E.Theoretical risks and tabularasterisks:Sir Karl,Sir Ronald,and the sIowprogress of soft psychology[J].Journal of Consulting and Clinical Psycbology.1978(46):806-834.

    [19]Messick,S.Meaning and Values in Test Validation:The Science and Ethics of Assessment[M].Educational Researcher.1989(18):2,5-11.

    [20]常曉宇.效度理論的變遷[D].北京語言大學(xué)碩士畢業(yè)論文,2001.

    [21]陳宏.效度的基本概念[J].語言測試的跨學(xué)科探索:北京語言大學(xué)漢語水平考試中心2011年科研報告會論文集.北京:華語教學(xué)出版社,2012.

    [22]戴海琦,張鋒,陳雪楓.心理與教育測量[M].廣州:暨南大學(xué)出版社,1999.

    [23]杜·舒爾茲,等,著.葉浩生,譯.現(xiàn)代心理學(xué)史(第八版)[M].鳳凰出版?zhèn)髅郊瘓F,江蘇教育出版社,2005.

    [24]桂詩春,寧春巖.語言學(xué)方法論[M].北京:外語教學(xué)與研究出版社,1997.

    [25]凌文輇,濱治世.心理測驗法[M].北京:科學(xué)出版社,1988.

    [26]劉潤清.語言測試和它的方法[M].北京:外語教學(xué)與研究出版社,1991.

    [27]徐樅巍,許建鉞,等,譯.效度.引自:Huesn,T.,Postlethwaite,T.N.簡明國際教育百科全書·教育測量與評價[M].北京:教育科學(xué)出版社,1992.

    [28]張凱.測量是理論的組成部分—再談構(gòu)想效度[J].云南師范大學(xué)學(xué)報(對外漢語教學(xué)與研究版),2004(5):7-14.

    (責(zé)任編輯 周黎明)

    The Dispute in the Field of Validity Research

    ZHAO Qifeng

    Validity is of the most important concepts in Educational and Psychological Measurement academia.After 60 years,Construct Validity is still an unsettled problem.Based on the previous studies,We discussed three aspects of validity of the present controversy in the field,including the nature of the concept of construct validity,construct validity research perspective and the research methods.We think that by far the construct validity of position in nature,exploring perspectives and methodological aspects are still controversial.This situation need to be rationalized and unified.Researchers need to accept and learn from some of the established disciplines such as physics research ideas and methods.This is an important way to the realization of scientific research for Construct validity.

    Construct Validity;Construct;Psychophysics;Causal Analysis

    G405

    A

    1005-8427(2014)06-0011-7

    本文系北京語言大學(xué)校級科研項目資助(中央高校基本科研業(yè)務(wù)專項資金)(項目編號為13YBB22)。

    趙琪鳳,女,北京語言大學(xué)語言科學(xué)學(xué)院漢語水平考試中心博士,副研究員(北京 100083)

    猜你喜歡
    陳宏內(nèi)容效度效度
    高考物理模擬試題(五)
    Improvement on short-circuit ability of SiC super-junction MOSFET with partially widened pillar structure
    竊愛靜悄悄:亡妻郵件里有個鬼魅身影
    COSMIN方法介紹:評價患者報告結(jié)局測量工具內(nèi)容效度的評分系統(tǒng)
    循證護理(2021年5期)2021-05-28 09:17:26
    慈善募捐規(guī)制中的國家與社會:兼論《慈善法》的效度和限度
    室友A4
    英語專八閱讀理解部分內(nèi)容效度的歷時對比研究(2009—2017年)
    被看重感指數(shù)在中國大學(xué)生中的構(gòu)念效度
    大學(xué)英語新四級閱讀理解內(nèi)容效度研究
    外語形成性評估的效度驗證框架
    xxx大片免费视频| 精品国产国语对白av| 热re99久久国产66热| 777久久人妻少妇嫩草av网站| 伊人久久大香线蕉亚洲五| 亚洲欧美成人精品一区二区| 亚洲av国产av综合av卡| 亚洲av福利一区| 亚洲,一卡二卡三卡| av不卡在线播放| 欧美成人精品欧美一级黄| 国产精品国产av在线观看| 成年美女黄网站色视频大全免费| 国产精品亚洲av一区麻豆 | 欧美变态另类bdsm刘玥| 免费观看av网站的网址| 99久久精品国产亚洲精品| 丝袜人妻中文字幕| 丝袜喷水一区| 日日爽夜夜爽网站| 啦啦啦中文免费视频观看日本| 搡老乐熟女国产| 久久青草综合色| 最黄视频免费看| 菩萨蛮人人尽说江南好唐韦庄| 色吧在线观看| 国产亚洲欧美精品永久| 最近中文字幕高清免费大全6| 大片免费播放器 马上看| 亚洲国产欧美网| 男男h啪啪无遮挡| 亚洲 欧美一区二区三区| 国精品久久久久久国模美| 最近的中文字幕免费完整| 秋霞在线观看毛片| 九九爱精品视频在线观看| 久久国产精品男人的天堂亚洲| 国产又爽黄色视频| 老汉色av国产亚洲站长工具| 电影成人av| 中文欧美无线码| 欧美日韩成人在线一区二区| 一本—道久久a久久精品蜜桃钙片| 精品第一国产精品| 超碰成人久久| 国产深夜福利视频在线观看| 国产不卡av网站在线观看| 亚洲第一区二区三区不卡| 91精品三级在线观看| 亚洲成色77777| 国产成人精品久久二区二区91 | 午夜日韩欧美国产| 韩国av在线不卡| 下体分泌物呈黄色| 成年av动漫网址| 女人高潮潮喷娇喘18禁视频| 1024香蕉在线观看| 成人亚洲欧美一区二区av| 午夜av观看不卡| 亚洲av成人精品一二三区| 亚洲国产av影院在线观看| 99热网站在线观看| 免费观看性生交大片5| 亚洲欧美日韩另类电影网站| 久久精品国产a三级三级三级| 国产色婷婷99| 亚洲精品美女久久av网站| 黄频高清免费视频| 免费在线观看黄色视频的| 免费久久久久久久精品成人欧美视频| 日韩不卡一区二区三区视频在线| 欧美日韩一级在线毛片| √禁漫天堂资源中文www| 午夜福利视频精品| 女性被躁到高潮视频| 少妇 在线观看| 精品人妻一区二区三区麻豆| 欧美黑人精品巨大| 国产在线视频一区二区| 亚洲精品自拍成人| 只有这里有精品99| av福利片在线| av片东京热男人的天堂| 久久午夜综合久久蜜桃| 国产在视频线精品| 久久人人爽人人片av| 国产亚洲av片在线观看秒播厂| 久久久精品免费免费高清| 精品国产一区二区三区久久久樱花| 国产精品无大码| 婷婷色麻豆天堂久久| 午夜福利网站1000一区二区三区| 欧美在线一区亚洲| 最近最新中文字幕免费大全7| 91老司机精品| 丰满少妇做爰视频| 99久国产av精品国产电影| 国产亚洲午夜精品一区二区久久| 亚洲国产欧美网| 亚洲国产成人一精品久久久| 亚洲成av片中文字幕在线观看| 999精品在线视频| 久久久国产欧美日韩av| 男人添女人高潮全过程视频| www.av在线官网国产| 国产免费现黄频在线看| 叶爱在线成人免费视频播放| 亚洲一区二区三区欧美精品| 十分钟在线观看高清视频www| 毛片一级片免费看久久久久| 国产精品国产三级国产专区5o| 国产成人欧美| 免费看av在线观看网站| 另类精品久久| 蜜桃国产av成人99| 男女无遮挡免费网站观看| 亚洲中文av在线| 欧美精品一区二区大全| 亚洲色图 男人天堂 中文字幕| 街头女战士在线观看网站| 女人精品久久久久毛片| 亚洲色图综合在线观看| 国产精品一区二区精品视频观看| 亚洲精品一区蜜桃| 日本黄色日本黄色录像| 国产日韩欧美亚洲二区| 一级爰片在线观看| 午夜福利乱码中文字幕| 99精国产麻豆久久婷婷| 免费女性裸体啪啪无遮挡网站| 久久精品亚洲av国产电影网| 狂野欧美激情性xxxx| 成人国语在线视频| 久久综合国产亚洲精品| 曰老女人黄片| 国产成人系列免费观看| 午夜免费男女啪啪视频观看| 日韩人妻精品一区2区三区| 十分钟在线观看高清视频www| 中文字幕av电影在线播放| 高清不卡的av网站| 9热在线视频观看99| 在线观看人妻少妇| 精品酒店卫生间| 精品亚洲乱码少妇综合久久| 欧美中文综合在线视频| 老司机影院成人| 亚洲精品久久成人aⅴ小说| 日韩一本色道免费dvd| av一本久久久久| 日本欧美国产在线视频| 在线观看人妻少妇| 免费高清在线观看日韩| 精品一区二区三区四区五区乱码 | 啦啦啦 在线观看视频| 免费女性裸体啪啪无遮挡网站| 亚洲国产av新网站| 国产成人免费无遮挡视频| 亚洲国产欧美日韩在线播放| 久久鲁丝午夜福利片| 制服诱惑二区| www.熟女人妻精品国产| av电影中文网址| 午夜精品国产一区二区电影| 涩涩av久久男人的天堂| 高清av免费在线| 久久久精品94久久精品| xxxhd国产人妻xxx| 欧美日韩精品网址| 欧美97在线视频| 香蕉丝袜av| 亚洲精品日韩在线中文字幕| 少妇人妻 视频| 又黄又粗又硬又大视频| 韩国精品一区二区三区| 久久精品aⅴ一区二区三区四区| 91精品三级在线观看| 亚洲精品美女久久av网站| 大香蕉久久网| 亚洲一码二码三码区别大吗| 天堂中文最新版在线下载| 亚洲人成电影观看| 久久久久国产一级毛片高清牌| 天美传媒精品一区二区| 欧美日韩亚洲国产一区二区在线观看 | 日韩av免费高清视频| 黑人猛操日本美女一级片| 国产日韩一区二区三区精品不卡| 久久精品久久精品一区二区三区| 天美传媒精品一区二区| 亚洲欧美一区二区三区久久| av不卡在线播放| 黄色毛片三级朝国网站| 中文字幕最新亚洲高清| 亚洲欧美中文字幕日韩二区| 99热全是精品| 亚洲精华国产精华液的使用体验| 国产日韩欧美在线精品| 国产亚洲精品第一综合不卡| 国产成人午夜福利电影在线观看| 一区二区日韩欧美中文字幕| 欧美精品高潮呻吟av久久| 久久久久久久久久久免费av| 伦理电影大哥的女人| 男人操女人黄网站| 国产精品一国产av| 中文欧美无线码| svipshipincom国产片| av在线播放精品| 午夜福利影视在线免费观看| 妹子高潮喷水视频| 成人午夜精彩视频在线观看| 捣出白浆h1v1| 国产精品无大码| 亚洲欧洲国产日韩| 观看av在线不卡| 黑人猛操日本美女一级片| 一二三四中文在线观看免费高清| 男人爽女人下面视频在线观看| 侵犯人妻中文字幕一二三四区| 亚洲精品中文字幕在线视频| av在线老鸭窝| 午夜免费观看性视频| 国产不卡av网站在线观看| 亚洲欧美精品自产自拍| 久久久国产一区二区| 亚洲国产精品成人久久小说| 精品国产一区二区三区四区第35| 在线天堂中文资源库| 亚洲天堂av无毛| 黄片播放在线免费| 亚洲国产欧美网| 日韩一卡2卡3卡4卡2021年| 国产高清国产精品国产三级| 国产片内射在线| 青春草亚洲视频在线观看| 色婷婷久久久亚洲欧美| 国产午夜精品一二区理论片| 丝袜人妻中文字幕| 色婷婷av一区二区三区视频| 国产精品三级大全| 欧美成人午夜精品| 九草在线视频观看| 伦理电影大哥的女人| 男女免费视频国产| 亚洲精品久久久久久婷婷小说| av天堂久久9| 热re99久久国产66热| 91精品伊人久久大香线蕉| 91精品国产国语对白视频| av国产精品久久久久影院| 天堂俺去俺来也www色官网| 岛国毛片在线播放| 亚洲熟女精品中文字幕| 日韩成人av中文字幕在线观看| 欧美人与性动交α欧美软件| 亚洲精品在线美女| 亚洲,欧美精品.| 少妇被粗大猛烈的视频| 热re99久久国产66热| 久久久久久人妻| 日韩熟女老妇一区二区性免费视频| 又大又黄又爽视频免费| 一本大道久久a久久精品| 国产又爽黄色视频| 一级毛片 在线播放| 婷婷色av中文字幕| 免费人妻精品一区二区三区视频| 九色亚洲精品在线播放| 满18在线观看网站| 日韩免费高清中文字幕av| 黄色视频不卡| 精品少妇久久久久久888优播| 久热这里只有精品99| 十分钟在线观看高清视频www| 飞空精品影院首页| 久久精品亚洲av国产电影网| 午夜激情av网站| 国产熟女欧美一区二区| 久久青草综合色| 热99久久久久精品小说推荐| svipshipincom国产片| 少妇精品久久久久久久| 99热网站在线观看| 高清在线视频一区二区三区| 日韩伦理黄色片| 黄网站色视频无遮挡免费观看| 国产成人精品无人区| 咕卡用的链子| 亚洲中文av在线| 精品一区二区三区av网在线观看 | 国产成人精品在线电影| 午夜福利视频精品| 亚洲中文av在线| 青青草视频在线视频观看| 两个人免费观看高清视频| 亚洲一级一片aⅴ在线观看| 久久人人97超碰香蕉20202| 欧美亚洲 丝袜 人妻 在线| 五月天丁香电影| 美女脱内裤让男人舔精品视频| 日日摸夜夜添夜夜爱| 熟女av电影| www.精华液| 亚洲国产毛片av蜜桃av| 日本vs欧美在线观看视频| 在线亚洲精品国产二区图片欧美| av免费观看日本| 久久人人爽人人片av| 永久免费av网站大全| 亚洲精品国产av成人精品| 精品少妇黑人巨大在线播放| 久久久久久久久免费视频了| 欧美黑人欧美精品刺激| av一本久久久久| 美女中出高潮动态图| 免费不卡黄色视频| 十八禁高潮呻吟视频| 日本一区二区免费在线视频| 免费黄网站久久成人精品| 黄片无遮挡物在线观看| 日韩中文字幕欧美一区二区 | 国产片内射在线| 久久婷婷青草| 亚洲国产中文字幕在线视频| 一区二区日韩欧美中文字幕| 男女高潮啪啪啪动态图| 国产不卡av网站在线观看| svipshipincom国产片| 亚洲国产看品久久| 午夜久久久在线观看| 亚洲国产毛片av蜜桃av| xxx大片免费视频| 波多野结衣av一区二区av| 国产成人91sexporn| 亚洲美女搞黄在线观看| 亚洲欧美成人综合另类久久久| 超碰97精品在线观看| 国产极品天堂在线| 久久久久久免费高清国产稀缺| 亚洲一区二区三区欧美精品| 欧美成人午夜精品| 中文欧美无线码| 日韩中文字幕欧美一区二区 | 久久人人爽av亚洲精品天堂| 在线精品无人区一区二区三| 亚洲,一卡二卡三卡| 国产探花极品一区二区| 日日摸夜夜添夜夜爱| 九草在线视频观看| 嫩草影院入口| 欧美日韩亚洲综合一区二区三区_| 毛片一级片免费看久久久久| 国产成人精品在线电影| 9191精品国产免费久久| 99国产综合亚洲精品| 好男人视频免费观看在线| 国产在线视频一区二区| 国产免费视频播放在线视频| 午夜福利免费观看在线| 好男人视频免费观看在线| 国产成人精品在线电影| 日韩免费高清中文字幕av| 最近中文字幕2019免费版| 久久97久久精品| 欧美激情极品国产一区二区三区| 亚洲成人手机| 女人久久www免费人成看片| 天堂8中文在线网| 18禁国产床啪视频网站| 熟女少妇亚洲综合色aaa.| 日本欧美视频一区| 一边亲一边摸免费视频| 日本欧美视频一区| 熟女少妇亚洲综合色aaa.| 男女无遮挡免费网站观看| 亚洲av福利一区| 日韩 欧美 亚洲 中文字幕| xxx大片免费视频| 少妇精品久久久久久久| 中文精品一卡2卡3卡4更新| 日韩 欧美 亚洲 中文字幕| 操美女的视频在线观看| 十八禁高潮呻吟视频| 极品人妻少妇av视频| 久久精品国产a三级三级三级| 少妇人妻 视频| 高清在线视频一区二区三区| 精品久久蜜臀av无| 在线观看免费视频网站a站| 日韩av免费高清视频| 久热这里只有精品99| 国产视频首页在线观看| 国产探花极品一区二区| 大片免费播放器 马上看| 久久国产精品大桥未久av| av电影中文网址| 天堂中文最新版在线下载| 中文乱码字字幕精品一区二区三区| 欧美在线一区亚洲| 久久狼人影院| 青春草亚洲视频在线观看| 高清视频免费观看一区二区| av在线播放精品| 午夜福利免费观看在线| 欧美 亚洲 国产 日韩一| 天堂中文最新版在线下载| 五月天丁香电影| 国产精品 国内视频| 一边摸一边做爽爽视频免费| 制服诱惑二区| 国产在线一区二区三区精| 成人国语在线视频| 国产亚洲av片在线观看秒播厂| 日本vs欧美在线观看视频| 亚洲国产毛片av蜜桃av| 男女国产视频网站| 捣出白浆h1v1| 国语对白做爰xxxⅹ性视频网站| 久久人妻熟女aⅴ| 免费在线观看视频国产中文字幕亚洲 | 18禁观看日本| 一本—道久久a久久精品蜜桃钙片| 免费少妇av软件| 日韩av免费高清视频| 久久天堂一区二区三区四区| 最近中文字幕高清免费大全6| 看十八女毛片水多多多| 亚洲自偷自拍图片 自拍| 国产福利在线免费观看视频| 黄网站色视频无遮挡免费观看| 亚洲熟女精品中文字幕| 女人高潮潮喷娇喘18禁视频| 午夜久久久在线观看| 欧美激情 高清一区二区三区| av国产精品久久久久影院| 亚洲人成77777在线视频| 欧美 亚洲 国产 日韩一| 电影成人av| 国产日韩欧美视频二区| av福利片在线| 啦啦啦视频在线资源免费观看| 国产一卡二卡三卡精品 | 国产色婷婷99| 亚洲精品国产一区二区精华液| h视频一区二区三区| 丰满乱子伦码专区| 99re6热这里在线精品视频| 最近中文字幕高清免费大全6| 19禁男女啪啪无遮挡网站| 王馨瑶露胸无遮挡在线观看| 国产伦人伦偷精品视频| 97精品久久久久久久久久精品| 日韩大码丰满熟妇| 如何舔出高潮| 成人国产av品久久久| 日韩不卡一区二区三区视频在线| 新久久久久国产一级毛片| 亚洲精品乱久久久久久| 赤兔流量卡办理| 9色porny在线观看| 亚洲图色成人| 日韩精品有码人妻一区| 久久久国产欧美日韩av| 欧美另类一区| 99re6热这里在线精品视频| 亚洲精品av麻豆狂野| 99精国产麻豆久久婷婷| 国产老妇伦熟女老妇高清| 亚洲av国产av综合av卡| 丝袜在线中文字幕| 日本vs欧美在线观看视频| 天天影视国产精品| 伦理电影免费视频| 国产在线免费精品| 超碰成人久久| 超色免费av| 另类精品久久| 操美女的视频在线观看| 精品视频人人做人人爽| 观看美女的网站| 波野结衣二区三区在线| 国产老妇伦熟女老妇高清| 亚洲精品久久久久久婷婷小说| 晚上一个人看的免费电影| 桃花免费在线播放| 少妇被粗大的猛进出69影院| 亚洲精品久久午夜乱码| 国产av精品麻豆| 欧美国产精品va在线观看不卡| 亚洲av国产av综合av卡| 狠狠精品人妻久久久久久综合| 一本色道久久久久久精品综合| 搡老岳熟女国产| 欧美精品av麻豆av| 久久久国产精品麻豆| 久久精品亚洲熟妇少妇任你| 国产极品天堂在线| 黑人巨大精品欧美一区二区蜜桃| xxx大片免费视频| 国产午夜精品一二区理论片| 一二三四中文在线观看免费高清| 成年美女黄网站色视频大全免费| 国产精品一二三区在线看| 欧美精品一区二区免费开放| 伊人久久国产一区二区| 国产精品 欧美亚洲| 91精品三级在线观看| 日韩欧美精品免费久久| 视频在线观看一区二区三区| 久久久久久人人人人人| 少妇的丰满在线观看| kizo精华| 精品卡一卡二卡四卡免费| 人成视频在线观看免费观看| 国产一级毛片在线| 狂野欧美激情性xxxx| 午夜福利,免费看| 久久青草综合色| 男女免费视频国产| 飞空精品影院首页| 久久久国产一区二区| 日韩,欧美,国产一区二区三区| 久久精品亚洲熟妇少妇任你| 男人操女人黄网站| 国产精品麻豆人妻色哟哟久久| 搡老乐熟女国产| 大陆偷拍与自拍| 国产精品免费视频内射| 成人国产麻豆网| 人妻 亚洲 视频| 久久久久久久精品精品| 国产有黄有色有爽视频| 妹子高潮喷水视频| 精品午夜福利在线看| 成人午夜精彩视频在线观看| 精品卡一卡二卡四卡免费| 亚洲一区二区三区欧美精品| 国产精品久久久久久久久免| 18禁裸乳无遮挡动漫免费视频| 人妻一区二区av| 超碰成人久久| 69精品国产乱码久久久| 精品一区二区三卡| 久久 成人 亚洲| 亚洲人成77777在线视频| 亚洲欧美清纯卡通| 高清黄色对白视频在线免费看| 侵犯人妻中文字幕一二三四区| 国产精品成人在线| www.自偷自拍.com| av天堂久久9| 欧美激情高清一区二区三区 | 一级毛片 在线播放| 亚洲国产精品999| 亚洲精品国产av成人精品| 国产精品无大码| 日韩视频在线欧美| 国精品久久久久久国模美| av网站免费在线观看视频| 熟妇人妻不卡中文字幕| 精品一区在线观看国产| 天天添夜夜摸| 国产深夜福利视频在线观看| 久久久久精品国产欧美久久久 | 少妇精品久久久久久久| 看免费av毛片| 欧美精品人与动牲交sv欧美| 久久精品国产a三级三级三级| 制服人妻中文乱码| 精品免费久久久久久久清纯 | 夫妻性生交免费视频一级片| 黄网站色视频无遮挡免费观看| 久久久久视频综合| 久久久久精品人妻al黑| 久久久久精品性色| 视频区图区小说| 热99久久久久精品小说推荐| 婷婷色综合www| 69精品国产乱码久久久| 两个人免费观看高清视频| 一级毛片我不卡| 成人黄色视频免费在线看| 一区福利在线观看| 亚洲成人手机| 黄片无遮挡物在线观看| 精品视频人人做人人爽| 久久精品国产综合久久久| 日本av免费视频播放| avwww免费| 嫩草影院入口| 中文欧美无线码| 久久婷婷青草| 欧美乱码精品一区二区三区| 日本色播在线视频| 国产av一区二区精品久久| 亚洲欧美清纯卡通| 欧美日韩福利视频一区二区| kizo精华| 亚洲精品成人av观看孕妇| 日韩中文字幕视频在线看片| 五月开心婷婷网| 国产亚洲av高清不卡| 精品午夜福利在线看| 色94色欧美一区二区| 妹子高潮喷水视频| 国产精品三级大全| 精品国产乱码久久久久久男人| 亚洲国产欧美日韩在线播放| 男女国产视频网站| 成年美女黄网站色视频大全免费| 成年av动漫网址| 人人澡人人妻人| 国产精品 国内视频| 日韩制服丝袜自拍偷拍|