• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    法則關(guān)系方法在研究中的應(yīng)用及其問(wèn)題思考

    2009-04-29 20:47:15任華勇
    心理科學(xué)進(jìn)展 2009年4期

    馮 明 任華勇

    摘要重要概念之間的理論關(guān)系或合理關(guān)系的連鎖系統(tǒng)被稱作是一個(gè)法則關(guān)系。法則關(guān)系包括原有模型、前因變量或結(jié)果變量。應(yīng)用結(jié)構(gòu)方程模型來(lái)檢驗(yàn)法則關(guān)系中各組成部分之間的法則有效性,從而對(duì)原模型作進(jìn)一步修正,該方法能夠更加科學(xué)地揭示出多變量問(wèn)的因果關(guān)系。文中還提到了應(yīng)用法則關(guān)系方法時(shí)需要注意的問(wèn)題,并指出未來(lái)的研究應(yīng)當(dāng)著重于進(jìn)一步構(gòu)建其理論框架、借助其來(lái)有效地開發(fā)和驗(yàn)證測(cè)量工具、以及探索該方法效度的影響因素等方向。

    關(guān)鍵詞法則關(guān)系方法;法則有效性;構(gòu)思效度

    分類號(hào)B841

    1引言

    “法則關(guān)系”在英文中是nomological network,最早出現(xiàn)于Cronbach和Meehl(1955)的一篇經(jīng)典文章《心理測(cè)驗(yàn)中的構(gòu)思效度》。國(guó)內(nèi)學(xué)者在引進(jìn)“法則關(guān)系”這一術(shù)語(yǔ)時(shí),形成了兩種代表性的譯法,以李明斐和盧小君(2004)為代表的一部分學(xué)者把它譯作“法則關(guān)系”,(葉映華和鄭全全(2007)稱之為法理學(xué)網(wǎng)絡(luò),也屬于這種譯法);以謝小云和王重鳴(2006)為代表的另一部分學(xué)者把它譯作“諾莫網(wǎng)絡(luò)”。這兩種譯法各有千秋,考慮到現(xiàn)在已經(jīng)找到了中文對(duì)應(yīng)的詞匯,故本文選用第一種譯法。自從法則關(guān)系于1955年首次提出以來(lái),已經(jīng)歷時(shí)了半個(gè)世紀(jì),本文將從法則關(guān)系概念的界定、國(guó)內(nèi)外研究的概況、以及對(duì)未來(lái)研究的展望等角度對(duì)相關(guān)文獻(xiàn)作較為全面的回顧,并通過(guò)部分學(xué)者研究的真實(shí)案例探討了法則關(guān)系方法的應(yīng)用,同時(shí)思考了應(yīng)用該方法時(shí)所需要注意的問(wèn)題。

    2法則關(guān)系的概念

    科學(xué)地講,要“弄清楚某事是什么”即意味著要闡明其發(fā)生所依循的法則,所提到法則的連鎖系統(tǒng),其構(gòu)成了一個(gè)理論為法則關(guān)系。法則有效性是指構(gòu)思能被采納的必要條件是它存在于一個(gè)法則關(guān)系中,法則關(guān)系中的某些法則包括了觀察到的現(xiàn)象,其中構(gòu)思并非是簡(jiǎn)化了的“觀察現(xiàn)象”,而是與法則關(guān)系中的其他構(gòu)思結(jié)合在一起來(lái)預(yù)測(cè)觀察現(xiàn)象(Cronbach&Meehl,1955)。葉映華和鄭全全認(rèn)為法則關(guān)系就是某種體系的法則。該方法要求必須在原有模型的基礎(chǔ)上引入前因變量或者結(jié)果變量,構(gòu)成模型存在的法則關(guān)系,通過(guò)利用一定的技術(shù)(如結(jié)構(gòu)方程模型)來(lái)檢驗(yàn)?zāi)P团c前因變量、結(jié)果變量之間的法則有效性,從而使模型得到進(jìn)一步修正。實(shí)質(zhì)上是通過(guò)對(duì)模型的外部檢驗(yàn)來(lái)驗(yàn)證模型內(nèi)部結(jié)構(gòu)的正確性(李明斐,盧小君,2004)。比如,假設(shè)研究人員認(rèn)為法則關(guān)系中構(gòu)思“個(gè)人能動(dòng)性”可能與構(gòu)思“成就動(dòng)機(jī)”有關(guān),而與構(gòu)思“隨和性”無(wú)關(guān)。研究后,得到了個(gè)人能動(dòng)性與成就動(dòng)機(jī)之間的相關(guān)是0.39。而與隨和性之間的相關(guān)是-0.09。這就說(shuō)明了理論關(guān)系與實(shí)證關(guān)系之間的一個(gè)很好匹配。

    在《心理測(cè)驗(yàn)中的構(gòu)思效度》中,Cronbaeh和Meehl指出“需要一個(gè)嚴(yán)密的推論鏈來(lái)建立測(cè)驗(yàn)以測(cè)量構(gòu)思。為了驗(yàn)證‘測(cè)驗(yàn)測(cè)量構(gòu)思,則必須存在圍繞該構(gòu)思的法則關(guān)系。當(dāng)一個(gè)構(gòu)思相當(dāng)新時(shí),也許幾乎沒(méi)有可指明的聯(lián)系來(lái)約束構(gòu)思。但隨著研究的進(jìn)行,構(gòu)思向許多方向延伸,研究人員會(huì)發(fā)現(xiàn)其與越來(lái)越多的事實(shí)或者別的構(gòu)思是相聯(lián)系的”。換言之,在研究的初期階段,研究人員對(duì)構(gòu)思所具有的性質(zhì)、含義等還不夠了解,但隨著研究的進(jìn)行,對(duì)構(gòu)思所包含的各維度、構(gòu)思的概念、以及其與別的構(gòu)思之間的關(guān)系等都有了更進(jìn)一步的認(rèn)識(shí)。舉例來(lái)說(shuō),研究人員要評(píng)價(jià)公務(wù)員勝任力對(duì)績(jī)效的預(yù)測(cè)作用,則首先需要研究公務(wù)員勝任力這個(gè)構(gòu)思所包括的維度,以及哪些前因變量來(lái)對(duì)公務(wù)員勝任力產(chǎn)生影響,假設(shè)績(jī)效是勝任力的一個(gè)結(jié)果變量,前因變量、勝任力、和結(jié)果變量(如,績(jī)效)它們之間的關(guān)系以及各個(gè)構(gòu)思內(nèi)部的關(guān)系所構(gòu)成的一個(gè)集合即是法則關(guān)系。剛開始研究時(shí),只能發(fā)現(xiàn)它們之間的部分聯(lián)系,但伴隨著研究的深入,加上研究方法的改進(jìn)、研究理念的更新,則會(huì)發(fā)現(xiàn)它們之間更加具體的聯(lián)系。

    對(duì)實(shí)證主義者來(lái)說(shuō),這種方法用于為理論術(shù)語(yǔ)創(chuàng)造意義而不需要現(xiàn)實(shí)的參照。他們認(rèn)為理論術(shù)語(yǔ)的意義單獨(dú)由術(shù)語(yǔ)在法則關(guān)系中的位置決定。而不是由指向?qū)嶋H的參照決定。根據(jù)這一觀點(diǎn),理論術(shù)語(yǔ)可以不需要參照而獲得意義。這個(gè)觀點(diǎn)被Cronbach和Meehl用來(lái)改進(jìn)構(gòu)思效度相關(guān)的理論,其主要依賴于法則關(guān)系。法則關(guān)系為心理學(xué)構(gòu)思提供了一個(gè)明確的定義,同時(shí)也產(chǎn)生了構(gòu)思效度概念本身(葉映華,鄭全全,2007)。

    3法則關(guān)系研究回顧

    3.1法則關(guān)系產(chǎn)生的背景以及理論基礎(chǔ)

    斯皮爾曼在上個(gè)世紀(jì)初有關(guān)智力和智力測(cè)驗(yàn)的著名研究,標(biāo)志了經(jīng)典測(cè)驗(yàn)理論及其方法的問(wèn)世。在隨后的幾十年中,盡管出現(xiàn)了諸多的心理測(cè)驗(yàn),但對(duì)它們的驗(yàn)證(如,測(cè)驗(yàn)是否真正測(cè)量了想要測(cè)量的內(nèi)容)卻很少涉及。同時(shí)并沒(méi)有一個(gè)明確的驗(yàn)證流程以及標(biāo)準(zhǔn)。這就引起了心理學(xué)家的注意。美國(guó)心理學(xué)會(huì)委員會(huì)的專家于是在1954年提出了四種類型的效度:預(yù)測(cè)效度、同時(shí)效度、構(gòu)思效度、內(nèi)容效度。由于預(yù)測(cè)效度和同時(shí)效度所考察的都是測(cè)驗(yàn)結(jié)果與另一客觀效標(biāo)之間的相關(guān)程度,所以后來(lái)美國(guó)心理學(xué)會(huì)、美國(guó)教育研究學(xué)會(huì)與國(guó)家教育測(cè)量委員會(huì)在1966年聯(lián)合出版的《教育與心理測(cè)驗(yàn)的標(biāo)準(zhǔn)和指南》中,又將效度類型進(jìn)一步簡(jiǎn)化為效標(biāo)關(guān)聯(lián)效度、構(gòu)思效度與內(nèi)容效度三種。并且認(rèn)為,不同的測(cè)驗(yàn)有不同的效度要求,比如成就測(cè)驗(yàn)更重視內(nèi)容效度,能力測(cè)驗(yàn)強(qiáng)調(diào)效標(biāo)關(guān)聯(lián)效度,而人格測(cè)驗(yàn)則突出了構(gòu)思效度(孫曉敏,張厚粲,2004)。因此,構(gòu)思效度也就浮出了水面,隨之進(jìn)入廣大研究人員的視野,但當(dāng)時(shí)研究人員對(duì)構(gòu)思效度的認(rèn)識(shí)并不統(tǒng)一。

    實(shí)際上構(gòu)思效度概念的確定并不是一個(gè)孤立發(fā)展的過(guò)程。在《心理測(cè)驗(yàn)中的構(gòu)思效度》這篇文章出現(xiàn)之前的十余年里,大多數(shù)用來(lái)測(cè)量構(gòu)思的測(cè)驗(yàn)都不存在清晰明確的標(biāo)準(zhǔn),同時(shí)許多這樣的測(cè)驗(yàn)也是沒(méi)有效度的。研究人員對(duì)各種效度的含糊定義很不滿意,因此紛紛引入了許多新的術(shù)語(yǔ)以及觀點(diǎn),可是這卻使得人們對(duì)于效度的認(rèn)識(shí)變得更加模糊。起初引入構(gòu)思效度的概念是為了詳細(xì)說(shuō)明心理學(xué)領(lǐng)域內(nèi)各種不同類型的研究,這些研究在測(cè)驗(yàn)開發(fā)的過(guò)程中是必不可少的。人格測(cè)驗(yàn)以及一些能力測(cè)驗(yàn),是根據(jù)特征來(lái)加以解釋的,而在法則關(guān)系出現(xiàn)之前,對(duì)于這些特征并沒(méi)有合適的標(biāo)準(zhǔn)(Cronbaeh&Meehl,1955)?;谶@些原因,Cronbaeh和Meehl嘗試著解釋構(gòu)思效度的概念,并闡述它的含義。

    構(gòu)思效度是由兩個(gè)詞語(yǔ)所組成:一為構(gòu)思,一為效度。按照Cronbach和Meehl對(duì)構(gòu)思的定義:“構(gòu)思就是假定人所具有的某個(gè)屬性,假定其會(huì)在心理測(cè)驗(yàn)的結(jié)果中得到反映”、“構(gòu)思為法則關(guān)系的一個(gè)組成部分”、“構(gòu)思可被采納的一個(gè)必要條件是其存在于一個(gè)法則關(guān)系中”。這就引出了法則關(guān)系。

    法則關(guān)系方法的產(chǎn)生是必然性與偶然性的結(jié)合。就必然性而言,研究人員當(dāng)時(shí)已經(jīng)意識(shí)到,對(duì)構(gòu)思的研究不應(yīng)只局限于構(gòu)思本身,而應(yīng)當(dāng)把它放

    到一個(gè)整體的框架中作具體的分析,從而在整體上對(duì)其有個(gè)清晰的認(rèn)識(shí)。僅是局限于構(gòu)思會(huì)導(dǎo)致只見“樹木”不見“森林”。此外,引用我國(guó)的一句古詩(shī)“不識(shí)廬山真面目,只緣身在此山中”。要想認(rèn)清構(gòu)思的“真面目”,則需走遠(yuǎn)一些,來(lái)研究包含構(gòu)思的法則關(guān)系。事實(shí)上,正是這種研究策略,使得心理測(cè)驗(yàn)在以后的應(yīng)用上變得更具針對(duì)性,為以后心理測(cè)驗(yàn)的廣泛推廣起到了不可磨滅的作用。就偶然性而言,通過(guò)研究“nomological network”這個(gè)詞組的起源,其正是由Cronbaeh和Meehl所發(fā)明的,那時(shí)研究人員對(duì)構(gòu)思效度的認(rèn)識(shí)并不統(tǒng)一,大家各執(zhí)己見,但后來(lái)是由這兩位科學(xué)家對(duì)其作了進(jìn)一步的探索,并提出了法則關(guān)系的方法。

    概括而言,當(dāng)初研究人員提出四種類型的效度,其中包括了構(gòu)思效度,進(jìn)而研究到構(gòu)思,這是一個(gè)由面到點(diǎn)的過(guò)程;然后由構(gòu)思延伸到法則關(guān)系,再到擴(kuò)大的法則關(guān)系(后文會(huì)涉及),這是一個(gè)由點(diǎn)到面的過(guò)程。

    3.2法則關(guān)系的基本原則

    Cronbaeh和Meehl指出法則關(guān)系的基本原則如下:

    (1)法則關(guān)系中的法則可能a把觀察到的現(xiàn)象(性質(zhì)或者數(shù)量)彼此聯(lián)系起來(lái);或者b把理論構(gòu)思與觀察到的現(xiàn)象聯(lián)系起來(lái);或者c把不同的理論構(gòu)思彼此聯(lián)系起來(lái)。

    (2)構(gòu)思能被采納的必要條件是它存在于一個(gè)法則關(guān)系中,至少法則關(guān)系中的某些法則包括了觀察到的現(xiàn)象,而可采納的構(gòu)思可能與這些現(xiàn)象有較大差異。另外,構(gòu)思并非簡(jiǎn)化了的觀察現(xiàn)象,而是與法則關(guān)系中的其他構(gòu)思相結(jié)合來(lái)預(yù)測(cè)可能會(huì)觀察到的現(xiàn)象。

    (3)在構(gòu)思的初期階段,法則關(guān)系中的限制條件較多?!案嗟亓私狻币粋€(gè)理論構(gòu)思包括,闡述它所存在的法則關(guān)系,或者通過(guò)研究加深對(duì)構(gòu)思各個(gè)維度的認(rèn)識(shí)。

    (4)通過(guò)研究,如果發(fā)現(xiàn)存在新的構(gòu)思與之前法則關(guān)系中的構(gòu)思相聯(lián)系,則可以把該構(gòu)思加入到法則關(guān)系中;或者當(dāng)法則關(guān)系中的不同構(gòu)思發(fā)生重合時(shí),可以進(jìn)行篩選操作,去除重復(fù)的構(gòu)思:此外,當(dāng)法則關(guān)系與現(xiàn)實(shí)有出入時(shí),研究人員可以選擇在某處修改這個(gè)法則關(guān)系。也就是說(shuō),可能有組織法則關(guān)系的其他構(gòu)思或者方法。

    3.3法則關(guān)系與效度之間的關(guān)系

    Cronbach和Meehl當(dāng)時(shí)認(rèn)為構(gòu)思效度指的是一個(gè)測(cè)驗(yàn)測(cè)量了理論構(gòu)思的完美程度。而要想說(shuō)明一個(gè)測(cè)驗(yàn)具有構(gòu)思效度,他們認(rèn)為應(yīng)該為測(cè)驗(yàn)建構(gòu)一個(gè)法則關(guān)系。該法則關(guān)系包括想測(cè)量的理論框架、如何測(cè)量的實(shí)證框架,以及兩個(gè)框架之間關(guān)系的詳細(xì)說(shuō)明(Borsboom,Mellenbergh,&Heerden,2004)。

    事實(shí)上法則關(guān)系與效度這兩個(gè)概念是不相分離的,法則關(guān)系的出現(xiàn)與構(gòu)思效度概念的詳細(xì)闡述是相伴進(jìn)行的。兩者之間具有緊密的聯(lián)系。如果法則關(guān)系中各構(gòu)思所作的預(yù)測(cè)與后來(lái)測(cè)驗(yàn)得出的數(shù)據(jù)相吻合時(shí),則在撰寫測(cè)驗(yàn)報(bào)告時(shí),研究人員不能只局限于描述測(cè)驗(yàn)的進(jìn)展、成果、應(yīng)用性等等,還需要說(shuō)明該測(cè)驗(yàn)所具有的構(gòu)思效度。Cronbach和Meehl指出只有闡明法則關(guān)系中各構(gòu)思之間以及構(gòu)思內(nèi)部各個(gè)維度之間具體的關(guān)系,測(cè)驗(yàn)才具有構(gòu)思效度。一個(gè)可接納的心理學(xué)構(gòu)思必須與行為是相關(guān)的?!翱山邮苄浴痹谛?biāo)關(guān)聯(lián)效度與內(nèi)容效度中很重要,在構(gòu)思效度中也同樣如此。若研究人員計(jì)劃要建立一個(gè)測(cè)驗(yàn)來(lái)測(cè)量構(gòu)思,則必須詳細(xì)說(shuō)明有關(guān)該構(gòu)思的法則關(guān)系以使別人能有充分的認(rèn)識(shí),以便接受或是否決它。同時(shí),如果想要更多地了解和應(yīng)用構(gòu)思的話,有必要進(jìn)一步完善與該構(gòu)思相關(guān)的理論以及測(cè)量方法(Rode et al.2008)。

    3.4當(dāng)前法則關(guān)系方法的局限性

    理論上,研究人員希望通過(guò)使用該方法,能夠由一組假設(shè)得出期望中的結(jié)論。然而,實(shí)際上即使是當(dāng)前發(fā)展得高度完備的學(xué)科也只是接近這個(gè)理想,而不可能完全達(dá)到。就是我們已經(jīng)知道的法則,也沒(méi)有現(xiàn)成的法則關(guān)系能夠預(yù)測(cè)到它們。而且大部分的法則關(guān)系都是不完善的,研究人員只好根據(jù)它們來(lái)定義構(gòu)思的概念。當(dāng)這個(gè)法則關(guān)系很不完善時(shí),研究人員會(huì)不可避免地忽略或是弱化了許多構(gòu)思之間的聯(lián)系,從而使得這些構(gòu)思所具有的含義也不夠準(zhǔn)確。換句話說(shuō),即不能從中清楚地觀察到構(gòu)思之間以及構(gòu)思內(nèi)部各維度之間的聯(lián)系。

    我國(guó)學(xué)者葉映華、鄭全全指出,在應(yīng)用法則關(guān)系時(shí),有些學(xué)者存在著偏見,他們片面關(guān)注測(cè)驗(yàn)得分的解釋是否與一個(gè)既定的法則關(guān)系相一致。對(duì)于實(shí)證主義者來(lái)說(shuō)法則關(guān)系可以不借助于現(xiàn)實(shí)參照而給出構(gòu)思的定義,他們認(rèn)為構(gòu)思的含義僅由其所在的法則關(guān)系來(lái)決定。按照這個(gè)邏輯,先畫一個(gè)法則關(guān)系圖,中間留出一些空點(diǎn),然后就認(rèn)定這些空點(diǎn)就是所暗含的構(gòu)思,各構(gòu)思所具有的屬性、特點(diǎn)等也可以從該圖中得出。很顯然,單憑這個(gè)是很難讓人信服的。當(dāng)然,考慮一個(gè)構(gòu)思與另一個(gè)構(gòu)思之間的關(guān)系非常重要,這是構(gòu)建理論的關(guān)鍵步驟。但若就此認(rèn)為法則關(guān)系展示了各構(gòu)思的屬性則有些牽強(qiáng)。

    第二個(gè)問(wèn)題是,確定各構(gòu)思的含義及其屬性需要一個(gè)詳實(shí)、準(zhǔn)確的法則關(guān)系。實(shí)際上,詳實(shí)與準(zhǔn)確這兩個(gè)要求都是很難完全達(dá)到的(葉映華,鄭全全,2007;Drew&Robert,2003)。沒(méi)有科學(xué)家可以保證某個(gè)理論已經(jīng)完美得無(wú)懈可擊了,心理學(xué)也同樣如此,隨著它的不斷發(fā)展,結(jié)合已有的研究成果,會(huì)不斷發(fā)掘出更多的內(nèi)容。而在其發(fā)展的過(guò)程中,會(huì)對(duì)原有的成果作修改、補(bǔ)充。隨著新研究的開展,回頭再看看那些之前是詳實(shí)、準(zhǔn)確的研究成果,或許會(huì)發(fā)現(xiàn)它們已不再詳實(shí)、準(zhǔn)確??蒲腥藛T的目標(biāo)也許只能是通過(guò)不懈地努力來(lái)不斷完善已獲得的研究成果。盡管如此,Gerald和Scott(2008)認(rèn)為當(dāng)研究人員評(píng)估科學(xué)理論時(shí),負(fù)面的研究結(jié)果通常應(yīng)當(dāng)比正面的研究結(jié)果更有價(jià)值。因?yàn)檠芯咳藛T基于負(fù)面的研究結(jié)果,可以總結(jié)該方法的不足之處,以便在以后的研究中加以改進(jìn)。

    4法則關(guān)系方法的應(yīng)用

    法則關(guān)系方法在心理學(xué)、管理學(xué)、經(jīng)濟(jì)學(xué)、教育學(xué)等諸多領(lǐng)域里都有很廣泛的應(yīng)用前景。自其問(wèn)世以來(lái),已有多位專家學(xué)者應(yīng)用、擴(kuò)充以及發(fā)展該方法,并取得了顯著的成果。如在人力資源管理中,可以令其與專業(yè)評(píng)估技術(shù)相結(jié)合來(lái)評(píng)估各級(jí)員工的績(jī)效。培訓(xùn)與開發(fā)是人力資源管理的基本核心,必須要靠不斷地培訓(xùn)、開發(fā)人才,才能在發(fā)展中適應(yīng)外部環(huán)境的變化,并為新的發(fā)展創(chuàng)造條件。同時(shí),針對(duì)不同的崗位需求,可以結(jié)合法則關(guān)系方法分析出不同崗位員工所應(yīng)具備的能力,再分別、有重點(diǎn)地培訓(xùn)相應(yīng)員工。

    在對(duì)績(jī)效評(píng)估進(jìn)行統(tǒng)計(jì)檢驗(yàn)的過(guò)程中,研究人員經(jīng)常采用交叉驗(yàn)證的方法,進(jìn)而保證它們?cè)谧畲蟪潭壬夏軌蚍从吵隹?jī)效評(píng)估的特質(zhì)。在此基礎(chǔ)上,可以利用Cronbach和DMeehl提出的法則關(guān)系進(jìn)行法則有效性檢驗(yàn)。使用該方法進(jìn)行檢驗(yàn),需要在原評(píng)估的基礎(chǔ)上引入前因變量或結(jié)果變量,構(gòu)建法則關(guān)系(李明斐,盧小君,2004)。譬如,在進(jìn)行勝任力研究時(shí),不僅需要關(guān)注勝任力本身,還需要考慮

    到其他變量(如,環(huán)境因素、工作特征等)對(duì)勝任力的影響,以及勝任力對(duì)工作績(jī)效的影響。這里環(huán)境因素、工作特征等就是前因變量,而工作績(jī)效就是結(jié)果變量,研究這些關(guān)系實(shí)質(zhì)上是對(duì)勝任力結(jié)構(gòu)模型的法則關(guān)系檢驗(yàn)。

    選用標(biāo)準(zhǔn)測(cè)驗(yàn)或是自行設(shè)計(jì)測(cè)量工具,首先就應(yīng)當(dāng)評(píng)價(jià)其效度。實(shí)踐應(yīng)用中,可以在可供選擇的模型之間進(jìn)行比較研究以及交叉驗(yàn)證,從中選出最合適的模型,該模型將會(huì)使用在判別效度和法則有效性的檢驗(yàn)中。Rode等人(2008)應(yīng)用了多組驗(yàn)證性因子分析來(lái)檢驗(yàn)了判別效度和法則有效性。多組驗(yàn)證性因子分析(或路徑分析)是多組結(jié)構(gòu)方程模型的一類,目的在于檢驗(yàn):各組的因子結(jié)構(gòu)是否相同?某些路徑參數(shù)在不同的組是否有顯著的差異?另一類的多組結(jié)構(gòu)方程模型是要進(jìn)一步了解各組的因子均值是否相同(侯杰泰,溫忠麟,成子娟,2004)。對(duì)于研究中法則有效性的效標(biāo)變量可以應(yīng)用有關(guān)績(jī)效的客觀測(cè)量方法來(lái)確定,這樣效度證據(jù)將更有力,從而避免基于被試感知進(jìn)行評(píng)估所帶有的主觀性。

    Benson和Hafftvet(1996)認(rèn)為法則有效性的提出是心理測(cè)量領(lǐng)域內(nèi)的重要成果,是對(duì)量表效度進(jìn)行檢驗(yàn)的有利工具。這種方法可以有效克服效標(biāo)關(guān)聯(lián)效度研究中存在的一些問(wèn)題,但其需要較強(qiáng)的統(tǒng)計(jì)學(xué)工具和理論。

    應(yīng)用結(jié)構(gòu)方程建模(SEM)的方法來(lái)檢查法則關(guān)系中各個(gè)構(gòu)思之間假定的關(guān)系,可以使用探索性樣本來(lái)尋找一個(gè)合適的sEM模型并且用驗(yàn)證性樣本來(lái)檢驗(yàn)這個(gè)模型。如果存在一個(gè)結(jié)構(gòu)模型,其代表了與數(shù)據(jù)較好擬合的法則關(guān)系,并且發(fā)現(xiàn)先前假定的各構(gòu)思之間具有顯著的關(guān)系,則通過(guò)工具所測(cè)量的原模型與前因變量或結(jié)果變量之間是顯著相關(guān)的;同時(shí)可以認(rèn)為該測(cè)量工具具有法則有效性(Yang~,Watkins,&Marsiek,2004)。使用結(jié)構(gòu)方程建模來(lái)確定所開發(fā)工具的法則有效性時(shí),一般來(lái)講,如果RMSEA值在0.08以下(越小越好),表明了模型一數(shù)據(jù)之間的擬合是合適的;NNFI和CFI在0.9以上(越大越好),即,通過(guò)被檢驗(yàn)的模型,超過(guò)90%數(shù)據(jù)的聯(lián)合方差與協(xié)方差能夠得到說(shuō)明,則所擬合的模型是一個(gè)好模型。需要注意的是,在應(yīng)用結(jié)構(gòu)方程建模方法時(shí),大多數(shù)模型至少需要100至5200個(gè)被試,若需要依性別或其他變量進(jìn)行分析時(shí),樣本容量要更大(侯杰泰,溫忠麟,成子娟,2004;Yang,Watkins,&Marsick 2004)。

    此外,一般而言,法則關(guān)系中的各組成部分都是提煉出來(lái)的構(gòu)思,這就與現(xiàn)實(shí)存在一定的出入,換言之,即是準(zhǔn)確度降低,好模型是盡可能準(zhǔn)確且相對(duì)簡(jiǎn)潔的。要達(dá)到這個(gè)目標(biāo),可以研究有關(guān)構(gòu)思的擴(kuò)大的法則關(guān)系,也就是增加構(gòu)思的維度,并且考慮構(gòu)思與其他前因變量或結(jié)果變量之間的聯(lián)系,這在實(shí)證領(lǐng)域中已有所涉及。在有關(guān)評(píng)價(jià)中心(Assessment Center,簡(jiǎn)稱AC)構(gòu)思效度的擴(kuò)大的法則關(guān)系研究中,通過(guò)研究有關(guān)跨情境一致性的預(yù)測(cè)與評(píng)價(jià)中心績(jī)效的特殊方面,來(lái)擴(kuò)大評(píng)價(jià)中心的法則有效性。作者指出需要研究(a)其他的個(gè)體差異因素,例如,認(rèn)知能力,工作經(jīng)驗(yàn),和自我監(jiān)督,因?yàn)樗鼈冴P(guān)系到整體AC績(jī)效,與(b)其他的特殊情境因素,如,執(zhí)行特殊任務(wù)的經(jīng)驗(yàn)以及任務(wù)的困難程度,因?yàn)樗鼈冴P(guān)系到特殊訓(xùn)練績(jī)效,還有(c)結(jié)果標(biāo)準(zhǔn)(即,工作績(jī)效的測(cè)量),這些會(huì)有助于完善AC效度的法則關(guān)系(Lance,F(xiàn)oster,Neme~,Gentry,&Drollinger,2007)。Chert,Fok,Bond和Matsumoto(2006)也指出需要確立構(gòu)思與其他構(gòu)思之間的聯(lián)系來(lái)擴(kuò)大法則關(guān)系。

    4.1應(yīng)用法則關(guān)系方法的幾個(gè)實(shí)例

    當(dāng)前公務(wù)員能力建設(shè)中的一個(gè)核心問(wèn)題是要確定現(xiàn)階段公務(wù)員所應(yīng)具備哪些職位的勝任力,另一個(gè)問(wèn)題是研究如何才能準(zhǔn)確地測(cè)量出勝任力水平,好為上級(jí)領(lǐng)導(dǎo)部門進(jìn)行行政決策時(shí)提供參考,以求選賢薦能、知人善任。李明斐(2006)借助于預(yù)試性調(diào)查、交叉驗(yàn)證檢驗(yàn)、法則關(guān)系等分析方法多次檢驗(yàn)問(wèn)卷的信度和勝任力模型的構(gòu)思效度以及勝任力模型對(duì)績(jī)效的預(yù)測(cè)力,拓寬了法則關(guān)系的應(yīng)用范圍。研究表明,勝任力是績(jī)效的決定因子之一,不同的勝任力要素對(duì)績(jī)效的不同成分產(chǎn)生不同的影響作用,因此在研究中采用了法則關(guān)系方法以證明勝任力模型中的要素都對(duì)高績(jī)效有著影響作用,從而證明了勝任力模型對(duì)績(jī)效具有預(yù)測(cè)作用。

    在以往的研究中,研究人員多采用定性分析的方法探討勝任力與績(jī)效之間的關(guān)系,這種方法有著定性分析本身所不可避免的缺陷,即缺少有關(guān)兩者關(guān)系緊密程度的數(shù)據(jù)支持,使得研究者不能確定勝任力在何種程度上影響著績(jī)效。而對(duì)兩者關(guān)系進(jìn)行定量分析時(shí)一些學(xué)者則采用了相關(guān)分析方法,但這種方法只能證明兩者之間有關(guān)系,揭示兩個(gè)變量之間關(guān)系的密切程度,卻無(wú)法知道勝任力與績(jī)效之間的因果關(guān)系——孰是因,孰是果?另外一些研究人員則采用了回歸分析的方法,但是回歸分析一次只能分析一個(gè)因變量,難以考察自變量同時(shí)對(duì)多個(gè)因變量的影響程度以及這些因變量之間的相互影響。與相關(guān)分析以及回歸分析相比,基于結(jié)構(gòu)方程模型的法則關(guān)系方法能更加科學(xué)地揭示多變量之間的因果關(guān)系。NunnaRy指出在對(duì)一個(gè)構(gòu)思進(jìn)行檢驗(yàn)時(shí),一個(gè)重要的步驟就是確定所研究的構(gòu)思與其他構(gòu)思之間是否存在理論研究推導(dǎo)出的某種關(guān)系(侯杰泰,溫忠麟,成子娟,2004)。而法則關(guān)系的檢驗(yàn)方法正與該研究要求相吻合。

    Fay和Frese(2001)也做了很有益的實(shí)踐與探索,他們?cè)谘芯總€(gè)人能動(dòng)性(即Personal Imfiafive,簡(jiǎn)稱PI)面試測(cè)量工具的構(gòu)思效度時(shí),構(gòu)造了個(gè)人能動(dòng)性的法則關(guān)系(見圖1)。所謂個(gè)人能動(dòng)性,即是指一種行為特征,其驅(qū)使著個(gè)體采用積極與自發(fā)主動(dòng)的方式來(lái)達(dá)到以及完成工作上的目標(biāo)與任務(wù),并且堅(jiān)持克服困難(Frese,Kring,Soose&Zempel,1996;Frese,F(xiàn)ay,Hilburger,Leng&Tag,1997)。

    該模型假設(shè)了因果關(guān)系與相互關(guān)系,關(guān)于圖1中所描述關(guān)系的法則關(guān)系的實(shí)證證據(jù)表明了構(gòu)思的可行性以及關(guān)于PI的測(cè)量。PI與背景人格變量(如,成就動(dòng)機(jī)、心理保守性、行動(dòng)傾向)是一致相關(guān)的。其與職業(yè)資格、認(rèn)知能力也是一致相關(guān)的。類似地,PI與個(gè)人傾向(如,控制愿望、自我效能感、改變傾向、積極應(yīng)對(duì)、處理錯(cuò)誤)是正相關(guān)的。最終,在個(gè)人水平上,所測(cè)量的PI與個(gè)人績(jī)效以及小規(guī)模的公司績(jī)效是相聯(lián)系的;在組織水平上,作為一個(gè)氛圍因素所測(cè)量的PI與公司的利潤(rùn)率相聯(lián)系。

    通過(guò)使用法則關(guān)系方法,研究人員確定了一個(gè)實(shí)踐上與理論上都重要的構(gòu)思,并且通過(guò)使用多重信息的來(lái)源(例如,參與者、面試中的行為(克服困難)、有關(guān)過(guò)去與現(xiàn)在PI行為的報(bào)告、以及面試者的評(píng)估等),已經(jīng)開發(fā)出一個(gè)有關(guān)該構(gòu)思的測(cè)量工具。

    Conway.Lombardo和Sanders(2001)也借助

    于法則關(guān)系來(lái)研究下屬以及同事評(píng)估的構(gòu)思效度。相較過(guò)去,盡管上司評(píng)估仍然是最常見的績(jī)效測(cè)評(píng)手段,但是非傳統(tǒng)信息來(lái)源(諸如下屬以及同事)對(duì)于工作績(jī)效的評(píng)估現(xiàn)在已經(jīng)顯著增加了。

    一個(gè)很現(xiàn)實(shí)的問(wèn)題是評(píng)估在何種程度上有效地反映了被評(píng)估者對(duì)組織的貢獻(xiàn)。如果效度能被確定,這將有助于解釋進(jìn)行非傳統(tǒng)信息來(lái)源評(píng)估的合理性以及必要性;如果效度不能被確定,則增加使用非傳統(tǒng)信息來(lái)源的評(píng)估是值得商榷的,并且這可能會(huì)導(dǎo)致不準(zhǔn)確的信息反饋以及管理決策(Conway,Lombardo,&Sanders,2001)。Borman(1997)指出多信息來(lái)源評(píng)估的價(jià)值取決于其所提供的增量效度超過(guò)了來(lái)自單一信息來(lái)源(最可能是上司)的評(píng)估。Conway和Huffcutt(1997)通過(guò)分析以往數(shù)據(jù),指出信息來(lái)源的評(píng)估產(chǎn)生了不同的構(gòu)思。除了如上所述的評(píng)估增量效度,重要的是要理解不同信息來(lái)源評(píng)估的含義(即,每個(gè)信息來(lái)源評(píng)估績(jī)效構(gòu)思的性質(zhì))。理論上,研究人員關(guān)注的是有關(guān)評(píng)估的擴(kuò)大的法則關(guān)系,其中涉及到績(jī)效的評(píng)估是如何與別的構(gòu)思相關(guān)聯(lián)的,如個(gè)體差異(例如:人格與能力)。通過(guò)應(yīng)用法則關(guān)系方法,可以更好地了解非傳統(tǒng)信息來(lái)源評(píng)估這個(gè)構(gòu)思,而該構(gòu)思是實(shí)施不同信息來(lái)源評(píng)估實(shí)踐的基礎(chǔ),也就是傳統(tǒng)意義上的“理論指導(dǎo)實(shí)踐”。

    增量效度的證據(jù)意味著每個(gè)信息來(lái)源對(duì)于被評(píng)估者的績(jī)效有一個(gè)相對(duì)獨(dú)特的視角。然而,論證增量效度并不能有助于明白信息來(lái)源之間的區(qū)別。這需要著重評(píng)估每個(gè)信息來(lái)源所反映的構(gòu)思,Conway和Huffcutt是通過(guò)法則關(guān)系來(lái)研究這些構(gòu)思的。研究人員通過(guò)文獻(xiàn)調(diào)查,設(shè)定決策規(guī)則,整理最終數(shù)據(jù)集,確定各個(gè)變量的符號(hào),計(jì)算相關(guān)系數(shù)以及對(duì)結(jié)果做了必要的修正。研究結(jié)果表明:下屬和同事評(píng)估與客觀績(jī)效標(biāo)準(zhǔn)是相聯(lián)系的,并且每種信息來(lái)源提供超過(guò)上司的增量效度。在某種程度上,法則關(guān)系對(duì)于人格與能力的假設(shè)是合理的,同時(shí)研究結(jié)果表明,應(yīng)用多信息來(lái)源進(jìn)行績(jī)效評(píng)估也有其合理性。

    4.2應(yīng)用法則關(guān)系方法需要注意的問(wèn)題

    在結(jié)合法則關(guān)系方法進(jìn)行研究的過(guò)程中,有一些需要研究人員注意的問(wèn)題:

    法則關(guān)系中的構(gòu)思在性質(zhì)上可能有較大差異,有些構(gòu)思純粹幾乎是描述性的,而有些構(gòu)思則是高度理論化的。在研究的不同階段,法則關(guān)系中的構(gòu)思會(huì)發(fā)生變化。伴隨著研究的深入,研究人員會(huì)不斷發(fā)現(xiàn)與原有構(gòu)思相聯(lián)系的新構(gòu)思,并且構(gòu)思內(nèi)部的維度也會(huì)增加或是減少,從而與現(xiàn)實(shí)能夠更好地?cái)M合。當(dāng)法則關(guān)系中的一些預(yù)測(cè)與測(cè)驗(yàn)數(shù)據(jù)相擬合時(shí),測(cè)驗(yàn)的構(gòu)思效度可能存在。本質(zhì)上,有關(guān)測(cè)驗(yàn)構(gòu)思效度的研究與假定和驗(yàn)證理論的一般程序是相同的。對(duì)于研究得出的各個(gè)數(shù)據(jù)進(jìn)行解釋不應(yīng)只是一個(gè)完全量化的過(guò)程,研究人員也不應(yīng)只滿足于對(duì)各個(gè)數(shù)據(jù)的描述。對(duì)于數(shù)據(jù)背后所反映的深層關(guān)系、可能的原因以及影響也需明確地予以指出,做到定性與定量相結(jié)合。

    Cronbach和Medal提到并不是先“證明”法則關(guān)系后驗(yàn)證測(cè)驗(yàn),也不是反過(guò)來(lái)先驗(yàn)證測(cè)驗(yàn)再證明法則關(guān)系。法則關(guān)系中包括命題,其把測(cè)驗(yàn)與構(gòu)思聯(lián)系起來(lái),把構(gòu)思與別的構(gòu)思聯(lián)系起來(lái),并且最終把其中的某些構(gòu)思與觀察到的現(xiàn)象聯(lián)系起來(lái)。在研究中,推論鏈?zhǔn)欠浅?fù)雜的。預(yù)測(cè)的實(shí)證關(guān)系允許驗(yàn)證所有導(dǎo)致那個(gè)預(yù)測(cè)的命題。對(duì)于鏈上的所有部分來(lái)說(shuō),證據(jù)非常重要,如果這個(gè)預(yù)測(cè)沒(méi)有被證實(shí),錯(cuò)誤可能出現(xiàn)在推論鏈上的任何環(huán)節(jié)上。如果研究人員的預(yù)測(cè)與數(shù)據(jù)不一致,則可能有三種原因:a該測(cè)驗(yàn)沒(méi)有測(cè)量構(gòu)思變量;b產(chǎn)生假設(shè)的法則關(guān)系不正確;c設(shè)計(jì)的測(cè)驗(yàn)沒(méi)能恰當(dāng)?shù)販y(cè)驗(yàn)假設(shè)。若是第1種情況,研究人員可以著手準(zhǔn)備并且驗(yàn)證一個(gè)新的測(cè)驗(yàn);若是第3種情況,研究人員則需要進(jìn)行一個(gè)適當(dāng)?shù)难芯?;更多的也許是第2種情況。萬(wàn)一研究人員判定法則關(guān)系中的一些步驟是不健全的,可以重新組織一個(gè)法則關(guān)系;可以通過(guò)把一個(gè)概念分成兩個(gè)或者更多的部分來(lái)修改這個(gè)法則關(guān)系,例如,通過(guò)指派焦慮的類型;或是詳細(xì)說(shuō)明附加條件,需要避免以事后合理化來(lái)取代合適的效度。當(dāng)研究人員修改法則關(guān)系時(shí),其需要搜集大量的新數(shù)據(jù)來(lái)測(cè)驗(yàn)已改變了的假設(shè)。

    確定法則關(guān)系中各個(gè)子成分之間的關(guān)系有助于消除法則關(guān)系內(nèi)部的障礙,同時(shí)使得研究人員對(duì)于各個(gè)子成分之間哪些是相關(guān)關(guān)系、哪些是因果關(guān)系,或是其他關(guān)系都一目了然。另外,只有當(dāng)預(yù)測(cè)與后來(lái)的測(cè)驗(yàn)數(shù)據(jù)之間有較強(qiáng)的正匹配時(shí),使用者才能接受該測(cè)驗(yàn)。當(dāng)預(yù)測(cè)與測(cè)驗(yàn)數(shù)據(jù)之間不匹配時(shí),則不應(yīng)當(dāng)推廣該測(cè)驗(yàn),或者放棄這個(gè)測(cè)驗(yàn)。

    在《心理測(cè)驗(yàn)中的構(gòu)思效度》一文中,作者指出測(cè)驗(yàn)開發(fā)人員需要設(shè)法將他的理論傳達(dá)給讀者。測(cè)驗(yàn)開發(fā)人員(其提出的預(yù)測(cè)與測(cè)驗(yàn)數(shù)據(jù)之間是絕對(duì)一致的)需詳細(xì)說(shuō)明該測(cè)驗(yàn)所具有的構(gòu)思效度,對(duì)此,其必須先陳述他腦海中的構(gòu)思以及他對(duì)該構(gòu)思的定義:對(duì)于一個(gè)新構(gòu)思,可以指出構(gòu)思假定的性質(zhì);對(duì)于一個(gè)具有較長(zhǎng)歷史的構(gòu)思,需要指出研究前后對(duì)構(gòu)思性質(zhì)的不同認(rèn)識(shí)。研究人員還要說(shuō)明他先前根據(jù)法則關(guān)系所作的預(yù)測(cè),并指出哪個(gè)預(yù)測(cè)被證實(shí)了,哪個(gè)預(yù)測(cè)被拒絕了以及拒絕的具體原因。同時(shí)應(yīng)當(dāng)注明,他的預(yù)測(cè)哪一部分是思考,哪一部分是根據(jù)不充分?jǐn)?shù)據(jù)所作的推斷。

    研究人員在編制量表以獲取數(shù)據(jù)時(shí)需要注意選擇合適的樣本,樣本應(yīng)具有代表性且與研究主題相吻合。KouRcros,Nahm,Cheng和Lai(2007)在對(duì)組織設(shè)計(jì)構(gòu)思的法則關(guān)系的實(shí)證評(píng)估中,通過(guò)選擇特定的產(chǎn)業(yè)獲取了充分大的樣本容量,同時(shí)這些產(chǎn)業(yè)也是非常重要的。通過(guò)進(jìn)入這些產(chǎn)業(yè),研究人員能更好地觀察到各種措施的成效,并且對(duì)相關(guān)構(gòu)思的法則關(guān)系有了更清晰的認(rèn)識(shí)。

    5未來(lái)研究的展望

    法則關(guān)系自從20世紀(jì)50年代Cronbach和Meehl提出以后,很長(zhǎng)一段時(shí)間內(nèi),其并沒(méi)有進(jìn)入廣大研究者的視野,直到上個(gè)世紀(jì)80年代,才漸漸有學(xué)者借助法則關(guān)系來(lái)進(jìn)行科學(xué)研究。之后,其研究范圍不斷擴(kuò)大,研究方法也不斷更新,但多數(shù)是在實(shí)證上的研究,而理論上的研究則相對(duì)滯后。伴隨著研究的推進(jìn),也漸漸凸顯了本文所論述到的一些問(wèn)題。根據(jù)對(duì)以往研究成果以及存在問(wèn)題的梳理分析,我們認(rèn)為未來(lái)的研究趨勢(shì)如下:

    (1)在理論研究與實(shí)證研究互動(dòng)的基礎(chǔ)上,進(jìn)一步廓清法則關(guān)系的理論框架。理論上,目前涉及的學(xué)者很少,仍然處于模糊混沌階段,很多方面還沒(méi)有取得一致的結(jié)論,可以說(shuō)目前法則關(guān)系方法的研究只是揭開了冰山一角。未來(lái)還需要開展大量的實(shí)證研究來(lái)檢驗(yàn)現(xiàn)有的一些理論假設(shè),并且在理論上繼續(xù)深入下去。同時(shí)在理論研究與實(shí)證研究的互動(dòng)中逐步構(gòu)建起法則關(guān)系方法的體系框架。

    (2)借助法則關(guān)系來(lái)有效地開發(fā)以及驗(yàn)證相應(yīng)的測(cè)量工具。在人力資源領(lǐng)域中,借助于法則關(guān)系,研究人員可以更深入地探尋各相關(guān)構(gòu)思以及構(gòu)思內(nèi)部各維度之間的關(guān)系。認(rèn)知理論、公平理論等社會(huì)學(xué)與心理學(xué)的理論為研究人員設(shè)計(jì)薪酬、開發(fā)有效績(jī)效測(cè)評(píng)工具及探尋內(nèi)在規(guī)律提供重要的理論指導(dǎo)。從法則關(guān)系中各構(gòu)思之間的關(guān)系及彼此形成的互動(dòng)過(guò)程來(lái)看,引入博弈論、戰(zhàn)略管理和現(xiàn)代信息經(jīng)濟(jì)學(xué)等相關(guān)理論,運(yùn)用多學(xué)科理論探析法則關(guān)系的構(gòu)建與影響機(jī)制,將可以成為對(duì)法則關(guān)系進(jìn)行系統(tǒng)研究的重要趨勢(shì)。

    (3)探索法則關(guān)系方法效度的影響因素。目前對(duì)于法則關(guān)系效度來(lái)源以及效度影響因素的理解還很淺顯。雖然之前的文章為理解法則關(guān)系方法的效度影響因素提供了一些線索,但是有關(guān)法則關(guān)系效度影響的研究還相當(dāng)缺乏?,F(xiàn)存的一些有關(guān)效度影響因素的實(shí)證研究還主要停留在測(cè)驗(yàn)的呈現(xiàn)方式上,而很少涉及采用法則關(guān)系方法的測(cè)驗(yàn)類型及其開發(fā)模式對(duì)于效度的影響。此外,由于對(duì)法則關(guān)系方法的研究還處于初步階段,現(xiàn)今主要借助于結(jié)構(gòu)方程模型以及LISREL、SPSS、SAS等軟件進(jìn)行研究。隨著統(tǒng)計(jì)學(xué)的發(fā)展與進(jìn)步,我們可否將其他更為有效的工具應(yīng)用于法則關(guān)系的探索?這個(gè)問(wèn)題值得進(jìn)一步地研究。

    (4)進(jìn)行跨文化相關(guān)的研究。社會(huì)文化對(duì)我們?nèi)说乃枷?、行為產(chǎn)生很重要的影響,進(jìn)而也影響到法則關(guān)系中的構(gòu)思。到目前為止,我們尚未發(fā)現(xiàn)文化差異背景下有關(guān)法則關(guān)系的研究。此外,諸如結(jié)合法則關(guān)系方法開發(fā)與驗(yàn)證的測(cè)量工具是否也具有跨文化適用性等等,未來(lái)可以在這些方向上作深入地探索。

    總的來(lái)看,在本文目前研究的基礎(chǔ)上,法則關(guān)系方法還是一個(gè)較新的研究領(lǐng)域。在今后相當(dāng)長(zhǎng)的時(shí)間內(nèi),上面所列出的這些趨勢(shì)指出了我們研究法則關(guān)系的方向。研究人員還需進(jìn)行大量的研究來(lái)進(jìn)一步發(fā)展、完善該方法。

    天美传媒精品一区二区| 久久久久久九九精品二区国产| 亚洲电影在线观看av| 男女那种视频在线观看| 高清毛片免费看| 成人一区二区视频在线观看| 精品久久久久久成人av| av黄色大香蕉| a级一级毛片免费在线观看| 天堂影院成人在线观看| 成年版毛片免费区| 亚洲欧美日韩东京热| 国产午夜福利久久久久久| 亚洲欧美日韩无卡精品| 成人漫画全彩无遮挡| 日韩高清综合在线| 亚洲精品一区av在线观看| 国产蜜桃级精品一区二区三区| 免费电影在线观看免费观看| 毛片一级片免费看久久久久| 欧美中文日本在线观看视频| 中文资源天堂在线| 婷婷精品国产亚洲av在线| 国产欧美日韩精品亚洲av| 夜夜爽天天搞| 如何舔出高潮| 国产乱人偷精品视频| 欧美+日韩+精品| 欧美一区二区精品小视频在线| 久久久久久伊人网av| 天美传媒精品一区二区| 性欧美人与动物交配| 国产激情偷乱视频一区二区| 一区二区三区高清视频在线| 波多野结衣高清作品| 亚洲五月天丁香| 最新在线观看一区二区三区| 亚洲中文日韩欧美视频| 亚洲av中文av极速乱| 丰满人妻一区二区三区视频av| 亚洲欧美日韩卡通动漫| 精品99又大又爽又粗少妇毛片| 色5月婷婷丁香| 日韩av不卡免费在线播放| 色吧在线观看| 最后的刺客免费高清国语| 一卡2卡三卡四卡精品乱码亚洲| 亚洲人成网站在线观看播放| 午夜福利高清视频| a级毛片免费高清观看在线播放| 狠狠狠狠99中文字幕| 夜夜夜夜夜久久久久| 成人精品一区二区免费| 免费看a级黄色片| 国产成人福利小说| 精品人妻熟女av久视频| 小蜜桃在线观看免费完整版高清| 日日啪夜夜撸| 国产精品精品国产色婷婷| 麻豆成人午夜福利视频| 国产激情偷乱视频一区二区| 亚洲美女搞黄在线观看 | 中国美女看黄片| 亚洲成人av在线免费| 中文字幕免费在线视频6| 毛片一级片免费看久久久久| 亚洲18禁久久av| 日韩欧美精品v在线| 99久久九九国产精品国产免费| 十八禁国产超污无遮挡网站| 国产v大片淫在线免费观看| 亚洲精品国产av成人精品 | 99久久精品一区二区三区| 精品日产1卡2卡| 成人特级av手机在线观看| 内地一区二区视频在线| 一区二区三区四区激情视频 | 黄色视频,在线免费观看| 一进一出抽搐动态| 欧美激情国产日韩精品一区| 最新中文字幕久久久久| 久久久久九九精品影院| 国产欧美日韩精品一区二区| 国产男靠女视频免费网站| 久久久精品94久久精品| 免费看av在线观看网站| 一级毛片久久久久久久久女| 国产美女午夜福利| 亚洲精华国产精华液的使用体验 | 国内精品美女久久久久久| 亚洲最大成人av| 欧美区成人在线视频| a级一级毛片免费在线观看| 国产91av在线免费观看| 国产黄色视频一区二区在线观看 | 久久精品国产亚洲av天美| 美女cb高潮喷水在线观看| 久久久久久国产a免费观看| 国产女主播在线喷水免费视频网站 | 亚洲高清免费不卡视频| 国产高清视频在线播放一区| 别揉我奶头 嗯啊视频| 午夜亚洲福利在线播放| 免费无遮挡裸体视频| 国产精品久久久久久久久免| 亚洲五月天丁香| 日本爱情动作片www.在线观看 | 国产精品永久免费网站| 久99久视频精品免费| 午夜福利在线在线| 亚洲无线观看免费| 搡老熟女国产l中国老女人| 亚洲性久久影院| 淫妇啪啪啪对白视频| 国产高清三级在线| 又黄又爽又刺激的免费视频.| 成年av动漫网址| 99久久精品国产国产毛片| 亚洲无线在线观看| 亚洲乱码一区二区免费版| 亚洲国产精品合色在线| av女优亚洲男人天堂| 亚洲天堂国产精品一区在线| 搡老妇女老女人老熟妇| 国产精品无大码| 三级男女做爰猛烈吃奶摸视频| 国产 一区 欧美 日韩| 日本欧美国产在线视频| 97人妻精品一区二区三区麻豆| 日本在线视频免费播放| 深爱激情五月婷婷| 亚洲欧美日韩无卡精品| 一级毛片aaaaaa免费看小| 别揉我奶头~嗯~啊~动态视频| 村上凉子中文字幕在线| 18+在线观看网站| aaaaa片日本免费| 亚洲内射少妇av| 无遮挡黄片免费观看| 桃色一区二区三区在线观看| 美女xxoo啪啪120秒动态图| av专区在线播放| 国产日本99.免费观看| 哪里可以看免费的av片| 日本五十路高清| 大又大粗又爽又黄少妇毛片口| 18+在线观看网站| 亚洲中文字幕日韩| 2021天堂中文幕一二区在线观| 久久久久久久久大av| 男女之事视频高清在线观看| 国产麻豆成人av免费视频| 又黄又爽又刺激的免费视频.| 老熟妇乱子伦视频在线观看| 两个人的视频大全免费| 国产欧美日韩精品一区二区| 人妻制服诱惑在线中文字幕| 日韩中字成人| 久久午夜福利片| 美女高潮的动态| 97超碰精品成人国产| av在线观看视频网站免费| 露出奶头的视频| 成人无遮挡网站| 在线免费观看不下载黄p国产| 国产在线精品亚洲第一网站| 伦精品一区二区三区| 国产精品一区二区性色av| 色综合亚洲欧美另类图片| 久久九九热精品免费| 久久亚洲国产成人精品v| 最好的美女福利视频网| av专区在线播放| a级毛片a级免费在线| 俄罗斯特黄特色一大片| 97热精品久久久久久| 久久久色成人| 春色校园在线视频观看| 国产美女午夜福利| 中文在线观看免费www的网站| 大又大粗又爽又黄少妇毛片口| 啦啦啦观看免费观看视频高清| 欧美潮喷喷水| 老司机福利观看| 欧美另类亚洲清纯唯美| 91精品国产九色| 级片在线观看| 黄色日韩在线| 亚洲精品日韩av片在线观看| 国产亚洲91精品色在线| 最近手机中文字幕大全| 又爽又黄a免费视频| 黄色日韩在线| 黄色视频,在线免费观看| 在线播放国产精品三级| 97人妻精品一区二区三区麻豆| 久久午夜福利片| 性欧美人与动物交配| 国产免费男女视频| 永久网站在线| 国产午夜福利久久久久久| 欧美三级亚洲精品| 国产极品精品免费视频能看的| 人人妻人人澡欧美一区二区| 久久精品夜夜夜夜夜久久蜜豆| 国产一区二区激情短视频| 高清毛片免费观看视频网站| 如何舔出高潮| 国产伦在线观看视频一区| 亚洲成人久久性| 国产欧美日韩精品亚洲av| 最近在线观看免费完整版| 色5月婷婷丁香| 男女下面进入的视频免费午夜| 春色校园在线视频观看| av在线亚洲专区| 精品乱码久久久久久99久播| 国产v大片淫在线免费观看| 在线观看免费视频日本深夜| 午夜亚洲福利在线播放| 亚洲在线观看片| 少妇人妻一区二区三区视频| 久久午夜亚洲精品久久| 婷婷精品国产亚洲av| 久久久久久国产a免费观看| 久久精品国产亚洲av天美| 日韩人妻高清精品专区| 俺也久久电影网| 搞女人的毛片| 九九热线精品视视频播放| 国产乱人偷精品视频| 最好的美女福利视频网| 嫩草影院入口| 国产在线精品亚洲第一网站| 国产高潮美女av| 国产精品,欧美在线| 亚洲精品国产成人久久av| 观看美女的网站| 精品欧美国产一区二区三| 中文字幕免费在线视频6| 成人综合一区亚洲| 久久亚洲国产成人精品v| 中文字幕精品亚洲无线码一区| 赤兔流量卡办理| 国产 一区精品| 国产淫片久久久久久久久| 国产精品乱码一区二三区的特点| 国产国拍精品亚洲av在线观看| 成熟少妇高潮喷水视频| 2021天堂中文幕一二区在线观| 国产亚洲av嫩草精品影院| 天堂av国产一区二区熟女人妻| 亚洲第一区二区三区不卡| 老司机福利观看| 午夜久久久久精精品| 22中文网久久字幕| 日本a在线网址| 国产在视频线在精品| 日韩成人伦理影院| 日本-黄色视频高清免费观看| 久久精品国产亚洲av天美| 婷婷亚洲欧美| 国产精品久久久久久亚洲av鲁大| 国产精品一二三区在线看| 又爽又黄无遮挡网站| 国产91av在线免费观看| 日韩欧美免费精品| 国产真实乱freesex| 日韩大尺度精品在线看网址| 九九在线视频观看精品| 精品乱码久久久久久99久播| 观看美女的网站| 久久草成人影院| 国产成人一区二区在线| 草草在线视频免费看| 俺也久久电影网| 欧美激情久久久久久爽电影| а√天堂www在线а√下载| 精品久久久久久久人妻蜜臀av| 久久久久久久久大av| 亚洲欧美精品综合久久99| 男女啪啪激烈高潮av片| 可以在线观看的亚洲视频| 中文亚洲av片在线观看爽| 亚洲精品国产成人久久av| 日韩 亚洲 欧美在线| 国产在线男女| 国产午夜福利久久久久久| av免费在线看不卡| 欧美xxxx黑人xx丫x性爽| 又黄又爽又刺激的免费视频.| 欧美人与善性xxx| 国产三级中文精品| 国产精品精品国产色婷婷| 桃色一区二区三区在线观看| 国产精品乱码一区二三区的特点| 成人国产麻豆网| 亚洲av熟女| 婷婷色综合大香蕉| 国产精品久久久久久久电影| 亚洲自拍偷在线| 亚洲av免费在线观看| 久久综合国产亚洲精品| 男插女下体视频免费在线播放| 久久久久久久亚洲中文字幕| 国产高清视频在线播放一区| 亚洲综合色惰| 美女内射精品一级片tv| 欧美成人免费av一区二区三区| 伦精品一区二区三区| 国产一区二区在线观看日韩| 欧美在线一区亚洲| 乱码一卡2卡4卡精品| 国产精品久久久久久久电影| 国产一区二区亚洲精品在线观看| 在线免费观看不下载黄p国产| 嫩草影院精品99| 桃色一区二区三区在线观看| 变态另类成人亚洲欧美熟女| 女生性感内裤真人,穿戴方法视频| 啦啦啦啦在线视频资源| 精品福利观看| 男女下面进入的视频免费午夜| 一本久久中文字幕| 亚洲三级黄色毛片| 国产午夜精品久久久久久一区二区三区 | 最好的美女福利视频网| 亚洲av一区综合| 午夜精品一区二区三区免费看| 国产真实伦视频高清在线观看| 天天躁日日操中文字幕| 国产毛片a区久久久久| 欧美日韩乱码在线| 人妻制服诱惑在线中文字幕| 99国产精品一区二区蜜桃av| 伦精品一区二区三区| 乱人视频在线观看| 国产伦一二天堂av在线观看| 搡老妇女老女人老熟妇| 免费看光身美女| 深爱激情五月婷婷| 免费看光身美女| 国产黄色小视频在线观看| 国产精品亚洲美女久久久| 国产一区二区三区在线臀色熟女| 色5月婷婷丁香| av在线天堂中文字幕| 亚洲中文日韩欧美视频| 听说在线观看完整版免费高清| 赤兔流量卡办理| 久久精品综合一区二区三区| 欧美日本视频| 听说在线观看完整版免费高清| 日韩在线高清观看一区二区三区| av在线天堂中文字幕| 亚洲国产日韩欧美精品在线观看| 18禁在线播放成人免费| 日本熟妇午夜| 99国产精品一区二区蜜桃av| 在线观看66精品国产| 美女内射精品一级片tv| 亚洲中文字幕日韩| 精品一区二区三区视频在线| 国产三级中文精品| 最新在线观看一区二区三区| 日韩中字成人| 国产av一区在线观看免费| 丰满的人妻完整版| av在线老鸭窝| 国产蜜桃级精品一区二区三区| 男人狂女人下面高潮的视频| 国产伦精品一区二区三区四那| 成年av动漫网址| 又黄又爽又免费观看的视频| 国产精品av视频在线免费观看| 久久午夜亚洲精品久久| 中文字幕久久专区| 欧美+亚洲+日韩+国产| 免费观看人在逋| 亚洲图色成人| 伦精品一区二区三区| 一进一出好大好爽视频| 午夜爱爱视频在线播放| 伦精品一区二区三区| 一a级毛片在线观看| 国产高清有码在线观看视频| 国产久久久一区二区三区| 寂寞人妻少妇视频99o| 床上黄色一级片| 如何舔出高潮| 12—13女人毛片做爰片一| 国产精品久久久久久av不卡| 亚洲欧美成人精品一区二区| 丰满人妻一区二区三区视频av| 91精品国产九色| 久久精品人妻少妇| 99久久精品国产国产毛片| 婷婷亚洲欧美| 精品免费久久久久久久清纯| 中文字幕av在线有码专区| 国产男人的电影天堂91| 国产91av在线免费观看| 日韩av不卡免费在线播放| 亚洲av第一区精品v没综合| 日韩精品有码人妻一区| 精品欧美国产一区二区三| 欧美+日韩+精品| 成人国产麻豆网| 97超级碰碰碰精品色视频在线观看| 亚洲中文字幕一区二区三区有码在线看| 一夜夜www| 中文字幕久久专区| 一a级毛片在线观看| 成人亚洲精品av一区二区| 嫩草影视91久久| 可以在线观看的亚洲视频| 人妻夜夜爽99麻豆av| 99riav亚洲国产免费| 亚洲成av人片在线播放无| 高清日韩中文字幕在线| 在线看三级毛片| 欧美区成人在线视频| 校园人妻丝袜中文字幕| 一级毛片aaaaaa免费看小| 亚洲av.av天堂| 人妻久久中文字幕网| 人人妻,人人澡人人爽秒播| 午夜精品在线福利| 色哟哟哟哟哟哟| 麻豆成人午夜福利视频| 亚洲美女黄片视频| 国内久久婷婷六月综合欲色啪| 亚洲精品色激情综合| 免费一级毛片在线播放高清视频| 日韩成人av中文字幕在线观看 | 精品久久久久久久久av| 中国美白少妇内射xxxbb| 岛国在线免费视频观看| av.在线天堂| 欧美xxxx性猛交bbbb| 日韩欧美精品v在线| 亚洲美女搞黄在线观看 | 日日摸夜夜添夜夜添av毛片| 久久韩国三级中文字幕| 日本-黄色视频高清免费观看| 狂野欧美白嫩少妇大欣赏| 少妇人妻一区二区三区视频| 乱码一卡2卡4卡精品| 床上黄色一级片| 久久久久免费精品人妻一区二区| 一个人观看的视频www高清免费观看| 日本黄色视频三级网站网址| 国产中年淑女户外野战色| 97人妻精品一区二区三区麻豆| 久久精品国产鲁丝片午夜精品| 国产亚洲91精品色在线| 国产伦在线观看视频一区| 搡老岳熟女国产| 成年免费大片在线观看| 99久久精品热视频| 99热精品在线国产| 男女之事视频高清在线观看| 中文亚洲av片在线观看爽| 国产精品美女特级片免费视频播放器| 深夜a级毛片| 日韩欧美国产在线观看| 丰满乱子伦码专区| 伦理电影大哥的女人| 亚洲四区av| 日本五十路高清| 欧美高清性xxxxhd video| 亚洲av美国av| 久久亚洲国产成人精品v| 男女视频在线观看网站免费| 一进一出抽搐gif免费好疼| 最新在线观看一区二区三区| 香蕉av资源在线| 午夜视频国产福利| 免费观看人在逋| 女同久久另类99精品国产91| 精品人妻熟女av久视频| 一级a爱片免费观看的视频| 精品人妻一区二区三区麻豆 | 久久久a久久爽久久v久久| 色哟哟·www| 伊人久久精品亚洲午夜| 亚洲欧美清纯卡通| 日本与韩国留学比较| 国产乱人偷精品视频| 久久久久久国产a免费观看| 人妻制服诱惑在线中文字幕| 国产精品嫩草影院av在线观看| 日本与韩国留学比较| 又爽又黄a免费视频| a级毛片免费高清观看在线播放| 久久久久国产网址| 久久久国产成人免费| 久久国产乱子免费精品| 国产成人a区在线观看| 听说在线观看完整版免费高清| 免费av不卡在线播放| 亚洲人与动物交配视频| avwww免费| 国产精品电影一区二区三区| 综合色丁香网| 伦理电影大哥的女人| 18禁在线无遮挡免费观看视频 | 嫩草影院入口| 亚洲国产精品合色在线| 欧美性感艳星| 国产激情偷乱视频一区二区| 十八禁网站免费在线| 成人美女网站在线观看视频| 精品乱码久久久久久99久播| 国产色爽女视频免费观看| 国产一区亚洲一区在线观看| 又黄又爽又刺激的免费视频.| 五月玫瑰六月丁香| 人妻丰满熟妇av一区二区三区| 亚洲熟妇熟女久久| 美女被艹到高潮喷水动态| 天堂动漫精品| 日韩国内少妇激情av| 男人和女人高潮做爰伦理| 亚洲国产精品sss在线观看| 99热这里只有是精品50| 国产黄色小视频在线观看| 国产成人精品久久久久久| 免费看av在线观看网站| 精品午夜福利在线看| 亚洲,欧美,日韩| 亚洲四区av| 日本色播在线视频| 国产色婷婷99| 日本a在线网址| 两个人的视频大全免费| 国产91av在线免费观看| 一级毛片电影观看 | av黄色大香蕉| 久久久精品欧美日韩精品| 99视频精品全部免费 在线| 桃色一区二区三区在线观看| 黑人高潮一二区| 伊人久久精品亚洲午夜| 成人av在线播放网站| 国产一区二区在线观看日韩| a级一级毛片免费在线观看| 少妇裸体淫交视频免费看高清| 国产精品国产高清国产av| 日韩高清综合在线| 国产高潮美女av| 夜夜夜夜夜久久久久| 18禁黄网站禁片免费观看直播| 国产精品久久电影中文字幕| 国产伦精品一区二区三区视频9| 黄色欧美视频在线观看| 国产精品爽爽va在线观看网站| 国产探花极品一区二区| 美女内射精品一级片tv| 麻豆久久精品国产亚洲av| 免费在线观看成人毛片| www日本黄色视频网| 尤物成人国产欧美一区二区三区| 亚州av有码| 国产探花在线观看一区二区| 亚洲无线在线观看| 国产精品亚洲美女久久久| 免费搜索国产男女视频| 波野结衣二区三区在线| 春色校园在线视频观看| 国内少妇人妻偷人精品xxx网站| 国产亚洲欧美98| 午夜a级毛片| 真实男女啪啪啪动态图| 一级毛片电影观看 | 午夜精品一区二区三区免费看| 久久6这里有精品| 麻豆久久精品国产亚洲av| 蜜桃久久精品国产亚洲av| 我要看日韩黄色一级片| 国内精品美女久久久久久| 国产精品久久电影中文字幕| 嫩草影院精品99| 日本黄大片高清| 成年av动漫网址| 欧美性猛交╳xxx乱大交人| 免费观看在线日韩| 精品久久久久久成人av| 听说在线观看完整版免费高清| 色哟哟哟哟哟哟| 国产久久久一区二区三区| 国产精品女同一区二区软件| 一区二区三区高清视频在线| av黄色大香蕉| 91在线精品国自产拍蜜月| 此物有八面人人有两片| 国产成人a区在线观看| 男女视频在线观看网站免费| 国产精品福利在线免费观看| 国内精品久久久久精免费| 精品久久久久久久末码| 国产一区二区三区av在线 | av天堂在线播放| 人妻丰满熟妇av一区二区三区| 六月丁香七月| 国产精品无大码| 麻豆一二三区av精品| 99riav亚洲国产免费| 看非洲黑人一级黄片| 日韩在线高清观看一区二区三区| 精品欧美国产一区二区三| 99久久精品热视频| 伊人久久精品亚洲午夜| 99热6这里只有精品| 长腿黑丝高跟|