• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    賦權(quán)類非線性學(xué)術(shù)評(píng)價(jià)方法偽權(quán)重及權(quán)重失靈研究
    ——以TOPSIS評(píng)價(jià)方法為例

    2022-05-12 12:58:12俞立平何慶光
    情報(bào)雜志 2022年5期
    關(guān)鍵詞:失靈賦權(quán)排序

    俞立平 何慶光 韓 鈺

    (1.浙江工商大學(xué) 統(tǒng)計(jì)與數(shù)學(xué)學(xué)院 杭州 310018;2. 廣西財(cái)經(jīng)學(xué)院 信息與統(tǒng)計(jì)學(xué)院 南寧 530007;3.滄州師范學(xué)院 經(jīng)濟(jì)管理學(xué)院 滄州 061001)

    0 引 言

    在學(xué)術(shù)評(píng)價(jià)中多屬性評(píng)價(jià)方法得到廣泛應(yīng)用。多屬性評(píng)價(jià)方法采用指標(biāo)體系進(jìn)行評(píng)價(jià),可以從多個(gè)視角如影響力、創(chuàng)新性、貢獻(xiàn)、績(jī)效等角度對(duì)學(xué)科、團(tuán)隊(duì)、大學(xué)、期刊等進(jìn)行評(píng)價(jià),從而全面反映學(xué)術(shù)評(píng)價(jià)對(duì)象現(xiàn)狀與發(fā)展水平[1-4]。目前較有影響力的學(xué)術(shù)評(píng)價(jià)均采用多屬性評(píng)價(jià)方法,如教育部學(xué)科評(píng)價(jià)、北大核心期刊評(píng)價(jià)、各類大學(xué)排名等。

    學(xué)術(shù)評(píng)價(jià)工作越來(lái)越得到各界的關(guān)注。目前研究的焦點(diǎn)包括破“五唯”背景下的學(xué)術(shù)評(píng)價(jià),基于創(chuàng)新能力/質(zhì)量/實(shí)效/貢獻(xiàn)的學(xué)術(shù)評(píng)價(jià)、代表作評(píng)價(jià)等等,更多集中在評(píng)價(jià)導(dǎo)向、評(píng)價(jià)對(duì)象與評(píng)價(jià)內(nèi)容上,但是對(duì)學(xué)術(shù)評(píng)價(jià)方法卻極少關(guān)注,如果學(xué)術(shù)評(píng)價(jià)方法中的一些基本問(wèn)題不加以解決,同樣對(duì)學(xué)術(shù)評(píng)價(jià)成果會(huì)產(chǎn)生較大的影響,并且這種影響是隱藏的,必須加以重視。

    多屬性評(píng)價(jià)方法大致可以分為線性評(píng)價(jià)方法與非線性評(píng)價(jià)方法兩類(見圖1)。所有的線性評(píng)價(jià)方法均涉及權(quán)重,而非線性評(píng)價(jià)方法中,僅有一部分評(píng)價(jià)方法涉及權(quán)重,如TOPSIS、VIKOR、灰色關(guān)聯(lián)等,稱為賦權(quán)類非線性評(píng)價(jià)方法;還有一些非線性評(píng)價(jià)方法不涉及權(quán)重,如主成分分析、因子分析等,稱為非賦權(quán)類非線性評(píng)價(jià)方法,當(dāng)然還有一種分析視角是將其視為等權(quán)重。至于權(quán)重確定方法,包括主觀權(quán)重、客觀權(quán)重、主客觀權(quán)重三大類。主觀賦權(quán)方法包括層次分析、專家會(huì)議法、德爾菲法等,客觀賦權(quán)方法包括熵權(quán)法、變異系數(shù)法、概率權(quán)法等,主客觀賦權(quán)法則是前兩者方法的綜合。目前多屬性評(píng)價(jià)方法已經(jīng)有幾十種,以非線性評(píng)價(jià)方法為主。

    圖1 多屬性評(píng)價(jià)與權(quán)重關(guān)系

    鑒于多屬性評(píng)價(jià)方法分類比較復(fù)雜,本文重點(diǎn)研究賦權(quán)類非線性評(píng)價(jià)方法的偽權(quán)重與權(quán)重失靈問(wèn)題,其他相關(guān)問(wèn)題另外進(jìn)行研究。TOPSIS評(píng)價(jià)方法是一種典型的賦權(quán)類非線性多屬性評(píng)價(jià)方法,因此本文以TOPSIS為例開展相關(guān)研究,其研究范式可推廣到其他賦權(quán)類非線性多屬性評(píng)價(jià)方法。

    TOPSIS是一種影響力較廣的評(píng)價(jià)方法。TOPSIS又稱為理想解法,最早由Huang[5]提出,它在考慮專家權(quán)重的基礎(chǔ)上,兼顧評(píng)價(jià)對(duì)象到理想解與負(fù)理想解的相對(duì)距離來(lái)進(jìn)行評(píng)價(jià),是非線性評(píng)價(jià)方法的重要代表。2021年2月17日,在中國(guó)知網(wǎng)查詢篇名、關(guān)鍵詞、摘要中包含“TOPSIS”的核心期刊論文就有4 458篇,全部期刊論文高達(dá)15 927篇,可見TOPSIS評(píng)價(jià)方法應(yīng)用的廣泛性與影響力。

    TOPSIS在學(xué)術(shù)評(píng)價(jià)中也得到了廣泛的應(yīng)用,目前已經(jīng)有數(shù)百篇學(xué)術(shù)評(píng)價(jià)論文涉及TOPSIS評(píng)價(jià)。王蘿娜、李端明[6]采用加權(quán)TOPSIS評(píng)價(jià)了學(xué)術(shù)圖書的影響力。奉國(guó)和、周榕鑫等[7]采用熵權(quán)法和因子分析計(jì)算權(quán)重,然后通過(guò)加權(quán)TOPSIS對(duì)學(xué)術(shù)期刊進(jìn)行評(píng)價(jià)。張發(fā)明、庾凡等[8]在學(xué)術(shù)期刊評(píng)價(jià)中分別采用GRA和TOPSIS法進(jìn)行評(píng)價(jià),然后采用組合評(píng)價(jià)法得到最終評(píng)價(jià)結(jié)果。熊國(guó)經(jīng)、熊玲玲等[9]首先采用因子分析法提取公共因子,然后采用熵權(quán)法修正公共因子的權(quán)重,最后采用TOPSIS法對(duì)學(xué)術(shù)期刊評(píng)價(jià)。俞立平、潘云濤等[10]則比較了TOPSIS中距離函數(shù)冪次對(duì)學(xué)術(shù)期刊評(píng)價(jià)的影響。王穎、藍(lán)云飛等[11]運(yùn)用TOPSIS分析法對(duì)中部6省科技服務(wù)業(yè)發(fā)展水平進(jìn)行評(píng)價(jià)。楊秀玉[12]運(yùn)用熵權(quán)TOPSIS對(duì)我國(guó)30個(gè)省市農(nóng)業(yè)科技創(chuàng)新能力進(jìn)行評(píng)價(jià)。

    在以TOPSIS為典型代表的非線性學(xué)術(shù)評(píng)價(jià)中,偽權(quán)重問(wèn)題是其中一個(gè)重要的系統(tǒng)誤差。所謂偽權(quán)重,就是指TOPSIS評(píng)價(jià)中評(píng)價(jià)賦權(quán)與實(shí)際權(quán)重并不一致,這里評(píng)價(jià)賦權(quán)包括主觀賦權(quán)、客觀賦權(quán)和主客觀賦權(quán)。實(shí)際權(quán)重概念由俞立平、潘云濤等[13]提出,其基本原理是將非線性評(píng)價(jià)方法的評(píng)價(jià)值與評(píng)價(jià)指標(biāo)進(jìn)行回歸,然后將各指標(biāo)的回歸系數(shù)進(jìn)行歸一化處理,就得到各指標(biāo)在評(píng)價(jià)中的重要性大小即實(shí)際權(quán)重,很明顯評(píng)價(jià)賦權(quán)與實(shí)際權(quán)重并不一致,這就是偽權(quán)重問(wèn)題,該問(wèn)題是非線性評(píng)價(jià)中的隱含問(wèn)題,無(wú)疑對(duì)評(píng)價(jià)會(huì)產(chǎn)生較大的影響。

    權(quán)重失靈是非線性評(píng)價(jià)中另一重要系統(tǒng)誤差,在TOPSIS中當(dāng)然也同樣存在。所謂權(quán)重失靈,就是指當(dāng)不同評(píng)價(jià)指標(biāo)數(shù)據(jù)出現(xiàn)“同增同減”現(xiàn)象時(shí),此時(shí)無(wú)論評(píng)價(jià)賦權(quán)組合如何變化,評(píng)價(jià)值的排序基本不變,相當(dāng)于權(quán)重在評(píng)價(jià)中沒(méi)有發(fā)揮作用。權(quán)重失靈現(xiàn)象同樣是個(gè)隱含問(wèn)題,對(duì)非線性評(píng)價(jià)的影響尚處于探索之中。

    偽權(quán)重與權(quán)重失靈問(wèn)題的研究尚處于起步階段。其形成的原因,產(chǎn)生的影響,以及兩者關(guān)系有待進(jìn)一步研究。

    研究偽權(quán)重與權(quán)重失靈對(duì)TOPSIS評(píng)價(jià)的影響機(jī)制具有重要意義。兩者均與權(quán)重相關(guān),而權(quán)重在整個(gè)學(xué)術(shù)評(píng)價(jià)中具有非常重要的地位。兩者均屬于隱含問(wèn)題,而且其影響是系統(tǒng)性的,其產(chǎn)生與影響機(jī)制有待進(jìn)一步探索。對(duì)于兩者之間的關(guān)系也有待探討,比如說(shuō)偽權(quán)重的存在會(huì)增加誤差,但權(quán)重失靈一定程度上似乎會(huì)減小誤差,這是個(gè)十分有趣的問(wèn)題。相關(guān)問(wèn)題的研究不僅對(duì)于情報(bào)學(xué)與科學(xué)學(xué)方法論具有重要意義,也推進(jìn)了多元統(tǒng)計(jì)理論的研究,在實(shí)踐中,對(duì)于保障學(xué)術(shù)評(píng)價(jià)方法的科學(xué)性,加強(qiáng)學(xué)術(shù)評(píng)價(jià)質(zhì)量,提高學(xué)術(shù)評(píng)價(jià)的公平與公正。

    1 理論分析與研究方法

    1.1TOPSIS評(píng)價(jià)方法的原理TOPSIS計(jì)算公式為

    Cij=

    (1)

    公式(1)中,Cij表示TOPSIS的評(píng)價(jià)值,Xij為標(biāo)準(zhǔn)化后的評(píng)價(jià)指標(biāo),ωj表示評(píng)價(jià)指標(biāo)權(quán)重,Xj+為標(biāo)準(zhǔn)化后的指標(biāo)極大值(稱為理想解),Xj-為標(biāo)準(zhǔn)化后的指標(biāo)極小值(稱為負(fù)理想解),i、j分別為評(píng)價(jià)對(duì)象和評(píng)價(jià)指標(biāo)序號(hào);n為評(píng)價(jià)指標(biāo)數(shù)量。分子表示評(píng)價(jià)對(duì)象到負(fù)理想解的距離,分母為評(píng)價(jià)對(duì)象到正負(fù)理想解的距離之和。

    TOPSIS是賦權(quán)類非線性評(píng)價(jià)方法的一個(gè)代表,盡管各種賦權(quán)類非線性評(píng)價(jià)方法原理不同,但總體上存在以下共同特征:

    第一,評(píng)價(jià)指標(biāo)與評(píng)價(jià)結(jié)果之間存在非線性關(guān)系,這種非線性關(guān)系的在不同評(píng)價(jià)方法中表現(xiàn)不同。

    第二,評(píng)價(jià)中會(huì)用到權(quán)重,但權(quán)重與評(píng)價(jià)結(jié)果之間的關(guān)系一般也是非線性的。

    第三,很難評(píng)價(jià)權(quán)重在評(píng)價(jià)中的作用,因?yàn)椴煌蔷€性評(píng)價(jià)方法對(duì)權(quán)重的利用原理不同。

    1.2TOPSIS評(píng)價(jià)方法的線性轉(zhuǎn)換線性評(píng)價(jià)是傳統(tǒng)學(xué)術(shù)評(píng)價(jià)中應(yīng)用最多的方法之一,通常情況下,線性學(xué)術(shù)評(píng)價(jià)的計(jì)算公式如下:

    Cij=ω1Xi1+ω2Xi2+...+ωnXin

    (2)

    線性評(píng)價(jià)原理簡(jiǎn)單,權(quán)重作用清晰,分析容易,克服了非線性評(píng)價(jià)深度分析的一些困難。如果能將非線性評(píng)價(jià)方法轉(zhuǎn)化為線性評(píng)價(jià)方法,這將非常有利于后續(xù)的進(jìn)一步分析。俞立平、潘云濤等[9]提出可以將非線性評(píng)價(jià)值作為因變量,評(píng)價(jià)指標(biāo)作為自變量進(jìn)行回歸,回歸系數(shù)大小就反映了各評(píng)價(jià)指標(biāo)對(duì)評(píng)價(jià)值的相對(duì)重要性,將其進(jìn)行歸一化處理就是非線性評(píng)價(jià)指標(biāo)的模擬權(quán)重,也稱為實(shí)際權(quán)重。

    通過(guò)實(shí)際權(quán)重的計(jì)算,不僅將復(fù)雜的非線性評(píng)價(jià)方法轉(zhuǎn)化為相對(duì)簡(jiǎn)單的線性評(píng)價(jià)方法,有利于后續(xù)深度分析,而且也暴露了非線性評(píng)價(jià)的偽權(quán)重問(wèn)題。

    1.3TOPSIS的偽權(quán)重問(wèn)題及其產(chǎn)生機(jī)制偽權(quán)重問(wèn)題是指評(píng)價(jià)賦權(quán)與實(shí)際權(quán)重不一致的現(xiàn)象。在TOPSIS評(píng)價(jià)中,其實(shí)有兩種權(quán)重,第一種權(quán)重是評(píng)價(jià)賦權(quán),一般采用專家賦權(quán)法,當(dāng)然也可以采用其他方法賦權(quán)。另一種權(quán)重是隱含的,即將TOPSIS轉(zhuǎn)化為線性評(píng)價(jià)時(shí)的實(shí)際權(quán)重,很明顯這兩種權(quán)重不一致,這對(duì)評(píng)價(jià)賦權(quán)是一種扭曲,真正重要的指標(biāo)可能變得不重要,而不重要的指標(biāo)變得重要。所以偽權(quán)重是TOPSIS方法存在的一個(gè)重要問(wèn)題,必須引起足夠的重視。

    賦權(quán)類非線性評(píng)價(jià)方法偽權(quán)重問(wèn)題產(chǎn)生的原因主要包括以下幾個(gè)方面:

    第一,評(píng)價(jià)方法算法。不同非線性評(píng)價(jià)方法的算法和原理各不相同,對(duì)評(píng)價(jià)賦權(quán)的利用大小也各不相同,其特征一般難以掌握。

    第二,評(píng)價(jià)指標(biāo)數(shù)據(jù)分布。在學(xué)術(shù)評(píng)價(jià)中,評(píng)價(jià)指標(biāo)數(shù)據(jù)分布往往相差較大,有的服從正態(tài)分布,有的服從冪律分布,有的服從其他分布,而這一切對(duì)實(shí)際權(quán)重計(jì)算會(huì)產(chǎn)生較大影響。

    第三,模擬權(quán)重?cái)M合算法。對(duì)于非線性評(píng)價(jià)方法而言,實(shí)際權(quán)重是通過(guò)回歸擬合計(jì)算得到的,是一種模擬權(quán)重,擬合方法可采用嶺回歸或偏最小二乘法等,當(dāng)然擬合方法不同,對(duì)實(shí)際權(quán)重也會(huì)產(chǎn)生一定的影響。

    綜上所述,對(duì)于TOPSIS評(píng)價(jià)方法而言,偽權(quán)重問(wèn)題是客觀存在的,可以分析計(jì)算其大小,但要消除幾乎是不可能的。

    偽權(quán)重的測(cè)度可以根據(jù)實(shí)際權(quán)重與專家權(quán)重的平均偏離度來(lái)進(jìn)行測(cè)度,即每個(gè)指標(biāo)權(quán)重偏離程度的平均值表示。計(jì)算公式如下:

    (3)

    式(3)中,Wj為實(shí)際權(quán)重,ωj為專家權(quán)重,B為偽權(quán)重水平,該值越大,說(shuō)明偽權(quán)重問(wèn)題越嚴(yán)重。

    1.4TOPSIS的權(quán)重失靈及產(chǎn)生機(jī)制前文已經(jīng)將TOPSIS轉(zhuǎn)換為線性評(píng)價(jià),因此暫且將TOPSIS評(píng)價(jià)視為線性評(píng)價(jià),來(lái)討論其權(quán)重失靈問(wèn)題。

    對(duì)于k個(gè)評(píng)價(jià)指標(biāo),P和Q兩個(gè)評(píng)價(jià)對(duì)象的指標(biāo)值分別為P1、P2…Pk和Q1、Q2…Qk,評(píng)價(jià)指標(biāo)的權(quán)重為ω1、ω2…ωk??紤]一種極端情況,當(dāng)評(píng)P和Q“同增同減”時(shí),比如對(duì)每個(gè)評(píng)價(jià)指標(biāo),均有Pi>Qi,CP和CQ分別為P和Q評(píng)價(jià)值。

    (4)

    下面比較P和Q評(píng)價(jià)值之差:

    CP-CQ=ω1(P1-Q1)+ω2(P2-Q2)+…

    +ωn(Pn-Qn)>0

    (5)

    也就是說(shuō),權(quán)重組合ω1、ω2…ωk無(wú)論如何變化,CP永遠(yuǎn)大于CQ,這就是權(quán)重失靈。

    評(píng)價(jià)指標(biāo)“同增同減”的本質(zhì)就是評(píng)價(jià)指標(biāo)之間高度相關(guān),鑒于TOPSIS評(píng)價(jià)方法已經(jīng)轉(zhuǎn)化為線性評(píng)價(jià)方法,所以當(dāng)評(píng)價(jià)指標(biāo)高度相關(guān)時(shí),TOPSIS也會(huì)出現(xiàn)權(quán)重失靈。

    關(guān)于權(quán)重失靈的測(cè)度,可以比較不同權(quán)重組合評(píng)價(jià)結(jié)果之間的平均排序變化,假設(shè)權(quán)重組合A的評(píng)價(jià)值排序?yàn)镽A,權(quán)重組合B的評(píng)價(jià)值排序?yàn)镽B,m為評(píng)價(jià)對(duì)象數(shù)量,則AB之間的權(quán)重失靈度VR為

    (6)

    VR越小,說(shuō)明權(quán)重失靈度越高。當(dāng)權(quán)重組合為k個(gè)時(shí),權(quán)重組合的兩兩失靈度共有Ck2個(gè),取其平均值,就可以得到總體權(quán)重失靈度:

    (7)

    1.5偽權(quán)重與權(quán)重失靈的關(guān)系對(duì)于TOPSIS評(píng)價(jià)而言,通過(guò)將其轉(zhuǎn)化為線性評(píng)價(jià)方法,這樣就可以進(jìn)一步研究偽權(quán)重與權(quán)重失靈的關(guān)系了(見圖2)。

    圖2 TOPSIS偽權(quán)重與權(quán)重失靈的關(guān)系

    TOPSIS評(píng)價(jià)存在兩種權(quán)重,一種是評(píng)價(jià)賦權(quán)(專家權(quán)重),另一種是實(shí)際權(quán)重,兩者并不一致,也就是說(shuō)存在偽權(quán)重問(wèn)題。對(duì)于高相關(guān)指標(biāo)而言,由于存在權(quán)重失靈,不管權(quán)重組合如何變化,評(píng)價(jià)結(jié)果的排序大致不變。也就是說(shuō),盡管專家權(quán)重與實(shí)際權(quán)重并不一致,但對(duì)評(píng)價(jià)結(jié)果排序影響甚微,結(jié)論就是由于權(quán)重失靈的存在,使得高相關(guān)指標(biāo)TOPSIS評(píng)價(jià)的偽權(quán)重負(fù)作用大大降低,或者說(shuō),權(quán)重失靈一定程度上解決了高相關(guān)指標(biāo)TOPSIS評(píng)價(jià)的偽權(quán)重問(wèn)題。

    對(duì)于低相關(guān)指標(biāo)而言,由于并不存在權(quán)重失靈問(wèn)題,因此也不能有效解決偽權(quán)重問(wèn)題。

    2 研究框架與研究數(shù)據(jù)

    2.1研究框架本文以JCR管理學(xué)期刊為例來(lái)研究相關(guān)問(wèn)題。根據(jù)上文分析,將評(píng)價(jià)指標(biāo)分為三組分別計(jì)算權(quán)重失靈程度并進(jìn)行比較,三組分別是高相關(guān)系數(shù)指標(biāo)、低相關(guān)系數(shù)指標(biāo)、全部評(píng)價(jià)指標(biāo)。每組均采用專家賦權(quán)線性評(píng)價(jià)以及TOPSIS評(píng)價(jià),并比較兩者的權(quán)重失靈度,本質(zhì)上TOPSIS評(píng)價(jià)相當(dāng)于采用實(shí)際權(quán)重線性評(píng)價(jià),與專家賦權(quán)線性評(píng)價(jià)相當(dāng)于是兩種權(quán)重組合進(jìn)行評(píng)價(jià)。

    圖3 研究框架

    根據(jù)前文分析,可以大致估計(jì)實(shí)證結(jié)果,即高相關(guān)系數(shù)指標(biāo)評(píng)價(jià)會(huì)出現(xiàn)權(quán)重失靈,低相關(guān)系數(shù)指標(biāo)不會(huì)出現(xiàn)權(quán)重失靈,而全部指標(biāo)評(píng)價(jià)由于相關(guān)系數(shù)介于兩者之間,因此權(quán)重失靈水平處于中等水平。

    2.2研究數(shù)據(jù)本文研究數(shù)據(jù)為JCR2019管理學(xué)期刊的文獻(xiàn)計(jì)量指標(biāo),作為一個(gè)算例,以管理學(xué)期刊影響力評(píng)價(jià)為例,選取7個(gè)評(píng)價(jià)指標(biāo),分別是:影響因子IF、5年影響因子IF5、他引影響因子IFW、即年指標(biāo)II、總被引頻次TC、特征因子ES、論文與影響分值A(chǔ)IS。至于評(píng)價(jià)賦權(quán),采用專家賦權(quán),充分征求學(xué)術(shù)期刊評(píng)價(jià)領(lǐng)域的6位專家,最終權(quán)重如表1所示。

    表1 評(píng)價(jià)指標(biāo)及權(quán)重

    管理學(xué)JCR2019共有期刊225種,部分指標(biāo)存在數(shù)據(jù)缺失,必須進(jìn)行必要的清洗,經(jīng)整理后還有193種期刊。原始數(shù)據(jù)的描述統(tǒng)計(jì)如表2所示。從Jarque-Bera檢驗(yàn)值和對(duì)應(yīng)的p值看,所有評(píng)價(jià)指標(biāo)均不服從正態(tài)分布。

    表2 評(píng)價(jià)指標(biāo)描述統(tǒng)計(jì)

    3 實(shí)證結(jié)果

    3.1評(píng)價(jià)指標(biāo)相關(guān)系數(shù)首先要計(jì)算評(píng)價(jià)指標(biāo)相關(guān)系數(shù),以篩選出高相關(guān)指標(biāo)、低相關(guān)指標(biāo)供進(jìn)一步研究。相關(guān)系數(shù)如表3所示,經(jīng)分析發(fā)現(xiàn)影響因子、5年

    表3 相關(guān)系數(shù)表

    影響因子、他引影響因子之間的相關(guān)指數(shù)較高,平均相關(guān)系數(shù)0.962,因此將這三個(gè)指標(biāo)作為高相關(guān)指標(biāo)用于TOPSIS評(píng)價(jià)比較。剩下的4個(gè)指標(biāo)包括即年指標(biāo)、總被引頻次、特征因子、論文影響分值,其平均相關(guān)系數(shù)為0.577。全部7個(gè)指標(biāo)的平均相關(guān)系數(shù)為0.663,介于高相關(guān)指標(biāo)與低相關(guān)指標(biāo)之間。

    3.2高相關(guān)指標(biāo)TOPSIS評(píng)價(jià)分析影響因子、5年影響因子、他引影響因子三個(gè)高相關(guān)指標(biāo)評(píng)價(jià)賦權(quán)分別為0.10、0.20、0.15,將其等比例轉(zhuǎn)化為標(biāo)準(zhǔn)權(quán)重,使其總和為1 ,權(quán)重分別為0.22、0.44、0.34,采用TOPSIS進(jìn)行評(píng)價(jià),同時(shí)采用專家權(quán)重進(jìn)行線性評(píng)價(jià),結(jié)果如表4所示,由于篇幅所限,本文僅公布評(píng)價(jià)賦權(quán)線性評(píng)價(jià)前30的期刊。

    表4 高相關(guān)指標(biāo)評(píng)價(jià)排序比較

    下面計(jì)算實(shí)際權(quán)重,為了降低評(píng)價(jià)指標(biāo)多重共線性的影響,采用嶺回歸對(duì)高相關(guān)指標(biāo)評(píng)價(jià)值與評(píng)價(jià)指標(biāo)進(jìn)行回歸,當(dāng)標(biāo)準(zhǔn)系數(shù)之和為0.7時(shí),模型趨于穩(wěn)定,擬合優(yōu)度為0.942,具有很好的擬合效果,因此取此時(shí)的回歸系數(shù)作為最終結(jié)果。

    進(jìn)一步將回歸系數(shù)進(jìn)行歸一化處理,得到評(píng)價(jià)指標(biāo)的實(shí)際權(quán)重,如表5和圖4所示。TOPSIS的實(shí)際權(quán)重最大的為5年影響因子0.440,其次是影響因子0.329,最后是他引影響因子0.327,而專家權(quán)重最大的為5年影響因子0.440,其次是他引影響因子0.340,最后是影響因子0.220,專家權(quán)重與實(shí)際權(quán)重存在較大差異。三個(gè)指標(biāo)的權(quán)重差異分別為49.55%、21.82%、3.82%,平均差異為25.06%。

    表5 高相關(guān)指標(biāo)TOPSIS評(píng)價(jià)實(shí)際權(quán)重

    圖4 高相關(guān)指標(biāo)TOPSIS評(píng)價(jià)實(shí)際權(quán)重

    進(jìn)一步計(jì)算權(quán)重失靈度,發(fā)現(xiàn)專家賦權(quán)線性評(píng)價(jià)與TOPSIS評(píng)價(jià)的排序絕對(duì)總誤差為86,權(quán)重失靈度為0.45,即對(duì)于高相關(guān)指標(biāo)而言,由于權(quán)重失靈的存在,導(dǎo)致專家賦權(quán)線性評(píng)價(jià)與TOPSIS評(píng)價(jià)的排序差異僅為0.45位次,說(shuō)明每個(gè)評(píng)價(jià)對(duì)象的排序誤差只有不到1個(gè)位次,不同評(píng)價(jià)方法的評(píng)價(jià)結(jié)果排序具有較好的穩(wěn)定性,應(yīng)該說(shuō)處于較高的權(quán)重失靈水平。

    3.3低相關(guān)指標(biāo)TOPSIS評(píng)價(jià)分析即年指標(biāo)、總被引頻次、特征因子、論文影響分值4個(gè)指標(biāo)屬于低相關(guān)指標(biāo),為了檢驗(yàn)這4個(gè)指標(biāo)單獨(dú)評(píng)價(jià)對(duì)權(quán)重失靈的影響,采用這4個(gè)指標(biāo)進(jìn)行TOPSIS評(píng)價(jià),并比較其與專家權(quán)重線性評(píng)價(jià)排序差異。即年指標(biāo)、總被引頻次、特征因子、論文影響分值4個(gè)指標(biāo)的專家權(quán)重分別為0.05、0.15、0.25、0.10,轉(zhuǎn)化為標(biāo)準(zhǔn)權(quán)重分別是0.09、0.27、0.45、0.18。采用專家權(quán)重線性評(píng)價(jià)與TOPSIS評(píng)價(jià)的結(jié)果如表6所示,由于篇幅所限,這里僅公布專家賦權(quán)線性評(píng)價(jià)前30的期刊。

    表6 低相關(guān)指標(biāo)評(píng)價(jià)排序比較

    續(xù)表6 低相關(guān)指標(biāo)評(píng)價(jià)排序比較

    下面計(jì)算實(shí)際權(quán)重,為了降低評(píng)價(jià)指標(biāo)多重共線性的影響,采用嶺回歸對(duì)低相關(guān)指標(biāo)評(píng)價(jià)值與評(píng)價(jià)指標(biāo)進(jìn)行回歸,當(dāng)標(biāo)準(zhǔn)系數(shù)之和為0.7時(shí),模型趨于穩(wěn)定,擬合優(yōu)度為0.921,具有很好的擬合效果,因此取此時(shí)的回歸系數(shù)作為最終結(jié)果。

    進(jìn)一步將回歸系數(shù)進(jìn)行歸一化處理,得到評(píng)價(jià)指標(biāo)的實(shí)際權(quán)重,如表7所示。TOPSIS低相關(guān)指標(biāo)的實(shí)際權(quán)重最大的為特征因子0.284,其次是總被引頻次0.282,再次是論文影響分值0.263,最后是即年指標(biāo)0.171。這個(gè)排序與專家權(quán)重大小排序基本相同,應(yīng)該說(shuō)這是一種偶然。此外,盡管權(quán)重排序相同,但權(quán)重依然有較大的差距,4個(gè)指標(biāo)權(quán)重的平均差異為90.00%、4.44%、36.89%、46.11%,平均差異為44.36%。

    表7 低相關(guān)指標(biāo)TOPSIS評(píng)價(jià)實(shí)際權(quán)重

    圖5 低相關(guān)指標(biāo)TOPSIS評(píng)價(jià)實(shí)際權(quán)重

    進(jìn)一步計(jì)算權(quán)重失靈度,發(fā)現(xiàn)低相關(guān)指標(biāo)專家賦權(quán)線性評(píng)價(jià)與TOPSIS評(píng)價(jià)的排序絕對(duì)總誤差為1896,權(quán)重失靈度為9.82,即對(duì)于低相關(guān)指標(biāo)而言,專家賦權(quán)線性評(píng)價(jià)與TOPSIS評(píng)價(jià)的排序差異為9.82位次,應(yīng)該說(shuō)排序相差非常大,說(shuō)明基本不存在權(quán)重失靈。

    3.4全部指標(biāo)TOPSIS評(píng)價(jià)分析根據(jù)表1中的專家權(quán)重,采用全部指標(biāo)進(jìn)行評(píng)價(jià),專家賦權(quán)線性評(píng)價(jià)與TOPSIS評(píng)價(jià)結(jié)果如表8所示。同樣為了節(jié)省篇幅,僅公布按線性評(píng)價(jià)排序前30位的結(jié)果。

    下面計(jì)算實(shí)際權(quán)重,為了降低評(píng)價(jià)指標(biāo)多重共線性的影響,采用嶺回歸對(duì)全部指標(biāo)評(píng)價(jià)值與評(píng)價(jià)指標(biāo)進(jìn)行回歸,當(dāng)標(biāo)準(zhǔn)系數(shù)之和為0.74時(shí),模型趨于穩(wěn)定,擬合優(yōu)度為0.942,具有很好的擬合效果,因此取此時(shí)的回歸系數(shù)作為最終結(jié)果。

    進(jìn)一步將回歸系數(shù)進(jìn)行歸一化處理,得到評(píng)價(jià)指標(biāo)的實(shí)際權(quán)重,如表9所示。TOPSIS全部指標(biāo)評(píng)價(jià)的實(shí)際權(quán)重最大的是5年影響因子0.177,其次為影響因子0.172,最小的是即年指標(biāo)0.101。專家權(quán)重最大的為特征因子0.25,其次是5年影響因子0.20。權(quán)重排序相差較大,平均權(quán)重相差為45.70%,也處于較高水平。

    進(jìn)一步計(jì)算權(quán)重失靈度,發(fā)現(xiàn)全部指標(biāo)專家賦權(quán)線性評(píng)價(jià)與TOPSIS評(píng)價(jià)的排序絕對(duì)總誤差為738,權(quán)重失靈度為3.82,即對(duì)于全部指標(biāo)而言,專家賦權(quán)線性評(píng)價(jià)與TOPSIS評(píng)價(jià)的排序差異為3.82位次,相對(duì)于高相關(guān)指標(biāo)和低相關(guān)指標(biāo),權(quán)重失靈水平處于中等,說(shuō)明存在輕度的權(quán)重失靈。

    表8 全部指標(biāo)評(píng)價(jià)排序結(jié)果比較

    表9 低相關(guān)指標(biāo)TOPSIS評(píng)價(jià)實(shí)際權(quán)重

    4 結(jié)論與討論

    a.賦權(quán)類非線性評(píng)價(jià)存在偽權(quán)重與權(quán)重失靈現(xiàn)象。本文提出賦權(quán)類非線性評(píng)價(jià)存在偽權(quán)重與權(quán)重失靈現(xiàn)象,其研究方法是通過(guò)嶺回歸等方法計(jì)算出賦權(quán)類非線性評(píng)價(jià)中各評(píng)價(jià)指標(biāo)的實(shí)際權(quán)重,將其轉(zhuǎn)化為線性評(píng)價(jià),并與專家賦權(quán)評(píng)價(jià)進(jìn)行進(jìn)一步比較。偽權(quán)重削弱了評(píng)價(jià)賦權(quán)(專家權(quán)重)的作用,使得評(píng)價(jià)產(chǎn)生較大的系統(tǒng)誤差。偽權(quán)重受評(píng)價(jià)方法算法、評(píng)價(jià)指標(biāo)數(shù)據(jù)分布、模擬權(quán)重計(jì)算算法的影響。

    權(quán)重失靈是由高相關(guān)指標(biāo)引起的,它的存在使得不管權(quán)重組合如何變化,評(píng)價(jià)結(jié)果排序維持大致不變。權(quán)重失靈的存在使得評(píng)價(jià)在一定條件下存在某種“惰性”,使得評(píng)價(jià)結(jié)果穩(wěn)定性增強(qiáng)。

    b.權(quán)重失靈有利于降低高相關(guān)指標(biāo)的偽權(quán)重問(wèn)題。對(duì)于賦權(quán)類非線性評(píng)價(jià)而言,通過(guò)實(shí)際權(quán)重的計(jì)算將其轉(zhuǎn)化為線性評(píng)價(jià),這為權(quán)重失靈和偽權(quán)重研究提供了一種新的分析框架。實(shí)證研究結(jié)果表明,對(duì)于高相關(guān)指標(biāo)而言,由于權(quán)重失靈的存在,使得盡管存在偽權(quán)重問(wèn)題,但評(píng)價(jià)結(jié)果的排序和專家賦權(quán)線性評(píng)價(jià)高度一致,從而有效降低了偽權(quán)重的危害。

    c.對(duì)低相關(guān)指標(biāo)的偽權(quán)重問(wèn)題必須引起足夠的重視。對(duì)于低相關(guān)指標(biāo)而言,由于并不存在權(quán)重失靈問(wèn)題,這樣偽權(quán)重的負(fù)面作用更大,表現(xiàn)為實(shí)際權(quán)重與評(píng)價(jià)賦權(quán)相差較大,使得評(píng)價(jià)結(jié)果難以體現(xiàn)評(píng)價(jià)賦權(quán),從而偏離了評(píng)價(jià)目的。在學(xué)術(shù)評(píng)價(jià)中,評(píng)價(jià)目的的實(shí)現(xiàn)非常重要,涉及科研成果評(píng)價(jià)、科技資源分配、調(diào)動(dòng)廣大科技人員積極性等諸多問(wèn)題,因此這是要重點(diǎn)解決的問(wèn)題。

    d.權(quán)重失靈弱化了高相關(guān)指標(biāo)非線性評(píng)價(jià)方法的選擇。對(duì)于高相關(guān)指標(biāo)而言,由于權(quán)重失靈的存在,使得在非線性評(píng)價(jià)方法選擇的時(shí)候,不同的評(píng)價(jià)方法相當(dāng)于其實(shí)際權(quán)重組合不同,但這些實(shí)際權(quán)重組合盡管不同,但評(píng)價(jià)結(jié)果的排序是大致不變的,換句話說(shuō),由于權(quán)重失靈的存在,使得對(duì)不同非線性評(píng)價(jià)方法的選取有較好的耐受性,這對(duì)評(píng)價(jià)總體是有利的。

    e.在學(xué)術(shù)評(píng)價(jià)中應(yīng)充分采取多種方法進(jìn)行評(píng)價(jià)。學(xué)術(shù)評(píng)價(jià)往往是多視角的,一級(jí)指標(biāo)之間往往相關(guān)性不高,此時(shí)采用賦權(quán)類非線性評(píng)價(jià)方法評(píng)價(jià)是不合適的,因?yàn)閭螜?quán)重問(wèn)題無(wú)法消除,因此對(duì)于不同屬性指標(biāo)的評(píng)價(jià)建議采用線性評(píng)價(jià)方法。而對(duì)于一級(jí)指標(biāo)內(nèi)部,或者二級(jí)指標(biāo)內(nèi)部,由于這些指標(biāo)之間往往高度相關(guān),會(huì)存在權(quán)重失靈問(wèn)題,對(duì)評(píng)價(jià)方法選擇不敏感,此時(shí)可以選取一些經(jīng)典的賦權(quán)類非線性評(píng)價(jià)方法或其他方法進(jìn)行評(píng)價(jià)。

    需要說(shuō)明的是,由于非線性評(píng)價(jià)方法較多,大多數(shù)非線性評(píng)價(jià)方法可以用本文的研究框架來(lái)進(jìn)行分析,但也有少數(shù)非線性評(píng)價(jià)方法,如支持向量機(jī)、隨機(jī)森林等,由于其評(píng)價(jià)原理比較特殊,對(duì)偽權(quán)重與權(quán)重失靈問(wèn)題的研究還有待進(jìn)一步探索。

    猜你喜歡
    失靈賦權(quán)排序
    失靈的指南針
    學(xué)與玩(2022年8期)2022-10-31 02:42:30
    論鄉(xiāng)村治理的有效賦權(quán)——以A縣扶貧項(xiàng)目為例
    排序不等式
    企業(yè)數(shù)據(jù)賦權(quán)保護(hù)的反思與求解
    2020年一汽奔騰T99智能鑰匙失靈
    恐怖排序
    試論新媒體賦權(quán)
    活力(2019年15期)2019-09-25 07:22:12
    節(jié)日排序
    基于改進(jìn)AHP熵博弈賦權(quán)的輸變電工程評(píng)價(jià)
    刻舟求劍
    兒童繪本(2018年5期)2018-04-12 16:45:32
    久久人人爽人人爽人人片va| 精品99又大又爽又粗少妇毛片| 精品视频人人做人人爽| 99国产综合亚洲精品| 久久精品久久久久久噜噜老黄| 欧美性感艳星| 亚洲精品456在线播放app| 亚洲精华国产精华液的使用体验| 一级,二级,三级黄色视频| 亚洲精品乱久久久久久| 亚洲精品国产av成人精品| 久久久久久人妻| 免费看光身美女| 欧美精品一区二区免费开放| 黄色怎么调成土黄色| 日韩 亚洲 欧美在线| 国产免费又黄又爽又色| 精品福利永久在线观看| 国产国拍精品亚洲av在线观看| 18禁在线无遮挡免费观看视频| 999精品在线视频| 中国美白少妇内射xxxbb| 成人毛片a级毛片在线播放| 亚洲一级一片aⅴ在线观看| 欧美日韩国产mv在线观看视频| 纯流量卡能插随身wifi吗| 亚洲久久久国产精品| 亚洲av欧美aⅴ国产| 精品午夜福利在线看| 卡戴珊不雅视频在线播放| 超碰97精品在线观看| 蜜桃在线观看..| 久久免费观看电影| 夫妻午夜视频| 国产乱来视频区| av视频免费观看在线观看| 边亲边吃奶的免费视频| 搡老乐熟女国产| 在线免费观看不下载黄p国产| 国产淫语在线视频| 国产极品天堂在线| 日本爱情动作片www.在线观看| 激情视频va一区二区三区| 97超碰精品成人国产| 一级,二级,三级黄色视频| 色哟哟·www| 精品一区二区三区视频在线| 午夜免费观看性视频| 丝袜脚勾引网站| 亚洲少妇的诱惑av| 久久久久久久久久人人人人人人| 各种免费的搞黄视频| 美国免费a级毛片| av在线app专区| 国产男女超爽视频在线观看| 中国三级夫妇交换| 亚洲精品国产av成人精品| 在线观看人妻少妇| 香蕉丝袜av| 人人妻人人澡人人看| 一二三四中文在线观看免费高清| 伊人久久国产一区二区| 亚洲欧美一区二区三区黑人 | 国产欧美另类精品又又久久亚洲欧美| 日本欧美国产在线视频| 热99久久久久精品小说推荐| 国产黄频视频在线观看| av在线播放精品| 欧美日韩亚洲高清精品| 人人妻人人澡人人爽人人夜夜| 视频区图区小说| 免费观看性生交大片5| 女人被躁到高潮嗷嗷叫费观| 90打野战视频偷拍视频| 精品久久蜜臀av无| 欧美成人午夜精品| 97超碰精品成人国产| 国产精品成人在线| 久久97久久精品| 国产欧美日韩一区二区三区在线| 成人亚洲欧美一区二区av| 成人国产av品久久久| 一本—道久久a久久精品蜜桃钙片| 丰满少妇做爰视频| 80岁老熟妇乱子伦牲交| 黄片无遮挡物在线观看| av在线播放精品| 熟妇人妻不卡中文字幕| 永久网站在线| 久久热在线av| 乱人伦中国视频| 99视频精品全部免费 在线| av片东京热男人的天堂| 免费日韩欧美在线观看| 国产xxxxx性猛交| 成人毛片a级毛片在线播放| 国产片内射在线| 建设人人有责人人尽责人人享有的| 久久亚洲国产成人精品v| 亚洲美女黄色视频免费看| 日本av手机在线免费观看| 三上悠亚av全集在线观看| 国产在线免费精品| 久久久国产一区二区| 最近的中文字幕免费完整| 欧美老熟妇乱子伦牲交| 日韩不卡一区二区三区视频在线| 国产在视频线精品| 成人午夜精彩视频在线观看| 午夜av观看不卡| 久久青草综合色| 九九爱精品视频在线观看| 大陆偷拍与自拍| 免费不卡的大黄色大毛片视频在线观看| 老司机亚洲免费影院| 两个人免费观看高清视频| 久久99蜜桃精品久久| 一区二区三区四区激情视频| 97在线人人人人妻| 天天操日日干夜夜撸| 国国产精品蜜臀av免费| 久久久久久久大尺度免费视频| 国产高清不卡午夜福利| 自拍欧美九色日韩亚洲蝌蚪91| 亚洲欧美一区二区三区国产| 精品人妻熟女毛片av久久网站| 亚洲av成人精品一二三区| 婷婷色综合www| 亚洲精品久久成人aⅴ小说| 欧美日韩成人在线一区二区| 一级毛片我不卡| 秋霞伦理黄片| 观看av在线不卡| av国产久精品久网站免费入址| 国产精品久久久av美女十八| 亚洲一区二区三区欧美精品| 精品卡一卡二卡四卡免费| 午夜福利视频在线观看免费| 这个男人来自地球电影免费观看 | 黑人猛操日本美女一级片| 久久精品久久久久久久性| 精品酒店卫生间| 成人国产av品久久久| 久久97久久精品| 日本91视频免费播放| 伊人亚洲综合成人网| 综合色丁香网| 成人综合一区亚洲| 久久精品国产自在天天线| 美国免费a级毛片| 午夜免费观看性视频| 香蕉国产在线看| av卡一久久| 精品国产一区二区三区四区第35| 中文字幕人妻熟女乱码| 97人妻天天添夜夜摸| 亚洲,欧美,日韩| 少妇人妻久久综合中文| 亚洲精品第二区| 国产探花极品一区二区| 菩萨蛮人人尽说江南好唐韦庄| 精品一区二区三区视频在线| 成人免费观看视频高清| 久久人人爽人人爽人人片va| 高清毛片免费看| 满18在线观看网站| 国产成人a∨麻豆精品| 免费少妇av软件| 亚洲精品日韩在线中文字幕| 一级毛片我不卡| av视频免费观看在线观看| 婷婷色综合大香蕉| 国产精品嫩草影院av在线观看| 18禁国产床啪视频网站| av片东京热男人的天堂| 三级国产精品片| 90打野战视频偷拍视频| 中国国产av一级| 乱人伦中国视频| a级毛片在线看网站| 免费观看性生交大片5| 亚洲国产毛片av蜜桃av| 日本午夜av视频| 亚洲高清免费不卡视频| 成年动漫av网址| av免费观看日本| 亚洲国产欧美日韩在线播放| 美女大奶头黄色视频| 久久97久久精品| 国产成人精品一,二区| 丝袜人妻中文字幕| 久久国内精品自在自线图片| 大香蕉久久网| 男女高潮啪啪啪动态图| 欧美精品高潮呻吟av久久| 婷婷色麻豆天堂久久| 毛片一级片免费看久久久久| 国产又色又爽无遮挡免| 日韩中文字幕视频在线看片| 天天躁夜夜躁狠狠躁躁| 高清黄色对白视频在线免费看| 欧美日韩视频高清一区二区三区二| 日日啪夜夜爽| 中文字幕人妻熟女乱码| 国产精品一区www在线观看| 亚洲国产日韩一区二区| 国产精品三级大全| 天天躁夜夜躁狠狠躁躁| 日韩一本色道免费dvd| av卡一久久| 赤兔流量卡办理| 精品一区二区免费观看| 如何舔出高潮| 人成视频在线观看免费观看| 久久97久久精品| 久久婷婷青草| 色吧在线观看| 丰满饥渴人妻一区二区三| 99精国产麻豆久久婷婷| 国产av国产精品国产| 亚洲丝袜综合中文字幕| 色吧在线观看| 自线自在国产av| 久久久久久久久久久久大奶| 亚洲高清免费不卡视频| 欧美日本中文国产一区发布| 中文精品一卡2卡3卡4更新| 女的被弄到高潮叫床怎么办| 亚洲一区二区三区欧美精品| 亚洲精品日本国产第一区| 亚洲国产日韩一区二区| 美女xxoo啪啪120秒动态图| 国产亚洲av片在线观看秒播厂| 成人手机av| 亚洲av免费高清在线观看| 免费大片黄手机在线观看| 精品久久国产蜜桃| 久久久a久久爽久久v久久| 日本av免费视频播放| 老司机亚洲免费影院| 精品酒店卫生间| 伦理电影免费视频| 成人综合一区亚洲| 中国三级夫妇交换| 久久久久久人人人人人| 两性夫妻黄色片 | 色网站视频免费| 亚洲精品国产色婷婷电影| 涩涩av久久男人的天堂| 午夜av观看不卡| 午夜激情av网站| 国产男女超爽视频在线观看| 久久人人爽av亚洲精品天堂| 成人午夜精彩视频在线观看| 国产国拍精品亚洲av在线观看| 丝瓜视频免费看黄片| 免费人妻精品一区二区三区视频| 中文乱码字字幕精品一区二区三区| 十八禁网站网址无遮挡| 亚洲欧洲日产国产| 一级爰片在线观看| 日韩制服骚丝袜av| 丰满饥渴人妻一区二区三| 亚洲国产精品一区二区三区在线| 日韩欧美精品免费久久| 人人妻人人澡人人爽人人夜夜| 久久热在线av| 亚洲精华国产精华液的使用体验| 欧美国产精品一级二级三级| 美女中出高潮动态图| 日本wwww免费看| 99热这里只有是精品在线观看| 亚洲欧美精品自产自拍| 美国免费a级毛片| 亚洲国产日韩一区二区| 午夜免费鲁丝| 蜜桃在线观看..| 亚洲综合色网址| 精品亚洲乱码少妇综合久久| 亚洲精品久久久久久婷婷小说| 亚洲精品av麻豆狂野| 麻豆乱淫一区二区| av国产久精品久网站免费入址| tube8黄色片| 欧美亚洲 丝袜 人妻 在线| 亚洲婷婷狠狠爱综合网| 在线观看一区二区三区激情| 亚洲精品日韩在线中文字幕| 国产高清国产精品国产三级| 久久精品国产亚洲av天美| 中文天堂在线官网| 国产精品人妻久久久影院| 在线免费观看不下载黄p国产| 国产在线免费精品| 亚洲一级一片aⅴ在线观看| 九色亚洲精品在线播放| 免费大片黄手机在线观看| av又黄又爽大尺度在线免费看| 久久久久国产精品人妻一区二区| 熟女av电影| 日韩制服骚丝袜av| 色婷婷久久久亚洲欧美| 国产午夜精品一二区理论片| 最新的欧美精品一区二区| 最近中文字幕高清免费大全6| 韩国精品一区二区三区 | 色哟哟·www| 欧美3d第一页| 看十八女毛片水多多多| 国产成人91sexporn| 老司机影院成人| 宅男免费午夜| 日韩伦理黄色片| 夜夜骑夜夜射夜夜干| 人妻 亚洲 视频| 国产精品无大码| 亚洲欧美清纯卡通| 久久鲁丝午夜福利片| 中文字幕最新亚洲高清| 国产不卡av网站在线观看| 亚洲综合色网址| 国产精品麻豆人妻色哟哟久久| 免费播放大片免费观看视频在线观看| 久久人人97超碰香蕉20202| 哪个播放器可以免费观看大片| 丰满饥渴人妻一区二区三| 亚洲精品乱码久久久久久按摩| 亚洲国产色片| 日韩av不卡免费在线播放| 亚洲国产色片| 男女啪啪激烈高潮av片| 一二三四在线观看免费中文在 | 久久精品国产综合久久久 | 在现免费观看毛片| 国产免费福利视频在线观看| 美女国产高潮福利片在线看| 久久久久久久久久久久大奶| 美女国产高潮福利片在线看| 精品人妻偷拍中文字幕| 国产成人aa在线观看| 亚洲av欧美aⅴ国产| 老司机影院成人| 亚洲欧美精品自产自拍| a级毛片黄视频| 寂寞人妻少妇视频99o| 亚洲精品国产av成人精品| 最近中文字幕2019免费版| 精品卡一卡二卡四卡免费| 久久精品人人爽人人爽视色| 久久精品国产综合久久久 | 国产av一区二区精品久久| 日韩大片免费观看网站| 午夜影院在线不卡| 大片电影免费在线观看免费| 久久婷婷青草| 国产亚洲最大av| 人妻 亚洲 视频| 国产精品欧美亚洲77777| 成年女人在线观看亚洲视频| www.熟女人妻精品国产 | 黄色毛片三级朝国网站| 五月开心婷婷网| 91精品伊人久久大香线蕉| 日韩熟女老妇一区二区性免费视频| 黄色毛片三级朝国网站| 免费高清在线观看日韩| 夜夜骑夜夜射夜夜干| 免费高清在线观看日韩| 又黄又粗又硬又大视频| 午夜福利网站1000一区二区三区| 亚洲国产色片| 国产黄色免费在线视频| 亚洲成人一二三区av| 日本av免费视频播放| 亚洲精品中文字幕在线视频| 精品国产乱码久久久久久小说| 午夜精品国产一区二区电影| 国产成人91sexporn| 精品亚洲乱码少妇综合久久| 日韩三级伦理在线观看| h视频一区二区三区| 午夜久久久在线观看| 考比视频在线观看| 久久人人爽av亚洲精品天堂| 欧美激情极品国产一区二区三区 | 99精国产麻豆久久婷婷| 欧美国产精品va在线观看不卡| 亚洲第一区二区三区不卡| 又黄又粗又硬又大视频| 成人毛片a级毛片在线播放| 国产精品99久久99久久久不卡 | 99视频精品全部免费 在线| 一本久久精品| 亚洲一码二码三码区别大吗| 99热6这里只有精品| 欧美日韩成人在线一区二区| 国产精品蜜桃在线观看| 亚洲综合色惰| 国产xxxxx性猛交| 2018国产大陆天天弄谢| 国产不卡av网站在线观看| 黑人欧美特级aaaaaa片| 伦理电影大哥的女人| 亚洲高清免费不卡视频| 欧美xxⅹ黑人| 亚洲人与动物交配视频| 两性夫妻黄色片 | 91午夜精品亚洲一区二区三区| 国产精品久久久久久精品电影小说| 日韩人妻精品一区2区三区| 一级黄片播放器| 欧美日韩成人在线一区二区| 丝袜在线中文字幕| 亚洲国产精品专区欧美| 午夜影院在线不卡| 丰满乱子伦码专区| 国产在线视频一区二区| 午夜91福利影院| 午夜福利在线观看免费完整高清在| 在线 av 中文字幕| 只有这里有精品99| 久久人人97超碰香蕉20202| 国产成人免费观看mmmm| h视频一区二区三区| 久久久久人妻精品一区果冻| 国产探花极品一区二区| 精品少妇内射三级| 久久99一区二区三区| 九色亚洲精品在线播放| 成人黄色视频免费在线看| 成年av动漫网址| 菩萨蛮人人尽说江南好唐韦庄| 又黄又爽又刺激的免费视频.| 九色成人免费人妻av| 久久精品aⅴ一区二区三区四区 | 美女内射精品一级片tv| 亚洲欧美一区二区三区黑人 | 久久毛片免费看一区二区三区| 久久人人爽av亚洲精品天堂| 亚洲成色77777| av不卡在线播放| 91午夜精品亚洲一区二区三区| 啦啦啦啦在线视频资源| 日本wwww免费看| 日本欧美视频一区| 国产亚洲最大av| 久久久久精品人妻al黑| 最后的刺客免费高清国语| 国产成人精品无人区| 韩国av在线不卡| 婷婷色综合大香蕉| 国产高清三级在线| 搡老乐熟女国产| www.av在线官网国产| 亚洲精品国产av成人精品| 母亲3免费完整高清在线观看 | 国产亚洲精品第一综合不卡 | 在线精品无人区一区二区三| 成人无遮挡网站| 精品国产国语对白av| 性高湖久久久久久久久免费观看| 国产精品熟女久久久久浪| 日韩av不卡免费在线播放| 婷婷成人精品国产| 日本vs欧美在线观看视频| 亚洲国产看品久久| 在线观看美女被高潮喷水网站| 看十八女毛片水多多多| 男人爽女人下面视频在线观看| 婷婷色麻豆天堂久久| 中文字幕制服av| 亚洲成国产人片在线观看| 少妇的逼水好多| 国精品久久久久久国模美| 你懂的网址亚洲精品在线观看| 51国产日韩欧美| 哪个播放器可以免费观看大片| av在线app专区| 国国产精品蜜臀av免费| 大香蕉久久网| 色婷婷久久久亚洲欧美| 制服诱惑二区| 亚洲国产毛片av蜜桃av| 亚洲国产精品一区三区| 欧美日韩综合久久久久久| 97人妻天天添夜夜摸| 一区在线观看完整版| 久久久a久久爽久久v久久| 国产片内射在线| 亚洲中文av在线| 亚洲av免费高清在线观看| 欧美日韩成人在线一区二区| 国产乱人偷精品视频| 有码 亚洲区| 日韩,欧美,国产一区二区三区| 国产在视频线精品| 只有这里有精品99| 涩涩av久久男人的天堂| 中文字幕最新亚洲高清| 黑丝袜美女国产一区| 国产黄色视频一区二区在线观看| av福利片在线| 男女无遮挡免费网站观看| 黄色怎么调成土黄色| av.在线天堂| 一级黄片播放器| 草草在线视频免费看| 青春草视频在线免费观看| 黄色怎么调成土黄色| 欧美日韩一区二区视频在线观看视频在线| 97精品久久久久久久久久精品| 99热国产这里只有精品6| 精品一区二区三卡| 亚洲色图综合在线观看| 满18在线观看网站| 女的被弄到高潮叫床怎么办| 大片电影免费在线观看免费| 看免费成人av毛片| 曰老女人黄片| 国产欧美日韩综合在线一区二区| 久久狼人影院| 免费观看无遮挡的男女| 久久久久久久久久久久大奶| 久久久久久人妻| 一级a做视频免费观看| 日本黄色日本黄色录像| 精品一区二区三区视频在线| 日韩中字成人| 秋霞伦理黄片| 美女内射精品一级片tv| 国产黄色免费在线视频| av在线app专区| 成人18禁高潮啪啪吃奶动态图| 最近中文字幕2019免费版| 国产日韩欧美视频二区| 最近最新中文字幕免费大全7| 亚洲,欧美精品.| 国语对白做爰xxxⅹ性视频网站| 超色免费av| 午夜福利视频在线观看免费| 天堂8中文在线网| 亚洲欧美精品自产自拍| 国产精品蜜桃在线观看| 国产亚洲午夜精品一区二区久久| 女性生殖器流出的白浆| 九色亚洲精品在线播放| 精品久久久久久电影网| 蜜桃在线观看..| av电影中文网址| 欧美精品一区二区免费开放| 免费少妇av软件| 亚洲 欧美一区二区三区| 人成视频在线观看免费观看| 内地一区二区视频在线| 欧美精品av麻豆av| 中文字幕另类日韩欧美亚洲嫩草| 国产精品久久久久久精品古装| 在线观看三级黄色| 黄色配什么色好看| 国产精品麻豆人妻色哟哟久久| 国产综合精华液| 国产免费福利视频在线观看| 久久久久久久大尺度免费视频| 国产亚洲午夜精品一区二区久久| 波野结衣二区三区在线| 黄网站色视频无遮挡免费观看| 亚洲精品乱久久久久久| 国产探花极品一区二区| 丝袜脚勾引网站| 精品一区二区免费观看| 深夜精品福利| 男人爽女人下面视频在线观看| 视频区图区小说| 亚洲精品一二三| av不卡在线播放| 久久精品国产自在天天线| 欧美变态另类bdsm刘玥| 日韩免费高清中文字幕av| 国产熟女午夜一区二区三区| h视频一区二区三区| 好男人视频免费观看在线| 国产黄频视频在线观看| 欧美97在线视频| 91精品国产国语对白视频| freevideosex欧美| 午夜影院在线不卡| 91精品国产国语对白视频| 91午夜精品亚洲一区二区三区| 丝瓜视频免费看黄片| 精品第一国产精品| 成人毛片60女人毛片免费| 九九爱精品视频在线观看| 久久影院123| 久久99一区二区三区| 韩国精品一区二区三区 | 九九在线视频观看精品| 亚洲国产欧美日韩在线播放| 夫妻午夜视频| 欧美日韩一区二区视频在线观看视频在线| 欧美 日韩 精品 国产| www.熟女人妻精品国产 | 丰满饥渴人妻一区二区三| 大片电影免费在线观看免费| 夫妻性生交免费视频一级片| 妹子高潮喷水视频| 多毛熟女@视频| 肉色欧美久久久久久久蜜桃| 亚洲精品国产av蜜桃| 国产亚洲最大av| 男女免费视频国产| 99久久人妻综合| 亚洲精品久久午夜乱码| 午夜日本视频在线| 国产免费又黄又爽又色| 精品国产国语对白av|