• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    賦權(quán)類非線性學(xué)術(shù)評(píng)價(jià)方法偽權(quán)重及權(quán)重失靈研究
    ——以TOPSIS評(píng)價(jià)方法為例

    2022-05-12 12:58:12俞立平何慶光
    情報(bào)雜志 2022年5期
    關(guān)鍵詞:失靈賦權(quán)排序

    俞立平 何慶光 韓 鈺

    (1.浙江工商大學(xué) 統(tǒng)計(jì)與數(shù)學(xué)學(xué)院 杭州 310018;2. 廣西財(cái)經(jīng)學(xué)院 信息與統(tǒng)計(jì)學(xué)院 南寧 530007;3.滄州師范學(xué)院 經(jīng)濟(jì)管理學(xué)院 滄州 061001)

    0 引 言

    在學(xué)術(shù)評(píng)價(jià)中多屬性評(píng)價(jià)方法得到廣泛應(yīng)用。多屬性評(píng)價(jià)方法采用指標(biāo)體系進(jìn)行評(píng)價(jià),可以從多個(gè)視角如影響力、創(chuàng)新性、貢獻(xiàn)、績(jī)效等角度對(duì)學(xué)科、團(tuán)隊(duì)、大學(xué)、期刊等進(jìn)行評(píng)價(jià),從而全面反映學(xué)術(shù)評(píng)價(jià)對(duì)象現(xiàn)狀與發(fā)展水平[1-4]。目前較有影響力的學(xué)術(shù)評(píng)價(jià)均采用多屬性評(píng)價(jià)方法,如教育部學(xué)科評(píng)價(jià)、北大核心期刊評(píng)價(jià)、各類大學(xué)排名等。

    學(xué)術(shù)評(píng)價(jià)工作越來(lái)越得到各界的關(guān)注。目前研究的焦點(diǎn)包括破“五唯”背景下的學(xué)術(shù)評(píng)價(jià),基于創(chuàng)新能力/質(zhì)量/實(shí)效/貢獻(xiàn)的學(xué)術(shù)評(píng)價(jià)、代表作評(píng)價(jià)等等,更多集中在評(píng)價(jià)導(dǎo)向、評(píng)價(jià)對(duì)象與評(píng)價(jià)內(nèi)容上,但是對(duì)學(xué)術(shù)評(píng)價(jià)方法卻極少關(guān)注,如果學(xué)術(shù)評(píng)價(jià)方法中的一些基本問(wèn)題不加以解決,同樣對(duì)學(xué)術(shù)評(píng)價(jià)成果會(huì)產(chǎn)生較大的影響,并且這種影響是隱藏的,必須加以重視。

    多屬性評(píng)價(jià)方法大致可以分為線性評(píng)價(jià)方法與非線性評(píng)價(jià)方法兩類(見圖1)。所有的線性評(píng)價(jià)方法均涉及權(quán)重,而非線性評(píng)價(jià)方法中,僅有一部分評(píng)價(jià)方法涉及權(quán)重,如TOPSIS、VIKOR、灰色關(guān)聯(lián)等,稱為賦權(quán)類非線性評(píng)價(jià)方法;還有一些非線性評(píng)價(jià)方法不涉及權(quán)重,如主成分分析、因子分析等,稱為非賦權(quán)類非線性評(píng)價(jià)方法,當(dāng)然還有一種分析視角是將其視為等權(quán)重。至于權(quán)重確定方法,包括主觀權(quán)重、客觀權(quán)重、主客觀權(quán)重三大類。主觀賦權(quán)方法包括層次分析、專家會(huì)議法、德爾菲法等,客觀賦權(quán)方法包括熵權(quán)法、變異系數(shù)法、概率權(quán)法等,主客觀賦權(quán)法則是前兩者方法的綜合。目前多屬性評(píng)價(jià)方法已經(jīng)有幾十種,以非線性評(píng)價(jià)方法為主。

    圖1 多屬性評(píng)價(jià)與權(quán)重關(guān)系

    鑒于多屬性評(píng)價(jià)方法分類比較復(fù)雜,本文重點(diǎn)研究賦權(quán)類非線性評(píng)價(jià)方法的偽權(quán)重與權(quán)重失靈問(wèn)題,其他相關(guān)問(wèn)題另外進(jìn)行研究。TOPSIS評(píng)價(jià)方法是一種典型的賦權(quán)類非線性多屬性評(píng)價(jià)方法,因此本文以TOPSIS為例開展相關(guān)研究,其研究范式可推廣到其他賦權(quán)類非線性多屬性評(píng)價(jià)方法。

    TOPSIS是一種影響力較廣的評(píng)價(jià)方法。TOPSIS又稱為理想解法,最早由Huang[5]提出,它在考慮專家權(quán)重的基礎(chǔ)上,兼顧評(píng)價(jià)對(duì)象到理想解與負(fù)理想解的相對(duì)距離來(lái)進(jìn)行評(píng)價(jià),是非線性評(píng)價(jià)方法的重要代表。2021年2月17日,在中國(guó)知網(wǎng)查詢篇名、關(guān)鍵詞、摘要中包含“TOPSIS”的核心期刊論文就有4 458篇,全部期刊論文高達(dá)15 927篇,可見TOPSIS評(píng)價(jià)方法應(yīng)用的廣泛性與影響力。

    TOPSIS在學(xué)術(shù)評(píng)價(jià)中也得到了廣泛的應(yīng)用,目前已經(jīng)有數(shù)百篇學(xué)術(shù)評(píng)價(jià)論文涉及TOPSIS評(píng)價(jià)。王蘿娜、李端明[6]采用加權(quán)TOPSIS評(píng)價(jià)了學(xué)術(shù)圖書的影響力。奉國(guó)和、周榕鑫等[7]采用熵權(quán)法和因子分析計(jì)算權(quán)重,然后通過(guò)加權(quán)TOPSIS對(duì)學(xué)術(shù)期刊進(jìn)行評(píng)價(jià)。張發(fā)明、庾凡等[8]在學(xué)術(shù)期刊評(píng)價(jià)中分別采用GRA和TOPSIS法進(jìn)行評(píng)價(jià),然后采用組合評(píng)價(jià)法得到最終評(píng)價(jià)結(jié)果。熊國(guó)經(jīng)、熊玲玲等[9]首先采用因子分析法提取公共因子,然后采用熵權(quán)法修正公共因子的權(quán)重,最后采用TOPSIS法對(duì)學(xué)術(shù)期刊評(píng)價(jià)。俞立平、潘云濤等[10]則比較了TOPSIS中距離函數(shù)冪次對(duì)學(xué)術(shù)期刊評(píng)價(jià)的影響。王穎、藍(lán)云飛等[11]運(yùn)用TOPSIS分析法對(duì)中部6省科技服務(wù)業(yè)發(fā)展水平進(jìn)行評(píng)價(jià)。楊秀玉[12]運(yùn)用熵權(quán)TOPSIS對(duì)我國(guó)30個(gè)省市農(nóng)業(yè)科技創(chuàng)新能力進(jìn)行評(píng)價(jià)。

    在以TOPSIS為典型代表的非線性學(xué)術(shù)評(píng)價(jià)中,偽權(quán)重問(wèn)題是其中一個(gè)重要的系統(tǒng)誤差。所謂偽權(quán)重,就是指TOPSIS評(píng)價(jià)中評(píng)價(jià)賦權(quán)與實(shí)際權(quán)重并不一致,這里評(píng)價(jià)賦權(quán)包括主觀賦權(quán)、客觀賦權(quán)和主客觀賦權(quán)。實(shí)際權(quán)重概念由俞立平、潘云濤等[13]提出,其基本原理是將非線性評(píng)價(jià)方法的評(píng)價(jià)值與評(píng)價(jià)指標(biāo)進(jìn)行回歸,然后將各指標(biāo)的回歸系數(shù)進(jìn)行歸一化處理,就得到各指標(biāo)在評(píng)價(jià)中的重要性大小即實(shí)際權(quán)重,很明顯評(píng)價(jià)賦權(quán)與實(shí)際權(quán)重并不一致,這就是偽權(quán)重問(wèn)題,該問(wèn)題是非線性評(píng)價(jià)中的隱含問(wèn)題,無(wú)疑對(duì)評(píng)價(jià)會(huì)產(chǎn)生較大的影響。

    權(quán)重失靈是非線性評(píng)價(jià)中另一重要系統(tǒng)誤差,在TOPSIS中當(dāng)然也同樣存在。所謂權(quán)重失靈,就是指當(dāng)不同評(píng)價(jià)指標(biāo)數(shù)據(jù)出現(xiàn)“同增同減”現(xiàn)象時(shí),此時(shí)無(wú)論評(píng)價(jià)賦權(quán)組合如何變化,評(píng)價(jià)值的排序基本不變,相當(dāng)于權(quán)重在評(píng)價(jià)中沒(méi)有發(fā)揮作用。權(quán)重失靈現(xiàn)象同樣是個(gè)隱含問(wèn)題,對(duì)非線性評(píng)價(jià)的影響尚處于探索之中。

    偽權(quán)重與權(quán)重失靈問(wèn)題的研究尚處于起步階段。其形成的原因,產(chǎn)生的影響,以及兩者關(guān)系有待進(jìn)一步研究。

    研究偽權(quán)重與權(quán)重失靈對(duì)TOPSIS評(píng)價(jià)的影響機(jī)制具有重要意義。兩者均與權(quán)重相關(guān),而權(quán)重在整個(gè)學(xué)術(shù)評(píng)價(jià)中具有非常重要的地位。兩者均屬于隱含問(wèn)題,而且其影響是系統(tǒng)性的,其產(chǎn)生與影響機(jī)制有待進(jìn)一步探索。對(duì)于兩者之間的關(guān)系也有待探討,比如說(shuō)偽權(quán)重的存在會(huì)增加誤差,但權(quán)重失靈一定程度上似乎會(huì)減小誤差,這是個(gè)十分有趣的問(wèn)題。相關(guān)問(wèn)題的研究不僅對(duì)于情報(bào)學(xué)與科學(xué)學(xué)方法論具有重要意義,也推進(jìn)了多元統(tǒng)計(jì)理論的研究,在實(shí)踐中,對(duì)于保障學(xué)術(shù)評(píng)價(jià)方法的科學(xué)性,加強(qiáng)學(xué)術(shù)評(píng)價(jià)質(zhì)量,提高學(xué)術(shù)評(píng)價(jià)的公平與公正。

    1 理論分析與研究方法

    1.1TOPSIS評(píng)價(jià)方法的原理TOPSIS計(jì)算公式為

    Cij=

    (1)

    公式(1)中,Cij表示TOPSIS的評(píng)價(jià)值,Xij為標(biāo)準(zhǔn)化后的評(píng)價(jià)指標(biāo),ωj表示評(píng)價(jià)指標(biāo)權(quán)重,Xj+為標(biāo)準(zhǔn)化后的指標(biāo)極大值(稱為理想解),Xj-為標(biāo)準(zhǔn)化后的指標(biāo)極小值(稱為負(fù)理想解),i、j分別為評(píng)價(jià)對(duì)象和評(píng)價(jià)指標(biāo)序號(hào);n為評(píng)價(jià)指標(biāo)數(shù)量。分子表示評(píng)價(jià)對(duì)象到負(fù)理想解的距離,分母為評(píng)價(jià)對(duì)象到正負(fù)理想解的距離之和。

    TOPSIS是賦權(quán)類非線性評(píng)價(jià)方法的一個(gè)代表,盡管各種賦權(quán)類非線性評(píng)價(jià)方法原理不同,但總體上存在以下共同特征:

    第一,評(píng)價(jià)指標(biāo)與評(píng)價(jià)結(jié)果之間存在非線性關(guān)系,這種非線性關(guān)系的在不同評(píng)價(jià)方法中表現(xiàn)不同。

    第二,評(píng)價(jià)中會(huì)用到權(quán)重,但權(quán)重與評(píng)價(jià)結(jié)果之間的關(guān)系一般也是非線性的。

    第三,很難評(píng)價(jià)權(quán)重在評(píng)價(jià)中的作用,因?yàn)椴煌蔷€性評(píng)價(jià)方法對(duì)權(quán)重的利用原理不同。

    1.2TOPSIS評(píng)價(jià)方法的線性轉(zhuǎn)換線性評(píng)價(jià)是傳統(tǒng)學(xué)術(shù)評(píng)價(jià)中應(yīng)用最多的方法之一,通常情況下,線性學(xué)術(shù)評(píng)價(jià)的計(jì)算公式如下:

    Cij=ω1Xi1+ω2Xi2+...+ωnXin

    (2)

    線性評(píng)價(jià)原理簡(jiǎn)單,權(quán)重作用清晰,分析容易,克服了非線性評(píng)價(jià)深度分析的一些困難。如果能將非線性評(píng)價(jià)方法轉(zhuǎn)化為線性評(píng)價(jià)方法,這將非常有利于后續(xù)的進(jìn)一步分析。俞立平、潘云濤等[9]提出可以將非線性評(píng)價(jià)值作為因變量,評(píng)價(jià)指標(biāo)作為自變量進(jìn)行回歸,回歸系數(shù)大小就反映了各評(píng)價(jià)指標(biāo)對(duì)評(píng)價(jià)值的相對(duì)重要性,將其進(jìn)行歸一化處理就是非線性評(píng)價(jià)指標(biāo)的模擬權(quán)重,也稱為實(shí)際權(quán)重。

    通過(guò)實(shí)際權(quán)重的計(jì)算,不僅將復(fù)雜的非線性評(píng)價(jià)方法轉(zhuǎn)化為相對(duì)簡(jiǎn)單的線性評(píng)價(jià)方法,有利于后續(xù)深度分析,而且也暴露了非線性評(píng)價(jià)的偽權(quán)重問(wèn)題。

    1.3TOPSIS的偽權(quán)重問(wèn)題及其產(chǎn)生機(jī)制偽權(quán)重問(wèn)題是指評(píng)價(jià)賦權(quán)與實(shí)際權(quán)重不一致的現(xiàn)象。在TOPSIS評(píng)價(jià)中,其實(shí)有兩種權(quán)重,第一種權(quán)重是評(píng)價(jià)賦權(quán),一般采用專家賦權(quán)法,當(dāng)然也可以采用其他方法賦權(quán)。另一種權(quán)重是隱含的,即將TOPSIS轉(zhuǎn)化為線性評(píng)價(jià)時(shí)的實(shí)際權(quán)重,很明顯這兩種權(quán)重不一致,這對(duì)評(píng)價(jià)賦權(quán)是一種扭曲,真正重要的指標(biāo)可能變得不重要,而不重要的指標(biāo)變得重要。所以偽權(quán)重是TOPSIS方法存在的一個(gè)重要問(wèn)題,必須引起足夠的重視。

    賦權(quán)類非線性評(píng)價(jià)方法偽權(quán)重問(wèn)題產(chǎn)生的原因主要包括以下幾個(gè)方面:

    第一,評(píng)價(jià)方法算法。不同非線性評(píng)價(jià)方法的算法和原理各不相同,對(duì)評(píng)價(jià)賦權(quán)的利用大小也各不相同,其特征一般難以掌握。

    第二,評(píng)價(jià)指標(biāo)數(shù)據(jù)分布。在學(xué)術(shù)評(píng)價(jià)中,評(píng)價(jià)指標(biāo)數(shù)據(jù)分布往往相差較大,有的服從正態(tài)分布,有的服從冪律分布,有的服從其他分布,而這一切對(duì)實(shí)際權(quán)重計(jì)算會(huì)產(chǎn)生較大影響。

    第三,模擬權(quán)重?cái)M合算法。對(duì)于非線性評(píng)價(jià)方法而言,實(shí)際權(quán)重是通過(guò)回歸擬合計(jì)算得到的,是一種模擬權(quán)重,擬合方法可采用嶺回歸或偏最小二乘法等,當(dāng)然擬合方法不同,對(duì)實(shí)際權(quán)重也會(huì)產(chǎn)生一定的影響。

    綜上所述,對(duì)于TOPSIS評(píng)價(jià)方法而言,偽權(quán)重問(wèn)題是客觀存在的,可以分析計(jì)算其大小,但要消除幾乎是不可能的。

    偽權(quán)重的測(cè)度可以根據(jù)實(shí)際權(quán)重與專家權(quán)重的平均偏離度來(lái)進(jìn)行測(cè)度,即每個(gè)指標(biāo)權(quán)重偏離程度的平均值表示。計(jì)算公式如下:

    (3)

    式(3)中,Wj為實(shí)際權(quán)重,ωj為專家權(quán)重,B為偽權(quán)重水平,該值越大,說(shuō)明偽權(quán)重問(wèn)題越嚴(yán)重。

    1.4TOPSIS的權(quán)重失靈及產(chǎn)生機(jī)制前文已經(jīng)將TOPSIS轉(zhuǎn)換為線性評(píng)價(jià),因此暫且將TOPSIS評(píng)價(jià)視為線性評(píng)價(jià),來(lái)討論其權(quán)重失靈問(wèn)題。

    對(duì)于k個(gè)評(píng)價(jià)指標(biāo),P和Q兩個(gè)評(píng)價(jià)對(duì)象的指標(biāo)值分別為P1、P2…Pk和Q1、Q2…Qk,評(píng)價(jià)指標(biāo)的權(quán)重為ω1、ω2…ωk??紤]一種極端情況,當(dāng)評(píng)P和Q“同增同減”時(shí),比如對(duì)每個(gè)評(píng)價(jià)指標(biāo),均有Pi>Qi,CP和CQ分別為P和Q評(píng)價(jià)值。

    (4)

    下面比較P和Q評(píng)價(jià)值之差:

    CP-CQ=ω1(P1-Q1)+ω2(P2-Q2)+…

    +ωn(Pn-Qn)>0

    (5)

    也就是說(shuō),權(quán)重組合ω1、ω2…ωk無(wú)論如何變化,CP永遠(yuǎn)大于CQ,這就是權(quán)重失靈。

    評(píng)價(jià)指標(biāo)“同增同減”的本質(zhì)就是評(píng)價(jià)指標(biāo)之間高度相關(guān),鑒于TOPSIS評(píng)價(jià)方法已經(jīng)轉(zhuǎn)化為線性評(píng)價(jià)方法,所以當(dāng)評(píng)價(jià)指標(biāo)高度相關(guān)時(shí),TOPSIS也會(huì)出現(xiàn)權(quán)重失靈。

    關(guān)于權(quán)重失靈的測(cè)度,可以比較不同權(quán)重組合評(píng)價(jià)結(jié)果之間的平均排序變化,假設(shè)權(quán)重組合A的評(píng)價(jià)值排序?yàn)镽A,權(quán)重組合B的評(píng)價(jià)值排序?yàn)镽B,m為評(píng)價(jià)對(duì)象數(shù)量,則AB之間的權(quán)重失靈度VR為

    (6)

    VR越小,說(shuō)明權(quán)重失靈度越高。當(dāng)權(quán)重組合為k個(gè)時(shí),權(quán)重組合的兩兩失靈度共有Ck2個(gè),取其平均值,就可以得到總體權(quán)重失靈度:

    (7)

    1.5偽權(quán)重與權(quán)重失靈的關(guān)系對(duì)于TOPSIS評(píng)價(jià)而言,通過(guò)將其轉(zhuǎn)化為線性評(píng)價(jià)方法,這樣就可以進(jìn)一步研究偽權(quán)重與權(quán)重失靈的關(guān)系了(見圖2)。

    圖2 TOPSIS偽權(quán)重與權(quán)重失靈的關(guān)系

    TOPSIS評(píng)價(jià)存在兩種權(quán)重,一種是評(píng)價(jià)賦權(quán)(專家權(quán)重),另一種是實(shí)際權(quán)重,兩者并不一致,也就是說(shuō)存在偽權(quán)重問(wèn)題。對(duì)于高相關(guān)指標(biāo)而言,由于存在權(quán)重失靈,不管權(quán)重組合如何變化,評(píng)價(jià)結(jié)果的排序大致不變。也就是說(shuō),盡管專家權(quán)重與實(shí)際權(quán)重并不一致,但對(duì)評(píng)價(jià)結(jié)果排序影響甚微,結(jié)論就是由于權(quán)重失靈的存在,使得高相關(guān)指標(biāo)TOPSIS評(píng)價(jià)的偽權(quán)重負(fù)作用大大降低,或者說(shuō),權(quán)重失靈一定程度上解決了高相關(guān)指標(biāo)TOPSIS評(píng)價(jià)的偽權(quán)重問(wèn)題。

    對(duì)于低相關(guān)指標(biāo)而言,由于并不存在權(quán)重失靈問(wèn)題,因此也不能有效解決偽權(quán)重問(wèn)題。

    2 研究框架與研究數(shù)據(jù)

    2.1研究框架本文以JCR管理學(xué)期刊為例來(lái)研究相關(guān)問(wèn)題。根據(jù)上文分析,將評(píng)價(jià)指標(biāo)分為三組分別計(jì)算權(quán)重失靈程度并進(jìn)行比較,三組分別是高相關(guān)系數(shù)指標(biāo)、低相關(guān)系數(shù)指標(biāo)、全部評(píng)價(jià)指標(biāo)。每組均采用專家賦權(quán)線性評(píng)價(jià)以及TOPSIS評(píng)價(jià),并比較兩者的權(quán)重失靈度,本質(zhì)上TOPSIS評(píng)價(jià)相當(dāng)于采用實(shí)際權(quán)重線性評(píng)價(jià),與專家賦權(quán)線性評(píng)價(jià)相當(dāng)于是兩種權(quán)重組合進(jìn)行評(píng)價(jià)。

    圖3 研究框架

    根據(jù)前文分析,可以大致估計(jì)實(shí)證結(jié)果,即高相關(guān)系數(shù)指標(biāo)評(píng)價(jià)會(huì)出現(xiàn)權(quán)重失靈,低相關(guān)系數(shù)指標(biāo)不會(huì)出現(xiàn)權(quán)重失靈,而全部指標(biāo)評(píng)價(jià)由于相關(guān)系數(shù)介于兩者之間,因此權(quán)重失靈水平處于中等水平。

    2.2研究數(shù)據(jù)本文研究數(shù)據(jù)為JCR2019管理學(xué)期刊的文獻(xiàn)計(jì)量指標(biāo),作為一個(gè)算例,以管理學(xué)期刊影響力評(píng)價(jià)為例,選取7個(gè)評(píng)價(jià)指標(biāo),分別是:影響因子IF、5年影響因子IF5、他引影響因子IFW、即年指標(biāo)II、總被引頻次TC、特征因子ES、論文與影響分值A(chǔ)IS。至于評(píng)價(jià)賦權(quán),采用專家賦權(quán),充分征求學(xué)術(shù)期刊評(píng)價(jià)領(lǐng)域的6位專家,最終權(quán)重如表1所示。

    表1 評(píng)價(jià)指標(biāo)及權(quán)重

    管理學(xué)JCR2019共有期刊225種,部分指標(biāo)存在數(shù)據(jù)缺失,必須進(jìn)行必要的清洗,經(jīng)整理后還有193種期刊。原始數(shù)據(jù)的描述統(tǒng)計(jì)如表2所示。從Jarque-Bera檢驗(yàn)值和對(duì)應(yīng)的p值看,所有評(píng)價(jià)指標(biāo)均不服從正態(tài)分布。

    表2 評(píng)價(jià)指標(biāo)描述統(tǒng)計(jì)

    3 實(shí)證結(jié)果

    3.1評(píng)價(jià)指標(biāo)相關(guān)系數(shù)首先要計(jì)算評(píng)價(jià)指標(biāo)相關(guān)系數(shù),以篩選出高相關(guān)指標(biāo)、低相關(guān)指標(biāo)供進(jìn)一步研究。相關(guān)系數(shù)如表3所示,經(jīng)分析發(fā)現(xiàn)影響因子、5年

    表3 相關(guān)系數(shù)表

    影響因子、他引影響因子之間的相關(guān)指數(shù)較高,平均相關(guān)系數(shù)0.962,因此將這三個(gè)指標(biāo)作為高相關(guān)指標(biāo)用于TOPSIS評(píng)價(jià)比較。剩下的4個(gè)指標(biāo)包括即年指標(biāo)、總被引頻次、特征因子、論文影響分值,其平均相關(guān)系數(shù)為0.577。全部7個(gè)指標(biāo)的平均相關(guān)系數(shù)為0.663,介于高相關(guān)指標(biāo)與低相關(guān)指標(biāo)之間。

    3.2高相關(guān)指標(biāo)TOPSIS評(píng)價(jià)分析影響因子、5年影響因子、他引影響因子三個(gè)高相關(guān)指標(biāo)評(píng)價(jià)賦權(quán)分別為0.10、0.20、0.15,將其等比例轉(zhuǎn)化為標(biāo)準(zhǔn)權(quán)重,使其總和為1 ,權(quán)重分別為0.22、0.44、0.34,采用TOPSIS進(jìn)行評(píng)價(jià),同時(shí)采用專家權(quán)重進(jìn)行線性評(píng)價(jià),結(jié)果如表4所示,由于篇幅所限,本文僅公布評(píng)價(jià)賦權(quán)線性評(píng)價(jià)前30的期刊。

    表4 高相關(guān)指標(biāo)評(píng)價(jià)排序比較

    下面計(jì)算實(shí)際權(quán)重,為了降低評(píng)價(jià)指標(biāo)多重共線性的影響,采用嶺回歸對(duì)高相關(guān)指標(biāo)評(píng)價(jià)值與評(píng)價(jià)指標(biāo)進(jìn)行回歸,當(dāng)標(biāo)準(zhǔn)系數(shù)之和為0.7時(shí),模型趨于穩(wěn)定,擬合優(yōu)度為0.942,具有很好的擬合效果,因此取此時(shí)的回歸系數(shù)作為最終結(jié)果。

    進(jìn)一步將回歸系數(shù)進(jìn)行歸一化處理,得到評(píng)價(jià)指標(biāo)的實(shí)際權(quán)重,如表5和圖4所示。TOPSIS的實(shí)際權(quán)重最大的為5年影響因子0.440,其次是影響因子0.329,最后是他引影響因子0.327,而專家權(quán)重最大的為5年影響因子0.440,其次是他引影響因子0.340,最后是影響因子0.220,專家權(quán)重與實(shí)際權(quán)重存在較大差異。三個(gè)指標(biāo)的權(quán)重差異分別為49.55%、21.82%、3.82%,平均差異為25.06%。

    表5 高相關(guān)指標(biāo)TOPSIS評(píng)價(jià)實(shí)際權(quán)重

    圖4 高相關(guān)指標(biāo)TOPSIS評(píng)價(jià)實(shí)際權(quán)重

    進(jìn)一步計(jì)算權(quán)重失靈度,發(fā)現(xiàn)專家賦權(quán)線性評(píng)價(jià)與TOPSIS評(píng)價(jià)的排序絕對(duì)總誤差為86,權(quán)重失靈度為0.45,即對(duì)于高相關(guān)指標(biāo)而言,由于權(quán)重失靈的存在,導(dǎo)致專家賦權(quán)線性評(píng)價(jià)與TOPSIS評(píng)價(jià)的排序差異僅為0.45位次,說(shuō)明每個(gè)評(píng)價(jià)對(duì)象的排序誤差只有不到1個(gè)位次,不同評(píng)價(jià)方法的評(píng)價(jià)結(jié)果排序具有較好的穩(wěn)定性,應(yīng)該說(shuō)處于較高的權(quán)重失靈水平。

    3.3低相關(guān)指標(biāo)TOPSIS評(píng)價(jià)分析即年指標(biāo)、總被引頻次、特征因子、論文影響分值4個(gè)指標(biāo)屬于低相關(guān)指標(biāo),為了檢驗(yàn)這4個(gè)指標(biāo)單獨(dú)評(píng)價(jià)對(duì)權(quán)重失靈的影響,采用這4個(gè)指標(biāo)進(jìn)行TOPSIS評(píng)價(jià),并比較其與專家權(quán)重線性評(píng)價(jià)排序差異。即年指標(biāo)、總被引頻次、特征因子、論文影響分值4個(gè)指標(biāo)的專家權(quán)重分別為0.05、0.15、0.25、0.10,轉(zhuǎn)化為標(biāo)準(zhǔn)權(quán)重分別是0.09、0.27、0.45、0.18。采用專家權(quán)重線性評(píng)價(jià)與TOPSIS評(píng)價(jià)的結(jié)果如表6所示,由于篇幅所限,這里僅公布專家賦權(quán)線性評(píng)價(jià)前30的期刊。

    表6 低相關(guān)指標(biāo)評(píng)價(jià)排序比較

    續(xù)表6 低相關(guān)指標(biāo)評(píng)價(jià)排序比較

    下面計(jì)算實(shí)際權(quán)重,為了降低評(píng)價(jià)指標(biāo)多重共線性的影響,采用嶺回歸對(duì)低相關(guān)指標(biāo)評(píng)價(jià)值與評(píng)價(jià)指標(biāo)進(jìn)行回歸,當(dāng)標(biāo)準(zhǔn)系數(shù)之和為0.7時(shí),模型趨于穩(wěn)定,擬合優(yōu)度為0.921,具有很好的擬合效果,因此取此時(shí)的回歸系數(shù)作為最終結(jié)果。

    進(jìn)一步將回歸系數(shù)進(jìn)行歸一化處理,得到評(píng)價(jià)指標(biāo)的實(shí)際權(quán)重,如表7所示。TOPSIS低相關(guān)指標(biāo)的實(shí)際權(quán)重最大的為特征因子0.284,其次是總被引頻次0.282,再次是論文影響分值0.263,最后是即年指標(biāo)0.171。這個(gè)排序與專家權(quán)重大小排序基本相同,應(yīng)該說(shuō)這是一種偶然。此外,盡管權(quán)重排序相同,但權(quán)重依然有較大的差距,4個(gè)指標(biāo)權(quán)重的平均差異為90.00%、4.44%、36.89%、46.11%,平均差異為44.36%。

    表7 低相關(guān)指標(biāo)TOPSIS評(píng)價(jià)實(shí)際權(quán)重

    圖5 低相關(guān)指標(biāo)TOPSIS評(píng)價(jià)實(shí)際權(quán)重

    進(jìn)一步計(jì)算權(quán)重失靈度,發(fā)現(xiàn)低相關(guān)指標(biāo)專家賦權(quán)線性評(píng)價(jià)與TOPSIS評(píng)價(jià)的排序絕對(duì)總誤差為1896,權(quán)重失靈度為9.82,即對(duì)于低相關(guān)指標(biāo)而言,專家賦權(quán)線性評(píng)價(jià)與TOPSIS評(píng)價(jià)的排序差異為9.82位次,應(yīng)該說(shuō)排序相差非常大,說(shuō)明基本不存在權(quán)重失靈。

    3.4全部指標(biāo)TOPSIS評(píng)價(jià)分析根據(jù)表1中的專家權(quán)重,采用全部指標(biāo)進(jìn)行評(píng)價(jià),專家賦權(quán)線性評(píng)價(jià)與TOPSIS評(píng)價(jià)結(jié)果如表8所示。同樣為了節(jié)省篇幅,僅公布按線性評(píng)價(jià)排序前30位的結(jié)果。

    下面計(jì)算實(shí)際權(quán)重,為了降低評(píng)價(jià)指標(biāo)多重共線性的影響,采用嶺回歸對(duì)全部指標(biāo)評(píng)價(jià)值與評(píng)價(jià)指標(biāo)進(jìn)行回歸,當(dāng)標(biāo)準(zhǔn)系數(shù)之和為0.74時(shí),模型趨于穩(wěn)定,擬合優(yōu)度為0.942,具有很好的擬合效果,因此取此時(shí)的回歸系數(shù)作為最終結(jié)果。

    進(jìn)一步將回歸系數(shù)進(jìn)行歸一化處理,得到評(píng)價(jià)指標(biāo)的實(shí)際權(quán)重,如表9所示。TOPSIS全部指標(biāo)評(píng)價(jià)的實(shí)際權(quán)重最大的是5年影響因子0.177,其次為影響因子0.172,最小的是即年指標(biāo)0.101。專家權(quán)重最大的為特征因子0.25,其次是5年影響因子0.20。權(quán)重排序相差較大,平均權(quán)重相差為45.70%,也處于較高水平。

    進(jìn)一步計(jì)算權(quán)重失靈度,發(fā)現(xiàn)全部指標(biāo)專家賦權(quán)線性評(píng)價(jià)與TOPSIS評(píng)價(jià)的排序絕對(duì)總誤差為738,權(quán)重失靈度為3.82,即對(duì)于全部指標(biāo)而言,專家賦權(quán)線性評(píng)價(jià)與TOPSIS評(píng)價(jià)的排序差異為3.82位次,相對(duì)于高相關(guān)指標(biāo)和低相關(guān)指標(biāo),權(quán)重失靈水平處于中等,說(shuō)明存在輕度的權(quán)重失靈。

    表8 全部指標(biāo)評(píng)價(jià)排序結(jié)果比較

    表9 低相關(guān)指標(biāo)TOPSIS評(píng)價(jià)實(shí)際權(quán)重

    4 結(jié)論與討論

    a.賦權(quán)類非線性評(píng)價(jià)存在偽權(quán)重與權(quán)重失靈現(xiàn)象。本文提出賦權(quán)類非線性評(píng)價(jià)存在偽權(quán)重與權(quán)重失靈現(xiàn)象,其研究方法是通過(guò)嶺回歸等方法計(jì)算出賦權(quán)類非線性評(píng)價(jià)中各評(píng)價(jià)指標(biāo)的實(shí)際權(quán)重,將其轉(zhuǎn)化為線性評(píng)價(jià),并與專家賦權(quán)評(píng)價(jià)進(jìn)行進(jìn)一步比較。偽權(quán)重削弱了評(píng)價(jià)賦權(quán)(專家權(quán)重)的作用,使得評(píng)價(jià)產(chǎn)生較大的系統(tǒng)誤差。偽權(quán)重受評(píng)價(jià)方法算法、評(píng)價(jià)指標(biāo)數(shù)據(jù)分布、模擬權(quán)重計(jì)算算法的影響。

    權(quán)重失靈是由高相關(guān)指標(biāo)引起的,它的存在使得不管權(quán)重組合如何變化,評(píng)價(jià)結(jié)果排序維持大致不變。權(quán)重失靈的存在使得評(píng)價(jià)在一定條件下存在某種“惰性”,使得評(píng)價(jià)結(jié)果穩(wěn)定性增強(qiáng)。

    b.權(quán)重失靈有利于降低高相關(guān)指標(biāo)的偽權(quán)重問(wèn)題。對(duì)于賦權(quán)類非線性評(píng)價(jià)而言,通過(guò)實(shí)際權(quán)重的計(jì)算將其轉(zhuǎn)化為線性評(píng)價(jià),這為權(quán)重失靈和偽權(quán)重研究提供了一種新的分析框架。實(shí)證研究結(jié)果表明,對(duì)于高相關(guān)指標(biāo)而言,由于權(quán)重失靈的存在,使得盡管存在偽權(quán)重問(wèn)題,但評(píng)價(jià)結(jié)果的排序和專家賦權(quán)線性評(píng)價(jià)高度一致,從而有效降低了偽權(quán)重的危害。

    c.對(duì)低相關(guān)指標(biāo)的偽權(quán)重問(wèn)題必須引起足夠的重視。對(duì)于低相關(guān)指標(biāo)而言,由于并不存在權(quán)重失靈問(wèn)題,這樣偽權(quán)重的負(fù)面作用更大,表現(xiàn)為實(shí)際權(quán)重與評(píng)價(jià)賦權(quán)相差較大,使得評(píng)價(jià)結(jié)果難以體現(xiàn)評(píng)價(jià)賦權(quán),從而偏離了評(píng)價(jià)目的。在學(xué)術(shù)評(píng)價(jià)中,評(píng)價(jià)目的的實(shí)現(xiàn)非常重要,涉及科研成果評(píng)價(jià)、科技資源分配、調(diào)動(dòng)廣大科技人員積極性等諸多問(wèn)題,因此這是要重點(diǎn)解決的問(wèn)題。

    d.權(quán)重失靈弱化了高相關(guān)指標(biāo)非線性評(píng)價(jià)方法的選擇。對(duì)于高相關(guān)指標(biāo)而言,由于權(quán)重失靈的存在,使得在非線性評(píng)價(jià)方法選擇的時(shí)候,不同的評(píng)價(jià)方法相當(dāng)于其實(shí)際權(quán)重組合不同,但這些實(shí)際權(quán)重組合盡管不同,但評(píng)價(jià)結(jié)果的排序是大致不變的,換句話說(shuō),由于權(quán)重失靈的存在,使得對(duì)不同非線性評(píng)價(jià)方法的選取有較好的耐受性,這對(duì)評(píng)價(jià)總體是有利的。

    e.在學(xué)術(shù)評(píng)價(jià)中應(yīng)充分采取多種方法進(jìn)行評(píng)價(jià)。學(xué)術(shù)評(píng)價(jià)往往是多視角的,一級(jí)指標(biāo)之間往往相關(guān)性不高,此時(shí)采用賦權(quán)類非線性評(píng)價(jià)方法評(píng)價(jià)是不合適的,因?yàn)閭螜?quán)重問(wèn)題無(wú)法消除,因此對(duì)于不同屬性指標(biāo)的評(píng)價(jià)建議采用線性評(píng)價(jià)方法。而對(duì)于一級(jí)指標(biāo)內(nèi)部,或者二級(jí)指標(biāo)內(nèi)部,由于這些指標(biāo)之間往往高度相關(guān),會(huì)存在權(quán)重失靈問(wèn)題,對(duì)評(píng)價(jià)方法選擇不敏感,此時(shí)可以選取一些經(jīng)典的賦權(quán)類非線性評(píng)價(jià)方法或其他方法進(jìn)行評(píng)價(jià)。

    需要說(shuō)明的是,由于非線性評(píng)價(jià)方法較多,大多數(shù)非線性評(píng)價(jià)方法可以用本文的研究框架來(lái)進(jìn)行分析,但也有少數(shù)非線性評(píng)價(jià)方法,如支持向量機(jī)、隨機(jī)森林等,由于其評(píng)價(jià)原理比較特殊,對(duì)偽權(quán)重與權(quán)重失靈問(wèn)題的研究還有待進(jìn)一步探索。

    猜你喜歡
    失靈賦權(quán)排序
    失靈的指南針
    學(xué)與玩(2022年8期)2022-10-31 02:42:30
    論鄉(xiāng)村治理的有效賦權(quán)——以A縣扶貧項(xiàng)目為例
    排序不等式
    企業(yè)數(shù)據(jù)賦權(quán)保護(hù)的反思與求解
    2020年一汽奔騰T99智能鑰匙失靈
    恐怖排序
    試論新媒體賦權(quán)
    活力(2019年15期)2019-09-25 07:22:12
    節(jié)日排序
    基于改進(jìn)AHP熵博弈賦權(quán)的輸變電工程評(píng)價(jià)
    刻舟求劍
    兒童繪本(2018年5期)2018-04-12 16:45:32
    欧美性感艳星| 99久久精品一区二区三区| 伦精品一区二区三区| 亚洲色图av天堂| 人人妻人人澡人人爽人人夜夜| 又黄又爽又刺激的免费视频.| 中文在线观看免费www的网站| 国产色婷婷99| 熟女av电影| 精品熟女少妇av免费看| 99视频精品全部免费 在线| 欧美老熟妇乱子伦牲交| 精品99又大又爽又粗少妇毛片| 下体分泌物呈黄色| 久久久久精品性色| 免费观看的影片在线观看| 国产精品久久久久久av不卡| 在线观看美女被高潮喷水网站| 最近最新中文字幕免费大全7| 久久国产乱子免费精品| 亚洲欧美日韩无卡精品| 免费播放大片免费观看视频在线观看| 我的女老师完整版在线观看| 欧美少妇被猛烈插入视频| 五月天丁香电影| 久久久久久久亚洲中文字幕| 国产免费一级a男人的天堂| av免费在线看不卡| 日韩欧美精品免费久久| 精品人妻一区二区三区麻豆| 在线天堂最新版资源| 日韩不卡一区二区三区视频在线| 国产成人免费无遮挡视频| 99久久精品国产国产毛片| 又爽又黄a免费视频| 成人亚洲精品一区在线观看 | 免费人妻精品一区二区三区视频| 欧美一区二区亚洲| 国产69精品久久久久777片| 亚洲欧美成人精品一区二区| 亚洲激情五月婷婷啪啪| 成人18禁高潮啪啪吃奶动态图 | 伦理电影免费视频| 久久精品夜色国产| 国产毛片在线视频| 99热国产这里只有精品6| 国产高清有码在线观看视频| 国产精品蜜桃在线观看| 波野结衣二区三区在线| 亚洲国产av新网站| 高清欧美精品videossex| 涩涩av久久男人的天堂| 男女免费视频国产| 国产视频首页在线观看| 日韩 亚洲 欧美在线| 久热这里只有精品99| 亚洲精品aⅴ在线观看| 亚洲国产欧美在线一区| 国产美女午夜福利| 99re6热这里在线精品视频| av播播在线观看一区| 国产精品精品国产色婷婷| 麻豆精品久久久久久蜜桃| 国产精品久久久久久精品古装| kizo精华| av国产免费在线观看| 嫩草影院新地址| 国产精品久久久久久久久免| 久久久久国产网址| 日本vs欧美在线观看视频 | 日日啪夜夜爽| 国产精品一区二区性色av| 国产成人精品婷婷| 韩国av在线不卡| 国产毛片在线视频| 国内揄拍国产精品人妻在线| 嫩草影院入口| 亚洲不卡免费看| 黄色日韩在线| 国产成人精品婷婷| 美女高潮的动态| 欧美+日韩+精品| 久久99蜜桃精品久久| 欧美性感艳星| 久久精品国产a三级三级三级| 老司机影院毛片| 色婷婷av一区二区三区视频| 国产片特级美女逼逼视频| 国产淫语在线视频| 欧美日韩在线观看h| 亚洲精品久久午夜乱码| 又爽又黄a免费视频| 欧美最新免费一区二区三区| 亚洲精品乱码久久久久久按摩| 免费播放大片免费观看视频在线观看| 各种免费的搞黄视频| 校园人妻丝袜中文字幕| 丝袜脚勾引网站| 国产爽快片一区二区三区| 欧美极品一区二区三区四区| 国产视频内射| 亚洲成人一二三区av| 亚洲精品中文字幕在线视频 | 国精品久久久久久国模美| 一级毛片我不卡| 亚洲国产精品成人久久小说| 亚洲va在线va天堂va国产| 久久精品夜色国产| 国产高清三级在线| 人人妻人人澡人人爽人人夜夜| 免费播放大片免费观看视频在线观看| 女性被躁到高潮视频| 国产欧美日韩精品一区二区| 精品人妻视频免费看| 一区二区三区四区激情视频| 新久久久久国产一级毛片| 肉色欧美久久久久久久蜜桃| xxx大片免费视频| 欧美精品亚洲一区二区| 亚洲精品一二三| 国产真实伦视频高清在线观看| 久久精品久久精品一区二区三区| av在线app专区| 在线天堂最新版资源| 日本猛色少妇xxxxx猛交久久| 狂野欧美白嫩少妇大欣赏| 国产成人一区二区在线| 成人国产av品久久久| 黑人猛操日本美女一级片| 99热这里只有是精品在线观看| 亚洲,欧美,日韩| 日韩中字成人| 男人爽女人下面视频在线观看| 亚洲av中文字字幕乱码综合| 只有这里有精品99| av国产久精品久网站免费入址| 亚洲国产毛片av蜜桃av| 国产精品无大码| 毛片一级片免费看久久久久| 在线观看一区二区三区激情| 国产精品福利在线免费观看| 国产免费视频播放在线视频| 最近最新中文字幕大全电影3| 纵有疾风起免费观看全集完整版| 亚洲精品久久午夜乱码| 少妇精品久久久久久久| 午夜福利在线在线| videossex国产| 一级毛片aaaaaa免费看小| 亚洲av国产av综合av卡| 丰满少妇做爰视频| 久久久精品免费免费高清| 国产精品福利在线免费观看| 99久久精品国产国产毛片| 久久久精品免费免费高清| 亚洲精品日韩av片在线观看| 国产免费一区二区三区四区乱码| 国产午夜精品一二区理论片| 日韩制服骚丝袜av| 少妇 在线观看| 国产在线视频一区二区| 久久久国产一区二区| 建设人人有责人人尽责人人享有的 | 精品亚洲成a人片在线观看 | 内地一区二区视频在线| 欧美精品人与动牲交sv欧美| 久久国产亚洲av麻豆专区| 老女人水多毛片| 日韩av不卡免费在线播放| 久久综合国产亚洲精品| 极品少妇高潮喷水抽搐| 男女免费视频国产| 各种免费的搞黄视频| 国产 精品1| 国产日韩欧美在线精品| 日本黄大片高清| 国产高清国产精品国产三级 | 777米奇影视久久| 亚洲精品成人av观看孕妇| 成人免费观看视频高清| 搡老乐熟女国产| 国产欧美日韩一区二区三区在线 | 三级经典国产精品| 噜噜噜噜噜久久久久久91| 久久久久久久国产电影| 久久精品人妻少妇| 性色avwww在线观看| 亚洲人成网站在线观看播放| 亚洲精品乱久久久久久| 久久久久久久大尺度免费视频| 你懂的网址亚洲精品在线观看| 国产精品爽爽va在线观看网站| 老熟女久久久| 亚洲色图av天堂| 亚洲精品色激情综合| 国产视频内射| 亚洲精品aⅴ在线观看| 91在线精品国自产拍蜜月| 亚洲国产毛片av蜜桃av| 久久99蜜桃精品久久| 18禁裸乳无遮挡免费网站照片| 午夜免费男女啪啪视频观看| 久久精品久久久久久噜噜老黄| 五月天丁香电影| 伊人久久精品亚洲午夜| 丰满乱子伦码专区| 在线观看人妻少妇| 日产精品乱码卡一卡2卡三| 能在线免费看毛片的网站| 久久久欧美国产精品| 亚洲欧美成人综合另类久久久| 亚洲国产精品成人久久小说| 九九在线视频观看精品| 亚洲精品久久午夜乱码| 亚洲丝袜综合中文字幕| 欧美日韩精品成人综合77777| 国模一区二区三区四区视频| 国产成人一区二区在线| 啦啦啦在线观看免费高清www| 亚洲成人一二三区av| 制服丝袜香蕉在线| 一区二区三区四区激情视频| 日韩成人伦理影院| 最近最新中文字幕免费大全7| 久久精品久久久久久久性| 国产熟女欧美一区二区| 久久人人爽av亚洲精品天堂 | 亚洲欧美精品自产自拍| 日韩av不卡免费在线播放| av免费在线看不卡| 国产高清有码在线观看视频| 少妇熟女欧美另类| 男女无遮挡免费网站观看| 99视频精品全部免费 在线| 欧美bdsm另类| 午夜免费鲁丝| 51国产日韩欧美| 国产免费又黄又爽又色| 欧美日韩综合久久久久久| 黄片wwwwww| 精品久久久久久久末码| 中文字幕久久专区| 国产精品福利在线免费观看| 国产成人免费无遮挡视频| 亚洲丝袜综合中文字幕| 亚洲精品色激情综合| 晚上一个人看的免费电影| 永久免费av网站大全| 91在线精品国自产拍蜜月| 久热这里只有精品99| 精品一区二区免费观看| 如何舔出高潮| 蜜臀久久99精品久久宅男| 插阴视频在线观看视频| 黄色日韩在线| 综合色丁香网| 亚洲丝袜综合中文字幕| 777米奇影视久久| 国产爽快片一区二区三区| 午夜福利在线在线| 狂野欧美激情性bbbbbb| 欧美日韩一区二区视频在线观看视频在线| 日日摸夜夜添夜夜爱| 80岁老熟妇乱子伦牲交| 又粗又硬又长又爽又黄的视频| 国产爽快片一区二区三区| 欧美亚洲 丝袜 人妻 在线| 国产精品熟女久久久久浪| 少妇高潮的动态图| 18禁在线播放成人免费| kizo精华| 亚洲精品国产色婷婷电影| 国产成人a区在线观看| 欧美日韩精品成人综合77777| 少妇人妻精品综合一区二区| 在线天堂最新版资源| 国精品久久久久久国模美| 97超碰精品成人国产| 精品午夜福利在线看| 午夜精品国产一区二区电影| 国产 一区精品| 国产精品一区www在线观看| 大陆偷拍与自拍| 人人妻人人添人人爽欧美一区卜 | 色婷婷av一区二区三区视频| 国产久久久一区二区三区| 汤姆久久久久久久影院中文字幕| 久久久久国产精品人妻一区二区| 国产女主播在线喷水免费视频网站| 女人十人毛片免费观看3o分钟| a级一级毛片免费在线观看| 国产精品一及| 亚洲国产精品国产精品| 哪个播放器可以免费观看大片| 国产成人aa在线观看| 亚洲电影在线观看av| 卡戴珊不雅视频在线播放| 日韩成人伦理影院| 中国国产av一级| 国产色婷婷99| 啦啦啦在线观看免费高清www| 新久久久久国产一级毛片| 欧美bdsm另类| 一级av片app| 亚洲精品日韩在线中文字幕| 亚洲人与动物交配视频| 久久热精品热| 国内精品宾馆在线| 制服丝袜香蕉在线| 性色avwww在线观看| 女人久久www免费人成看片| 久久综合国产亚洲精品| 欧美+日韩+精品| 成人特级av手机在线观看| 日韩电影二区| 九色成人免费人妻av| 国产亚洲av片在线观看秒播厂| 看非洲黑人一级黄片| 日韩一区二区三区影片| 国产亚洲5aaaaa淫片| 欧美精品亚洲一区二区| 日韩一本色道免费dvd| 我要看黄色一级片免费的| 黑丝袜美女国产一区| 亚洲色图综合在线观看| 大香蕉久久网| 六月丁香七月| 黄色日韩在线| 日韩欧美精品免费久久| 在线天堂最新版资源| 欧美xxxx黑人xx丫x性爽| 久久久久国产网址| 在线观看免费高清a一片| 亚洲在久久综合| 亚洲av电影在线观看一区二区三区| 国产在线男女| 伦理电影免费视频| 中国美白少妇内射xxxbb| 97在线视频观看| 男女无遮挡免费网站观看| 亚洲国产欧美在线一区| 成年女人在线观看亚洲视频| 多毛熟女@视频| h视频一区二区三区| 日韩三级伦理在线观看| 99热这里只有是精品50| xxx大片免费视频| 亚洲人成网站高清观看| 久久人人爽人人爽人人片va| 国产淫语在线视频| 黑人猛操日本美女一级片| 日韩一区二区视频免费看| 亚洲av福利一区| 国产高清三级在线| 九九久久精品国产亚洲av麻豆| 免费黄色在线免费观看| 性色av一级| 赤兔流量卡办理| 一本久久精品| 免费少妇av软件| 亚洲av中文av极速乱| 免费观看无遮挡的男女| 欧美高清成人免费视频www| 最近最新中文字幕免费大全7| 水蜜桃什么品种好| 免费av不卡在线播放| 精品久久国产蜜桃| 国产精品伦人一区二区| 欧美最新免费一区二区三区| 大码成人一级视频| 免费看av在线观看网站| 日本-黄色视频高清免费观看| 欧美一区二区亚洲| 久久久久久久亚洲中文字幕| 国产精品无大码| 日韩亚洲欧美综合| 久久鲁丝午夜福利片| 一边亲一边摸免费视频| 久久久久久久大尺度免费视频| 边亲边吃奶的免费视频| 男男h啪啪无遮挡| 日韩欧美一区视频在线观看 | 久久精品人妻少妇| 亚洲婷婷狠狠爱综合网| 人人妻人人看人人澡| 国产亚洲最大av| 中文资源天堂在线| 久久久久久久精品精品| 国产白丝娇喘喷水9色精品| av卡一久久| 久久女婷五月综合色啪小说| 久久国内精品自在自线图片| 永久免费av网站大全| 毛片女人毛片| 亚洲国产日韩一区二区| 免费观看a级毛片全部| 久久热精品热| 男女边吃奶边做爰视频| 最近的中文字幕免费完整| 老司机影院毛片| 国产精品女同一区二区软件| 丝袜喷水一区| 国产精品偷伦视频观看了| 热99国产精品久久久久久7| 久久鲁丝午夜福利片| 97在线视频观看| 亚洲av在线观看美女高潮| 亚洲激情五月婷婷啪啪| 国产精品久久久久久av不卡| 久久久精品免费免费高清| 少妇人妻 视频| 国产视频内射| 大陆偷拍与自拍| 一二三四中文在线观看免费高清| 亚洲丝袜综合中文字幕| 中国国产av一级| 不卡视频在线观看欧美| 精品久久久久久久末码| av在线蜜桃| 亚洲欧美中文字幕日韩二区| 亚洲精品,欧美精品| 男人狂女人下面高潮的视频| 99久久精品热视频| 国产成人精品一,二区| 亚洲国产欧美人成| 国产精品99久久久久久久久| 卡戴珊不雅视频在线播放| 亚洲成人av在线免费| 夜夜骑夜夜射夜夜干| 亚洲av欧美aⅴ国产| 国产视频内射| 一区二区av电影网| 欧美一级a爱片免费观看看| 欧美另类一区| 亚洲国产日韩一区二区| 最近手机中文字幕大全| 午夜福利高清视频| 国产精品久久久久久精品古装| 免费播放大片免费观看视频在线观看| 久久久久久久亚洲中文字幕| 国产视频首页在线观看| 精品酒店卫生间| 亚洲综合精品二区| 在线观看av片永久免费下载| 啦啦啦啦在线视频资源| 少妇人妻久久综合中文| 亚洲丝袜综合中文字幕| 精品少妇久久久久久888优播| 三级经典国产精品| 日韩亚洲欧美综合| 久久99蜜桃精品久久| 蜜桃久久精品国产亚洲av| 各种免费的搞黄视频| av视频免费观看在线观看| 色视频在线一区二区三区| 国产黄片美女视频| 老司机影院成人| 日韩av在线免费看完整版不卡| 啦啦啦啦在线视频资源| 亚洲国产毛片av蜜桃av| 国产亚洲欧美精品永久| 人妻一区二区av| 欧美成人a在线观看| 大话2 男鬼变身卡| 一级黄片播放器| 五月伊人婷婷丁香| 亚洲国产毛片av蜜桃av| 在线观看国产h片| 免费大片黄手机在线观看| 丰满少妇做爰视频| 亚洲激情五月婷婷啪啪| 纯流量卡能插随身wifi吗| 我的女老师完整版在线观看| 午夜免费男女啪啪视频观看| 久久韩国三级中文字幕| 国产免费一级a男人的天堂| 色视频www国产| 又大又黄又爽视频免费| 男女无遮挡免费网站观看| 美女xxoo啪啪120秒动态图| 三级经典国产精品| 简卡轻食公司| 亚洲成人中文字幕在线播放| 在线观看人妻少妇| 国产精品一区二区在线不卡| 国产白丝娇喘喷水9色精品| 五月天丁香电影| av播播在线观看一区| 久久精品国产鲁丝片午夜精品| 大片电影免费在线观看免费| 国产探花极品一区二区| 最近手机中文字幕大全| 亚洲真实伦在线观看| 老熟女久久久| 一级毛片电影观看| 网址你懂的国产日韩在线| 成年人午夜在线观看视频| 久久99蜜桃精品久久| 又爽又黄a免费视频| 欧美另类一区| 亚洲av二区三区四区| av女优亚洲男人天堂| 亚洲精品日韩av片在线观看| 国产日韩欧美在线精品| 午夜免费鲁丝| 国产成人精品久久久久久| 久久99热6这里只有精品| 亚洲综合色惰| 欧美日本视频| 成人无遮挡网站| 亚洲激情五月婷婷啪啪| 丝瓜视频免费看黄片| 一边亲一边摸免费视频| 大香蕉久久网| 黄色视频在线播放观看不卡| 日韩伦理黄色片| av在线老鸭窝| 人人妻人人添人人爽欧美一区卜 | 日韩三级伦理在线观看| 亚洲久久久国产精品| 国语对白做爰xxxⅹ性视频网站| 亚洲一区二区三区欧美精品| 久久久久久久久久久丰满| a级毛片免费高清观看在线播放| 性高湖久久久久久久久免费观看| 精品人妻熟女av久视频| 久久久久精品久久久久真实原创| av专区在线播放| av在线播放精品| 人妻夜夜爽99麻豆av| 极品教师在线视频| 大片电影免费在线观看免费| 大香蕉久久网| 日韩 亚洲 欧美在线| 一区二区av电影网| 18+在线观看网站| 亚洲高清免费不卡视频| 身体一侧抽搐| 久久久久性生活片| 99热网站在线观看| 国产精品人妻久久久久久| 六月丁香七月| 国产精品国产三级专区第一集| 新久久久久国产一级毛片| 亚洲国产精品一区三区| 高清午夜精品一区二区三区| 男人狂女人下面高潮的视频| 大片电影免费在线观看免费| 五月开心婷婷网| 简卡轻食公司| 久久99热这里只有精品18| 在线播放无遮挡| 春色校园在线视频观看| 91aial.com中文字幕在线观看| 纯流量卡能插随身wifi吗| 日韩av免费高清视频| 国产精品.久久久| 狂野欧美白嫩少妇大欣赏| 精品一区二区免费观看| 久久av网站| 国内精品宾馆在线| 3wmmmm亚洲av在线观看| 国产av一区二区精品久久 | 不卡视频在线观看欧美| 麻豆成人午夜福利视频| 国产精品av视频在线免费观看| 免费看不卡的av| 丰满少妇做爰视频| 欧美日韩在线观看h| 中文字幕久久专区| 男男h啪啪无遮挡| 交换朋友夫妻互换小说| 99热这里只有是精品在线观看| 哪个播放器可以免费观看大片| 国产男人的电影天堂91| 香蕉精品网在线| 91aial.com中文字幕在线观看| 国产无遮挡羞羞视频在线观看| 哪个播放器可以免费观看大片| 中文字幕亚洲精品专区| 少妇人妻久久综合中文| 国产成人精品一,二区| 精品久久国产蜜桃| 亚洲国产精品999| 久久97久久精品| 国产有黄有色有爽视频| 在现免费观看毛片| 91久久精品电影网| 久久久久性生活片| 最新中文字幕久久久久| 国产高清三级在线| 成人特级av手机在线观看| 一个人看视频在线观看www免费| 亚洲婷婷狠狠爱综合网| 高清黄色对白视频在线免费看 | 久久久久精品性色| av播播在线观看一区| 免费黄网站久久成人精品| 日韩中文字幕视频在线看片 | 我要看日韩黄色一级片| 免费看光身美女| 欧美日韩国产mv在线观看视频 | 一级av片app| 亚洲国产欧美在线一区| 日韩国内少妇激情av| 夜夜骑夜夜射夜夜干| 午夜日本视频在线| 亚洲精品中文字幕在线视频 | 五月玫瑰六月丁香| 纯流量卡能插随身wifi吗| 这个男人来自地球电影免费观看 | 插逼视频在线观看| 最近2019中文字幕mv第一页| 日韩中字成人| 在线观看一区二区三区激情|