• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    利用Plackett-Luce模型的在線服務(wù)評價方法

    2019-08-13 12:38:20張繼康付曉東劉利軍昆明理工大學(xué)信息工程與自動化學(xué)院云南省計算機技術(shù)應(yīng)用重點實驗室昆明650500
    小型微型計算機系統(tǒng) 2019年8期
    關(guān)鍵詞:用戶服務(wù)排序次數(shù)

    張繼康,付曉東,2,岳 昆,劉 驪,劉利軍(昆明理工大學(xué)信息工程與自動化學(xué)院云南省計算機技術(shù)應(yīng)用重點實驗室,昆明650500)

    2(昆明理工大學(xué)航空學(xué)院,昆明650500)

    3(云南大學(xué)信息學(xué)院,昆明650091)

    E-mail:xiaodong_fu@hotmail.com

    1 引言

    在線服務(wù)是指利用互聯(lián)網(wǎng)技術(shù),向用戶提供線上服務(wù)的方式.現(xiàn)如今互聯(lián)網(wǎng)上存在大量功能相似或者相同的在線服務(wù)[1].用戶在挑選服務(wù)時如何在大量的在線服務(wù)中快速準確選擇到需要的服務(wù)是一個越來越嚴重的問題.另外,不法商家為了提高自己服務(wù)被選擇的幾率,會惡意修改用戶給與的在線服務(wù)的評價,導(dǎo)致評價結(jié)果無法正確反應(yīng)在線服務(wù)的性能,誘導(dǎo)用戶做出錯誤選擇[2].以上行為導(dǎo)致用戶對互聯(lián)網(wǎng)中的在線服務(wù)無法進行有效的篩選.因此,通過給服務(wù)排名的方式向用戶提供在線服務(wù)成為了如今在線服務(wù)評價的主要手段[3].服務(wù)排名是把在線服務(wù)各項性能量化,最后整體得到在線服務(wù)評價結(jié)果的方法.用戶在面對眾多在線服務(wù)時,會根據(jù)排序名次挑選滿足需求的服務(wù).所以使用在線服務(wù)評價方法可以幫助用戶在互聯(lián)網(wǎng)中快速準確的找到滿足需求的在線服務(wù).

    累加法、平均值法、構(gòu)圖法等方法是目前工業(yè)界和學(xué)術(shù)界常用的在線服務(wù)評價方法[4].這些方法為了方便計算,通常對在線服務(wù)進行評價時都假設(shè)用戶具有相同的評價準則[5].然而受用戶主觀心理因素和消費偏好的影響,用戶群體很難具有相似的評價準則,所以用戶服務(wù)評分無法客觀的的反應(yīng)服務(wù)質(zhì)量[6,7].這種情況下,即使性能相同的服務(wù)也可能會得到不同的評分.因此現(xiàn)有方法得到的評價結(jié)果會對用戶選擇起到誘導(dǎo)作用,做出不正確的選擇.此外,互聯(lián)網(wǎng)中還存在惡意修改或大批量增加在線服務(wù)的評分數(shù)據(jù),來提高在線服務(wù)排序名次的行為,導(dǎo)致用戶根據(jù)排序名次進行服務(wù)選擇時會產(chǎn)生有利于自己的結(jié)果[8].

    為解決上述問題,本文提出了一種利用Plackett-Luce模型[9,1https://www.amazon.cn/0]的在線服務(wù)評價方法,方法基于用戶評價準則不一致的情況,根據(jù)用戶對不同的在線服務(wù)的評分獲取用戶對服務(wù)可比較的偏好關(guān)系[11],根據(jù)在線服務(wù)間可比較的偏好關(guān)系進而得到在線服務(wù)評價結(jié)果.

    2 相關(guān)工作

    近年來,根據(jù)用戶評價信息判斷服務(wù)之間優(yōu)劣關(guān)系的研究工作已經(jīng)成為熱點.文獻[12]的研究提出基于服務(wù)屬性的在線服務(wù)評價方法,例如價格、銷量、信譽、評分等等.文獻[13https://www.ebay.cn/-15]指出可以基于在線服務(wù)特征對在線服務(wù)進行評價,從大量評論信息中使用自然語言處理技術(shù)抽取服務(wù)描述信息對服務(wù)進行評價,得到最終評價結(jié)果.文獻[16]指出目前工業(yè)界大部分是通過累加法與平均值法計算獲取最終的評價值.平均值法是將所有用戶對某個在線服務(wù)的評分進行累加得到一個總的服務(wù)評分,然后除以用戶數(shù)量,將所得到的結(jié)果作為該服務(wù)的評價結(jié)果,目前Amazon1https://www.amazon.cn/和天貓2https://www.tmall.com/是使用平均值法作為網(wǎng)站內(nèi)部的評價方法.累加法將用戶對服務(wù)的評分進行分類并統(tǒng)計:當用戶評分為4、5時,表示好評,即總分+1分;當用戶評分為3時,表示中評,即得0分;當用戶評分為1、2,表示為差評,即總分-1分.然后對總分進行累加,將所得到的結(jié)果作為該服務(wù)的評價結(jié)果,目前eBay3https://www.ebay.cn/和淘寶4https://www.taobao.com/是使用累加法作為網(wǎng)站內(nèi)部的評價方法.但是每位用戶對在線服務(wù)的評價準則和偏好只需要滿足自己的需求,很難在用戶群體中出現(xiàn)一致的偏好.因此,以上研究提出的在線服務(wù)評價方法涉及到用戶反饋信息實質(zhì)是不可比較的,通過這些方法得到的在線服務(wù)評價結(jié)果很難反應(yīng)在線服務(wù)的真是性能.

    文獻[17]的研究是根據(jù)用戶的多維度屬性評價對服務(wù)的信任進行綜合評價,進而得到個性化的評價結(jié)果.文獻[18]提出了一種改進熵權(quán)的在線服務(wù)評價方法,對于多維度屬性以主客觀權(quán)重相結(jié)合的方法得到最終的評價結(jié)果.上述研究雖然都考慮到用戶對在線服務(wù)評價準則不同的問題,但是還是根據(jù)用戶服務(wù)評分直接計算得到最終評價結(jié)果,沒有解決評分不可比較問題.文獻[19]考慮從用戶服務(wù)偏好入手解決該問題,構(gòu)建加權(quán)有向圖并計算最強路徑得到最終的評價結(jié)果.文獻[20]的研究基于偏好不一致的思路,以社會選擇函數(shù)[21]為基礎(chǔ)提出基于Copeland社會選擇理論的在線服務(wù)評價方法,構(gòu)建有向無環(huán)偏好圖獲取在線服務(wù)評價結(jié)果.上述研究雖然考慮到了用戶偏好不一致的問題,但是提出的解決辦法運行時間較長,整體效率較低.

    考慮到以上研究中存在的不足,在用戶評價準則不一致情況下,本文在不假設(shè)用戶偏好一致的情況下,首先以用戶對服務(wù)的評分為基礎(chǔ),將用戶對不同在線服務(wù)的評分轉(zhuǎn)換成用戶服務(wù)可比較的偏好關(guān)系,通過可比較的偏好關(guān)系獲取每個服務(wù)的占優(yōu)次數(shù);其次利用Plackett-Luce模型,將占優(yōu)次數(shù)轉(zhuǎn)換為概率;最后通過概率求解得出在線服務(wù)評價結(jié)果.

    3 存在問題

    3.1 問題定義

    定義1.定義 U={u1,u2,…,um}為用戶集合,定義 S={s1,s2,…,sn}為在線服務(wù)集合.其中,m 表示用戶人數(shù),n表示在線服務(wù)數(shù)量.

    定義 2.定義 R=[rij]m×n(i=1,2,…,m;j=1,2,3,…,n)為用戶-服務(wù)評分矩陣;其中,rij表示第i位用戶ui對第j個在線服務(wù)sj的評分,若存在rij=0,則表示用戶ui未對在線服務(wù)sj進行評分.

    定義3.在線服務(wù)評價結(jié)果 P={p1,p2,…,pn},其中 pn表示第n個服務(wù)的評價值.若px>py,則表示服務(wù)sx優(yōu)于服務(wù)sy.

    顯然,一種有效的在線服務(wù)評價方法應(yīng)當滿足以下準則:

    1)反轉(zhuǎn)對稱性:對不同在線服務(wù) sx、sy(1≤x,y≤n且 x≠y),若所有用戶都認為服務(wù)sx比服務(wù)sy好,則最終結(jié)果為 sxsy.若每位用戶改變想法,即每位用戶都認為服務(wù)sy比服務(wù)sx好,則最終結(jié)果為 sxsy.

    2)單調(diào)性:若有服務(wù)排序sxsy,則提高用戶對服務(wù)sx的評分,則結(jié)果仍是sxsy;

    3)非獨裁性:若用戶群體中只有一個用戶認為sx比服務(wù)sy好,而其他所有用戶認為sy比服務(wù)sx好,則最終結(jié)果結(jié)果不可能是sxsy;

    4)抗操縱性:若存在服務(wù)排序sxsy,那么增加給予服務(wù)sy高評分的用戶,則結(jié)果仍是sxsy;

    3.2 舉例說明

    例1.假設(shè)有3個用戶共同對4個在線服務(wù)進行評分,評分矩陣如表1所示.

    表1 用戶-服務(wù)評分表Table 1 User-service score sheet

    根據(jù)表1的數(shù)據(jù),利用eBay網(wǎng)站使用的累加法(Sum)和Amazon網(wǎng)站使用的平均值法(Avg)的得到評價值如表2所示.

    由表1可見,每位用戶給出的評價值是個人效用,無法和其他用戶的評價比較.無法說明服務(wù)s1給用戶u3的表現(xiàn)比服務(wù)s3給用戶u1的表現(xiàn)更好.所以用戶服務(wù)評分無法去直接計算,且運用服務(wù)評分直接計算得到的在線服務(wù)評價結(jié)果無法反映在線服務(wù)的真是性能.

    此外,如果將用戶u1對服務(wù)s2的評分提高至5分,這個操作會提升服務(wù)s2的評價值.但對其他服務(wù)的評價結(jié)果沒有影響,這將導(dǎo)致服務(wù)s2的評價結(jié)果大大提升,所以上述方法抗操縱性較弱.因此,本文提出一種利用Plackett-Luce模型的在線服務(wù)評價方法,從服務(wù)偏好和服務(wù)占優(yōu)次數(shù)的角度解決了在線服務(wù)評分不可比較的問題,同時提高了評價方法的抗操縱性.

    表2 評價值表Table 2 Evaluation value table

    4 利用Plackett-Luce模型的在線服務(wù)評價

    Plackett-Luce模型是一個排序概率模型,描述模型內(nèi)部參數(shù)排序的概率[22,23].對內(nèi)部參數(shù)進行排序時,Plackett-Luce模型把排序過程分成許多個階段且每個階段互不影響,并在每個階段選出一個最優(yōu)服務(wù).在當前階段中,計算所有服務(wù)排序名次為第一的概率,把排序概率值最高的服務(wù)作為當前階段的最優(yōu)服務(wù),重復(fù)這個過程直到所有階段結(jié)束,得到服務(wù)的排序結(jié)果.

    基于以上分析,本文將每位用戶對不同服務(wù)的評分計算獲取該用戶對所有服務(wù)的偏好關(guān)系,然后通過偏好關(guān)系,得到每個服務(wù)的占優(yōu)次數(shù).通過占優(yōu)次數(shù)解決了用戶評分準則不一致導(dǎo)致的不同用戶對同一服務(wù)的評分不可比較的問題.最后根據(jù)Plackett-Luce模型對數(shù)似然函數(shù)的迭代函數(shù)從概率的角度推斷得到每個服務(wù)在整體服務(wù)中排序的概率,把排序權(quán)重轉(zhuǎn)化的概率后作為評價結(jié)果向用戶展示.

    4.1 服務(wù)偏好獲取

    定義 4.用戶-服務(wù)偏好關(guān)系矩陣 Pre=[preij]m×n(i=1,2,3,…,m;j=1,2,3,…,n).其中,preij表示第 i位用戶 ui對第j個在線服務(wù)sj的偏好值.其中preij的計算公式如下所示:

    對于同一用戶,服務(wù)評分是可以比較的.所以計算用戶-服務(wù)評分得到每位用戶關(guān)于每個服務(wù)的偏好值pre,填入偏好矩陣Pre.在相同的情況下pre值大的服務(wù)被用戶選擇的概率更大.

    算法1.根據(jù)用戶服務(wù)評分矩陣R得到用戶服務(wù)偏好矩陣Pre.

    輸入:用戶服務(wù)評分矩陣R

    輸出:用戶服務(wù)偏好矩陣Pre

    算法1根據(jù)用戶服務(wù)評分矩陣R得到用戶服務(wù)偏好矩陣Pre,根據(jù)矩陣Pre中每位用戶對每個服務(wù)的偏好關(guān)系確定服務(wù)的占優(yōu)次數(shù).

    定義5.ui是一個用戶,其評價的在線服務(wù)之間的偏好關(guān)系:若 preix>preiy,則偏好關(guān)系為 sxsy;若 preix=preiy,則偏好關(guān)系為 sx~sy;若 preix<preiy,則偏好關(guān)系為 sxsy.其中sxsy表示用戶ui認為服務(wù)sx優(yōu)于服務(wù)sy;sx~sy表示用戶ui認為服務(wù)sx和服務(wù)sy無差別;sxsy表示用戶ui認為服務(wù)sy優(yōu)于服務(wù)sx.

    定義 6.服務(wù)占優(yōu)次數(shù)矩陣 T=[tij]m×n(i=1,2,3,…,m;j=1,2,3,…,n),其中 tij表示服務(wù) sj在用戶 ui偏好下的占優(yōu)次數(shù).

    根據(jù)定義6,若在用戶ui偏好下將服務(wù)sx和服務(wù)sy進行比較,那么服務(wù)sx的占優(yōu)次數(shù)tix計算方式如下所示:

    服務(wù)占優(yōu)次數(shù)矩陣T是將m個用戶評價的n個在線服務(wù)根據(jù)偏好值pre進行統(tǒng)計,若pre值大則記為占優(yōu)1次.在每位用戶的偏好下,每個服務(wù)都要和其他所有服務(wù)進行偏好值比較,統(tǒng)計每個服務(wù)的占優(yōu)次數(shù).

    算法2.根據(jù)用戶服務(wù)偏好矩陣Pre得到服務(wù)占優(yōu)次數(shù)矩陣T.

    輸入:用戶服務(wù)偏好矩陣Pre

    輸出:服務(wù)占優(yōu)次數(shù)矩陣T

    算法2根據(jù)用戶偏好矩陣Pre構(gòu)建服務(wù)占優(yōu)次數(shù)矩陣T.在得到矩陣T后根據(jù)矩陣中每位用戶偏好下每個服務(wù)的占優(yōu)次數(shù)tij得到每個服務(wù)在所有用戶偏好下總的占優(yōu)次數(shù).

    定義7.用W表示服務(wù)在所有用戶偏好下總的占優(yōu)次數(shù),W={W1,W2,W3,…,Wn}.其中 W 計算公式如下所示:

    累加每個服務(wù)在所有用戶偏好下的占優(yōu)次數(shù)t,得到每個服務(wù)在所有用戶偏好下總的占優(yōu)次數(shù)W.根據(jù)得到的服務(wù)總的占優(yōu)次數(shù)W,從概率的角度推斷求解每個在線服務(wù)的評價結(jié)果.

    4.2 服務(wù)排序獲取

    通過Plackett-Luce模型的對數(shù)似然函數(shù)(γ)構(gòu)建關(guān)于權(quán)重值的迭代函數(shù)Q(γ),找到使對數(shù)似然函數(shù)(γ)取得最大值時的權(quán)重值γ的值.把權(quán)重值轉(zhuǎn)化的概率,通過服務(wù)概率值大小對在線服務(wù)進行排序.

    由于對數(shù)似然函數(shù)(γ)無法直接求解得到最大值,所以需要通過迭代的方式求解使得對數(shù)似然函數(shù)(γ)取得最大值的γ的值.

    定義8.迭代函數(shù)Q(γx)如下所示:

    Nxy表示服務(wù)sx和服務(wù)sy的總占優(yōu)次數(shù)之和.

    |≤ε,則認為當前得到的結(jié)果 接近最優(yōu)的權(quán)重

    x

    定義10.服務(wù)的排序權(quán)重值 γ ={γ1,γ2,γ3,…,γn},在Plackett-Luce模型中,服務(wù)sx的排序概率求解如下所示:

    5 理論分析

    5.1 孔多塞性[24]

    在用戶群體中,若服務(wù)sx與服務(wù)sy比較時有超過一半的用戶認為服務(wù)sx比服務(wù)sy好,則sx稱為孔多塞候選服務(wù).

    證明:有超過一半的用戶認為sx優(yōu)于sy,則Wx大于Wy,即服務(wù)sx的初始權(quán)重值比服務(wù)sy的初始權(quán)重值大,所以服務(wù)sx的評價結(jié)果不會比sy差.因此本方法滿足孔多塞性.

    孔多塞性表明最終排序結(jié)果滿足用戶群體中多數(shù)人的偏好.評價結(jié)果中孔多塞候選服務(wù)越多,那么評價結(jié)果就越滿足多數(shù)人的偏好.

    5.2 非獨裁性[24]

    將兩個在線服務(wù)sxsy進行比較,若用戶群體中僅有一位用戶認為服務(wù)sx優(yōu)于sy,其余所有用戶都認為服務(wù)sy比服務(wù)sx好,那么最終排序結(jié)果服務(wù)sx的排序名次不會比服務(wù)sy高.

    證明:僅有一位用戶ui認為服務(wù)sx比服務(wù)sy好,即僅有一次preixpreiy,所以在線服務(wù)sy的占優(yōu)次數(shù)只有1次,在有n個用戶的情況下,服務(wù)sx的初始權(quán)重值是1/2n.而服務(wù)sy的初始權(quán)重值是2n-1/2n,所以在排序結(jié)果中服務(wù)sx的排序結(jié)果應(yīng)該比服務(wù)sy低.

    非獨裁性表明有效的在線服務(wù)評價方法不會因為特定用戶評價偏好影響最終的評價結(jié)果.

    5.3 單調(diào)性[24]

    存在任意的在線服務(wù)sx、sy并且排序結(jié)果為sxsy.若部分用戶將給予服務(wù)sx較服務(wù)評分提高,對服務(wù)sy評分保持不變,那么服務(wù)sx的排序結(jié)果不應(yīng)該變得比服務(wù)sy低,并且排序結(jié)果仍是sxsy.

    證明:若果用戶持續(xù)給予服務(wù)sx高評分而保持服務(wù)sy評分不變,那么服務(wù)sx的占優(yōu)次數(shù)Wx只會增加而不會降低,所以服務(wù)sx的初始權(quán)重值會增加,迭代的結(jié)果就不會比增加前的結(jié)果差.若用戶持續(xù)給予服務(wù)sy低評分,那么服務(wù)sy的占優(yōu)次數(shù)Wy只會降低不會增加,所以服務(wù)sy的初始迭代權(quán)重只會降低不會增加,那么迭代結(jié)果就不會比之間的結(jié)果好,并且排序結(jié)果應(yīng)該是sxsy.

    單調(diào)性表明在線服務(wù)的評分發(fā)生變化時,該服務(wù)的排序結(jié)果也應(yīng)該發(fā)生變化.若評分變高,那么排序結(jié)果應(yīng)該提升;若評分降低,那么排序結(jié)果應(yīng)該降低.

    5.4 反轉(zhuǎn)對稱性[24]

    對兩個在線服務(wù)sx、sy,若所有用戶都認為服務(wù)sx比服務(wù)sy好,那么排序結(jié)果應(yīng)該為sxsy.若每位用戶都改變想法,即每位用戶都認為服務(wù)sx比服務(wù)sy差,那么最后的結(jié)果應(yīng)該為 sxsy.

    證明:若所有用戶對在線服務(wù)sx、sy偏好由 sxsy變?yōu)閟xsy,那么服務(wù)sx,sy之間的占優(yōu)次數(shù)也就會發(fā)生反轉(zhuǎn),從而導(dǎo)致服務(wù)總的占優(yōu)次數(shù)也會發(fā)生反轉(zhuǎn),即通過占優(yōu)次數(shù)計算的排序結(jié)果由sxsy變?yōu)閟xsy.

    反轉(zhuǎn)對稱性表示在線服務(wù)評價方法不會偏袒任何一個在線服務(wù),是公平性的體現(xiàn).

    6 實驗結(jié)果及分析

    根據(jù)文中提到的利用Plackett-Luce模型的在線服務(wù)評價方法,設(shè)計了在以下實驗環(huán)境中進行驗證該方法的合理性和有效性:PC機,Windows 10系統(tǒng)、Core i3處理器、8GB內(nèi)存.我們采用了由GroupLens研究組發(fā)布的公共數(shù)據(jù)集MovieLens[25],其中該數(shù)據(jù)集包含1682部電影,943個用戶,以及100,000條左右的評分(1-5).

    因為Avg和Sum方法是目前工業(yè)界和學(xué)術(shù)界應(yīng)用十分廣泛的在線服務(wù)評價方法,所以本文選擇這兩種方法進行對比.而Copeland方法是基于用戶服務(wù)評分矩陣,通過評分獲取用戶服務(wù)偏好關(guān)系,通過偏好關(guān)系獲取最終的評價結(jié)果.因為本文方法也是從偏好角度入手,所以選擇社會選擇函數(shù)Copeland方法作為本文中的對比方法.

    6.1 反轉(zhuǎn)對稱性實驗

    本實驗中隨機選取20個服務(wù),將800為用戶對所有在線服務(wù)評價全都取反(即1分變?yōu)?分,2分變?yōu)?分,3分不變),然后分別計算取反前在線服務(wù)權(quán)重值與取反后的在線服務(wù)權(quán)重值,權(quán)重值數(shù)據(jù)如圖1所示.

    圖1 反轉(zhuǎn)對稱性驗證Fig.1 Reverse symmetry verification

    由圖1可見,本文方法在取反前排序權(quán)重值大的,取反后排序權(quán)重值變小,取反前排序權(quán)重值小的,取反后排序權(quán)重值變大,最終結(jié)果排序結(jié)果也反轉(zhuǎn)了.所以在取反后本文方法得到的評價名次會變成相反的,因此本文方法滿足反轉(zhuǎn)對稱性.

    6.2 多數(shù)準則沖突實驗

    實驗比較記錄了本方法、Sum方法、Avg方法和Copeland方法得到的多數(shù)準則沖突的數(shù)量,實驗結(jié)果如圖2所示.

    圖2 多數(shù)準則沖突Fig.2 Most criteria conflict

    由圖2可見,由于孔多塞悖論[26]的存在,結(jié)果不可能達到100%.但是本文方法在不同數(shù)量在線服務(wù)中多數(shù)準則沖突的數(shù)量是最少的,遠低于Sum方法、Avg方法與Copeland方法中的多數(shù)準則沖突數(shù)量.

    6.3 單調(diào)性實驗

    為模擬單調(diào)性實驗,分別選擇50個~500個用戶針對一個在線服務(wù)的評分進行修改,觀察修改后評價值變化情況.實驗結(jié)果圖3(a)、圖3(b)所示.

    圖3 單調(diào)性驗證Fig.3 Monotonic verification

    由圖3可知,改變在線服務(wù)的評分時,在線服務(wù)評價值也會相應(yīng)的發(fā)生變化.本文方法在評分降低時,最終排序結(jié)果也呈現(xiàn)降低趨勢;在評分變高時,排序結(jié)果也是呈現(xiàn)上升趨勢.因此本文方法滿足單調(diào)性.

    6.4 抗操縱性實驗

    隨機選取某在線服務(wù),通過增加高評分或低評分的數(shù)量來模擬操縱該服務(wù)評分,若果評價結(jié)果中,增加高或低評分數(shù)量對排序名次影響較小,則該方法得到的評價結(jié)果具有較好的抗操縱性.因此選擇用戶數(shù)量為300,對在線服務(wù)sx增加高評分或降低評分.分別對 10,20,30,40,50,60,70 位用戶的評分進行修改.改變這些用戶對在線服務(wù)的評分后排序名次如圖4(a)、圖4(b)所示.

    圖4 抗操縱性驗證Fig.4 Anti-manipulation verification

    根據(jù)圖4(a)所示,隨著高評分數(shù)量的增加,四種方法得到的評價結(jié)果都是呈現(xiàn)上升趨勢,但是本文方法得到的排序名次改變幅度比其他三種方法得到的結(jié)果小;反之從圖4(b)可知其他三種方法對于降低評分的影響也比本方法高.因此本方法更具抗操縱性.

    6.5 性能實驗

    為驗證本方法的效率,實驗選擇100~900個用戶和20~100個在線服務(wù)的環(huán)境進行模擬,記錄了系統(tǒng)在不同用戶數(shù)量和服務(wù)數(shù)量下的運行時間(單位:s),運行結(jié)果如圖5所示.

    圖5 不同樣本規(guī)模下的運行時間Fig.5 Run time at different sample sizes

    如圖5所示,在固定用戶數(shù)量下,運行時間雖然隨服務(wù)數(shù)量的增加而增加,但是時間增長并不是呈指數(shù)級;在固定服務(wù)數(shù)量下,隨著用戶數(shù)量的增加,運行時間增長也不是呈指數(shù)級增長,因此本方法具有較高的效率.

    7 結(jié)語

    本文提出一種利用Plackett-Luce模型的在線服務(wù)評價方法,解決由于用戶評價準則不一致導(dǎo)致的在線服務(wù)評分不可比較的問題.方法通過Plackett-Luce模型把不可比較的評分轉(zhuǎn)化為可比較的用戶偏好,然后再把用戶偏好轉(zhuǎn)化為在線服務(wù)排序概率,通過概率對在線服務(wù)進行總體評價.理論分析及實驗驗證表明了該方法的有效性以及抗操縱性.但是本方法對在線服務(wù)評價時僅從單一的評分角度衡量在線服務(wù)的性能,不能充分合理地表現(xiàn)在線服務(wù)的真是性能.因此下一步的工作將從多屬性綜合考慮在線服務(wù)性能,力求讓在線服務(wù)評價結(jié)果更加準確.

    猜你喜歡
    用戶服務(wù)排序次數(shù)
    排序不等式
    機場航站樓年雷擊次數(shù)計算
    2020年,我國汽車召回次數(shù)同比減少10.8%,召回數(shù)量同比增長3.9%
    商用汽車(2021年4期)2021-10-13 07:16:02
    一類無界算子的二次數(shù)值域和譜
    恐怖排序
    節(jié)日排序
    刻舟求劍
    兒童繪本(2018年5期)2018-04-12 16:45:32
    新媒體時代老年類報刊的用戶服務(wù)轉(zhuǎn)型與升級對策
    傳媒評論(2017年9期)2017-12-20 08:08:00
    依據(jù)“次數(shù)”求概率
    科學(xué)數(shù)據(jù)共享平臺的建設(shè)與服務(wù)探討
    新久久久久国产一级毛片| 人成视频在线观看免费观看| 岛国毛片在线播放| 丝袜人妻中文字幕| 日韩熟女老妇一区二区性免费视频| 欧美 亚洲 国产 日韩一| 久久青草综合色| 久久久精品94久久精品| av福利片在线| 在线免费观看不下载黄p国产| 黑人欧美特级aaaaaa片| 成人三级做爰电影| 中国三级夫妇交换| 爱豆传媒免费全集在线观看| 国产精品无大码| 最近中文字幕2019免费版| 国产精品久久久av美女十八| 国产成人一区二区在线| 人人妻人人澡人人爽人人夜夜| 丝袜人妻中文字幕| 日本vs欧美在线观看视频| 精品一区二区免费观看| 精品久久久久久电影网| 色综合欧美亚洲国产小说| 高清欧美精品videossex| 极品人妻少妇av视频| 夜夜骑夜夜射夜夜干| 91精品伊人久久大香线蕉| 欧美日韩视频高清一区二区三区二| 中文字幕高清在线视频| 免费观看性生交大片5| 色婷婷久久久亚洲欧美| 亚洲av成人不卡在线观看播放网 | 又粗又硬又长又爽又黄的视频| 亚洲色图综合在线观看| 亚洲精品第二区| 国产在线一区二区三区精| 久热这里只有精品99| 国产在线免费精品| 亚洲av中文av极速乱| 久久精品久久久久久噜噜老黄| 中文欧美无线码| 一本—道久久a久久精品蜜桃钙片| 日韩成人av中文字幕在线观看| 中文字幕精品免费在线观看视频| 在线观看www视频免费| 日韩一区二区三区影片| 9热在线视频观看99| 男女下面插进去视频免费观看| 欧美激情高清一区二区三区 | 91成人精品电影| 老司机靠b影院| 亚洲精品中文字幕在线视频| 精品人妻一区二区三区麻豆| 欧美老熟妇乱子伦牲交| 尾随美女入室| 国产精品一区二区在线观看99| 国产女主播在线喷水免费视频网站| 久久精品亚洲av国产电影网| 中文字幕人妻熟女乱码| 深夜精品福利| 男女床上黄色一级片免费看| 男女边摸边吃奶| 日韩大片免费观看网站| 亚洲精品av麻豆狂野| 国产无遮挡羞羞视频在线观看| 亚洲欧美色中文字幕在线| 精品人妻熟女毛片av久久网站| 亚洲七黄色美女视频| 亚洲av成人精品一二三区| 欧美久久黑人一区二区| 超碰成人久久| 999久久久国产精品视频| 久久久欧美国产精品| 男女之事视频高清在线观看 | 深夜精品福利| 欧美精品一区二区大全| 国产成人免费观看mmmm| 丰满迷人的少妇在线观看| av天堂久久9| 欧美国产精品va在线观看不卡| 女的被弄到高潮叫床怎么办| 亚洲国产看品久久| av有码第一页| 美女高潮到喷水免费观看| 国产av精品麻豆| 亚洲激情五月婷婷啪啪| 别揉我奶头~嗯~啊~动态视频 | 深夜精品福利| 菩萨蛮人人尽说江南好唐韦庄| 久久精品国产综合久久久| 乱人伦中国视频| 免费高清在线观看日韩| 亚洲精品国产一区二区精华液| 亚洲欧美中文字幕日韩二区| 91精品三级在线观看| 美女主播在线视频| 丝袜美足系列| 秋霞伦理黄片| 午夜日本视频在线| 亚洲,一卡二卡三卡| 久久久久久人妻| 色网站视频免费| 亚洲免费av在线视频| 在现免费观看毛片| 久久精品aⅴ一区二区三区四区| 天天躁夜夜躁狠狠久久av| 欧美另类一区| 一区二区三区激情视频| 精品国产一区二区三区久久久樱花| 18禁裸乳无遮挡动漫免费视频| 久久97久久精品| 午夜激情av网站| 女的被弄到高潮叫床怎么办| 五月开心婷婷网| 亚洲欧美成人综合另类久久久| 热re99久久国产66热| 国产成人欧美| 欧美激情高清一区二区三区 | 人妻 亚洲 视频| 1024视频免费在线观看| 国产视频首页在线观看| 成年av动漫网址| 欧美日韩综合久久久久久| 精品久久久久久电影网| 在线免费观看不下载黄p国产| 深夜精品福利| 成人国产麻豆网| 亚洲综合精品二区| 国产一卡二卡三卡精品 | 丝袜脚勾引网站| 午夜免费男女啪啪视频观看| 最黄视频免费看| 99九九在线精品视频| 久久久国产欧美日韩av| 丝袜人妻中文字幕| 精品国产国语对白av| 黑人巨大精品欧美一区二区蜜桃| 一级毛片黄色毛片免费观看视频| 男女国产视频网站| 在线亚洲精品国产二区图片欧美| 国产成人精品在线电影| 亚洲国产欧美在线一区| 婷婷色av中文字幕| 欧美激情高清一区二区三区 | kizo精华| 亚洲av男天堂| 一级a爱视频在线免费观看| 国产伦理片在线播放av一区| 久久精品久久久久久噜噜老黄| 精品久久久精品久久久| 欧美变态另类bdsm刘玥| 久久久精品国产亚洲av高清涩受| 女性被躁到高潮视频| 久久久欧美国产精品| 日本午夜av视频| 亚洲国产欧美网| 日韩视频在线欧美| 波多野结衣一区麻豆| 国产成人免费无遮挡视频| 高清在线视频一区二区三区| 永久免费av网站大全| 日韩中文字幕视频在线看片| 亚洲五月色婷婷综合| 精品人妻熟女毛片av久久网站| 在线观看免费午夜福利视频| a 毛片基地| 深夜精品福利| 精品午夜福利在线看| 国产男女内射视频| 国产成人啪精品午夜网站| 亚洲精品久久午夜乱码| 水蜜桃什么品种好| 伊人久久国产一区二区| 一本一本久久a久久精品综合妖精| 欧美激情高清一区二区三区 | 咕卡用的链子| 国产成人欧美| 国产xxxxx性猛交| 亚洲精品美女久久久久99蜜臀 | 欧美亚洲 丝袜 人妻 在线| 午夜激情久久久久久久| 日日摸夜夜添夜夜爱| 国产亚洲av高清不卡| 亚洲精品一二三| 观看av在线不卡| 亚洲欧美一区二区三区久久| 人人妻人人爽人人添夜夜欢视频| 久久久久国产一级毛片高清牌| 一区二区三区激情视频| 成年美女黄网站色视频大全免费| 啦啦啦中文免费视频观看日本| 国产精品久久久av美女十八| 国产精品偷伦视频观看了| 大片免费播放器 马上看| 国产精品久久久av美女十八| 国产欧美日韩综合在线一区二区| 国产老妇伦熟女老妇高清| 亚洲,欧美精品.| 亚洲美女视频黄频| 亚洲三区欧美一区| 成年美女黄网站色视频大全免费| 丁香六月欧美| 蜜桃在线观看..| 精品一区二区三区四区五区乱码 | 悠悠久久av| 中文字幕另类日韩欧美亚洲嫩草| 久久影院123| 亚洲精品在线美女| 日韩制服丝袜自拍偷拍| 丁香六月天网| 你懂的网址亚洲精品在线观看| 久久久久精品久久久久真实原创| 国产黄色视频一区二区在线观看| 日韩熟女老妇一区二区性免费视频| 欧美日韩亚洲国产一区二区在线观看 | 日韩制服骚丝袜av| 精品国产超薄肉色丝袜足j| 国产高清不卡午夜福利| 亚洲 欧美一区二区三区| 国产色婷婷99| 亚洲av成人精品一二三区| 777久久人妻少妇嫩草av网站| 不卡视频在线观看欧美| 国产精品三级大全| av在线老鸭窝| 国产欧美日韩综合在线一区二区| 亚洲精品成人av观看孕妇| 性高湖久久久久久久久免费观看| 制服人妻中文乱码| 在线观看人妻少妇| 国产极品粉嫩免费观看在线| 国产乱来视频区| 天天添夜夜摸| 久久99热这里只频精品6学生| 搡老岳熟女国产| av免费观看日本| 美女国产高潮福利片在线看| 色94色欧美一区二区| av一本久久久久| 精品亚洲成a人片在线观看| 汤姆久久久久久久影院中文字幕| 国产精品熟女久久久久浪| 男女床上黄色一级片免费看| 欧美少妇被猛烈插入视频| 人人妻,人人澡人人爽秒播 | 免费在线观看黄色视频的| 免费黄色在线免费观看| 亚洲精品aⅴ在线观看| 卡戴珊不雅视频在线播放| 一区福利在线观看| 女人精品久久久久毛片| 久久久久久久国产电影| 一级毛片黄色毛片免费观看视频| xxx大片免费视频| 国产99久久九九免费精品| 香蕉国产在线看| 免费久久久久久久精品成人欧美视频| av电影中文网址| 天天躁夜夜躁狠狠躁躁| 一边摸一边做爽爽视频免费| 高清视频免费观看一区二区| 在线观看免费日韩欧美大片| 热99国产精品久久久久久7| 国产av一区二区精品久久| 丝袜人妻中文字幕| 亚洲精品一二三| 叶爱在线成人免费视频播放| av又黄又爽大尺度在线免费看| av国产久精品久网站免费入址| 精品人妻一区二区三区麻豆| 男女之事视频高清在线观看 | 午夜福利,免费看| 99国产综合亚洲精品| 制服诱惑二区| 男女国产视频网站| 中文字幕精品免费在线观看视频| 国产成人系列免费观看| 精品国产乱码久久久久久男人| 女人精品久久久久毛片| 欧美国产精品va在线观看不卡| 久久精品熟女亚洲av麻豆精品| 天堂中文最新版在线下载| 中文字幕色久视频| 久久久久精品性色| 欧美变态另类bdsm刘玥| 亚洲激情五月婷婷啪啪| 成人18禁高潮啪啪吃奶动态图| 国产精品一二三区在线看| 捣出白浆h1v1| 在线观看免费午夜福利视频| 91精品伊人久久大香线蕉| 亚洲成人免费av在线播放| 国产男女超爽视频在线观看| 久久精品久久精品一区二区三区| 欧美变态另类bdsm刘玥| av又黄又爽大尺度在线免费看| 日韩制服丝袜自拍偷拍| 久久久久精品久久久久真实原创| 蜜桃国产av成人99| 99久国产av精品国产电影| 十八禁高潮呻吟视频| 亚洲一码二码三码区别大吗| av国产久精品久网站免费入址| 精品少妇黑人巨大在线播放| 欧美国产精品一级二级三级| 国产色婷婷99| e午夜精品久久久久久久| 晚上一个人看的免费电影| 亚洲精品自拍成人| 狂野欧美激情性bbbbbb| 欧美精品一区二区大全| 一边摸一边抽搐一进一出视频| 国产成人精品在线电影| 少妇猛男粗大的猛烈进出视频| 热99久久久久精品小说推荐| 男女高潮啪啪啪动态图| 欧美黑人精品巨大| 2018国产大陆天天弄谢| 欧美在线黄色| 啦啦啦在线观看免费高清www| 九九爱精品视频在线观看| 母亲3免费完整高清在线观看| 天天躁日日躁夜夜躁夜夜| 国产在线免费精品| 亚洲 欧美一区二区三区| 亚洲第一青青草原| 亚洲国产精品一区三区| 国产成人午夜福利电影在线观看| 多毛熟女@视频| 亚洲国产看品久久| 国产男人的电影天堂91| 亚洲国产毛片av蜜桃av| 日本wwww免费看| 免费看av在线观看网站| 亚洲av国产av综合av卡| 一边摸一边做爽爽视频免费| 日韩大码丰满熟妇| 一级a爱视频在线免费观看| 黄频高清免费视频| 热re99久久国产66热| 啦啦啦 在线观看视频| 黑人欧美特级aaaaaa片| 一本一本久久a久久精品综合妖精| 国产亚洲最大av| 亚洲国产看品久久| 国产激情久久老熟女| 国产免费又黄又爽又色| 国产成人欧美在线观看 | 国产免费又黄又爽又色| 国产精品亚洲av一区麻豆 | 多毛熟女@视频| 欧美97在线视频| 狂野欧美激情性xxxx| 新久久久久国产一级毛片| 一区二区av电影网| 熟妇人妻不卡中文字幕| 一区二区av电影网| 国产乱人偷精品视频| 少妇人妻 视频| 999久久久国产精品视频| 国产熟女午夜一区二区三区| 中文字幕亚洲精品专区| 日本色播在线视频| 久久久久久久大尺度免费视频| 国产熟女午夜一区二区三区| 午夜精品国产一区二区电影| 日韩不卡一区二区三区视频在线| 丝瓜视频免费看黄片| 精品国产乱码久久久久久小说| 国产一级毛片在线| 亚洲一卡2卡3卡4卡5卡精品中文| 国产精品久久久久久久久免| 99热国产这里只有精品6| 久久久久久久大尺度免费视频| 免费观看a级毛片全部| 国产亚洲一区二区精品| 亚洲色图 男人天堂 中文字幕| 妹子高潮喷水视频| 日本午夜av视频| 亚洲国产欧美日韩在线播放| 看非洲黑人一级黄片| 晚上一个人看的免费电影| 欧美人与性动交α欧美精品济南到| 热re99久久精品国产66热6| 国产精品成人在线| 亚洲成人一二三区av| 青草久久国产| 久久久久久人人人人人| 日韩精品有码人妻一区| 亚洲精品一区蜜桃| 99久久精品国产亚洲精品| 亚洲伊人色综图| 日本wwww免费看| 人人妻,人人澡人人爽秒播 | 在线观看国产h片| 国产不卡av网站在线观看| av天堂久久9| 亚洲欧美成人精品一区二区| 青青草视频在线视频观看| 亚洲成av片中文字幕在线观看| 久久久久久久久免费视频了| 国产探花极品一区二区| 国产男女内射视频| 国产成人午夜福利电影在线观看| 青青草视频在线视频观看| 99re6热这里在线精品视频| 国产成人av激情在线播放| 国产探花极品一区二区| 男男h啪啪无遮挡| 天天添夜夜摸| 超碰成人久久| 日韩av不卡免费在线播放| 欧美日韩精品网址| 国产伦人伦偷精品视频| 亚洲精品日本国产第一区| 人成视频在线观看免费观看| 秋霞在线观看毛片| 亚洲天堂av无毛| 久久久久久久大尺度免费视频| 国产极品粉嫩免费观看在线| 国产野战对白在线观看| 国产激情久久老熟女| 男人舔女人的私密视频| 一本—道久久a久久精品蜜桃钙片| 国产xxxxx性猛交| 免费av中文字幕在线| 欧美黄色片欧美黄色片| 91精品国产国语对白视频| 成人免费观看视频高清| 一本久久精品| av网站免费在线观看视频| 99热全是精品| 国产欧美日韩综合在线一区二区| 男女午夜视频在线观看| 久久久国产一区二区| 精品人妻在线不人妻| 成人漫画全彩无遮挡| 黄色视频不卡| 午夜福利影视在线免费观看| 亚洲精品久久午夜乱码| 欧美日韩福利视频一区二区| 不卡av一区二区三区| 欧美人与善性xxx| 综合色丁香网| 国产免费现黄频在线看| 最近手机中文字幕大全| 老鸭窝网址在线观看| 免费黄色在线免费观看| 一区在线观看完整版| 亚洲图色成人| 久久久国产一区二区| 国产成人午夜福利电影在线观看| 精品少妇久久久久久888优播| videosex国产| 老司机亚洲免费影院| 又大又爽又粗| 韩国精品一区二区三区| 日韩中文字幕视频在线看片| 亚洲人成网站在线观看播放| 黄色毛片三级朝国网站| 精品免费久久久久久久清纯 | 男女午夜视频在线观看| 国产男女内射视频| 不卡视频在线观看欧美| 18禁动态无遮挡网站| 777久久人妻少妇嫩草av网站| 99re6热这里在线精品视频| 2018国产大陆天天弄谢| 国产野战对白在线观看| 少妇人妻 视频| 老司机靠b影院| 日本午夜av视频| 女人高潮潮喷娇喘18禁视频| 国产精品三级大全| 老汉色av国产亚洲站长工具| 又黄又粗又硬又大视频| 免费高清在线观看视频在线观看| 亚洲av成人不卡在线观看播放网 | 色精品久久人妻99蜜桃| 国产精品久久久久久久久免| 亚洲精品乱久久久久久| 亚洲,欧美精品.| 亚洲婷婷狠狠爱综合网| 亚洲国产欧美一区二区综合| 老汉色∧v一级毛片| av片东京热男人的天堂| 国产午夜精品一二区理论片| 啦啦啦在线免费观看视频4| 你懂的网址亚洲精品在线观看| 最近的中文字幕免费完整| 99精品久久久久人妻精品| 亚洲国产毛片av蜜桃av| 两个人看的免费小视频| 欧美日韩亚洲综合一区二区三区_| 老司机影院成人| 免费人妻精品一区二区三区视频| 亚洲av在线观看美女高潮| 美女扒开内裤让男人捅视频| 黄色视频不卡| a级毛片黄视频| 一区在线观看完整版| 亚洲国产毛片av蜜桃av| 精品一区二区三区av网在线观看 | av在线播放精品| av.在线天堂| 国产精品一二三区在线看| 国产成人91sexporn| 天天影视国产精品| 我的亚洲天堂| 国产免费福利视频在线观看| 日韩中文字幕欧美一区二区 | 十八禁网站网址无遮挡| 精品少妇久久久久久888优播| 亚洲在久久综合| 综合色丁香网| 波野结衣二区三区在线| 亚洲欧美日韩另类电影网站| 欧美精品一区二区大全| 黄网站色视频无遮挡免费观看| 99久久精品国产亚洲精品| 在线观看一区二区三区激情| 日韩成人av中文字幕在线观看| 亚洲中文av在线| 97人妻天天添夜夜摸| 汤姆久久久久久久影院中文字幕| 日日啪夜夜爽| 日本猛色少妇xxxxx猛交久久| 九草在线视频观看| 精品少妇内射三级| 国产精品 国内视频| 水蜜桃什么品种好| 久久精品亚洲av国产电影网| tube8黄色片| 国产精品 欧美亚洲| 女人久久www免费人成看片| 国产免费一区二区三区四区乱码| 久久久久久久久久久免费av| 男人爽女人下面视频在线观看| 视频在线观看一区二区三区| 啦啦啦啦在线视频资源| 桃花免费在线播放| 考比视频在线观看| 久久精品国产综合久久久| 亚洲精品久久久久久婷婷小说| 久久久久久人人人人人| √禁漫天堂资源中文www| 久久久国产精品麻豆| 一区二区三区乱码不卡18| 国产黄频视频在线观看| 国产精品麻豆人妻色哟哟久久| 国产精品三级大全| 久久女婷五月综合色啪小说| 国产乱来视频区| 99热国产这里只有精品6| 日韩欧美一区视频在线观看| 久久综合国产亚洲精品| 中文字幕人妻丝袜制服| 婷婷成人精品国产| 国产精品亚洲av一区麻豆 | 熟女少妇亚洲综合色aaa.| 人人妻人人爽人人添夜夜欢视频| 精品卡一卡二卡四卡免费| 欧美精品人与动牲交sv欧美| 晚上一个人看的免费电影| 中国三级夫妇交换| 国产一区二区三区综合在线观看| 中文乱码字字幕精品一区二区三区| 国产熟女欧美一区二区| 婷婷成人精品国产| 国产精品三级大全| 大香蕉久久网| 久久久久国产精品人妻一区二区| 亚洲伊人久久精品综合| 久久精品熟女亚洲av麻豆精品| 热re99久久国产66热| 欧美亚洲 丝袜 人妻 在线| 男人舔女人的私密视频| 成人影院久久| 黄频高清免费视频| 一区二区三区激情视频| 777米奇影视久久| 成人免费观看视频高清| a级毛片黄视频| 国产一区二区在线观看av| 人妻一区二区av| 丰满少妇做爰视频| 午夜av观看不卡| 久久精品aⅴ一区二区三区四区| 亚洲精品久久午夜乱码| a级毛片在线看网站| 女人高潮潮喷娇喘18禁视频| 国产高清国产精品国产三级| 肉色欧美久久久久久久蜜桃| 欧美日韩亚洲高清精品| 最新在线观看一区二区三区 | 性高湖久久久久久久久免费观看| 在线免费观看不下载黄p国产| 久久久久精品久久久久真实原创| 亚洲成人国产一区在线观看 | 精品少妇久久久久久888优播| 免费高清在线观看日韩| 婷婷色av中文字幕| svipshipincom国产片| 性高湖久久久久久久久免费观看| 国产精品国产三级国产专区5o| 亚洲国产欧美在线一区| 亚洲国产精品一区二区三区在线| 国产日韩欧美视频二区| 又粗又硬又长又爽又黄的视频| 国产探花极品一区二区| 最近的中文字幕免费完整| 精品久久蜜臀av无| 色94色欧美一区二区| 免费看av在线观看网站|