生活消費(fèi)平臺(tái)虛假評(píng)論識(shí)別模型的研究

李 晶，吳國(guó)仕，謝 菲，姚 旭，齊佳音，孫鵬飛

(1.北京郵電大學(xué)軟件學(xué)院，北京 100876； 2.新華社通信技術(shù)局，北京 100803；3.北京郵電大學(xué)經(jīng)濟(jì)管理學(xué)院，北京 100876)

生活消費(fèi)平臺(tái)虛假評(píng)論識(shí)別模型的研究

李 晶1，吳國(guó)仕1，謝 菲2，姚 旭1，齊佳音3，孫鵬飛1

(1.北京郵電大學(xué)軟件學(xué)院，北京 100876； 2.新華社通信技術(shù)局，北京 100803；3.北京郵電大學(xué)經(jīng)濟(jì)管理學(xué)院，北京 100876)

生活消費(fèi)平臺(tái)已成為人們獲取商家信息、反饋服務(wù)或產(chǎn)品質(zhì)量的重要平臺(tái).虛假評(píng)論作為一種夸大或誹謗目標(biāo)商家口碑的商業(yè)行為在生活消費(fèi)平臺(tái)很普遍，具有很強(qiáng)的危害性.本文對(duì)某網(wǎng)站的真實(shí)評(píng)論展開虛假評(píng)論研究，深入分析研究虛假評(píng)論的特征，從“可信度”的角度出發(fā)，提出用戶及商家可信度模型.利用評(píng)論人的行為特征、商家的特征和評(píng)論文本的特征構(gòu)建了虛假評(píng)論識(shí)別模型，經(jīng)測(cè)試該模型達(dá)到了一個(gè)良好的識(shí)別效果.

機(jī)器學(xué)習(xí)；虛假評(píng)論識(shí)別；可信度模型

1 引言

生活消費(fèi)平臺(tái)作為一種新興的互聯(lián)網(wǎng)服務(wù)在近幾年取得了巨大的發(fā)展.某些組織或個(gè)人在利益的驅(qū)動(dòng)下，利用網(wǎng)絡(luò)信息監(jiān)管的缺失，弄虛作假，制造虛假評(píng)論誤導(dǎo)用戶.因此，對(duì)生活消費(fèi)平臺(tái)虛假評(píng)論進(jìn)行研究并加以識(shí)別成為人們關(guān)注的技術(shù)熱點(diǎn).

評(píng)論可信度是評(píng)論人提供的信息被認(rèn)可的程度.國(guó)內(nèi)關(guān)于商品評(píng)論的最新研究提出了基于文本內(nèi)容的商品評(píng)論可信度測(cè)評(píng)模型[1].國(guó)外的研究發(fā)現(xiàn)匿名評(píng)論的情感傾向會(huì)對(duì)可信度產(chǎn)生較大影響[2]；體驗(yàn)型產(chǎn)品中情感傾向?qū)尚哦葞缀鯚o(wú)影響[3]；評(píng)論與評(píng)分及評(píng)論間的一致性越高,評(píng)論可信度越高[4～7]等.可見,評(píng)論可信度受多種因素影響.研究對(duì)象及特征組合的不同會(huì)影響結(jié)論的一致性.

虛假評(píng)論的特征主要從評(píng)論內(nèi)容和評(píng)論人兩個(gè)角度來(lái)考慮.從評(píng)論內(nèi)容的角度來(lái)分析，許多研究采用了詞性和n元文法.Ott M[8]等利用一元、二元文法結(jié)合心理學(xué)構(gòu)建的80個(gè)情感特征關(guān)鍵詞獲得了90%的查準(zhǔn)率.但Li F T[9]等的研究結(jié)論顯示，利用情感來(lái)分辨欺騙型評(píng)論的效果并不顯著，因?yàn)樵诳桃馓摌?gòu)的評(píng)論中，這樣的情感特征并不明顯.研究表明，單純從評(píng)論的文本內(nèi)容特征展開識(shí)別，對(duì)欺騙型評(píng)論的識(shí)別效果并不理想.評(píng)論人的特征反應(yīng)了評(píng)論撰寫者的個(gè)人信用和行為特征，通過(guò)識(shí)別評(píng)論人的特征來(lái)識(shí)別其發(fā)表言論的特征具有一定的研究意義.Mukherjee A[10]等針對(duì)Yelp的真實(shí)數(shù)據(jù)，比較了基于評(píng)論特征和基于評(píng)論人特征的虛假評(píng)論識(shí)別效果，發(fā)現(xiàn)后者的識(shí)別效果更好.Li F T[9]也指出評(píng)論人的行為特征是評(píng)論內(nèi)容特征的重要補(bǔ)充.評(píng)論和評(píng)論人特征的抽取又和特定的領(lǐng)域有一定的相關(guān)性.目前，國(guó)外對(duì)虛假評(píng)論的研究涉及到了旅館、圖書、音樂(lè)、餐館等領(lǐng)域.國(guó)內(nèi)的研究數(shù)據(jù)對(duì)象主要集中在圖書和數(shù)碼產(chǎn)品領(lǐng)域，對(duì)服務(wù)行業(yè)還未涉及.

2 數(shù)據(jù)描述

本文數(shù)據(jù)取自某網(wǎng)站2012年11月到2013年10月的已標(biāo)注數(shù)據(jù)子集，經(jīng)清洗后共包含331,415條評(píng)論，238,186評(píng)論者與109,376商家.

商家的評(píng)論數(shù)據(jù)包含7個(gè)基礎(chǔ)部分：〈評(píng)論類型〉〈評(píng)論ID〉〈商家ID〉〈評(píng)論者ID〉〈提交日期〉〈星級(jí)〉〈評(píng)論文本〈還有三項(xiàng)專項(xiàng)評(píng)分：〈口味評(píng)分〉〈環(huán)境評(píng)分〉〈服務(wù)評(píng)分〉

經(jīng)測(cè)試，評(píng)論的數(shù)量與評(píng)論人的數(shù)量之間遵循冪律分布，即大量的用戶只寫了少數(shù)評(píng)論，少數(shù)用戶卻寫了大量評(píng)論.評(píng)論的數(shù)量與商家的數(shù)量之間同樣遵循冪律分布，即大量的產(chǎn)品只獲得很少評(píng)論，少數(shù)產(chǎn)品獲得了大量的評(píng)論.

3 虛假評(píng)論識(shí)別模型研究

3.1 建模準(zhǔn)則

依據(jù)前文論述評(píng)論與商家、用戶呈現(xiàn)一對(duì)多的關(guān)系，對(duì)于許多商家或評(píng)論人甚至僅僅對(duì)應(yīng)一條評(píng)論.因此，商家、用戶對(duì)于判斷虛假評(píng)論具有重要的作用.然而，用戶與商家對(duì)于評(píng)論可信度的影響程度不同.如果用戶為虛假用戶，則其所有評(píng)論都極有可能成為垃圾評(píng)論；而商家可能會(huì)偶爾出現(xiàn)為提高知名度雇傭水軍刷評(píng)論的欺騙行為，但不一定所有的評(píng)論都是垃圾評(píng)論.用戶相比于商家與評(píng)論可信度具有較強(qiáng)的關(guān)系.經(jīng)計(jì)算，用戶可信度與評(píng)論真實(shí)性的協(xié)方差為0.58，而商家可信度與評(píng)論真實(shí)性的協(xié)方差為0.47，因此用戶可信度相比于商家可信度與評(píng)論可信度更相關(guān)，與常識(shí)相符.

在識(shí)別虛假評(píng)論時(shí)，采用分層的探測(cè)機(jī)制，首先識(shí)別虛假評(píng)論中呈現(xiàn)出群體特征的水軍用戶；之后分別構(gòu)建用戶、商家可信度模型；最后利用評(píng)論對(duì)應(yīng)的商家可信度、用戶可信度與其他特征建模識(shí)別虛假評(píng)論，模型結(jié)構(gòu)如圖1所示.

3.2 水軍探測(cè)

虛假評(píng)論人常常出現(xiàn)群體性活動(dòng)的特征，將這種具有群體性特征的評(píng)論人稱為水軍.頻繁項(xiàng)集挖掘的eclat算法[11]是探測(cè)水軍的理想算法.經(jīng)測(cè)試，被探測(cè)出的包含在頻繁項(xiàng)集內(nèi)的18個(gè)用戶中，有15個(gè)為虛假評(píng)論人，虛假率為83.3%，因此對(duì)本數(shù)據(jù)集可直接將挖掘出的頻繁項(xiàng)集作為垃圾評(píng)論人.

3.3 評(píng)論人與商家可信度模型

3.3.1 評(píng)論人可信度模型

為將評(píng)論人及商家可信度量化，本文采用邏輯回歸模型[12].

評(píng)論人可信度模型的可表示為：

(1)

(2)

其中，xka與θka分別為評(píng)論人a的第k個(gè)特征與第k個(gè)特征的權(quán)重.下面對(duì)評(píng)論人的不同特征做詳細(xì)說(shuō)明.

(1)評(píng)論評(píng)分與商家整體評(píng)論評(píng)分間差異

每個(gè)商家具有一個(gè)根據(jù)對(duì)其所有的評(píng)論評(píng)分計(jì)算出的整體評(píng)分.從概率上講，一個(gè)真實(shí)、理性的評(píng)論人打出的分?jǐn)?shù)應(yīng)該和該整體評(píng)分差異不大；而虛假評(píng)論人，往往傾向給出與整體評(píng)分差異較大(即較高或較低)的評(píng)分.通過(guò)計(jì)算用戶的所有評(píng)論評(píng)分和相關(guān)商家的整體評(píng)分之間的差異性大小，可以將該特征進(jìn)行量化.

以RDa表示該特征為：

(3)

(2)對(duì)同一商家評(píng)論評(píng)分相似性

大多數(shù)正常情況下，評(píng)論人僅對(duì)某個(gè)商家發(fā)表至多一次評(píng)論.少數(shù)正常情況下，評(píng)論人會(huì)發(fā)表一次以上的評(píng)論.再次發(fā)表評(píng)論的評(píng)分應(yīng)當(dāng)與第一次評(píng)論的評(píng)分有一定的差異性.然而，一些虛假評(píng)論人會(huì)多次評(píng)論同一商家，并且評(píng)分會(huì)比較接近，或完全相同.通過(guò)量化該特征可以將其集成入用戶可信度模型中，該特征包括兩個(gè)考慮因素，一是用戶對(duì)同一商家發(fā)表過(guò)多少次評(píng)論，二是不同評(píng)論間差異的大小.以Ca來(lái)表示該特征為：

(4)

其中，nap為評(píng)論人a對(duì)商家p∈Pa所有評(píng)論的數(shù)目，CVap是a對(duì)商家p∈Pa所有評(píng)論評(píng)分的差異系數(shù)(Coefficient of Variation)，其計(jì)算方法為所有評(píng)論評(píng)分的標(biāo)準(zhǔn)差比平均值，即：

(5)

(3)是否為單例評(píng)論人

單例評(píng)論指的是評(píng)論人僅對(duì)某個(gè)商家發(fā)表評(píng)論的行為.正常情況下，用戶會(huì)對(duì)不同商家發(fā)表評(píng)論.而虛假評(píng)論人賬號(hào)經(jīng)常出現(xiàn)單例評(píng)論的情形.該特征記為SRa：當(dāng)用戶為單例評(píng)論人時(shí)計(jì)1，否則計(jì)0.

(4)早期評(píng)論傾向

在商家注冊(cè)的初期，迫切需要增加評(píng)論以吸引客戶，主觀上有收買水軍進(jìn)行評(píng)論的動(dòng)機(jī).另一方面，初期由于評(píng)論數(shù)目較少，每條評(píng)論的評(píng)分對(duì)于商戶整體評(píng)分的影響比較大.從客觀上看，在此時(shí)進(jìn)行虛假評(píng)論的效率較高.因此采用早期評(píng)論人作為模型的一個(gè)特征，用ETFa表示如下：

(6)

其中ETFap指評(píng)論人a對(duì)于商家p的ETF值：

(7)

其中，Lap表示評(píng)論人a對(duì)商家p發(fā)表的最后一條評(píng)論的時(shí)間戳，Ap指該商家第一條評(píng)論被發(fā)表，或者該商家注冊(cè)的時(shí)間戳.該函數(shù)為分段函數(shù)，其中β作為閾值，本文設(shè)定為六個(gè)月.當(dāng)評(píng)論人a對(duì)商家p發(fā)表的最后一條評(píng)論的時(shí)間與商家商家注冊(cè)的時(shí)間差距超過(guò)β，則認(rèn)為該用戶非早期評(píng)論人，該特征計(jì)為0；如果該差距在β以內(nèi)，則不直接標(biāo)記為1，而是對(duì)其進(jìn)行量化并歸一化.

(5)評(píng)論人邏輯回歸類標(biāo)簽

為構(gòu)建邏輯回歸模型，需要對(duì)訓(xùn)練集數(shù)據(jù)進(jìn)行類標(biāo)記.本文對(duì)于評(píng)論人可信的訓(xùn)練集數(shù)據(jù)標(biāo)記ya做如下定義：如果用戶曾經(jīng)發(fā)表過(guò)被標(biāo)記為虛假評(píng)論的評(píng)論，則認(rèn)為其類標(biāo)簽為0，否則為1.需要注意的是這并不意味著該用戶(評(píng)論人)發(fā)表的所有評(píng)論都是虛假評(píng)論，對(duì)其進(jìn)行此種標(biāo)記的目的是為了構(gòu)建邏輯回歸模型，并使對(duì)用戶計(jì)算可信度成為可能.

3.3.2 商家可信度模型

商家可信度模型同樣選用的邏輯回歸算法，商家的特征有如下考慮：

(1)單例評(píng)論比例

單例評(píng)論同樣在評(píng)價(jià)商家可信度中進(jìn)行使用，該特征記作SRrp，即p商家所有評(píng)論中由單例評(píng)論人發(fā)表的評(píng)論數(shù)目，與所有評(píng)論數(shù)目的比例.

(2)爆發(fā)評(píng)論比例

商家評(píng)論的發(fā)表頻率有時(shí)不是平滑而均勻的.在正常情況下，特殊時(shí)間點(diǎn)上，商家的評(píng)論數(shù)目會(huì)比平時(shí)多，比如節(jié)假日、促銷或者團(tuán)購(gòu)活動(dòng)發(fā)生時(shí)，這時(shí)會(huì)形成評(píng)論數(shù)量高峰.這一高峰同樣會(huì)出現(xiàn)在商家雇傭虛假評(píng)論人提高自己商譽(yù)或者貶低對(duì)手商譽(yù)時(shí).因此，對(duì)商家評(píng)論數(shù)目隨著時(shí)間的起伏進(jìn)行觀察并記錄對(duì)構(gòu)建商家可信度模型具有一定幫助.本文將該指標(biāo)記作BSTrp，即p商家所有評(píng)論中，在高峰期發(fā)表的評(píng)論數(shù)目與所有評(píng)論數(shù)目的比例.

為了探測(cè)并識(shí)別發(fā)表評(píng)論的高峰，本文采用核密度估計(jì)(kernel density estimation)[13,14]方法進(jìn)行檢測(cè).令(x1,x2,…,xn)為一連串符合密度函數(shù)f的獨(dú)立同分布的變量值，則f表示為:

(8)

通過(guò)核密度估計(jì)，得到商家p評(píng)論發(fā)表時(shí)間的一條密度函數(shù)曲線，本文采用Kleinberg高峰檢測(cè)模型[15]，在估計(jì)核密度的基礎(chǔ)上還得到了密度高峰的層級(jí)值，本文采用第二層級(jí)內(nèi)時(shí)間發(fā)表的評(píng)論作為密度高峰評(píng)論，將其標(biāo)記為Burst Reviews.

(3)密度差異系數(shù)

商家p發(fā)表評(píng)論的密度曲線中，除了高峰處之外，曲線本身起伏的程度也將繼承到商家可信度模型當(dāng)中.本小節(jié)中，以DCVp記改商家密度曲線的差異系數(shù)：

(9)

(4)評(píng)分差異系數(shù)

一個(gè)理性的消費(fèi)者可以判斷商品或服務(wù)的質(zhì)量，并給出相應(yīng)的合理評(píng)分，因此一個(gè)正常商家的不同評(píng)論評(píng)分之間的差異度應(yīng)當(dāng)不會(huì)非常大.而虛假評(píng)論人出于特殊目的其發(fā)表的評(píng)論與其他評(píng)論的差異會(huì)比較大，基于此，以RCVp記商家p所有評(píng)論評(píng)分的差異系數(shù)：

(10)

(5)平均評(píng)分與平均專項(xiàng)評(píng)分

平均評(píng)分avgstar即該商家p的所有評(píng)論的平均評(píng)分.平均專項(xiàng)評(píng)分avgscore1,avgscore2,avgscroe3是餐飲業(yè)商家特有的專項(xiàng)評(píng)分，即口味、環(huán)境、服務(wù)的平均分?jǐn)?shù).

(6)商家邏輯回歸類標(biāo)簽

為了構(gòu)建邏輯回歸模型，需要對(duì)訓(xùn)練集數(shù)據(jù)進(jìn)行類標(biāo)記.本文對(duì)于商家可信的訓(xùn)練集數(shù)據(jù)標(biāo)記yp做如下定義：如果對(duì)該商家曾經(jīng)發(fā)表過(guò)被標(biāo)記為虛假評(píng)論的評(píng)論，則認(rèn)為其類標(biāo)簽為0，否則為1.同樣，這并不意味著對(duì)該商家發(fā)表的所有評(píng)論都是虛假評(píng)論.

3.4 虛假評(píng)論識(shí)別模型

除了與一條評(píng)論相關(guān)的評(píng)論人可信度Pa與商家可信度Pp外，評(píng)論還具有一些其他特征：

(1)評(píng)論長(zhǎng)度與詞性分布:文本預(yù)處理階段，計(jì)算了各種詞性與標(biāo)點(diǎn)符號(hào)在評(píng)論中所占的比例.經(jīng)實(shí)驗(yàn)對(duì)比，對(duì)判斷評(píng)論可信度有效的詞性比例特征是動(dòng)詞與標(biāo)點(diǎn)符號(hào)所占的比例；

(2)評(píng)論評(píng)分與整體評(píng)分差異：將評(píng)論r的評(píng)分與商戶整體評(píng)分之間的差異，記作stard:

(11)

(3)評(píng)論專項(xiàng)評(píng)分之間的差異：對(duì)于商家的評(píng)論r，本文計(jì)算其口味、服務(wù)、環(huán)境三個(gè)專項(xiàng)評(píng)分的標(biāo)準(zhǔn)差，記作scored，作為特征.本文認(rèn)為一個(gè)理性的消費(fèi)者應(yīng)當(dāng)會(huì)對(duì)餐飲業(yè)商家的不同方面做出理性判斷，從而不傾向于給出三項(xiàng)專項(xiàng)評(píng)分一致的判斷.

scoredr=σ(score1,score2,score3)

(12)

使用上述全部特征構(gòu)建邏輯回歸模型，計(jì)算p-value可知，重要的特征有相關(guān)用戶可信度Pa、商家可信度Pp、文本長(zhǎng)度lenr、評(píng)論評(píng)分與整體評(píng)分差異stardr，評(píng)論專項(xiàng)評(píng)分之間的差異scoredr以及標(biāo)點(diǎn)sw、動(dòng)詞sv占所有詞的比例，以這些詞語(yǔ)重新構(gòu)建模型并測(cè)試.該模型可表示為：

(13)

(14)

4 虛假評(píng)論識(shí)別模型的測(cè)試

4.1 測(cè)試指標(biāo)

二元分類問(wèn)題，常常使用混淆矩陣來(lái)表示分類結(jié)果，矩陣的每一列代表一個(gè)類的實(shí)例預(yù)測(cè),而每一行表示一個(gè)實(shí)際的類的實(shí)例.一個(gè)典型的混淆矩陣如表1.

表1 混淆矩陣

其中，把偽陽(yáng)性(FP)作為第1型錯(cuò)誤(Type I Error)，將偽陰性(FN)作為第2型錯(cuò)誤(Type II Error).使用準(zhǔn)確度(Accuracy)作為評(píng)價(jià)指標(biāo)：

(15)

但僅用Accuracy在類別分布不平衡時(shí)難以真實(shí)評(píng)價(jià)模型的好壞，無(wú)法區(qū)分出第1型錯(cuò)誤與第2型錯(cuò)誤.因此考慮使用敏感性(Sensitivity)和特異性(Specificity)：

(16)

敏感性即真陽(yáng)性率TPR(True Positive Rate)，該值越高，第2型錯(cuò)誤越少，即被誤分入虛假點(diǎn)評(píng)的真實(shí)點(diǎn)評(píng)比例越低.

(17)

特異性即1-假陽(yáng)性率FPR(False Positive Rate)，該值越高，第1型錯(cuò)誤越少，即被錯(cuò)誤分入正常點(diǎn)評(píng)的虛假點(diǎn)評(píng)比例越低.由此，采用敏感性與特異性作為驗(yàn)證模型要求的評(píng)測(cè)指標(biāo).然而由于對(duì)分類器取不同閾值時(shí)，可以得到不同的分類結(jié)果及分類器評(píng)價(jià)指標(biāo)，采用ROC(Receiver operating characteristic)曲線[16]與AUC(Area Under the Curve)[16]值評(píng)價(jià)模型.ROC曲線描述的是分類混淆矩陣中FPR-TPR兩個(gè)量之間的相對(duì)變化情況.如二元分類器輸出的是對(duì)正樣本的一個(gè)分類概率值，當(dāng)取不同閾值時(shí)會(huì)得到不同的混淆矩陣，對(duì)應(yīng)于ROC曲線上的一個(gè)點(diǎn).ROC曲線反映了FPR與TPR之間權(quán)衡的情況，TPR增長(zhǎng)得越快，曲線越往上屈，AUC就越大，模型的分類性能就越好.AUC值指的是ROC曲線下部的面積的和，如圖2所示，在模型達(dá)到最佳分類情形是，ROC曲線緊貼模型的左側(cè)和上側(cè)，AUC值達(dá)到最大為1；當(dāng)AUC在0.5～1之間時(shí)，模型優(yōu)于隨機(jī)預(yù)測(cè)；當(dāng)AUC為0.5時(shí)，模型為隨機(jī)預(yù)測(cè)，沒(méi)有價(jià)值；當(dāng)AUC小于0.5時(shí)，模型預(yù)測(cè)結(jié)果劣于隨機(jī)值.

綜上，本文將主要使用AUC值作為評(píng)價(jià)指標(biāo)，AUC值越大，則模型表現(xiàn)越好.

4.2 點(diǎn)評(píng)人、商家可信度模型測(cè)試

為分別驗(yàn)證點(diǎn)評(píng)人、商家的可信度模型，將計(jì)算特征后得到的238186個(gè)點(diǎn)評(píng)人記錄、109376條商家記錄分別按7∶3分為訓(xùn)練集和測(cè)試集，構(gòu)建模型后進(jìn)行測(cè)試，并計(jì)算結(jié)果的ROC曲線與AUC值.

對(duì)于點(diǎn)評(píng)人可信度模型的訓(xùn)練、測(cè)試數(shù)據(jù)格式如下：

〈點(diǎn)評(píng)評(píng)分與商家整體點(diǎn)評(píng)評(píng)分間差異〉〈對(duì)同一商家點(diǎn)評(píng)評(píng)分相似性〉〈是否為單例點(diǎn)評(píng)人〉〈早期點(diǎn)評(píng)人指標(biāo)〉〈點(diǎn)評(píng)人是否發(fā)表過(guò)虛假點(diǎn)評(píng)〉

即：

xa=(RDa,Ca,SRa,ETFa)hθ(xa)=ya

對(duì)于商家可信度模型的訓(xùn)練、測(cè)試數(shù)據(jù)格式如下：

〈單例點(diǎn)評(píng)比例〉〈爆發(fā)點(diǎn)評(píng)比例〉〈密度差異系數(shù)〉〈評(píng)分差異系數(shù)〉〈平均評(píng)分與平均專項(xiàng)評(píng)分〉〈商家名下是否有虛假點(diǎn)評(píng)〉

即：xa= (SRrp,BSTrp,DCVp,RCVp,avgscore1,

avgscore2,avgscore3)

hθ(xp)=yp

點(diǎn)評(píng)人、商家可信度模型的ROC曲線如圖3、4所示.

用戶可信度模型AUC值為0.858922，而商家可信度模型的AUC值為0.8792504.可見，當(dāng)把用戶及商家模型看做一個(gè)分類問(wèn)題時(shí)，具有較好的分類結(jié)果與精度，因此用戶可信度模型與商家可信度模型均表現(xiàn)優(yōu)良.

4.3 虛假點(diǎn)評(píng)識(shí)別模型測(cè)試

將331,415條數(shù)據(jù)按7∶3的數(shù)目比例分為訓(xùn)練集與測(cè)試集.對(duì)于虛假點(diǎn)評(píng)識(shí)別模型的訓(xùn)練、測(cè)試數(shù)據(jù)格式如下：

〈點(diǎn)評(píng)人可信度〉〈商家可信度〉〈點(diǎn)評(píng)長(zhǎng)度〉〈點(diǎn)評(píng)評(píng)分與整體評(píng)分差異〉〈點(diǎn)評(píng)專項(xiàng)評(píng)分之間的差異〉〈詞性分布〉〈點(diǎn)評(píng)是否虛假〉

即:xr=(pa,pp,lenr,stardr,scoredr,sw,sv)hθ(xr)=yr

對(duì)虛假評(píng)論識(shí)別模型進(jìn)行測(cè)試，該模型的ROC曲線如圖5所示.

計(jì)算得到AUC值為0.8930167.可見，考慮了用戶可信度，商家可信度及評(píng)論文本特征的虛假評(píng)論識(shí)別模型具有較好的分類結(jié)果與精度，因此該模型表現(xiàn)優(yōu)良.

5 總結(jié)

本文基于某網(wǎng)站上的評(píng)論進(jìn)行研究，分析并總結(jié)虛假評(píng)論的特征，結(jié)合特征提出用戶、商家可信度模型，利用評(píng)論人的行為特征、商家的特征和評(píng)論文本的特征構(gòu)建了虛假評(píng)論識(shí)別模型.使用AUC值作為主要評(píng)測(cè)指標(biāo)，經(jīng)測(cè)試模型達(dá)到了良好的區(qū)分效果.

[1]劉逶迤,逯萬(wàn)輝,丁晟春.商品評(píng)論信息可信度研究[J].情報(bào)科學(xué),2012,30(10):1556-1565. Liu Weiyi,Lu Wanhui,Ding Shengchun.Research on the credibility of commodity reviews information[J].Information Science,2012,30(10):1556-1565.(in Chinese)

[2]Kusumasondjaja S,Shanka T,Marchegiani C.Credibility of online reviews and initial trust:the roles of reviewer’s identity and review valence[J].Journal of Vacation Marketing,2012,18(3):185-195.

[3]Pan L Y,Chiou J S.How much can you trust online information? cues for perceived trustworthiness of consumer-generated online information[J].Journal of Interactive Marketing,2011,25(2):67-74.

[4]Qiu L Y,Pang J,Lim K H.Effects of conflicting aggregated rating on ewom review credibility and diagnosticity:the moderating role of review valence[J].Decision Support Systems,2012,54(1):631-643.

[5]Cheung M Y,Luo C,Sia C L,et al.How do people evaluate electronic word-of-mouth? informational and normative based determinants of perceived credibility of online consumer recommendations in china[A].11th Pacific Asia Conference on Information Systems[C].Auckland:Bepress,2007.69-73.

[6]Cheung M Y.Do People Believe Electronic Word-of-Mouth?:A Study on Factors Affecting Readers’ Perceived Credibility of Online Consumer Reviews[D].Hongkong: City University of Hong Kong,2006.

[7]Cheung M Y,Cindy M Y,Sia C L,et al.Is this review believable? a study of factors affecting the credibility of online consumer reviews from an elm perspective[J].Journal of the Association for Information Systems,2012,13(8):618-635.

[8]Ott M,Choi Y J,Cardie C,et al.Finding deceptive opinion spam by any stretch of the imagination[A].49th Annual Meeting of the Association for Computational Linguistics:Human Language Technologies[C].Stroudsburg,PA,USA:Association for Computational Linguistics,2011.309-319.

[9]Li F T,Huang M,Yang Y,et al.Learning to identify review spam [A].22nd International Joint Conference on Artificial Intelligence[C].Barcelona:AAAI Press,2011.2488-2493.

[10]Mukherjee A,Venkataraman V.What yelp fake review filter might be doing?[A].Proceedings of the 7th International Conference on Weblogs and Social Media[C].Palo Alto:AAAI Press,2013.409-418.

[11]Zaki M J.Scalable algorithms for association mining[J].IEEE Transactions on Knowledgeand DataEngineering.2000,12(3):372-390.

[12]Hosmer D W,Lemeshow S.Applied Logistic Regression[M].New York:John Wiley & Sons,2004.

[13]Rosenblatt M.Remarks on some nonparametric estimates of a density function[A].Selected Works in Probability and Statistics[C].New York:Springer New York,2011.95-100.

[14]Parzen E.On estimation of a probability density function and mode[J].Annals of Mathematical Statistics,1962,33(3):1065-1076.

[15]J Kleinberg.Bursty and hierarchical structure in streams[A].8th ACM SIGKDD Intl Conf on Knowledge Discovery and Data Mining,2002[C].Edmonton,Alberta,Canada: ACM Press,2002.91-101.

[16]Swets J A.Signal Detection Theory and ROC Analysis in Psychology and Diagnostics:Collected Papers[M].New Jersey:Lawrence Erlbaum Associates,Inc,1996.

李 晶 女，1981年生于山東威海.北京郵電大學(xué)軟件學(xué)院講師.研究方向?yàn)橹悄苄畔⑻幚?、?shù)據(jù)挖掘.

E-mail:lijingjing@bupt.edu.cn

Research of Fraud Review Detection Model on O2O Platform

LI Jing1,WU Guo-shi1,XIE Fei2,YAO Xu1,QI Jia-yin3,SUN Peng-fei1

(1.SchoolofSoftwareEngineering,BeijingUniversityofPostsandTelecommunications,Beijing100876,China; 2.CommunicationandTechnicalBureau,XinhuaNewsAgency,Beijing100803,China; 3.SchoolofEconomicsandManagement,BeijingUniversityofPostsandTelecommunications,Beijing100876,China)

Living-consumption platform has become a very important platform for customers to extract information of businesses,and view or submit comments on the quality of services or products.It is common that fake reviews,as a commercial activity,are used to exaggerate or damage the reputation of a target business,which is extremely harmful.This paper chose an O2O (Online To Offline) platform,from which reviews are derived,to study fake reviews.With an in-depth study on features of fake reviews,it raised the user-credibility and shop-credibility evaluation model respectively from the credibility perspective.Based on features of reviewers,businesses,and review texts,it established a fake review identification model,and through testing this model showed excellent performance in identification.

machine learning;fraud review detection;credibility model

2015-01-31;

2015-05-20;責(zé)任編輯：梅志強(qiáng)

國(guó)家973重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃(No.2013CB329604);國(guó)家自然科學(xué)基金(No.71231002);北京市自然科學(xué)基金(No.9122018);教育部博士點(diǎn)基金(No.20120005110015)；新華社713實(shí)驗(yàn)室技術(shù)研究項(xiàng)目——大數(shù)據(jù)與智能信息處理課題

TP181

A

0372-2112 (2016)12-2855-06

??學(xué)報(bào)URL:http://www.ejournal.org.cn

10.3969/j.issn.0372-2112.2016.12.07