App軟件用戶評論與評分星級一致性判斷方法*

冉 猛 姜 瑛 向祺鑫 丁家滿 汪海濤

(1.云南省計算機技術(shù)應(yīng)用重點實驗室 昆明 650500)(2.昆明理工大學(xué)信息工程與自動化學(xué)院 昆明 650500)

App軟件用戶評論與評分星級一致性判斷方法*

冉 猛1,2姜 瑛1,2向祺鑫1,2丁家滿1,2汪海濤1,2

(1.云南省計算機技術(shù)應(yīng)用重點實驗室 昆明 650500)(2.昆明理工大學(xué)信息工程與自動化學(xué)院 昆明 650500)

由于網(wǎng)絡(luò)評論的自由性和隨意性,App軟件用戶評論與評分星級的不一致給用戶選擇App軟件帶來了困難。提出綜合分析用戶評論和評分星級二者間的關(guān)系,首先通過分析App軟件特征情感詞對的語法關(guān)系,結(jié)合詞典和網(wǎng)絡(luò)情感詞,量化用戶對App軟件的情感傾向程度;再計算每條評論中用戶對App軟件的綜合評分,并與評分星級進(jìn)行比較以判斷用戶評論與評分星級是否一致;最后通過實驗驗證了方法的有效性。

App軟件; 用戶評論; 評分星級; 一致性; 特征情感詞對; 網(wǎng)絡(luò)情感詞

1 引言

隨著移動智能終端的風(fēng)靡,以Android系統(tǒng)和iOS系統(tǒng)為代表的App軟件用戶快速增加。大多數(shù)用戶在選擇App軟件之前會查看用戶評論和評分星級。然而,由于網(wǎng)絡(luò)評論的自由性,用戶評論的情感傾向程度與評分星級常常會出現(xiàn)不一致的情況。這給用戶選擇App軟件帶來了困難,因此判斷App軟件的用戶評論與評分星級是否一致成為需要解決的問題。

用戶評論分析在商品領(lǐng)域日趨成熟,而App軟件作為一種新型體驗型產(chǎn)品,有如下特點:1)App軟件開發(fā)周期短,開發(fā)者可以通過用戶評論了解用戶需求,從而有針對性地制定開發(fā)策略[1],以提高App軟件的質(zhì)量;2)用戶在選擇App軟件前無法通過廣告或品牌獲得該軟件的質(zhì)量[2]。目前,用戶評論分析在App軟件領(lǐng)域取得了一系列的研究成果。Gao等[3]通過從不同的App軟件用戶評論中提取主題評論,構(gòu)建主題動態(tài)更新模型。AlQuwayfili等[4]將App軟件評論分為可信和不可信兩類評論。上述研究主要是針對用戶評論的主題和可信度等對用戶選擇App軟件有影響,但是缺少對用戶評論和評分星級二者進(jìn)行綜合分析研究。Guzman等[5]基于貪婪聚類算法來挖掘用戶評論信息中用戶對App軟件所持的正反態(tài)度。Harman等[6]采用實體映射和極性挖掘的方法,來判斷用戶評論對App軟件的正反態(tài)度。上述文獻(xiàn)將用戶評論的傾向劃分成正反兩個等級,但是忽略了用戶評論與評分星級是否一致給用戶選擇App軟件帶來影響。

因此,本文首先提取App軟件用戶評論中的特征情感詞對;然后分析App軟件特征情感詞對的語法關(guān)系,并計算用戶對App軟件的情感傾向的綜合評分;最后將綜合評分劃分為五個等級,以判斷App軟件用戶評論與評分星級是否一致。

2 一致性判斷方法

2.1 提取App軟件特征情感詞對

目前,大多數(shù)研究通過提取用戶評論中的特征詞和情感詞來獲得用戶對產(chǎn)品特征進(jìn)行的描述。本文通過對海量的用戶評論數(shù)據(jù)進(jìn)行分析后發(fā)現(xiàn),用戶在對App軟件的評論中特征詞、情感詞和副詞具有對應(yīng)關(guān)系。例如,用戶對“微信”App軟件評論:“下載很麻煩”,其中用情感詞“麻煩”修飾特征詞“下載”,用副詞“很”修飾情感詞“麻煩”。因此,本文稱為App軟件特征情感詞對,并對其做如下定義。

定義1:App軟件特征情感詞對f=(Wh,Wd,Wa)。其中,Wh代表用戶評論中用戶關(guān)注的App軟件特征;Wa為情感詞;Wd為副詞。

為了對用戶評論與評分星級一致性進(jìn)行更好的判斷,本文在文獻(xiàn)[7]同時提取特征詞、情感詞的基礎(chǔ)上對特征詞、副詞、情感詞進(jìn)行同時提取,即提取App軟件特征情感詞對f。此外,一條用戶評論可能會涉及到多個f,其中每個f中的特征是不同的,且用戶所表達(dá)的情感傾向程度也不相同。因此,本文對App軟件特征情感詞對集做如下定義。

定義2:App軟件特征情感詞對集F={f1,f2,…,fn},其中,fi為App軟件特征情感詞對,i=1,2,…,n。

2.2 計算情感傾向程度綜合評分

目前用戶的情感傾向分析主要通過基于詞典[8]和句法分析[9],然后結(jié)合挖掘算法進(jìn)行判斷。在App軟件用戶評論中,網(wǎng)絡(luò)情感詞、副詞的強度差異以及副詞和否定詞共現(xiàn)語序引起語義差異都會影響用戶的情感傾向程度。因此,本文從情感詞的極性詞出發(fā),基于f中Wh、Wd、Wa三者的語法關(guān)系,結(jié)合《知網(wǎng)》情感詞語料詞典和網(wǎng)絡(luò)情感詞,對情感傾向程度進(jìn)行逐級量化計算,最后再計算每條評論的綜合評分。

2.2.1 網(wǎng)絡(luò)情感詞的處理

App軟件用戶評論是一種典型的網(wǎng)絡(luò)評論,大多數(shù)用戶往往會使用網(wǎng)絡(luò)情感詞來表達(dá)對App軟件的情感傾向。例如“這就是個SB軟件”中的“SB”是名詞,對當(dāng)前App軟件表達(dá)出強烈的反面情感。目前,《知網(wǎng)》詞典不能識別這類詞,但這些詞語又能表達(dá)用戶對App軟件的情感傾向。因此,本文建立了網(wǎng)絡(luò)情感詞語庫,收集了諸如“SB”等App軟件用戶評論中出現(xiàn)的高頻度網(wǎng)絡(luò)情感詞共計137個,并對這部分情感詞進(jìn)行權(quán)重極性的定義,計算公式如下:

F(nr)=F(nd)*F(na)

(1)

式中,F(nr)表示用戶評論中某個特征的情感傾向程度得分,F(nd)為副詞的極性參數(shù),F(na)表示網(wǎng)絡(luò)情感詞的原極性。

2.2.2 副詞及副詞和否定詞共現(xiàn)情況的處理

由于App軟件用戶評論中的副詞和否定詞對情感傾向程度量化結(jié)果有著很重要的影響,因此,本文對副詞和否定詞進(jìn)行處理。現(xiàn)有研究中發(fā)現(xiàn),副詞存在不同的強度等級,文獻(xiàn)[10]基于《知網(wǎng)》詞典的程度語料庫,將副詞分為6種類別,其中“最”和“超”兩類的極性參數(shù)都是“1.6”,因此,本文將這兩類進(jìn)行合并為“最”類,結(jié)果如表1所示。

表1 副詞分類及極性參數(shù)表

對于否定詞的處理,姚天昉等[8]對否定前綴的極性處理方法是先取反,再除以2,按照該算法,“不很滿意”和“很不滿意”的情感傾向程度是一樣的。然而,這并沒有考慮否定詞和副詞共現(xiàn)時語序不同所引起的語義差異。因此,本文先根據(jù)文獻(xiàn)[10]將否定詞的極性參數(shù)設(shè)為-0.5,再將否定詞和副詞共現(xiàn)的情況分為兩種,對情感傾向程度進(jìn)行分別計算。

1) 副詞在否定詞之前,否定程度是逐漸遞增的,例如“畫面很不好”。因此,本文計算情感傾向程度量化的公式如下:

F(DNP)=-0.5*F(d)*F(a)

(2)

式中,F(DNP)表示副詞在否定詞之前的情感傾向程度得分,-0.5為否定詞的極性參數(shù),F(d)為副詞的極性參數(shù),F(a)為情感詞的原極性。

2) 否定詞在副詞之前,這種情況是把原來的程度降低,例如:“畫面不很好”和“畫面相對好”,這兩句表達(dá)的情感傾向程度大體相同,在語義上是能夠相互推衍的[11]。因此,本文將這種情況的否定詞極性參數(shù)設(shè)置為表1中“欠”類的極性參數(shù),計算公式如下:

F(NDP)=0.6*F(d)*F(a)

(3)

式中,F(NDP)表示否定詞在副詞之前的情感傾向程度得分,0.6為否定詞極性參數(shù)。

2.2.3 量化情感傾向程

由于用戶對App軟件特征評論的情感傾向程度由副詞、否定詞、情感詞共同決定,因此,接下來將計算App軟件用戶評論信息中情感傾向程度的量化結(jié)果,計算公式如下:

F(or)=F(oa)*F(od)*F(on)

(4)

式中,F(oa)為情感詞的原極性,F(od)為副詞的極性參數(shù),F(on)為否定詞的極性參數(shù)。當(dāng)副詞或否定詞為空時,極性參數(shù)設(shè)為1;當(dāng)副詞和否定詞共現(xiàn)時,則根據(jù)式(2)和式(3)進(jìn)行計算。

2.2.4 計算綜合評分

用戶對App軟件的情感傾向程度由F中的綜合評分來決定。然而,F中每個f中用戶所表達(dá)的情感傾向程度是有差異的。因此,為了對用戶評論與評分星級進(jìn)行更準(zhǔn)確的一致性判斷,需要對F中多個f的情感傾向程度進(jìn)行綜合量化計算。情感傾向程度的綜合評分計算公式如下:

(5)

式中,F(ri)表示用戶評論中對第i個特征評論的情感傾向程度得分,F(ri)包含F(xiàn)(nr)、F(or)等情況,n表示F中f的個數(shù)。計算情感傾向程度綜合評分流程圖如圖1所示。

2.3 劃分綜合評分等級

通過2.2節(jié)中分析,可以計算出F(O)的取值范圍是[-1.6,+1.6],因為從表1中可以看出極性參數(shù)的最大值是1.6,正面、反面情感詞的極性分別為+1、-1,且本文中的否定副詞極性參數(shù)為-0.5。所以5星中最大取值為1.6*1=1.6;4星的最大取值為1,最小值為-1*(-0.5)=0.5,即5星的取值區(qū)間為(1,1.6],4星的取值區(qū)間為[0.5,1]。綜合評分等級劃分區(qū)間如表2所示。

圖1 計算情感傾向程度綜合評分流程圖

表2 綜合評分等級劃分表

3 實驗結(jié)果及分析

3.1 數(shù)據(jù)來源及處理

為了驗證本文方法的有效性,從安卓電子市場隨機抓取了7大類29個App軟件的21371條用戶評論信息,并據(jù)此建立了App軟件用戶評論庫,部分信息如表3所示。

表3 App軟件用戶評論(部分)

由表3可以看出,雖然有的用戶給App軟件打的評分星級很高,但是用戶評論中表達(dá)出來的情感傾向卻是負(fù)面態(tài)度。因此,用戶評論與評分星級確實存在不一致的情況。本文使用ICTCLAS 2016作為數(shù)據(jù)預(yù)處理的工具,并提取了App軟件特征情感詞對,部分?jǐn)?shù)據(jù)處理結(jié)果如表4所示。

表4 數(shù)據(jù)處理結(jié)果(部分)

3.2 實驗結(jié)果及分析

針對以上實驗數(shù)據(jù),運用本文方法對App軟件用戶評論與評分星級進(jìn)行了一致性判斷。為了判斷方法的有效性,本文邀請了一些App軟件用戶對用戶評論與評分星級的一致性進(jìn)行了人工標(biāo)注。部分判斷結(jié)果如表5所示。

由實驗可以得出,用戶評論與評分星級一致的評論平均僅有39.25%,各類App軟件的判斷結(jié)果如圖2所示。其中,“社交”類僅有30.82%?？梢?當(dāng)前的App軟件用戶評論中,大部分用戶評論與評分星級是不一致的。

表5 一致性判斷結(jié)果(部分)

圖2 App軟件用戶評論與評分星級一致性結(jié)果

通過與人工標(biāo)注進(jìn)行比較,本文方法判斷結(jié)果的準(zhǔn)確率平均為79.07%,相關(guān)結(jié)果如表6所示。

表6 本文方法判斷結(jié)果的準(zhǔn)確率

由表6可以看出,“資訊”類的用戶評論準(zhǔn)確率最低,為76.56%,該類一致性判斷結(jié)果如圖3所示,這類App軟件評分星級中2星和1星的準(zhǔn)確率偏低,僅有57.14%和59.80%,這種現(xiàn)象在7類App軟件中均存在。

通過分析,主要由兩類原因?qū)е?一是用戶如果對App軟件不滿意,就會在發(fā)表評論時說一些罵人的錯別字,在進(jìn)行分詞和情感傾向程度量化時,分詞工具和算法均不能識別這些錯別字,從而影響了判斷結(jié)果的準(zhǔn)確率;二是目前收集的網(wǎng)絡(luò)情感詞不夠全面,導(dǎo)致在量化情感傾向程度時不夠準(zhǔn)確,從而影響了用戶評論與評分星級一致性的準(zhǔn)確性。

圖3 “資訊”類用戶評論與評分星級一致性判斷結(jié)果的準(zhǔn)確率

4 結(jié)語

本文提出了用戶評論的一致性判斷方法。該方法通過分析App軟件特征情感詞對的語法關(guān)系,結(jié)合詞典和網(wǎng)絡(luò)情感詞,量化用戶對App軟件的情感傾向程度,以計算每條評論中用戶對App軟件的綜合評分,并與用戶評分星級中的五個等級進(jìn)行比較,從而判斷用戶評論與評分星級是否一致。實驗證明了該方法的有效性,為了進(jìn)一步提高方法的準(zhǔn)確性,下一步將在App軟件特征情感詞對提取、網(wǎng)絡(luò)情感詞的收集等方面進(jìn)行深入研究。

[1] Lin Hao, Li X, Tan Y, et al. The economic role of rating behavior in third-party application market[C]//International Conference on Information Systems,2011:26.

[2] 劉洋,廖貅武,劉瑩.在線評論對應(yīng)用軟件及平臺定價策略的影響[J].系統(tǒng)工程學(xué)報,2014,29(4):560-570.

LIU Yang, LIAO Xiuwu, LIU Ying. The impact of online comment on software and platform’s pricing strategies[J]. Journal of Systems Engineering,2014,29(4):560-570.

[3] Gao C, Xu H, Hu J, et al. AR-Tracker: Track the Dynamics of Mobile Apps via User Review Mining[C]//Service-Oriented System Engineering(SOSE), 2015 IEEE Symposium on. IEEE,2015:284-290.

[4] AlQuwayfili N, AlRomi N, AlZakari N, et al. Towards classifying applications in mobile phone markets: The case of religious apps[C]//Current Trends in Information Technology(CTIT), 2013 International Conference on. IEEE,2013:177-180.

[5] Guzman E, Maalej W. How do users like this feature? a fine grained sentiment analysis of app reviews[C]//Requirements Engineering Conference(RE), 2014 IEEE 22nd International. IEEE,2014:153-162.

[6] Harman M, Jia Y, Zhang Y. App store mining and analysis: MSR for app stores[C]//Proceedings of the 9th IEEE Working Conference on Mining Software Repositories. IEEE Press,2012:108-111.

[7] 扈中凱,鄭小林,吳亞峰,等.基于用戶評論挖掘的產(chǎn)品推薦算法[J].浙江大學(xué)學(xué)報:工學(xué)版,2013,47(8):1475-1485. HU Zhongkai, ZHENG Xiaolin, WU Yafeng, et al. Product recommendation algorithm based on users’ comments mining[J]. Journal of Zhejiang University(Engineering Science),2013,47(8):1475-1485.

[8] 姚天昉,婁德成.漢語語句主題語義傾向分析方法的研究[J].中文信息學(xué)報,2007,21(5):73-79. YAO Tianfang, LOU Decheng. Research on semantic orientation analysis for topics in Chinese sentences[J]. Journal of Chinese Information Procession,2007,21(5):73-79.

[9] 馮時,付永陳,陽鋒,等.基于依存句法的博文情感傾向分析研究[J].計算機研究與發(fā)展,2012,49(11):2395-2406. FENG Shi, FU Yongchen, YANG Fen, et al. Blog Sentiment Orientation Analysis Based on Dependency Parsing[J]. Journal of Computer Research and Development,2012,49(11):2395-2406.

[10] 林欽和.基于情感計算的商品評價分析系統(tǒng)設(shè)計與實現(xiàn)[D].上海:復(fù)旦大學(xué),2013. LIN Qinhe. Design and Implementation of the Product Comments Analysis System Based on Affective Computing[D]. Shanghai: Fudan University,2013.

[11] 尹洪波.否定詞與副詞共現(xiàn)的句法語義研究[D].北京:中國社會科學(xué)院研究生院,2008. YIN Hongbo. Research on Syntax and Semantics for Co-occurring of Negatives and Adverbs[D]. Beijing: Graduate School of Chinese Academy of Social Sciences,2008.

Consistency Judgment Method Between User’s Comment and User’s Mark for App Software

RAN Meng1,2JIANG Ying1,2XIANG Qixin1,2DING Jiaman1,2WANG Haitao1,2

(1. Yunnan Key Lab of Computer Technology Application, Kunming 650500)(2. Faculty of Information Engineering and Automation, Kunming University of Science and Technology, Kunming 650500)

Due to the freedom and randomness of the network comments, the inconsistence between the user’s comment and user’s mark of App software makes it difficult to choose App software. This paper presents a method by analyzing the relationships among user’s comment and user’s mark. Firstly, through analyzing the grammar relationships in App software’s feature-sentiment-word-pairs, the user’s emotional tendency about App software is quantified combining with the dictionary and the network sentiment words. After calculating the user’s comprehensive score of App software, the consistency of App software user’s comment is judged by comparing this score and the user’s mark. Finally, experimental results show that the method is effective.

App software, user’s comment, user’s mark, consistency, feature-sentiment-word-pairs, network sentiment word Class Number TP311

2016年10月3日,

2016年11月26日

國家自然科學(xué)基金(編號:60703116,61063006,61462049);云南省應(yīng)用基礎(chǔ)研究計劃項目(編號:2013FZ020)資助。

冉猛,男,碩士研究生,研究方向:軟件工程、大數(shù)據(jù)分析。姜瑛,女,博士,教授,研究方向:軟件工程、大數(shù)據(jù)分析等。向祺鑫,男,碩士研究生,研究方向:軟件工程、軟件質(zhì)量保證與測試。丁家滿,男,碩士,副教授,研究方向:軟件工程、云計算。汪海濤,女,碩士,高級工程師,研究方向:軟件工程。

TP311

10.3969/j.issn.1672-9722.2017.04.021