一種基于客戶評(píng)論的產(chǎn)品特征提取方法

涂順林+劉利++李衛(wèi)華++趙義霞

摘要：基于中文特點(diǎn)，提出一種融合詞性標(biāo)注和統(tǒng)計(jì)的產(chǎn)品特征提取方法。該方法利用模式匹配對(duì)候選特征詞進(jìn)行裁剪并通過無關(guān)詞庫過濾得到產(chǎn)品特征集。對(duì)該方法進(jìn)行實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)的數(shù)據(jù)為通過爬蟲技術(shù)獲得的某天貓服裝店服裝商品的真實(shí)評(píng)論信息，實(shí)驗(yàn)結(jié)果表明了該方法的有效性。

關(guān)鍵詞：產(chǎn)品評(píng)論；產(chǎn)品特征；特征提??；評(píng)論挖掘

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）14-0159-03

A Product Feature Extraction Method Based on Customer Comments

TU Shun-lin， LIU Li， LI Wei-hua， ZHAO Yi-xia

（Department of Computer Science， Huizhou University， Huizhou 516007， China）

Abstract：The paper combine with the characteristics of Chinese proposed an approach to obtain product features set.Part-of-speech tagging and statistics are used to get the candidate product features set，then use pattern matching to tailors the candidate product features set and filtered it according to the stop words library.Finally the product features set are obtained. The proposed method was tested with the real clothing reviews which were obtained by scrawler technology from Internet and the results show that the validity of the method is proved preliminarily.

Key words： product reviews；product features ； features extracting；review mining

1 概述

電商的蓬勃發(fā)展與規(guī)模的迅速壯大，越來越多的人選擇網(wǎng)購的同時(shí)也導(dǎo)致越來越多產(chǎn)品評(píng)論的積累。Web上的評(píng)論信息是海量的無結(jié)構(gòu)化數(shù)據(jù)，企業(yè)和客戶想要從產(chǎn)品中獲得信息只有通過人工閱讀的方式進(jìn)行，而這是一個(gè)消耗時(shí)間而且容易產(chǎn)生錯(cuò)誤的過程[1]。如此處理并沒有很好地利用這些數(shù)據(jù)，既不能及時(shí)有效地反饋客戶對(duì)商品的態(tài)度，更難以為企業(yè)高層的決策提供輔助，由此“評(píng)論挖掘”應(yīng)運(yùn)而生。評(píng)論挖掘作為非結(jié)構(gòu)化信息挖掘的一個(gè)新興領(lǐng)域，主要涉及網(wǎng)絡(luò)評(píng)論中的情感分析、產(chǎn)品特征提取以及主觀內(nèi)容識(shí)別等[2]。與國(guó)外比，漢語評(píng)論挖掘方法和技術(shù)的研究起步較晚，而文化的差異、語言表達(dá)方式、詞匯語法等差異也注定很多國(guó)外的研究成果無法直接應(yīng)用到中文評(píng)論處理上。因此，結(jié)合相關(guān)文獻(xiàn)與研究，本文提出一種簡(jiǎn)單自動(dòng)提取出客戶評(píng)論中的產(chǎn)品特征的方法，實(shí)驗(yàn)證明該方法行之有效，可為企業(yè)建立評(píng)論挖掘系統(tǒng)提供參考。

2 客戶評(píng)論中的產(chǎn)品特征

產(chǎn)品特征指的是客戶、企業(yè)、廠方等對(duì)產(chǎn)品本身、產(chǎn)品部件、部件的性能或功能上的抽象概括。一般來說，生產(chǎn)商對(duì)于產(chǎn)品都會(huì)提供一份描述產(chǎn)品各方面功能和性能的說明文件。對(duì)于服裝產(chǎn)品來說，這份說明除了包括品牌、風(fēng)格、上市年份、材質(zhì)等服裝的基本屬性外，還包括更多的技術(shù)細(xì)節(jié)，但是這些細(xì)節(jié)客戶往往都不太感興趣。此外，客戶評(píng)論中對(duì)于產(chǎn)品特征的描述是一個(gè)開放性的問題，客戶可能在產(chǎn)品評(píng)論中發(fā)表一些企業(yè)或廠商根本就沒注意到的一些產(chǎn)品特征，而這些特征正影響著廣大消費(fèi)者的購買決策。正因如此，需要從產(chǎn)品評(píng)論中提取客戶評(píng)論中的產(chǎn)品特征[3]。

產(chǎn)品的特征分為顯式特征和隱式特征兩種[4]。顯式特征是直接出現(xiàn)在產(chǎn)品評(píng)論中描述產(chǎn)品的性能或功能的名詞或名詞短語。比如說“好喜歡，尺碼挺準(zhǔn)，挺合身的”，這里尺碼是顯式特征。而隱式特征就需要對(duì)句子的語義進(jìn)行理解才能提取出來，并沒有在語句中有直接的描述。如“從廣州到佛山給我送了5天我就呵呵了”，其實(shí)這里指出了產(chǎn)品物流的這個(gè)隱式特征。抽取隱式特征需要自然語言的分析和理解技術(shù)，但是目前該技術(shù)尚不成熟，所以這里所說的產(chǎn)品特征提取是指顯式特征的提取。

3 產(chǎn)品顯式特征的提取

3.1 人工定義和自動(dòng)提取

顯式產(chǎn)品特征的提取分人工定義和自動(dòng)提取兩類方法。

采用人工定義的方法就是從某特定領(lǐng)域的產(chǎn)品評(píng)論庫中以人工的方式抽取出產(chǎn)品特征。當(dāng)產(chǎn)品類型不同或者產(chǎn)品發(fā)生改變時(shí)，都需要重新構(gòu)建產(chǎn)品特征集合。這種方法的可移植性、自適應(yīng)性都比較差，查全率較低。

采用自動(dòng)提取的方法主要依靠詞性標(biāo)注、句法分析等方法配合其他的提取技術(shù)實(shí)現(xiàn)。比如利用NLP分詞及詞性標(biāo)注技術(shù)對(duì)客戶評(píng)論進(jìn)行解析，從中提取名詞或名詞短語來作為候選特征詞。此方法的優(yōu)點(diǎn)是處理速度快，但是只依賴詞性的提取精確度不高。另外有學(xué)者提出基于關(guān)聯(lián)規(guī)則挖掘頻繁項(xiàng)集并用支持度進(jìn)行裁剪的方法提取特征詞，使用這種方法能提取到高頻特征詞但對(duì)低頻特征詞提取效果不好[5]。文獻(xiàn)[6]提出一種利用互信息（PMI）的特征提取方法。該方法首先提取出頻率高于某一閾值的名詞或名詞短語來作為候選特征詞，然后利用搜索引擎計(jì)算出候選特征詞與產(chǎn)品的互信息，依此確定特征詞與該產(chǎn)品的相關(guān)性。但是由于是基于搜索引擎的方法，所以在處理的速度上會(huì)比其他方法慢許多。

3.2 產(chǎn)品特征提取方法

本文依據(jù)中文特點(diǎn)融合多種產(chǎn)品特征提取方法，提出一種簡(jiǎn)單有效的產(chǎn)品特征提取方法。該方法通過詞性標(biāo)注和統(tǒng)計(jì)抽取產(chǎn)品特征候選集，再利用模式匹配對(duì)產(chǎn)品特征候選集進(jìn)行裁剪，最后構(gòu)建無關(guān)詞庫對(duì)產(chǎn)品特征候選集進(jìn)行過濾，得到產(chǎn)品特征。提取過程如圖1所示。

該方法的具體步驟如下：

（1）利用爬蟲程序下載服裝商品評(píng)論。

本文實(shí)驗(yàn)數(shù)據(jù)采用某品牌天貓服裝的評(píng)論信息，因此需要設(shè)計(jì)出合適的爬蟲程序。網(wǎng)絡(luò)爬蟲是一種自動(dòng)提取網(wǎng)頁的程序，提取的數(shù)據(jù)是半結(jié)構(gòu)化的HTML結(jié)構(gòu)。

（2）過濾無價(jià)值的評(píng)論信息并形成商品評(píng)論庫。

爬蟲下載的源文檔HTML結(jié)構(gòu)中包含大量的與商品評(píng)論無關(guān)的內(nèi)容。如HTML文檔的頭部和尾部信息、外部資源的鏈接、客戶端腳本程序的定義、文檔樣式定義等內(nèi)容，這些內(nèi)容均屬于無價(jià)值的內(nèi)容。另外，由于客戶對(duì)商品的評(píng)論是開放性的，有部分客戶會(huì)借此做出惡意的推廣或誤導(dǎo)評(píng)論。包含各種聯(lián)系方式（電話號(hào)碼、QQ號(hào)等）和外部鏈接的評(píng)論基本都屬于無價(jià)值的惡意評(píng)論。

（3）利用中文分詞和詞性標(biāo)注工具處理評(píng)論庫。

通過過濾處理的評(píng)論數(shù)據(jù)組成評(píng)論庫，評(píng)論以句為單位通過分詞工具的處理，同時(shí)統(tǒng)計(jì)計(jì)算出詞語或短語出現(xiàn)的頻率。定義候選詞庫的數(shù)據(jù)結(jié)構(gòu)為{A，B，C，D}，其中A為詞語或短語，B為詞性，C為出現(xiàn)頻數(shù)，D為該詞在該句評(píng)論中的出現(xiàn)語法模式。如：評(píng)論“感覺衣服尺碼偏大”，若“尺碼”在庫中出現(xiàn)10次，則提取結(jié)果為{"尺碼"，"/n"，10，"/n/n/尺碼/a/a"}，最后形成由詞語和詞性標(biāo)注的有序排列。

（4）抽取候選特征詞。

由于產(chǎn)品特征值主要由名詞或者名詞短語組成，所以本文關(guān)注詞性標(biāo)注為名詞或名詞短語的分詞結(jié)果并將其抽取為候選特征詞集合。每一款服裝商品的所有評(píng)論都形成各自的候選特征詞集。

（5）通過半自動(dòng)的方法建立停用詞庫。

為了節(jié)省空間、提高提取效率和準(zhǔn)確率，需要過濾某些詞，這些詞稱為“停用詞”。這些詞往往出現(xiàn)頻率較高，但卻不是產(chǎn)品特征，有的甚至沒有什么含義。例如：“給表妹買的，很合身”這樣的句式在評(píng)論中是很常見的。其中“表妹”一類的人稱代詞出現(xiàn)的頻率較高，而一般的基于概率統(tǒng)計(jì)思想的算法往往會(huì)將其認(rèn)為是“高頻特征”而錯(cuò)誤提取。因此，使用停用詞庫進(jìn)行過濾就能較好地解決這一類問題。首先獲取其他類型商品的評(píng)論信息，按上述方法抽取出這些商品的特征詞，最后取這些特征詞的交集構(gòu)建停用詞庫。但是因?yàn)橛械奶卣髟~如上市時(shí)間，物流，外觀等屬于通用特征詞所以需人工挑選出來。

（6）裁剪候選特征詞。

通過統(tǒng)計(jì)和模式匹配對(duì)候選特征詞進(jìn)行裁剪。利用統(tǒng)計(jì)的方法選取高頻特征詞，并在這些已經(jīng)選取的高頻特征詞中前后尋找語法模式。然后調(diào)整統(tǒng)計(jì)的閾值并用語法模式的匹配裁剪以提取低頻的特征詞。最后通過停用詞庫過濾得出最終的產(chǎn)品特征詞集。

4 數(shù)據(jù)實(shí)驗(yàn)

4.1 特征詞集合

由高頻特征詞以及符合匹配模式的名詞組成，最后通過無關(guān)詞庫的過濾的出特征詞集合。采用某品牌天貓店中的1132款服裝的商品信息和對(duì)應(yīng)的17039條有效評(píng)論通過本文方法獲取商品特征如下：

其中特征詞旁的標(biāo)號(hào)為該詞在評(píng)論語句中出現(xiàn)的頻數(shù)，沒有標(biāo)號(hào)的詞通過匹配模式提取。

4.2 驗(yàn)證與評(píng)價(jià)

對(duì)產(chǎn)品特征提取方法的性能判斷，可用查全率和查準(zhǔn)率進(jìn)行評(píng)價(jià)。產(chǎn)品屬性的提取相當(dāng)于對(duì)屬性詞語的二維分類，即真實(shí)屬性還是非真實(shí)屬性、已提取屬性和未提取屬性的分類。采用列聯(lián)表（表2）說明如下：

查全率（R）=A/（A+B）；

查準(zhǔn)率（P）=A/（A+C）；

利用人工識(shí)別的方法，可做查全率和查準(zhǔn)率的計(jì)算，并說明上述方法的準(zhǔn)確性[7]。以一款男裝和一款女裝為例，統(tǒng)計(jì)結(jié)果如下：

某款夏季男裝（id：3953xxx0863）

相對(duì)于其他產(chǎn)品特征挖掘方法，本文所提出的方法與其他方法的結(jié)果比較如表5所示。以上述兩款服裝為例，算得查全率和查準(zhǔn)率的平均值分別為66.19和85.25。

通過比較，表明本文方法對(duì)于商品評(píng)論中的特征提取有著較高的查準(zhǔn)率，但是明顯的查全率偏低，基本保持在66%左右。這主要是由于低頻特征詞的獲取是由匹配模式?jīng)Q定的，個(gè)別的產(chǎn)品特征出現(xiàn)頻數(shù)較少以及網(wǎng)絡(luò)評(píng)論句式的自由化、多樣化都給匹配模式的準(zhǔn)確構(gòu)建提出了更高的要求。隨著匹配模式的進(jìn)一步研究與改進(jìn)，相信將會(huì)取得更好的效果，同時(shí)這也是本文今后的研究方向?？傊瑥膶?shí)驗(yàn)結(jié)果來看基于詞性標(biāo)注和統(tǒng)計(jì)并利用模式匹配對(duì)候選特征詞進(jìn)行裁剪的產(chǎn)品特征提取方法還是比較有效的。

5 總結(jié)

產(chǎn)品特征不僅是影響客戶做出商品購買決策的重要因素，也是企業(yè)為提高產(chǎn)品和服務(wù)質(zhì)量、提高收益的關(guān)鍵。而產(chǎn)品特征提取是產(chǎn)品評(píng)論挖掘的重要方面，更直接影響到評(píng)論挖掘系統(tǒng)的性能。本文提出的方法能夠有效地從商品評(píng)論庫中提取出商品特征值，并以真實(shí)評(píng)論數(shù)據(jù)為實(shí)驗(yàn)，表明了該方法的有效性，可為企業(yè)構(gòu)建評(píng)論挖掘系統(tǒng)作參考。

參考文獻(xiàn)：

[1] 伍星，何中市，黃永文.產(chǎn)品評(píng)論挖掘研究綜述[J].計(jì)算機(jī)工程與應(yīng)用，2008，4（36）：37-40.

[2] 李實(shí)，葉強(qiáng)，李一軍，羅嗣卿.挖掘中文網(wǎng)絡(luò)客戶評(píng)論的產(chǎn)品特征及情感傾向[J].計(jì)算機(jī)應(yīng)用研究，2010，27（8）：3016-3019

[3] 郗亞輝， 張明， 袁方，等. 產(chǎn)品評(píng)論挖掘研究綜述[J]. 山東大學(xué)學(xué)報(bào)：理學(xué)版， 2011， 46（5）：16-23.

[4] 王永， 張勤， 楊曉潔. 中文網(wǎng)絡(luò)評(píng)論中產(chǎn)品特征提取方法研究[J]. 現(xiàn)代圖書情報(bào)技術(shù)， 2013（12）：70-73.

[5] 李培. 產(chǎn)品評(píng)論挖掘的觀點(diǎn)抽取和分類技術(shù)研究[D]. 重慶大學(xué)， 2009.

[6] 桑書娟，王敏.一種結(jié)合文檔頻率和互信息的特征項(xiàng)提取方法[J].電腦知識(shí)與技術(shù)， 2012， 08（11）：2593-2594

[7] 翟東升，徐穎，黃魯成，趙京.基于產(chǎn)品評(píng)論挖掘的競(jìng)爭(zhēng)產(chǎn)品優(yōu)勢(shì)分析[J].情報(bào)雜志，2013，32（2）： 45-51.