基于文本分類和情感識別的服務類電商滿意度研究
——以搬家服務為例

黃景濤 田文濤 龐旭林 李晶 王慶春

(國家市場監(jiān)督管理總局信息中心 北京 100011)

近年來，非實物類的電子商務在我國得到了快速發(fā)展，如搬家、酒店、旅游、KTV、按摩等。搬家行業(yè)的線上交易比例越來越大，其中最有影響力的平臺是58同城和美團。

在電商平臺上，交易完成后通常要求用戶給商品或服務作出評論。這些評論不僅為新用戶選購商品提供生動實際的案例，還能幫助商戶分析自身的優(yōu)缺點，進行決策優(yōu)化，提高商品質量和服務質量。通過研究這些評論內容，管理者可以了解整個行業(yè)的商品質量、服務質量、用戶滿意度和變化趨勢及存在的問題等，從而進行針對性的監(jiān)管和服務。

1 相關研究

基于評論內容對產品和服務的質量進行分析，國內外已經有了不少的研究。王木子、李軍(2021)[1]，周燕、商平平[2]等利用客戶給出的評論來評價實物型產品的滿意度。一般而言，大多數評論針對的是產品的一個或幾個特性，經常被稱為產品的“方面”。秦海菲、杜軍平(2018)[3]等認為，酒店的方面是服務、環(huán)境、設施、整體舒適度和餐飲。類似的研究還有賴玲玲、彭麗芳(2017)[4]基于在線評論分析的旅游市場服務質量等。

文獻中常用的處理方法是將評論文本輸入內容挖掘軟件中，基于軟件輸出的結果進行分析。這些挖掘軟件具有分詞和詞頻分析功能，有一些還能進行文本聚類和情感分析。這種方法存在幾個問題：(1)只能對整體的評論語句進行情感判斷，而不是產品的方面(特性)。雖然部分軟件有聚類功能，但聚類結果集與理想的方面分類集差異較大，評論語句里經常涉及產品的多個方面，導致聚類結果交叉較多，含混不清。(2)不能根據應用場景調整情感分值。有時同一句子在不同語境下情感分析的結果也不一樣，如“滿頭大汗”對消費者具有負面情感，但是在形容搬家?guī)煾倒ぷ鲿r應屬于正面情感。(3)自然語言處理領域的技術發(fā)展很快，挖掘軟件沒有及時更新，分析結果不能令人滿意。

2 分析方法

2.1 分析框架

針對相關研究的不足之處，本文采用了一系列的新方法。在收集評論文本后，首先，進行預處理，把評論內容分割成多個短句，每個短句只針對產品的一個方面，采用優(yōu)化后的文本分類模型對短句進行分類，將針對產品同一方面的評論短句分到同一個集合中；其次，采用基于預訓練技術和微調技術的情感計算模型，計算每個短句的情感分值。在每條評論中，屬于產品同一方面的短句取平均值得到該評論在這一方面的分值。情感分值為0～1的一個數值，如果超過規(guī)定的閾值，就判為滿意，否則判為不滿意；最后，將所有評論中滿意評論所占的百分比作為該方面的用戶滿意度。實例研究表明，用戶滿意度可以較好地反映用戶對該產品的喜好程度，對準備購買的用戶和監(jiān)管人員具有重要的參考意義。

2.2 文本預處理

在線評論的數據有一些明顯特點，如口語化、短句較多、標點符號不規(guī)范、錯別字較多、存在較多的空評論或內容完全相同的評論等。為了得到真實客觀的語料和用戶滿意度，需對語料進行格式整理、內容整理、短句分割等預處理。格式整理包含刪除句子中間的空格、換行符、轉義字符等；內容整理包含刪除空數據，刪除明顯重復的數據；短句分割，即用常見的標點符號對評論語句進行切分，形成短句集，它們是計算情感分值的基礎單位。

2.3 詞頻分析及分析方面的確定

評論內容的詞頻分布與反映的內容、蘊含的情感具有緊密的關系。通過詞頻分析，我們可以得到評論文本反映的產品方面和用戶的情感傾向。統(tǒng)計詞頻前，要先對文本進行分詞，并刪除一些虛詞和助詞等對整體的內容和情感分析幫助不大的詞。根據詞頻統(tǒng)計結果，結合其他行業(yè)的文獻分析，最終確定搬家服務的分析方面。

2.4 文本的方面分類

評論文本分成短句之后，每個短句的文字數量一般在10個字左右，而且語法不規(guī)范，僅憑文字特征不能充分反映其含義和類別。本文參考了Devlin[5]等提出的預訓練語言模型，利用網絡上大量存在的文本進行訓練，學習其中的字、詞出現(xiàn)的規(guī)律，建立一個符合海量文本分布的模型。本文以預訓練模型為基礎，搭建了一個文本分類模型，并用實際語料進行微調，最后用這個模型將短句按照不同的方面進行分類。

2.5 文本的情感分值計算

文本的情感分析是指對文本中包含的情感的極性和程度進行計算。對于評論文本，計算的是用戶對商品的喜愛和厭惡的程度，反映了用戶的滿意度。本文使用了Tian Hao等(2020)[6]提出的SKEP模型，在多個情感計算任務中獲得了最佳效果。

3 實驗

3.1 數據

58同城是搬家行業(yè)內比較活躍的網站。筆者在58同城上下載了2018—2021年共4年的評論數據，共計24172條。經過預處理和分割后，得到的短句數量為121686條。

3.2 詞頻分析和分析方面的確定

對預處理后的全部評論文本進行分詞，去除停用詞，并進行詞頻統(tǒng)計。對高頻詞及對應的文本進行分析，并參考酒店、旅游等其他行業(yè)的方面分類，確定了如表1所示的5個分析方面。

表1 分析方面的確定

3.3 短句的方面分類

對分割后得到的短句，取其中1萬條按前文確定的方面進行人工標注。為了讓分類器工作在“無偏”的模式下，可對各個方面的標注語料進行平衡，刪多補少，讓各個方面的訓練語料數量比較接近。按照前文的方法，用這些語料對文本分類器模型進行微調，并用微調后的模型對短句進行方面分類，得到的結果如表2所示。

表2 短句的方面分類

3.4 評論的情感計算

在分割后的評論短句中取1萬條，在搬家服務評論的語境下進行標注，情感極性為積極的標為1，消極的標為0。對標注語料的類別進行平衡處理，按照前文的方法，用這些語料對情感計算模型進行微調。用微調后的模型計算全部短句的情感分值，并計算用戶滿意度，得到的結果如表3所示。

4 基于方面的搬家服務質量分析和提升

4.1 服務質量分析

(1)從表3可以看出，溝通聯(lián)絡方面的用戶滿意度為97.15%，呈現(xiàn)小幅增長趨勢，從2018年的96.69%增加到2021年的98.78%。從評論文本來看，差評中排名靠前的詞語包括：差、態(tài)度、電話、售后服務等；得分最低的短句為：跟客服溝通態(tài)度還很不好、售后服務差、客服態(tài)度極差、電話響應慢、接線員態(tài)度差等。由此可以看出，在溝通聯(lián)絡方面用戶不滿意的是溝通態(tài)度和售后服務、電話響應速度等。

表3 各方面的用戶滿意度和評論數

(2)服務價格方面的用戶滿意度為84.72%。對差評進行詞頻分析，前幾名分別是收費、依據、加價、沒有、標準、臨時、中途、費用等。得分最低的短句為：商家報價非常離譜、當我拿價格跟貨拉拉比時對方直接爆粗口辱罵(價格多120%)、報價很離譜、價格太虛高。由此可以看出，在服務價格方面，雖然整體滿意度逐年增加，但在最高的2021年才有89.77%，是需要大幅提高和加強監(jiān)管的方面。用戶最不滿意的是報價虛高和臨時加價、收費沒有標準等。

(3)服務質量方面的用戶滿意度為88.92%。差評中提到最多的詞匯包括輕放、易碎、碰、打包、磕、拆裝等。得分最低的短句為：商家服務非常野蠻、服務很差勁、柜子搬散架了我沒說什么水壺碎了化妝品全部掉出來有些擠得到處是我也沒說什么。由此可以看出，在服務質量方面，雖然滿意度逐年增加，但在最高的2021年才有93.67%，還有提升的空間。用戶最不滿意的是野蠻服務、不注意保護物品、服務不規(guī)范等。

(4)人員素質方面的用戶滿意度為95.11%。對差評進行詞頻分析，其中前幾名分別是專業(yè)、小心、累、滿頭大汗、辛苦、力氣、扛等。得分最低的短句為：搬家?guī)煾邓刭|超級低、員工也是態(tài)度極其差、商家的工人素質太差、搬貨的人態(tài)度一點都不好等。由此可以看出，在人員素質方面，雖然整體滿意度逐漸增長，但還需進一步提升。用戶最不滿意的是工人素質差、動作野蠻、態(tài)度不好等。

4.2 行業(yè)監(jiān)管和質量提高

從以上數據和分析可以看出，搬家服務的用戶滿意度呈現(xiàn)逐年增加的態(tài)勢。從各方面來看，溝通聯(lián)絡和人員素質方面的滿意度較高，而服務價格和服務質量方面滿意度較低。對于從業(yè)者和監(jiān)管者，可考慮從以下幾個角度改善。

4.2.1 制定服務收費清單，提高價格透明度

用戶對于服務價格太高和臨時加價、亂收費方面意見最大。可采取如下措施：規(guī)定明確的收費項目清單和指導價，商家根據指導價在網站上公布具體報價，供雙方在結賬時簽字使用，若有爭議，雙方可對交易提起仲裁。具體計價清單可以包括起步價、上下每一層樓梯的價格、停車位置到搬動起始點的距離、是否使用電梯、貴重物品清單和價格、高難度物品清單和價格、誤餐費、超時費、特殊要求收費等，被仲裁交易的百分比可作為對商家考核和監(jiān)管的重要指標。

4.2.2 制定服務規(guī)范，提高服務質量

在服務質量方面，用戶的意見集中在操作流程、物品是否得到妥善保護、安放是否到位等方面。對此，建議網站和行業(yè)監(jiān)管協(xié)會制定具體的服務規(guī)范，內容包括現(xiàn)場服務流程、溝通聯(lián)絡的態(tài)度、物品打包和保護措施、物品裝運注意事項、物品安裝和放置事項、售后服務事項等。

以上兩條是對交易雙方的承諾和約束，讓雙方在交易之前都明確各自的權利和義務，避免事后出現(xiàn)爭議。在補齊這兩個短板之后，相信用戶的直觀感受也會大幅提升，從而提高整個行業(yè)的服務質量。

5 結語

本文以58同城網站上用戶對搬家服務的評論為切入點，采用預訓練模型計算各個方面的用戶滿意度，并計算出搬家行業(yè)的總體滿意度。本文處理的基本對象是短句，解決了句子中多個方面情感分值混雜的問題。進一步的研究工作將考慮更多的數據來源、更加合理的方面分類、更加精確的情感計算方法等。