基于循環(huán)神經(jīng)網(wǎng)絡(luò)和余弦相似度算法的智能客服機(jī)器人研究

蔡發(fā)群

(南京科技職業(yè)學(xué)院，江蘇 南京 210048)

295463913@qq.com

1 引言(Introduction)

隨著互聯(lián)網(wǎng)的發(fā)展，購物方式發(fā)生了巨變。電子商務(wù)已成為主流商務(wù)形式，越來越多的商家實(shí)施線上交易。電商渠道的商家與客戶交流的主要紐帶就是客服。為了能夠提高客戶的滿意度，促成交易，商家不得不雇傭大量的客服人員。這就導(dǎo)致市場上客服人員供不應(yīng)求；另一方面，由于工作壓力大，晉升空間有限，所以，客服人員流失嚴(yán)重，服務(wù)質(zhì)量難以保證。人工客服招聘難，流動大，成本高，促使客服機(jī)器人應(yīng)運(yùn)而生。部分企業(yè)也積極上馬客服機(jī)器人，取代人工客服。然而，客服機(jī)器人技術(shù)尚不成熟，很多店鋪的客服機(jī)器人不僅不能很好地解決客戶的疑慮，提高客戶滿意度，反而降低了客戶的滿意度，甚至答非所問，讓客戶抓狂。因此，如何構(gòu)建智能客服機(jī)器人，實(shí)現(xiàn)精準(zhǔn)解答客戶疑問和投訴成為客服機(jī)器人主攻研究方向。

2 文獻(xiàn)綜述(Literature review)

1966 年世界上第一個對話機(jī)器人ELIZA誕生于麻省理工學(xué)院。1995 年Richard S.Wallace博士開發(fā)了ALICE系統(tǒng)。2001 年，機(jī)器人SmarterChild上線。2008 年，整合了眾多網(wǎng)絡(luò)服務(wù)功能的蘋果Siri上架。2015 年，京東JIMI正式接入。用戶可以通過與JIMI聊天了解商品的具體信息以及反饋購物中存在的問題等。JIMI知道自己不能回答用戶的哪些問題，并且知道何時應(yīng)該轉(zhuǎn)向人工客服。

對話機(jī)器人以檢索式為主，必須由一個或若干個問答數(shù)據(jù)庫作為支撐。用戶提出問題時，系統(tǒng)通過檢索、匹配技術(shù)從數(shù)據(jù)庫中找出答案來進(jìn)行回復(fù)。因此，數(shù)據(jù)庫的質(zhì)量對答復(fù)的有效性和準(zhǔn)確性有很大的影響。然而，數(shù)據(jù)庫規(guī)模再大，質(zhì)量再好，也不可能實(shí)現(xiàn)永遠(yuǎn)完美答復(fù)，因?yàn)閷υ挼膱鼍叭招略庐悾藗兊谋磉_(dá)方式也隨著時間不斷變化，這些變化都需要對數(shù)據(jù)庫進(jìn)行更新和補(bǔ)充。近年來，深度學(xué)習(xí)方法在自然語言、語音、圖像、視頻等領(lǐng)域發(fā)展迅猛。使用圖神經(jīng)網(wǎng)絡(luò)構(gòu)建推薦算法逐漸成為當(dāng)今推薦算法的研究熱潮。這個方法恰好可以解決客服機(jī)器人自動更新和擴(kuò)充數(shù)據(jù)庫的需求。

3 基于循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的智能機(jī)器人答復(fù)推薦系統(tǒng)(Intelligent robot reply recommendation system based on recurrent neural network learning algorithm)

客服機(jī)器人給出準(zhǔn)確答案的過程主要包括三個步驟。第一步，數(shù)據(jù)采集。數(shù)據(jù)采集包括客戶基本信息、客戶行為信息、客戶提問信息以及常見客戶歷史問題及對應(yīng)回復(fù)信息等。第二步，數(shù)據(jù)處理。數(shù)據(jù)處理主要是進(jìn)行客戶提問標(biāo)簽提取。首先，對客戶當(dāng)前提問進(jìn)行分詞處理，抽取出可以代表其含義的屬性詞，用具體的詞向量來表示客戶的抽象提問，每個詞對應(yīng)的權(quán)重由信息檢索算法TF-IDF來決定，然后利用客戶購物、瀏覽、咨詢及評價等歷史信息的特征數(shù)據(jù)，以及客戶的年齡、性別、地域等來分析出此用戶的提問特征，最終提取出客戶提問標(biāo)簽。第三步，答復(fù)推薦。通過對比客戶提問標(biāo)簽和數(shù)據(jù)庫中問題標(biāo)簽，為用戶推薦相關(guān)性最大的回復(fù)信息。具體步驟如圖1所示。

圖1 基于循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的智能機(jī)器人答復(fù)推薦系統(tǒng)Fig.1 Intelligent robot reply recommendation system based on recurrent neural network learning algorithm

3.1 數(shù)據(jù)采集

客服機(jī)器人回復(fù)客戶提問的主要依據(jù)，除了客戶當(dāng)下提問內(nèi)容外，還要考慮客戶年齡、性別、偏好、地域、受教育程度、人口統(tǒng)計(jì)學(xué)信息，用戶的瀏覽、購買、評價行為信息等。因此，客服機(jī)器人必須先采集相關(guān)信息。

客戶提問可以通過相關(guān)入口直接錄入。而客戶年齡、性別、偏好、地域、受教育程度、人口統(tǒng)計(jì)學(xué)信息則可以在客戶注冊時錄入到客戶基本信息庫，需要時再在客戶基本信息庫中提取。用戶的瀏覽、購買、評價等行為信息可以在客戶購物過程中錄入到客戶行為信息庫中。

3.2 數(shù)據(jù)處理

對于客戶的提問，首先必須進(jìn)行分詞處理，將非結(jié)構(gòu)化的客戶提問分成一個個詞語，并對每個詞語賦予權(quán)重，然后結(jié)合客戶的基本信息和行為信息，構(gòu)成客戶提問向量，從而獲取客戶提問標(biāo)簽。問題庫中的問題也用同樣的方法設(shè)置標(biāo)簽。最后將客戶提問標(biāo)簽與問題庫中的問題標(biāo)簽進(jìn)行對比，從而確定如何答復(fù)客戶。

要想實(shí)現(xiàn)精準(zhǔn)回答，智能客服機(jī)器人必須能夠分析客戶提問和問題庫中問題的語義。國內(nèi)客服機(jī)器人主要服務(wù)于中國人，因此，必須要先學(xué)會中文分詞。中文分詞作為中文自然語言處理領(lǐng)域的重要基礎(chǔ)研究，近些年來很多專家學(xué)者致力于該領(lǐng)域的研究，研究方法主要分為三種：(a)基于規(guī)則的方法；(b)基于傳統(tǒng)機(jī)器學(xué)習(xí)模型的方法；(c)基于深度神經(jīng)網(wǎng)絡(luò)模型的方法。深度神經(jīng)網(wǎng)絡(luò)模型基礎(chǔ)算法是自然語言處理算法(Natural Language Processing，NLP)，包括詞法分析、句法分析、語義分析、文檔分析等。

中文分詞是一個經(jīng)典的預(yù)測序列問題，方法主要有基于隱含馬爾柯夫模型(Hidden Markov Model，HMM)分詞法、基于條件隨機(jī)場(Conditional Random Field，CRF)分詞法和基于LSTM的分詞方法。Hochreiter等人在1977 年又提出LSTM模型，LSTM是循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)的一個變種，它克服了RNN模型訓(xùn)練過程中梯度消失和梯度爆炸的缺陷。LSTM模型的總體結(jié)構(gòu)如圖2所示。

圖2 LSTM模型總體結(jié)構(gòu)Fig.2 Overall structure of LSTM model

LSTM在循環(huán)單元內(nèi)部引入了門限(gate)結(jié)構(gòu)。LSTM模型中有三個“門”，分別是“遺忘門”“輸入門”和“輸出門”，分別用于決定哪些信息要舍棄，哪些信息要留下，最終輸出哪些信息。如圖3所示，時刻的相關(guān)信息受-1 時刻的信息影響，同時又影響著+1 時刻，從而保持持續(xù)性。

圖3 LSTM模型詳解圖Fig.3 LSTM model details

為了將中文分詞問題轉(zhuǎn)化成序列標(biāo)注問題，就需要將分詞中的每一個字進(jìn)行標(biāo)注。在深度學(xué)習(xí)分詞研究工作中，常用的標(biāo)注集是四詞位(B、M、E、S)，分別表示一個分詞的開始詞位、中間詞位、結(jié)束詞位以及以單獨(dú)一個字構(gòu)成的分詞。中文分詞中，LSTM記憶單元就是文本的上下文，再結(jié)合相關(guān)函數(shù)，推理出文本的分詞構(gòu)成。

客服機(jī)器人研究的對象主要是客戶的提問和問題庫問題，都屬于非結(jié)構(gòu)化數(shù)據(jù)。一般用向量空間模型(Vector Space Model，VSM)將非結(jié)構(gòu)化的問題結(jié)構(gòu)化。

這樣就可以實(shí)現(xiàn)對所有客戶可能提出問題歸一化?？梢宰尣煌瑔栴}統(tǒng)一用向量表示，這些向量就可以作為對應(yīng)答復(fù)的標(biāo)簽。

客服機(jī)器人除了要考慮客戶的當(dāng)前提問，還需要考慮客戶的購物經(jīng)歷、評價、瀏覽、以往提問等信息，以及年齡、性別、地域、受教育程度、地域等信息，還有人口統(tǒng)計(jì)學(xué)特征或行為特征等，也將作為向量維度。因此客戶提問標(biāo)簽可以表示為

3.3 答復(fù)推薦算法

目前搜索引擎、社交媒體等平臺使用的推薦算法主要有Rocchio算法、決策樹算法(Decision Tree，DT)、線性分類算法(Linear Classifer，LC)、樸素貝葉斯算法(Naive Bayes，NB)、余弦相似度算法(Cosine Similarity，CS)等。

Rocchio算法是一種匹配推薦算法，是處理反饋的著名算法，經(jīng)常用于搜索引擎。往往會先向客戶呈現(xiàn)各種可能結(jié)果。然后根據(jù)客戶的點(diǎn)擊情況，再縮小結(jié)果范圍，慢慢精準(zhǔn)化。這種方法顯然不適合客服機(jī)器人。

決策樹算法是一種逼近離散函數(shù)值法，是一種典型的分類方法。首先利用歸納算法生成可讀的規(guī)則和決策樹，然后對數(shù)據(jù)進(jìn)行分析。決策樹算法其實(shí)是通過一系列規(guī)則對數(shù)據(jù)進(jìn)行分類。當(dāng)項(xiàng)目屬性較少而且是結(jié)構(gòu)化屬性時，決策樹一般會是個好的選擇。但是如果項(xiàng)目的屬性較多，且都來源于非結(jié)構(gòu)化數(shù)據(jù)，比如文章、問題等，那么決策樹算法的效果就不理想了。

線性分類算法指用一個線性方程把待分類數(shù)據(jù)分開。對于二維的情況，就是用一條直線將數(shù)據(jù)分開。對于三維的情況，則是用一個超平面將數(shù)據(jù)區(qū)分開來。它的分類算法基于一個線性預(yù)測函數(shù)，決策的邊界是平的，比如直線和平面。這種方法顯然也不適合客服機(jī)器人。

樸素貝葉斯方法是在貝葉斯算法的基礎(chǔ)上進(jìn)行了簡化?；跇闼刎惾~斯算法進(jìn)行分類的基本原理是假設(shè)特征之間互相獨(dú)立，既沒有哪個屬性對于決策結(jié)果影響比較大，也沒有哪個屬性對于決策結(jié)果影響比較小。這種方法簡化了貝葉斯方法的復(fù)雜性，但是，在一定程度上降低了貝葉斯分類算法的分類效果。

余弦相似度算法是通過向量空間中兩個向量夾角的余弦值作為衡量兩個項(xiàng)目間相似性的方法。余弦值越接近1，角越接近0 度，表明兩個向量越相似性高，等于1時表明兩個向量完全相同，如圖4所示。余弦值越接近-1，角越接近180 度，表明兩個向量基本不相似，或相似度很低。兩個向量之間的角度的余弦值確定兩個向量的方向的一致性。余弦相似度通常用于正空間，因此給出的值為-1到1。

圖4 余弦相似度算法原理圖Fig.4 Schematic diagram of cosine similarity algorithm

向量空間余弦相似度理論就是基于上述原理來計(jì)算個體相似度的。假設(shè)向量(,)、向量(,)是二維向量，如圖5所示，那么余弦定理的表達(dá)形式，即向量和向量夾角的余弦為

圖5 二維向量夾角示意圖Fig.5 Schematic diagram of included angle of twodimensional vector

當(dāng)向量和向量為維向量時，則向量與向量夾角的余弦為

余弦相似度算法通常用于數(shù)據(jù)挖掘中的文本比較。智能客服機(jī)器人在回答客戶問題時主要用到的就是文本比較。因此，余弦相似度算法比較適合客服機(jī)器人答復(fù)推薦。首先，基于LSTM網(wǎng)絡(luò)學(xué)習(xí)將客戶提問和問題庫中的問題向量化，然后就可以利用余弦相似度算法比較客戶提問和問題庫中問題向量的相似度，從而確定提交給客戶的答復(fù)信息。

假設(shè)某服裝店鋪的客戶提問：皮膚黑選哪個顏色比較合適呢？

假設(shè)問題庫中有9 個問題，其中只有問題A和問題B與客戶提問有共有詞。

問題A：皮膚白哪個顏色合適？

對應(yīng)答復(fù)：親，皮膚白穿什么顏色都好看哦，只是不同的顏色彰顯的氣質(zhì)不同。粉色溫柔、甜美，黃色明快、純潔，紅色熱烈、有朝氣，深藍(lán)色低沉、神秘，紫色優(yōu)美高雅、雍容華貴。親可以根據(jù)自己的需要選哦。

問題B：皮膚黑哪個顏色合適？

對應(yīng)答復(fù)：親，您好，根據(jù)我們的經(jīng)驗(yàn)，淡黃色、豆沙粉、米白色比較襯皮膚，顯白哦！

在暫不考慮客戶基本信息和行為信息的情況下，到底應(yīng)該把哪個答復(fù)推薦給客戶呢？基本思路是要看客戶提問與問題庫中問題的相似性，而兩者之間的相似性取決于詞向量的關(guān)系，因此，先對它們進(jìn)行分詞，然后計(jì)算權(quán)重，最后得到詞向量，最后再利用余弦相似度算法計(jì)算客戶提問與問題庫中各問題的相似程度，取值最大的那個就是問題的答復(fù)。

第一步，對客戶提問和問題庫問題進(jìn)行分詞處理。

客戶提問：皮膚/黑/選/哪個/顏色/比較/合適/呢？

問題A：皮膚/白/哪個/顏色/合適

問題B：皮膚/黑/哪個/顏色/合適

第二步，通過對人工客服語料庫訓(xùn)練可知，語氣詞“呢”，形容詞“比較”，以及“？”等在聯(lián)系上下文的情況下可以忽略不計(jì)。因此，可以列出所有詞：皮膚，黑，白，選，哪個，顏色，合適。

第三步，計(jì)算客戶提問和問題庫問題詞頻。

客戶提問：皮膚1，黑1，白0，選1，哪個1，顏色1，合適1

問題A：皮膚1，黑0，白1，選0，哪個1，顏色1，合適1

問題B：皮膚1，黑1，白0，選0，哪個1，顏色1，合適1

第四步，給出客戶提問和問題庫問題詞頻向量，即它們的標(biāo)簽。

客戶提問向量：[1，1，0，1，1，1，1]

問題A向量：[1，0，1，0，1，1，1]

問題B向量：[1，1，0，0，1，1，1]

根據(jù)TF-IDF算法可知，客戶提問標(biāo)簽如下式：

因此，客戶提問標(biāo)簽為[0.1，0.13，0，0.17，0.1，0.1，0.1]。

同理可知，問題A標(biāo)簽為[0.12，0，0.21，0，0.12，0.12，0.12]，問題B標(biāo)簽為[0.12，0.16，0，0，0.12，0.12，0.12]。

現(xiàn)在，問題比較就變成如何計(jì)算向量夾角余弦值的問題了。三個問題就像空間中的三條向量，都是從原點(diǎn)(0，0，0，0，0，0，0，0)出發(fā)，指向不同的方向。每兩個向量之間形成一個夾角，夾角余弦值代表著兩個向量方向的一致性，也就是提問和問題間的相似性程度。

根據(jù)余弦相似度算法，客戶提問和問題A兩個向量之間夾角的余弦值，如式(9)所示。

同理，客戶提問和問題B兩個向量之間夾角的余弦值約為0.81。計(jì)算結(jié)果表明客戶提問與問題B兩個向量間的夾角的余弦值為0.81，遠(yuǎn)大于客戶提問與問題A間的夾角的余弦值0.52。所以客戶提問和問題B更相似，因此應(yīng)該將問題B對應(yīng)的答復(fù)提交給客戶。當(dāng)然從語義表達(dá)上可以看出，雖然問題A和問題B中沒有“選”這個詞，但加上有這兩個詞后語義是沒有什么改變的?？紤]到這一點(diǎn)，兩個余弦值應(yīng)該更高，相似性也會更明顯些。

4 結(jié)論(Conclusion)

中國語言博大精深，有的一詞多義，有的則是一義多詞，因此，不同語境下分詞結(jié)果可能會不同，不同的分詞結(jié)果，向量表達(dá)也有可能相同。要想精確表達(dá)，還需進(jìn)一步優(yōu)化算法。本研究采用LSTM算法進(jìn)行分詞，還不能完全解決分詞歧義，序列長度超過一定限度后，LSTM算法也會出現(xiàn)梯度消失的情況。另外，利用余弦相似度算法進(jìn)行答復(fù)推薦也存在一定的局限性。余弦相似度算法只考慮向量的方向，不考慮其大小。因此，推薦答復(fù)時，可能還不夠準(zhǔn)確。智能機(jī)器人技術(shù)在不斷發(fā)展中，相關(guān)算法在不斷升級，后期還要進(jìn)一步研究相關(guān)算法，以實(shí)現(xiàn)客服機(jī)器人精準(zhǔn)答復(fù)。