基于深度學(xué)習(xí)的智能聊天機(jī)器人的研究與實(shí)現(xiàn)

趙鴻陽

摘要：伴隨著深度學(xué)習(xí)不斷深入的研究，該技術(shù)已經(jīng)被應(yīng)用到詞向量表示、機(jī)器翻譯、自然語言理解、情感分析和中文分詞領(lǐng)域。目前，許多研究人員已經(jīng)對聊天機(jī)器人的主要技術(shù)進(jìn)行了深入的研究，機(jī)器學(xué)習(xí)中的深度學(xué)習(xí)技術(shù)也被逐漸的應(yīng)用到研究中。本文闡述了聊天機(jī)器人存在的主要問題，針對存在的問題分別闡述了本文提出的LSTM-LDA神經(jīng)網(wǎng)絡(luò)主題模型以及Attention+Bi-LSTM的seq2seq模型，描述聊天機(jī)器人的模型，最后對本文提出的BT-DLL Model（基于Sequence to Se-quence框架）進(jìn)行了實(shí)驗(yàn)設(shè)計。

關(guān)鍵詞：深度學(xué)習(xí);神經(jīng)網(wǎng)絡(luò)主題模型;聊天機(jī)器人;LDA;長短期期記憶網(wǎng)絡(luò)

0引言

目前，可在商場或者電商網(wǎng)站見到很多種類的聊天機(jī)器人。從功能的角度，聊天機(jī)器人可以分為任務(wù)型聊天機(jī)器人、問答型聊天機(jī)器人與閑聊型聊天機(jī)器人。從模式角度，聊天機(jī)器人可以分為檢索模式的機(jī)器人和生成模式的機(jī)器人。從領(lǐng)域分類角度，聊天機(jī)器人可以分為開放領(lǐng)域的機(jī)器人與封閉領(lǐng)域的機(jī)器人。封閉領(lǐng)域的chatbot是有著準(zhǔn)確的聊天對象以及目的，并且嘗試實(shí)現(xiàn)一個明確的聊天目標(biāo)，所以其輸入與輸出的空間是有數(shù)量限制的，并且比較容易實(shí)現(xiàn)。開放領(lǐng)域的chatbot是沒有明確的意圖與目標(biāo)（聊天的范圍與界限），其主要適用于聊天以及娛樂。檢索模式聊天chatbot，依靠預(yù)定義響應(yīng)的對話資源庫與設(shè)定的啟發(fā)式推理方法，利用上下文信息以及輸入信息做出適合的響應(yīng)。生成模式聊天chatbot，當(dāng)用戶輸入一些語句，該機(jī)器人則利用一些技術(shù)形成自動回復(fù)。深度學(xué)習(xí)（DL，DeepLearning）或階層學(xué)習(xí)（hierarchical learning）是機(jī)器學(xué)習(xí)的重要技術(shù)。它可以輔助聊天機(jī)器人擁有自動生成式與開放的特征。所以，諸多知名學(xué)者針對人工智能展開研究的過程之中，均將聊天chatbot作為一項(xiàng)重點(diǎn)內(nèi)容。

檢索模式聊天chatbot擁有豐富的對話資源庫，通過不斷地匹配用戶的聊天內(nèi)容，可以完成一定的聊天。在實(shí)際聊天中，各種語句都會存在，而語句的邏輯性、詞語的詞性等均存在一定的不確定性，有的問句中的同詞的不同含義等現(xiàn)象。為了將對話進(jìn)行下去，機(jī)器人必須要具備較強(qiáng)的語義消歧能力，并且還要對回答過的問題進(jìn)行記憶，不然機(jī)器人就不能解析輸入的聊天內(nèi)容。為了提高聊天對話的趣味性，應(yīng)當(dāng)將人類情感“賦予”機(jī)器人，使其具備一定的“情商”，并且可以獲取知識與理解信息。隨著我國大數(shù)據(jù)行業(yè)的快速發(fā)展，應(yīng)用聊天的內(nèi)容或者數(shù)據(jù)進(jìn)行訓(xùn)練聊天chatbot。已經(jīng)成為人工智能領(lǐng)域研究的重點(diǎn)。本文重點(diǎn)研究與實(shí)現(xiàn)的是一個擁有生成式與開放領(lǐng)域特性的聊天chatbot。

1 LSTM-LDA神經(jīng)網(wǎng)絡(luò)主題模型

對于傳統(tǒng)的LDA主體模型而言，其在具體應(yīng)用過程中存在諸多問題，首先是可擴(kuò)展性不高，其次是主題語義不連貫，再次是推斷上下文一致性不足，最后則是在特征表述方面，存在能力較弱的基本問題。隨著社會的不斷發(fā)展，深度學(xué)習(xí)技術(shù)得到了極大的改進(jìn)與優(yōu)化，而其應(yīng)用范圍也擴(kuò)展至自然語言領(lǐng)域，表現(xiàn)出了十分優(yōu)異的性能。同時，在主體模型方面，也取得了重大突破，為構(gòu)建合理、完善并且語義連貫的模型提供了重要基礎(chǔ)，確保了其可行性。本文在研究分析的過程中，運(yùn)用合理化的方式把LDA、深度長期記憶神經(jīng)網(wǎng)絡(luò)進(jìn)行高效融合，搭建了一種完備、科學(xué)的神經(jīng)網(wǎng)絡(luò)主體模型，即LSTM-LDA。

對此種神經(jīng)網(wǎng)絡(luò)主體模型進(jìn)行設(shè)計的基本思路為：依靠LSTM（長短期記憶網(wǎng)絡(luò)）的隱藏層，對主題一詞匯和文檔一主題層進(jìn)行了編碼：把所得到的一系列信息數(shù)據(jù)進(jìn)行整合，做為神經(jīng)網(wǎng)絡(luò)輸入層的輸入部分。而在輸入層之中，神經(jīng)網(wǎng)絡(luò)輸出功能的實(shí)現(xiàn)主要是借助softmax函數(shù)實(shí)現(xiàn)。本模型不僅是一個神經(jīng)網(wǎng)絡(luò)，還獲得了一定的主題功能。該模型的整體架構(gòu)如圖1所示：

圖1中左邊的部分（文檔-主題）是依靠神經(jīng)網(wǎng)絡(luò)獲得文檔的語義編碼，簡單來說，就是獲取文檔級別的語句含義信息。文檔一主題的神經(jīng)網(wǎng)絡(luò)的處理過程如下：

（1）在詞匯的嵌入表示層中，借助Skip-gram模型，經(jīng)過深度分析，求出詞嵌入表示V={V₁，V₂，V₃…V_m}（其中m表示維度），然后對其進(jìn)行重新定義，即作為LSTM神經(jīng)網(wǎng)絡(luò)的輸入，將文檔表示成一個序列矩陣。

（2）結(jié)合實(shí)際情況，通過恰當(dāng)?shù)姆绞綄STM層文檔中的序列矩陣進(jìn)行重新編碼，使其成為一個語義向量。

（3）文檔語義編碼層主要是將LSTM層定義為輸出語義向量，然后將其建設(shè)成一個語義矩陣。

（4）連接文檔-主題層主要作用是使主題、文檔之間能夠進(jìn)行映射，進(jìn)而快速、準(zhǔn)確的獲取文檔語義詞向量的信息表示。

圖1的右邊部分是LSTM-LDA的主題-詞匯網(wǎng)絡(luò)部分。輸入的是文檔的詞匯列表，將獲得的詞匯中的詞進(jìn)行嵌入表示，接著連接上述的主題一詞匯層，并最終獲得詞匯處在文檔之中時的主題分布向量。

最后，結(jié)合實(shí)際需求，通過恰當(dāng)?shù)姆绞桨炎蟛糠值脑~向量、右部分的詞向量進(jìn)行相乘處理，得到相應(yīng)的輸出值。

2 Attention+Bi-LSTM的seq2seq模型

對話活動中的上下文信息對于對話有著非常重要的意義，特別是針對長期對話。若將過去上下文信息的訪問形式直接套用于未來上下文的訪問，將有益于生成多輪會話。從本質(zhì)意義上講，本文在研究分析過程中所提出的Attention+Bi-LSTM的seq2seq模型實(shí)質(zhì)上是以文獻(xiàn)所提出的Attention+LSTM的Encoder-Decoder模型為重要基礎(chǔ)，通過優(yōu)化改進(jìn)之后所得。在文獻(xiàn)中所提出的單向LSTM模型，所有數(shù)據(jù)均是根據(jù)順序進(jìn)行輸入、輸出，但是該模型在具體應(yīng)用過程中也存在十分明顯的缺點(diǎn)，即未對下文信息進(jìn)行高效運(yùn)用，進(jìn)而導(dǎo)致部分語義信息失效。因此，本文主要運(yùn)用雙向的LSTM模型，可以對上下文信息進(jìn)行綜合性運(yùn)用，此種模型的基本思想主要是使向后序列、向前序列均包含兩個LSTM，并且均同輸出層進(jìn)行高效聯(lián)通。此種模型的基本特點(diǎn)是把數(shù)據(jù)中所包含的一系列信息定義為輸入，并通過特定渠道快速傳輸于解碼層。Bi-LSTM模型的基本架構(gòu)，如圖2所示。

Bi-LSTM的整體過程分為三個階段：

（1）通過特定途徑向前快速傳輸所獲取到的輸入序列的上文信息。

（2）通過特定途徑向后快速傳輸所獲取到的輸入序列的下文信息。

（3）前向、后向分別傳輸正序語義編碼A、逆序語義編碼B，將A與B合并得到最后的語義編碼。

而最終所得到的語義編碼不但具有上文信息，而且也包含下文信息。Attention+Bi-LSTM的seq2seq的結(jié)構(gòu)如圖3所示。

通過對圖3深入觀察與分析可知。此種模型主要可以細(xì)化為三部分：Encoder編碼、詞嵌入、及Decoder的解碼部分。Encoder編碼階段應(yīng)用的是Bi-LSTM。該種模型充分考慮到了上下文信息，并且使輸出語句更加準(zhǔn)確，提供了豐富的語義信息。

3聊天機(jī)器人模型

本文提出的BT-DLL Model是依靠語言模型（基于深度學(xué)習(xí)）與主題模型實(shí)現(xiàn)的。由于深度語言模型在Encoder編碼階段產(chǎn)生了語義詞向量，則主題模型將會快速得到主題語義信息。BT-DLL Model如圖4所示。由圖4中可以看出，BT-DLL Model分為兩部分：其一是主題模型、LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行融合處理之后而形成的主題模型：其二是Attention機(jī)制、Bi-LSTM模型進(jìn)行融合處理之后而形成的深度學(xué)習(xí)語言模型seq2seq。這兩種模型聯(lián)系緊密。語義向量、主題模型之間的輸出開展相似度分析與運(yùn)算，其結(jié)果就是當(dāng)前主題信息，將上述兩個不同部分進(jìn)行高效融合之后便構(gòu)成了聊天機(jī)器人模型。

4 實(shí)驗(yàn)設(shè)計

4.1 實(shí)驗(yàn)環(huán)境

本文的實(shí)驗(yàn)需求均是通過Google的Tensorflow所實(shí)現(xiàn)完成，其實(shí)質(zhì)上屬于一個靈活度較高、便捷高效的學(xué)習(xí)系統(tǒng)，可以運(yùn)用到不同服務(wù)上。實(shí)驗(yàn)環(huán)境參數(shù)見表1.

4.2 實(shí)驗(yàn)數(shù)據(jù)

為了完成本實(shí)驗(yàn)。必須要以海量的聊天語料作為支撐。本文主要借助Scrapy網(wǎng)絡(luò)爬蟲實(shí)現(xiàn)信息數(shù)據(jù)的抓取，從而獲取大量字幕文件，經(jīng)過整理，獲得1GB的數(shù)據(jù)語料庫。

4.3 實(shí)驗(yàn)具體設(shè)計

為了達(dá)到BT-DLL Model生成對話的具體要求，本文在進(jìn)行分析的過程中需要完成以下任務(wù)：

（1）每個語句中的單詞是word2vec的輸入。在字幕語料庫之中，所包含的句子均十分完整，因此需要先對句子進(jìn)行切詞，對切割完成的文件進(jìn)行處理。使其轉(zhuǎn)變成為“|”隔開的問答對。

（2）將問答對中的“|”前語句部分作為輸入集，將“|”后部分作預(yù)測輸出集。

（3）取預(yù)測輸出集。一般選取首條數(shù)據(jù)作為輸入，得到輸入語句的主題詞t1，根據(jù)實(shí)際情況與需求，設(shè)定上文、下文的主題詞t2，利用COS距離計算相似度，假如相似度在指定的閾值內(nèi)，那么則代表此聊天為完全相同的主題，并把與之相關(guān)的主題信息快速復(fù)制于當(dāng)前結(jié)構(gòu)之中。每當(dāng)用戶輸入語句，便會借助主題模型獲取與之相對應(yīng)的輸入主題信息，然后將其同主題信息進(jìn)行高效融合，并對相似度進(jìn)行分析與運(yùn)算，如果相似度值在指定的范圍內(nèi)，就認(rèn)定與當(dāng)前聊天的主題有關(guān)。因輸入內(nèi)容之中，引入了聊天信息，因此可通過恰當(dāng)?shù)姆绞綄δ壳爸黝}信息進(jìn)行疊加處理，反之，便可以對目前主題信息進(jìn)行快速替換，并作為最后的主題信息。該主題信息與編碼階段所共同形成的語義向量均屬于Decoder的輸入語句，其可以實(shí)現(xiàn)預(yù)測輸出語句。

（4）word2vec訓(xùn)練詞向量。借助切詞工具，通過科學(xué)的方式對語料庫之中所包含的語句進(jìn)行分詞操作處理，獲得詞向量，并將其定義為Encoder的輸入，最后創(chuàng)建模型。

（5）構(gòu)建模型。其主要是Attention+Bi-LSTM的seq2seq模型與LSTM-LDA神經(jīng)網(wǎng)絡(luò)主題模型的創(chuàng)建。

4.4 實(shí)驗(yàn)結(jié)果

將本文提出的BT-DLL Model聊天模型與基于RNN的Encoder-Decoder聊天模型的對話效果進(jìn)行對比，結(jié)果如圖5所示。

圖5的左邊是基于RNN的Encoder-Decoder聊天模型的對話效果，右邊是基于BT-DLL Model的對話效果。通過圖5可以明顯看出，本文提出BT-DLL Model可以利用聊天內(nèi)容的上下文進(jìn)行會話，但是傳統(tǒng)的聊天模型不依靠上下文聊天進(jìn)行會話，有時候還會出現(xiàn)脫離會話的主題。

5 結(jié)束語

通過對智能聊天機(jī)器人的研究與實(shí)現(xiàn)，發(fā)現(xiàn)做出一個智能聊天機(jī)器人關(guān)系到了多個方面的知識，并且制作過程對聊天的語料與技術(shù)支持有著很高的要求。因此，想要研究出一個真正隨意交流的聊天機(jī)器人還需克服很多的技術(shù)難題，例如如何獲取大量的標(biāo)準(zhǔn)化的訓(xùn)練語料?，F(xiàn)在使用到聊天機(jī)器人上的深度學(xué)習(xí)技術(shù)研究正處于初期。還有很大的發(fā)展空間，希望本文的研究與實(shí)現(xiàn)對人工智能行業(yè)有一定的推動價值。