面向電力業(yè)務(wù)對話系統(tǒng)的意圖識別數(shù)據(jù)集

廖勝蘭，殷 實，陳小平，張 波，歐陽昱，張 衡

（1.中國科學(xué)技術(shù)大學(xué)計算機科學(xué)與技術(shù)學(xué)院，合肥 230026；2.國網(wǎng)安徽省電力有限公司，合肥 230022；3.國網(wǎng)阜陽市城郊供電公司，安徽阜陽 236000）

0 引言

自從1950 年圖靈測試被提出后，人工智能的目標(biāo)就是構(gòu)建能夠自然地與人類溝通的交互系統(tǒng)。人機交互是指人類可以通過自然語言來控制機器人，或者與機器人進行交流溝通，以實現(xiàn)自己的目的。因此，從功能上來說，現(xiàn)有的對話系統(tǒng)主要分為任務(wù)導(dǎo)向型對話系統(tǒng)［1］和非任務(wù)導(dǎo)向型聊天對話系統(tǒng)［2］。顧名思義，任務(wù)導(dǎo)向型系統(tǒng)主要是針對特定領(lǐng)域或業(yè)務(wù)背景下的對話，目的是為了幫助人們完成特定的任務(wù)，例如訂票系統(tǒng)、智能客服等。因此任務(wù)導(dǎo)向型的對話系統(tǒng)的評估指標(biāo)為盡量少的對話輪數(shù)以及盡量高的任務(wù)完成率。本文中意圖識別的研究背景是基于電力系統(tǒng)業(yè)務(wù)的任務(wù)導(dǎo)向型對話系統(tǒng)，用戶描述自己要辦理的業(yè)務(wù)后，機器人給予業(yè)務(wù)引導(dǎo)的回答。目前傳統(tǒng)的電力營業(yè)廳存在服務(wù)資源不足、業(yè)務(wù)辦理流程繁瑣等問題，而智能機器人可以為客戶提供業(yè)務(wù)辦理指南、業(yè)務(wù)導(dǎo)引等服務(wù)，可以顯著地提升營業(yè)廳的運行效率和服務(wù)質(zhì)量［3］。

對話系統(tǒng)的研究是自然語言處理（Natural Language Processing，NLP）領(lǐng)域的一個重要課題，對話系統(tǒng)主要由語音識別（Automatic Speech Recognition，ASR）、口語理解（Spoken Language Understanding，SLU）、對 話 管 理（Dialog Management，DM）、對話生成（Dialog Generation，DG）和語音生成（Text to Speech，TTS）這5 個部分組成［4］。意圖識別是口語理解模塊中的一個子模塊，也是整個人機交互系統(tǒng)中極其重要的模塊。通過準(zhǔn)確的意圖識別，對話系統(tǒng)才能夠理解用戶的意圖，從而進行下一步的對話決策。

意圖識別又稱為意圖分類，可以看作是一種特殊的文本分類，有著文本較短、命令祈使句較多等特點。早期的意圖分類主要是使用基于規(guī)則和模板的方法，然而規(guī)則和模板的設(shè)計需要耗費大量的人力，并且很難應(yīng)用到其他場景中。隨著深度學(xué)習(xí)的發(fā)展，越來越多的研究團隊用深度神經(jīng)網(wǎng)絡(luò)來進行文本分類的研究。例如卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）［5］、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）［6］等常用的神經(jīng)網(wǎng)絡(luò)模型都已經(jīng)應(yīng)用到文本分類任務(wù)中。深度學(xué)習(xí)方法不依賴于規(guī)則與先驗知識，可以完全從數(shù)據(jù)中學(xué)習(xí)規(guī)律來進行分類，因此在很大程度上能夠節(jié)省人力和資源。

深度學(xué)習(xí)的模型訓(xùn)練依賴于大量的有標(biāo)注的數(shù)據(jù)集，許多特定領(lǐng)域的意圖分類任務(wù)還沒有相關(guān)的數(shù)據(jù)集，電力業(yè)務(wù)領(lǐng)域也是如此。為了完善電力業(yè)務(wù)領(lǐng)域的對話系統(tǒng)研究，并且為學(xué)界提供有效的公開標(biāo)注數(shù)據(jù)，本文通過對供電營業(yè)廳采集的語音數(shù)據(jù)進行清洗、整理、擴充，構(gòu)建了一個電力業(yè)務(wù)相關(guān)的意圖分類數(shù)據(jù)集。數(shù)據(jù)集包含將近一萬條用戶業(yè)務(wù)咨詢語句及其所屬的業(yè)務(wù)類別。數(shù)據(jù)集目前公開發(fā)布地址為https：//pan.baidu.com/s/1ysJrAlCI6TljOFh72Hehew。后 續(xù) 將把數(shù)據(jù)集及其相關(guān)信息發(fā)布在團隊主頁http：//ai.ustc.edu.cn/上進行開源。

據(jù)了解，本文所述的工作是電力業(yè)務(wù)領(lǐng)域內(nèi)首個與對話相關(guān)的數(shù)據(jù)集。數(shù)據(jù)集包含9 577 條問詢語句與35 個業(yè)務(wù)類別。業(yè)務(wù)類別中包括許多常見的居民用電服務(wù)業(yè)務(wù)。為了在對話系統(tǒng)中實際應(yīng)用，本文采用了意圖識別領(lǐng)域和文本分類中的幾個常用經(jīng)典模型，包括統(tǒng)計學(xué)習(xí)方法與深度學(xué)習(xí)方法，在數(shù)據(jù)集基礎(chǔ)上進行實驗后得到了不同的性能與準(zhǔn)確率。統(tǒng)計學(xué)習(xí)模型包括Logistic回歸（Logistic Regression，LR）模型和支持向量機（Support Vector Machine，SVM）模型，深度學(xué)習(xí)模型包括FastText模型［7］、Text-CNN模型［5］和Text-RCNN模型［8］。本文將得到準(zhǔn)確率最高的Text-RCNN 模型應(yīng)用到了電力營業(yè)廳業(yè)務(wù)引導(dǎo)機器人的對話系統(tǒng)的研究中。實驗結(jié)果表明，本文提出的人工標(biāo)注數(shù)據(jù)集可以有效提升意圖分類器的準(zhǔn)確性，從而提升整個對話系統(tǒng)的業(yè)務(wù)引導(dǎo)性能，提高用戶滿意度。

因此，本文發(fā)布的數(shù)據(jù)集可以有效地驅(qū)動電力業(yè)務(wù)領(lǐng)域內(nèi)的智能服務(wù)機器人、語音機器人等研究，從而實現(xiàn)線上語音、線下營業(yè)廳的智能化服務(wù)。

1 意圖識別現(xiàn)狀

意圖識別通常被看作是人機交互對話的第一步。因為首先需要確定用戶的意圖，才能精準(zhǔn)地給予相應(yīng)的回答。如今隨著機器人技術(shù)與人機對話的發(fā)展，意圖分類任務(wù)也引起了許多研究團隊的關(guān)注。

在過去的意圖分類工作中，傳統(tǒng)的方法主要是基于模板和規(guī)則的方法，模型構(gòu)建簡單，在小數(shù)據(jù)集上能較快地實現(xiàn)。但是傳統(tǒng)模型難以維護、可移植性差，并且一般需要專家構(gòu)建規(guī)則模板以及類別信息。例如Ramanand 等［9］在消費意圖識別的任務(wù)中，提出了基于規(guī)則和圖的方法來獲取意圖模板，并且在此單一領(lǐng)域能夠取得較好的分類效果。但是Li 等［10］研究發(fā)現(xiàn)，即使在同一領(lǐng)域內(nèi)，不同的表達方式也會導(dǎo)致規(guī)則模板數(shù)量的增加，因此會耗費大量的資源。所以，傳統(tǒng)的方法雖然在小數(shù)據(jù)集上就可以實現(xiàn)意圖分類功能，但是由于不同的任務(wù)需要專門構(gòu)建不同的模板規(guī)則，依賴于專家系統(tǒng)，成本較高。

20世紀(jì)90年代興起了統(tǒng)計學(xué)習(xí)方法，文本分類也由此發(fā)展出基于統(tǒng)計特征的方法。統(tǒng)計分類方法的過程分為人工特征工程與淺層分類建模兩個步驟。通過對語料文本進行特征提取，如字、詞特征、N-Gram、TF-IDF（Term Frequency-Inverse Document Frequency）特征權(quán)重等，然后再基于提取的特征訓(xùn)練分類器。常用的分類器有Logistic 回歸［11］、支持向量機［12］、樸 素 貝 葉 斯（Na?ve Bayes，NB）［13］和AdaBoost（Adaptive Boosting）［14］等。但是這些統(tǒng)計分類方法都需要人工進行特征工程，成本依然很高，且特征表達的能力有限。因此后來的研究者在特征的降維和分類器的設(shè)計方面做了大量的工作，Yang 等［15］對各種特征選擇方法，包括信息增益（Information Gain）、互信息（Mutual Information）、卡方統(tǒng)計量等，在實驗上進行了系統(tǒng)的分析和比較。Joachims［16］第一次將線性核函數(shù)的支持向量機用于文本分類，與傳統(tǒng)的算法相比，支持向量機在分類性能上有了非常大的提高，并且在不同的數(shù)據(jù)集上顯示了算法的魯棒性。

傳統(tǒng)的統(tǒng)計學(xué)習(xí)方法面臨的主要問題是文本表示是高維度高稀疏的，特征的表達能力很弱。隨著在圖像和語音領(lǐng)域取得的巨大成功，深度學(xué)習(xí)也相應(yīng)地推動了NLP領(lǐng)域的發(fā)展。而深度學(xué)習(xí)最初之所以能夠在圖像和語音上取得巨大成功，一個很重要的原因是圖像和語音原始數(shù)據(jù)是連續(xù)和稠密的，有局部相關(guān)性。因此，將深度學(xué)習(xí)應(yīng)用于NLP 領(lǐng)域最重要的就是解決文本表示。從詞向量（Word Embedding）的分布式表示［17］提出后，深度學(xué)習(xí)模型就可以提取到文本更深層的特征，從而進行高準(zhǔn)確率的分類。如今深度學(xué)習(xí)的模型在文本分類上已經(jīng)取得了不錯的效果，越來越多的學(xué)者們將卷積神經(jīng)網(wǎng)絡(luò)（CNN）［5］、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）［6］和其變體長短時記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)［18］、門控循環(huán)單元（Gated Recurrent Unit，GRU）［19］和注意力機制（Attention Mechanism）［20］等應(yīng)用于意圖識別任務(wù)中。深度學(xué)習(xí)模型可以免去復(fù)雜的人工特征工程，直接端到端地實現(xiàn)一個分類系統(tǒng)，并且提高分類的準(zhǔn)確率。

中文領(lǐng)域的意圖分類任務(wù)由于分詞等影響，也面臨著挑戰(zhàn)。文獻［21］介紹了中文領(lǐng)域內(nèi)從基于規(guī)則的方法、基于機器學(xué)習(xí)的方法到混合模型的方法的意圖分類方法研究，并在iDeepWise 公司第三代機器人積累的日志數(shù)據(jù)集上進行層次網(wǎng)絡(luò)的實驗。該數(shù)據(jù)集包含了68 850 條自然語言問句，涉及到訂票類、天氣類、音樂類等13 個通用領(lǐng)域。同樣針對這個數(shù)據(jù)集，文獻［22］提出了一種雙通道卷積神經(jīng)網(wǎng)絡(luò)模型，通過兩個通道可以同時接收字級別的詞向量和詞級別的詞向量進行卷積運算。在CCL2018-Task1（中國計算語言學(xué)大會）的中國移動客服領(lǐng)域用戶意圖分類數(shù)據(jù)集上，文獻［23］提出了一種混合神經(jīng)網(wǎng)絡(luò)層的模型。對于常常聯(lián)系在一起的意圖識別和槽位填充（Slot filling）任務(wù)，文獻［24］提出了結(jié)合條件隨機場（Conditional Random Field，CRF）和注意力機制的LSTM 聯(lián)合模型。

除了在模型方法上的研究創(chuàng)新，構(gòu)建一個意圖分類器最重要的便是數(shù)據(jù)的驅(qū)動。如今的深度學(xué)習(xí)方法，需要大量的包含相應(yīng)意圖的文本作為訓(xùn)練數(shù)據(jù)。根據(jù)調(diào)研發(fā)現(xiàn)，現(xiàn)有開源的意圖分類數(shù)據(jù)集幾乎都是面向語音助手任務(wù)的數(shù)據(jù)，例如第6屆全國社會媒體處理大會SMP2017中發(fā)布的中文人機對話技術(shù)評測數(shù)據(jù)集，其內(nèi)容包括訂票、打電話、播放音樂等任務(wù)。調(diào)研過程中還發(fā)現(xiàn)了一個包含買手機、買電腦、買電影票等意圖的消費意圖數(shù)據(jù)集［25］?？傊?，目前在特定的領(lǐng)域內(nèi)，很難獲得大量的標(biāo)注訓(xùn)練語料。調(diào)研發(fā)現(xiàn)，目前在電力公司業(yè)務(wù)領(lǐng)域，還沒有相關(guān)的開源數(shù)據(jù)集可以用來構(gòu)建對話系統(tǒng)，因此本文構(gòu)建了一個較大規(guī)模的電力業(yè)務(wù)意圖識別數(shù)據(jù)集，有助于驅(qū)動電力業(yè)務(wù)相關(guān)的對話系統(tǒng)的研究。

2 電力業(yè)務(wù)用戶意圖識別數(shù)據(jù)集構(gòu)建

為了在交互機器人對話系統(tǒng)中實現(xiàn)高準(zhǔn)確率的意圖識別功能，意圖識別模塊擬采用深度學(xué)習(xí)模型來實現(xiàn)。深度學(xué)習(xí)模型的優(yōu)點是無需大量的特征工程，通過端到端的訓(xùn)練方式就可得到較高的準(zhǔn)確率；但是缺點是需要大量的數(shù)據(jù)來訓(xùn)練模型。由于目前暫無公開的電力業(yè)務(wù)相關(guān)數(shù)據(jù)集，并且電力公司的業(yè)務(wù)具有領(lǐng)域性，不能用其他公開的文本分類數(shù)據(jù)集。因此，本文與電力公司營業(yè)廳合作進行數(shù)據(jù)采集，對得到的語音數(shù)據(jù)進行清洗、整理和擴充，構(gòu)建了一個面向電力公司業(yè)務(wù)的用戶意圖數(shù)據(jù)集。該數(shù)據(jù)集可以為其他電力公司的智能客服、交互機器人等研究提供相應(yīng)的幫助。

2.1 數(shù)據(jù)來源

本文提出的數(shù)據(jù)集所包含的內(nèi)容來自供電營業(yè)廳真實的用戶詢問語句，涵蓋了在營業(yè)廳真實場景中發(fā)生的大部分常見業(yè)務(wù)。語音數(shù)據(jù)通過線下錄音筆收集得到。由于是真實的業(yè)務(wù)場景，所以數(shù)據(jù)具有真實性和多樣性等特點，但因此數(shù)據(jù)也同時含有一些無意義的停頓、語氣詞等。為了使數(shù)據(jù)集更有利于意圖分類模型的使用，本文通過項目小組內(nèi)10 名成員對數(shù)據(jù)進行處理與標(biāo)注。

2.2 數(shù)據(jù)處理

2.2.1 語音轉(zhuǎn)文字

原始語音數(shù)據(jù)收集完畢之后，需要對數(shù)據(jù)進行處理和標(biāo)注。由于收集到的是語音數(shù)據(jù)，因此需要將其轉(zhuǎn)化為文本格式，才能進行下一步的意圖分類工作。語音轉(zhuǎn)文字的過程采用了科大訊飛的語音識別接口（https：//www.xfyun.cn/services/lfasr）來實現(xiàn)。

2.2.2 人工校驗

目前的語音識別工具無法達到百分百的準(zhǔn)確率，并且真實場景中的語音數(shù)據(jù)中會含有噪聲、停頓過長、語氣詞過多等問題對語音識別過程進行干擾，因此本文對轉(zhuǎn)換后的文字?jǐn)?shù)據(jù)進行人工校驗，去除掉無效數(shù)據(jù)，并對有效數(shù)據(jù)進行修改。

例如，語音轉(zhuǎn)文字后得到的語句“你好，那個，我們家里的電表最近，額，感覺走的不正常，很快，嗯?！苯?jīng)過人工校驗后，去掉其中的無意義詞，得到：“我們家里的電表最近感覺走的不正常，很快?！?/p>

2.2.3 敏感信息過濾

由于數(shù)據(jù)是在真實場景中得到的，因此需要對數(shù)據(jù)中涉及的敏感信息進行過濾，例如人名、身份證號、電力賬戶號等。過濾的目的是為了保護用戶的隱私，并且能夠用過濾后的數(shù)據(jù)集訓(xùn)練出通用、普適的意圖分類模塊。同時，敏感信息過濾也可以避免任何使用本文提供的數(shù)據(jù)集進行訓(xùn)練的對話系統(tǒng)公開用戶的隱私或生成使用戶感到不適的回復(fù)。

本文背景所研究的智能客服機器人主要是起到業(yè)務(wù)引導(dǎo)作用，并不涉及后續(xù)的復(fù)雜業(yè)務(wù)辦理階段。因此，收集到的數(shù)據(jù)中主要是用戶對業(yè)務(wù)需求的描述，例如“我家電表好像壞了”“辦理過戶應(yīng)該帶什么證件”等。因此，大部分?jǐn)?shù)據(jù)中不包含實際的人名、電力賬戶號等敏感信息。

2.3 數(shù)據(jù)標(biāo)注

對數(shù)據(jù)預(yù)處理過后可以得到有效的文本數(shù)據(jù)。本項目小組的10 名成員根據(jù)電力公司提供的常見業(yè)務(wù)類別以及每個類別的示例對話來對數(shù)據(jù)進行標(biāo)注。每一條問詢語句對應(yīng)一個電力業(yè)務(wù)類別。標(biāo)注的類別一共有35 個，包括了繳費、供電報修等十分常見的業(yè)務(wù)，也包括了商業(yè)用電增容等較罕見的業(yè)務(wù)。

在標(biāo)注過程中還遇到了語義模糊無法標(biāo)注的數(shù)據(jù)。因為有小部分?jǐn)?shù)據(jù)采集時可能來自老年人或使用方言的用戶，因此語音轉(zhuǎn)文字后得到的文字?jǐn)?shù)據(jù)語義模糊。針對這樣的數(shù)據(jù)，小組成員重新聽語音，如果能聽懂語句意圖則人工轉(zhuǎn)寫為文字?jǐn)?shù)據(jù)并標(biāo)注業(yè)務(wù)類別，聽不懂則作為無效數(shù)據(jù)刪去。

2.4 數(shù)據(jù)擴充

在采集到的數(shù)據(jù)中，常見業(yè)務(wù)的數(shù)據(jù)量較多，而罕見業(yè)務(wù)的數(shù)據(jù)量較少。例如，分布式光伏發(fā)電、高低壓界定、高壓增容等面向企業(yè)用戶的業(yè)務(wù)在日常的營業(yè)廳咨詢語句中占比例較小，采集到的數(shù)據(jù)較少，而居民電費繳納、在線辦理業(yè)務(wù)、居民分時電價等面向居民的常見業(yè)務(wù)采集到的數(shù)據(jù)較多。因此，為了保證業(yè)務(wù)類別的平衡性，避免在訓(xùn)練過程中造成數(shù)據(jù)傾斜的情況，本項目小組的成員根據(jù)采集到的真實數(shù)據(jù)進行轉(zhuǎn)寫擴充。

根據(jù)電力公司提供的業(yè)務(wù)類別及其示例語句，以及采集到的數(shù)據(jù)，本項目小組成員對數(shù)據(jù)較少的業(yè)務(wù)進行補充。例如，對業(yè)務(wù)“商業(yè)更換分時”補充示例如表1 所示，根據(jù)原語句采用不同的敘述方式進行擴充。

表1 數(shù)據(jù)擴充示例Tab.1 Example of data augmentation

2.5 數(shù)據(jù)統(tǒng)計分析

最后本文構(gòu)建的數(shù)據(jù)集一共有9 577條數(shù)據(jù)，平均的數(shù)據(jù)長度為18.41字。其中業(yè)務(wù)的類別分布如表2所示，數(shù)據(jù)中用戶語句的平均長度特征如表3所示。

可以看出，電力業(yè)務(wù)一共標(biāo)注了35 個類別，涵蓋了大部分電力營業(yè)廳的常見業(yè)務(wù)，可以滿足業(yè)務(wù)引導(dǎo)機器人的日常需求。

表2 數(shù)據(jù)集類別分布Tab.2 Category distribution of dataset

表3 數(shù)據(jù)集中語句平均長度Tab.3 Average length of sentences in dataset

3 基準(zhǔn)實驗

為了測試本文提出數(shù)據(jù)集的有效性，本文基于最終標(biāo)注的數(shù)據(jù)集上采用幾個常見的文本分類模型進行基準(zhǔn)實驗，包括統(tǒng)計學(xué)習(xí)方法和深度學(xué)習(xí)方法。在實驗過程中，采用結(jié)巴分詞工具（https：//github.com/fxsjy/jieba）中的默認(rèn)分詞模式對數(shù)據(jù)集進行分詞，在深度學(xué)習(xí)模型中，采用word2vec工具［26］進行詞向量的預(yù)訓(xùn)練。

本文采用多個經(jīng)典的統(tǒng)計學(xué)習(xí)方法和深度學(xué)習(xí)方法模型來進行實驗，既可以驗證數(shù)據(jù)集的有效性，又可以直觀地得到各個文本分類模型在短文本對話數(shù)據(jù)集上的實驗效果。

3.1 Logistic回歸

Logistic 回歸（Logistic Regression，LR）是統(tǒng)計學(xué)習(xí)中的經(jīng)典分類方法，屬于一種對數(shù)線性模型。LR 模型的優(yōu)點是它直接對分類的可能性進行建模，無需事先假設(shè)數(shù)據(jù)分布，這樣就避免了假設(shè)分布不準(zhǔn)確所帶來的問題。又因為它是針對分類的可能性進行建模的，所以它不僅能預(yù)測出類別，還可以得到屬于該類別的概率。

在本文的基準(zhǔn)實驗中，用多分類的LR模型對數(shù)據(jù)集進行基準(zhǔn)實驗。特征提取方法采用詞袋模型特征和詞頻-逆文檔頻率（Term Frequency-Inverse Document Frequency，TF-IDF）特征。

3.2 支持向量機

SVM的應(yīng)用是統(tǒng)計學(xué)習(xí)模型在文本分類上最重要的進展之一。雖然SVM 在大數(shù)據(jù)集上的訓(xùn)練收斂速度較慢，需要大量的存儲資源和很高的計算能力，但它的分隔面模式有效地克服了樣本分布、冗余特征以及過擬合等因素的影響，具有很好的泛能力。

本文選用SVM 的線性核函數(shù)，分別用兩種特征提取方法和不同的懲罰因子參數(shù)C進行實驗。

3.3 FastText

FastText［7］是Facebook 公司在2016 年開源的一個詞向量與文本分類工具，典型應(yīng)用場景是“帶監(jiān)督的文本分類問題”。它提供簡單而高效的文本分類和表征學(xué)習(xí)的方法，性能比肩深度學(xué)習(xí)而且速度更快。

因此，現(xiàn)在許多大規(guī)模的文本分類都會采用FastText 作為實驗基準(zhǔn)。由于其簡單、便捷的特點，本文也選用FastText模型來進行意圖分類。

首先需要對數(shù)據(jù)進行分詞處理、去除停用詞，以及添加Label。之后將分詞過后的數(shù)據(jù)轉(zhuǎn)換成FastText 的標(biāo)準(zhǔn)輸入格式，即用“__label__”來分割文本和標(biāo)簽。最后將數(shù)據(jù)分割成訓(xùn)練集和驗證集，用驗證集來評估學(xué)習(xí)到的分類器對新數(shù)據(jù)的性能好壞。

3.4 Text-CNN

卷積神經(jīng)網(wǎng)絡(luò)（CNN）最開始是應(yīng)用在圖像處理領(lǐng)域的，最近幾年隨著詞向量的發(fā)展，自然語言處理領(lǐng)域的數(shù)據(jù)稀疏問題得到解決。Kim 等［5］在EMNLP2014 提出的Text-CNN 方法，嘗試將CNN 應(yīng)用在文本分類領(lǐng)域中，并且在多個數(shù)據(jù)集上取得了很好的效果。

Text-CNN 模型首先將文本映射成向量，然后利用多個濾波器來捕捉文本的局部語義信息，接著使用最大池化，捕捉最重要的特征。最后將這些特征輸入到全連接層，得到標(biāo)簽的概率分布。

本文用Text-CNN 模型在提出的電力公司業(yè)務(wù)用戶意圖數(shù)據(jù)集上進行意圖分類，學(xué)習(xí)率設(shè)為0.01，訓(xùn)練的迭代輪數(shù)為50，詞向量維度設(shè)為300，批處理大小設(shè)為32。

3.5 Text-RCNN

Text-RCNN［8］是一個結(jié)合了RNN 和CNN 各自優(yōu)點的模型。首先利用雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（Bidirectional Recurrent Neural Network，Bi-RNN）來捕捉前后的上下文表征，將上文的所有信息和下文的所有信息進行編碼，與詞向量拼接起來，得到一個包含上下文信息和本身詞向量表示的“詞向量”。接著使用CNN 中濾波器filter_size=1的卷積層，并使用最大池化操作得到與文檔最相關(guān)的向量表征，即獲取潛在的最相關(guān)語義表示。最后將這些向量輸入到Softmax 層，得到標(biāo)簽的概率表征，從而進行文本的分類。

本文用Text-RCNN 模型在提出的電力公司業(yè)務(wù)用戶意圖數(shù)據(jù)集上進行意圖分類，參數(shù)設(shè)置如下，學(xué)習(xí)率設(shè)為0.01，訓(xùn)練的迭代輪數(shù)為50，詞向量維度設(shè)為300，批處理大小設(shè)為32。

4 實驗結(jié)果

本文用第3 章介紹的幾個經(jīng)典模型在數(shù)據(jù)集上進行實驗后，得到的意圖分類準(zhǔn)確率如表4、5所示。表4顯示了統(tǒng)計學(xué)習(xí)方法的結(jié)果，表5顯示了深度學(xué)習(xí)方法的結(jié)果。

本文采用測試集上的準(zhǔn)確率Accuracy作為評估指標(biāo)，并且保證測試集的數(shù)據(jù)在訓(xùn)練集中不曾出現(xiàn)。準(zhǔn)確率Accuracy表示預(yù)測出的類別和數(shù)據(jù)集中標(biāo)注的類別相同的數(shù)據(jù)占所有測試數(shù)據(jù)的比例。表4分別列出了LR模型和SVM模型在數(shù)據(jù)集上訓(xùn)練后的訓(xùn)練集準(zhǔn)確率train-acc和測試集準(zhǔn)確率test-acc。

表4 統(tǒng)計學(xué)習(xí)模型實驗結(jié)果 單位：%Tab.4 Experimental results of statistical learning methods unit：%

實驗過程中，對于LR模型，使用詞袋特征提取方法時，在懲罰因子C=2 時取得最佳測試準(zhǔn)確率，為80.27%，訓(xùn)練時間為3.02 s。使用詞頻-逆文檔頻率特征時，在C=5 時取得最佳測試準(zhǔn)確率80.43%，訓(xùn)練時間為1.39 s。對于SVM 模型，兩種特征提取方法都是在C=1 時取得最佳準(zhǔn)確率，且訓(xùn)練時間也都為約17.56 s。

表5 深度學(xué)習(xí)模型實驗結(jié)果Tab.5 Experimental results of deep learning methods

在深度學(xué)習(xí)模型的實驗結(jié)果中，3 個模型得到的準(zhǔn)確率都要高于統(tǒng)計學(xué)習(xí)模型。尤其是FastText 模型，訓(xùn)練時間短，準(zhǔn)確率較高，很適合作為基準(zhǔn)模型用于數(shù)據(jù)集的驗證。實驗結(jié)果得到的測試集最高準(zhǔn)確率來自Text-RCNN 模型，它融合了循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和卷積神經(jīng)網(wǎng)絡(luò)（CNN）的優(yōu)點，模型并不復(fù)雜但是能夠得到更好的結(jié)果。

從實驗結(jié)果可以看出，雖然統(tǒng)計學(xué)習(xí)模型訓(xùn)練速度快，但是準(zhǔn)確率較低。而深度學(xué)習(xí)的模型在免去提取特征步驟，并且端到端地進行訓(xùn)練后，能夠達到更高的準(zhǔn)確率。

在電力業(yè)務(wù)對話系統(tǒng)研究中，本項目小組采用了準(zhǔn)確率最高的Text-RCNN 模型作為意圖識別模塊。結(jié)合對話系統(tǒng)中關(guān)鍵詞實體抽取、對話管理、回答生成等模塊，可以得到一個有效的針對電力領(lǐng)域的業(yè)務(wù)導(dǎo)向機器人。與使用通用閑聊數(shù)據(jù)集的對話系統(tǒng)相比，本意圖識別數(shù)據(jù)集可以提升意圖識別的準(zhǔn)確率，從而使機器人給出更精準(zhǔn)的回答。使用本數(shù)據(jù)集與使用通用閑聊數(shù)據(jù)集的對話系統(tǒng)回復(fù)對比如表6 所示。對于相同的用戶問詢語句，以本數(shù)據(jù)集構(gòu)建的意圖分類模型可以有效識別出用戶語句中的潛在意圖，而使用通用閑聊數(shù)據(jù)集的對話系統(tǒng)則無法精準(zhǔn)識別出用戶意圖。

表6 使用不同數(shù)據(jù)集的對話系統(tǒng)回復(fù)對比示例Tab.6 Example of dialogue system response comparison with the use of different datasets

5 結(jié)語

基于對電力業(yè)務(wù)對話系統(tǒng)的研究工作，本文構(gòu)建了一個大規(guī)模的人工標(biāo)注電力業(yè)務(wù)意圖識別數(shù)據(jù)集，其中包含了35個業(yè)務(wù)類別以及9 577 條業(yè)務(wù)意圖數(shù)據(jù)。該數(shù)據(jù)集是電力領(lǐng)域?qū)υ捪到y(tǒng)相關(guān)的第一個開源的數(shù)據(jù)集。在此數(shù)據(jù)集中，每條數(shù)據(jù)是根據(jù)電力公司給出的業(yè)務(wù)類別進行分類標(biāo)注，較全面地涵蓋了供電營業(yè)廳中的常見業(yè)務(wù)。幾個基準(zhǔn)實驗表明，基于本文發(fā)布的電力公司業(yè)務(wù)用戶意圖數(shù)據(jù)集進行訓(xùn)練后，意圖分類的準(zhǔn)確率最高可以達到87.1%。結(jié)合后續(xù)對話系統(tǒng)中對話管理模塊、關(guān)鍵字抽取模塊等，可以得到一個精準(zhǔn)識別用戶意圖并給予可靠回復(fù)的電力業(yè)務(wù)引導(dǎo)對話系統(tǒng)，得到較好的用戶體驗。因此，本文所述數(shù)據(jù)集在實驗的驗證下證明了具有客觀性和有效性，可以助益于供電營業(yè)廳場景中的聊天機器人的訓(xùn)練與評估。

但是本文所構(gòu)建的數(shù)據(jù)集目前的規(guī)模還不足夠大，數(shù)據(jù)中業(yè)務(wù)類別的分布也沒有足夠均衡。后續(xù)本小組將在研究進行的過程中得到更多數(shù)據(jù)，并進行更準(zhǔn)確的標(biāo)注。目前本文的基準(zhǔn)實驗主要是采用一些文本分類領(lǐng)域中經(jīng)典的模型，但是現(xiàn)在已經(jīng)有了許多更新、準(zhǔn)確率更高的模型。因此，未來工作中也將采用更先進的模型對數(shù)據(jù)集進行實驗。

由于目前特殊時期的原因，本文發(fā)布的數(shù)據(jù)集暫時公布在https：//pan.baidu.com/s/1ysJrAlCI6TljOFh72Hehew。后 續(xù)會將數(shù)據(jù)集正式發(fā)布在團隊主頁http：//ai.ustc.edu.cn，并補充相關(guān)授權(quán)信息。