基于大數(shù)據(jù)的電力系統(tǒng)運(yùn)維技術(shù)研究

鞠冬彬

(青島大學(xué) 數(shù)據(jù)科學(xué)與軟件工程學(xué)院，山東 青島 266071)

0 引 言

隨著公司信息系統(tǒng)深化應(yīng)用的不斷開(kāi)展，每個(gè)業(yè)務(wù)系統(tǒng)的應(yīng)用水平也不斷提高。公司本部及以下各級(jí)單位用戶在工作過(guò)程中遇到的各種疑難問(wèn)題，通過(guò)客服系統(tǒng)不斷反饋到公司運(yùn)維組。各個(gè)業(yè)務(wù)系統(tǒng)的運(yùn)維專責(zé)每天要處理大量的用戶來(lái)電，產(chǎn)生大量運(yùn)維工單，特別是在業(yè)務(wù)集中辦理或者系統(tǒng)優(yōu)化升級(jí)后，大量用戶集中打電話咨詢客服[1]，導(dǎo)致了如下問(wèn)題：

(1)造成客服坐席不足，咨詢用戶排隊(duì)等待；

(2)缺乏運(yùn)維經(jīng)驗(yàn)[2]和用戶咨詢問(wèn)題處理知識(shí)共享機(jī)制，大量的歷史運(yùn)維數(shù)據(jù)沒(méi)有發(fā)揮更大作用；

(3)不同地域和單位反饋相同的問(wèn)題[3]，運(yùn)維人員重復(fù)處理，效率低；

(4)非工作時(shí)段，無(wú)法提供用戶咨詢服務(wù)。

客服所接電話中反映的問(wèn)題，有80%屬于重復(fù)的問(wèn)題，通過(guò)查閱歷史工單，就可以有效地解決。為提升運(yùn)維服務(wù)質(zhì)量，增強(qiáng)運(yùn)維經(jīng)驗(yàn)和問(wèn)題處理知識(shí)共享手段，提高用戶自助獲得業(yè)務(wù)系統(tǒng)相關(guān)知識(shí)能力，本文通過(guò)大數(shù)據(jù)智能分析技術(shù)，對(duì)海量運(yùn)維數(shù)據(jù)進(jìn)行深度計(jì)算與分析挖掘，智能化對(duì)關(guān)鍵咨詢的問(wèn)題進(jìn)行內(nèi)容提取，識(shí)別出關(guān)鍵特征信息，構(gòu)建豐富的知識(shí)庫(kù)，并且結(jié)合自然語(yǔ)言處理的技術(shù)，提高公司信息系統(tǒng)運(yùn)轉(zhuǎn)效率。

1 系統(tǒng)架構(gòu)設(shè)計(jì)

傳統(tǒng)的KNN算法的系統(tǒng)邏輯圖如圖1所示。

圖1 系統(tǒng)邏輯架構(gòu)圖

2 系統(tǒng)模塊

系統(tǒng)的模塊組成如圖2所示。

圖2 模塊組成圖

系統(tǒng)管理模塊包括：數(shù)據(jù)采集模塊、數(shù)據(jù)存儲(chǔ)模塊、批量分析計(jì)算模塊、知識(shí)庫(kù)模塊、自助客服模塊五部分。

2.1 數(shù)據(jù)采集模塊

主要在指定主機(jī)服務(wù)器目錄下采集加工處理后的運(yùn)維體系工單數(shù)據(jù)。該部分需要實(shí)現(xiàn)以下功能：

(1)采集器對(duì)數(shù)據(jù)采集時(shí)間間隔的定義，本系統(tǒng)采集間隔時(shí)間定義為1 h；

(2)采集的數(shù)據(jù)文件類型Source，本系統(tǒng)采用TXT文件；

(3)對(duì)采集文件的編碼定義，被采集文件為UTF-8編碼格式；對(duì)Hadoop建立數(shù)據(jù)接口，在數(shù)據(jù)采集的同時(shí)存儲(chǔ)于Hadoop文件系統(tǒng)上。

2.2 數(shù)據(jù)存儲(chǔ)模塊

利用Hadoop分布式文件系統(tǒng)來(lái)實(shí)現(xiàn)文件存取功能。具體需要實(shí)現(xiàn)的功能如下：

(1)分布式文件讀取，根據(jù)分布式文件系統(tǒng)路徑和文件名來(lái)讀取到文件內(nèi)容；

(2)分布式文件寫入，根據(jù)分布式文件系統(tǒng)路徑和文件名寫入文件；

(3)目錄規(guī)劃，根據(jù)運(yùn)維體系中“所屬應(yīng)用系統(tǒng)”劃分分布式文件系統(tǒng)目錄路徑。具體劃分依據(jù)為：ERP人資與人資管控；ERP物資與電子商務(wù)系統(tǒng)；ERP設(shè)備；ERP權(quán)限變更；門戶目錄；ERP項(xiàng)目；基建管控；ERP財(cái)務(wù)；生產(chǎn)管理；GIS；經(jīng)法OA系統(tǒng)辦公等；幫助(意見(jiàn)與建議)；桌面運(yùn)維；值班長(zhǎng)(不接電話)；投訴受理。

在數(shù)據(jù)庫(kù)建立數(shù)據(jù)字典，創(chuàng)建字典ID，字典名稱、字典描述、序號(hào)等信息，在分布式系統(tǒng)下創(chuàng)建/ics/字典名稱/yyyymmdd/字典名稱_yyyymmdd.txt文件；

(4)操作日志表selfservice_ld_file,主要字段包括，數(shù)據(jù)日期(datatime yyyymmdd)、唯一編號(hào)、文件HDFS路徑、文件大小、文件名、文件保存時(shí)間、spark處理時(shí)間等字段，在文件進(jìn)行寫入到分布式文件系統(tǒng)時(shí)需要在該操作日志表添加一條相應(yīng)的記錄。

2.3 批量分析計(jì)算模塊

該模塊是整個(gè)系統(tǒng)分析計(jì)算的核心，主要針對(duì)分類的工單運(yùn)維體系進(jìn)行分析，通過(guò)分析歷史運(yùn)維工單數(shù)據(jù)，得出數(shù)據(jù)之間的聚類關(guān)系與相似度關(guān)系。當(dāng)用戶需要檢索時(shí)輸入問(wèn)題，在問(wèn)題處理模塊，首先分析用戶問(wèn)題所屬分類，分析問(wèn)題中語(yǔ)法、語(yǔ)義、詞，結(jié)合一定數(shù)據(jù)算法，檢索到與問(wèn)題匹配精確度比較高的解決答案來(lái)。并且最終返回給用戶的一個(gè)過(guò)程。

短文本相似度計(jì)算，基于詞義詞典的方法，將短文本分解成一系列的詞，然后基于語(yǔ)義詞典計(jì)算詞與詞之間的語(yǔ)義相似度，最后將詞與詞的語(yǔ)義相似度綜合起來(lái)得到文本與文本的語(yǔ)義相似度。其中，語(yǔ)義詞典起到十分重要的作用，只有通過(guò)它，才能夠計(jì)算詞與詞之間的語(yǔ)義相似度。

當(dāng)用戶提出一個(gè)新問(wèn)題時(shí)，采用以上方式把它映射到語(yǔ)義空間中。新問(wèn)題和問(wèn)題集的某個(gè)問(wèn)題的相似度可以通過(guò)它們對(duì)應(yīng)向量的余弦相似度得到。具體的處理邏輯如圖3所示。

2.4 知識(shí)庫(kù)模塊

知識(shí)庫(kù)模塊存放運(yùn)維工單數(shù)據(jù)經(jīng)過(guò)相似度量化分析后的數(shù)據(jù)以及系統(tǒng)中用到基礎(chǔ)數(shù)據(jù)，這些數(shù)據(jù)包括：

(1)數(shù)據(jù)字典信息，有Hadoop定義存放文件路徑信息、“所屬應(yīng)用系統(tǒng)”劃分大類信息：ERP人資與人資管控、ERP物資與電子商務(wù)系統(tǒng)、ERP設(shè)備、ERP權(quán)限變更、用戶目錄、ERP項(xiàng)目、基建管控、ERP財(cái)務(wù)、生產(chǎn)管理系統(tǒng)、GIS、經(jīng)法OA系統(tǒng)辦公等、幫助(意見(jiàn)與建議)、桌面運(yùn)維、值班長(zhǎng)(不接電話)、投訴受理等；

圖3 文本處理流程圖

(2)使用系統(tǒng)用戶信息，有用戶名、登錄密碼、所屬部門、崗位等信息；

(3)操作日志信息記錄表。

2.5 自助客服模塊

自助客服模塊是基于Web瀏覽器頁(yè)面，對(duì)大數(shù)據(jù)智能分析技術(shù)在客服運(yùn)維體系中的研究與應(yīng)用平臺(tái)所需要的基礎(chǔ)數(shù)據(jù)進(jìn)行維護(hù)，對(duì)客服運(yùn)維智能化分析平臺(tái)結(jié)果進(jìn)行展現(xiàn)的部分。

數(shù)據(jù)檢索邏輯如圖4所示。

圖4 數(shù)據(jù)檢索圖

圖4中涉及的問(wèn)題處理模塊是對(duì)用戶提出問(wèn)題進(jìn)行分析，出問(wèn)題所屬大類、關(guān)鍵詞提取、分詞權(quán)重計(jì)算等，然后根據(jù)分析計(jì)算模塊分析的結(jié)果與數(shù)據(jù)-知識(shí)庫(kù)進(jìn)行數(shù)據(jù)檢索、邏輯比較、相似度對(duì)比抽取出比較精確的答案給用戶。自助客服提供的具體功能如下：

2.5.1 問(wèn)題處理模塊

問(wèn)題處理模塊，需要對(duì)用戶的問(wèn)題進(jìn)行分類。問(wèn)題對(duì)應(yīng)答案的類型，當(dāng)對(duì)問(wèn)題進(jìn)行分類后，對(duì)應(yīng)的答案也應(yīng)該屬于該類別中。問(wèn)題的焦點(diǎn)，需要通過(guò)語(yǔ)義、語(yǔ)法分析，提煉出用戶問(wèn)題的核心。本系統(tǒng)以問(wèn)題關(guān)鍵字的集合，作為短文本索引的查詢輸入。

2.5.2 信息檢索模塊

信息檢索模塊的目的是獲得和問(wèn)題相關(guān)的信息，主要包括信息收集和信息過(guò)濾兩個(gè)步驟。信息收集是通過(guò)查找內(nèi)存或者數(shù)據(jù)庫(kù)找出相應(yīng)的信息。

2.5.3 答案抽取模塊

答案抽取模塊從信息檢索模塊得到信息然后提取出精確的答案，并且返回給用戶展現(xiàn)在自助客服頁(yè)面。

3 句子相似度計(jì)算

如何計(jì)算句子的相似度是本文工作的重點(diǎn)，本設(shè)計(jì)基于統(tǒng)計(jì)的方法進(jìn)行計(jì)算句子相似度。

傳統(tǒng)的計(jì)算句子相似度的算法，多是基于計(jì)算兩個(gè)句子的相同詞數(shù)的算法，但是實(shí)際的情況詞數(shù)不能相等，即所謂的句子A與句子B的相似度不等于句子B與句子A的相似度，孔勝[4],李茹[5]采取的方法是取兩者的平均值，得到A與B的相似度。將句子進(jìn)行分詞去停用詞之后，轉(zhuǎn)化成向量S=(t1,t2,t3……tn)T。

定義：A對(duì)B的相似度為加權(quán)和，公式如下。

(1)

由此計(jì)算句子的相似度為

(2)

4 實(shí)現(xiàn)效果

本系統(tǒng)設(shè)計(jì)效果如圖5所示。

圖5 設(shè)計(jì)效果圖

5 結(jié) 論

該設(shè)計(jì)從客服實(shí)際需求出發(fā)，以提供良好的服務(wù)為目的，以提高公司信息運(yùn)維。利用智能客服和自然語(yǔ)言處理的技術(shù)設(shè)計(jì)搭建該智能客服系統(tǒng)。當(dāng)客戶不能及時(shí)解決問(wèn)題時(shí)，能有效自助地獲得解決方案，使用戶滿意度提高，從而加快信息處理的速度，公司業(yè)務(wù)運(yùn)維更加流暢。從公司的角度，該設(shè)計(jì)加快了信息化建設(shè)，降低了公司的運(yùn)營(yíng)成本，使公司的運(yùn)營(yíng)更有效率。