智能信息系統(tǒng)業(yè)務事件驅(qū)動機理分析與運維模型優(yōu)化研究

張向聰,張 潺,楊 瑩,王冰潔,王 磊,陸思羽

(國網(wǎng)河南省電力公司 信息通信分公司,河南 鄭州 450053 )

隨著供電企業(yè)信息化建設的不斷深入,供電企業(yè)在運的信息系統(tǒng)數(shù)量逐步增多,形成了信息系統(tǒng)軟、硬件種類、品牌、版本多的運行現(xiàn)狀,供電企業(yè)保障信息系統(tǒng)穩(wěn)定運行的運維壓力持續(xù)增大[1-2]。因此,探索信息系統(tǒng)運維日志標準化解析和多系統(tǒng)故障定位對提升信息系統(tǒng)運維效率具有積極的意義。

為解決多個電力信息系統(tǒng)運維日志關聯(lián)解析弱,信息系統(tǒng)故障分析準確率低的問題,提出了一種基于業(yè)務事件驅(qū)動的電力信息系統(tǒng)日志標準化解析方法。實現(xiàn)信息系統(tǒng)故障分析、預警,提升信息系統(tǒng)健康運行水平及運維管理工作的質(zhì)量和效率。

1 電力信息系統(tǒng)日志運維分析流程

文中所述基于業(yè)務事件驅(qū)動的電力信息系統(tǒng)日志運維分析流程如圖1所示。

圖1 電力信息系統(tǒng)日志運維分析流程

1.1 信息系統(tǒng)日志數(shù)據(jù)聚類

首先,采集信息系統(tǒng)的指標、文本2類日志文件數(shù)據(jù);其次,判斷信息系統(tǒng)的日志文件是否存在缺失和錯誤的情況,對有錯誤的信息系統(tǒng)日志數(shù)據(jù)進行修復;最后,對信息系統(tǒng)日志數(shù)據(jù)進行匯聚,獲取信息系統(tǒng)日志的特征。

1.2 信息系統(tǒng)業(yè)務事件驅(qū)動機理分析

根據(jù)供電企業(yè)的營銷、設備、調(diào)度、財務等條線對業(yè)務事件驅(qū)動機理進行梳理,獲取跨業(yè)務條線的邏輯信息。在此基礎上,建立業(yè)務關聯(lián)特征架構,實現(xiàn)供電企業(yè)的業(yè)務與信息系統(tǒng)日志映射關聯(lián)。

1.3 信息系統(tǒng)日志數(shù)據(jù)解析與異常告警

首先,基于業(yè)務關聯(lián)特征架構進行信息系統(tǒng)日志標準化解析,實現(xiàn)指標、文本2類日志文件的統(tǒng)一管理。其次,通過關鍵詞匹配進行分析,根據(jù)日志判斷信息系統(tǒng)是否存在問題。最后,對存在故障的信息系統(tǒng)進行預警。

2 電力信息系統(tǒng)日志運維分析模型

2.1 信息系統(tǒng)日志數(shù)據(jù)聚類

2.1.1日志數(shù)據(jù)采集

電力信息系統(tǒng)日志數(shù)據(jù)主要包括文本和指標2類數(shù)據(jù)[10]。其中,文本日志是指半結構化文本數(shù)據(jù),包括Tracing日志和程序日志等,且不同的信息系統(tǒng)中日志格式差異較大。指標日志是指結構化的時序數(shù)據(jù)類型日志,通常包括指標采集時間、使用人員、指標值等信息[11-12]。電力信息系統(tǒng)日志采集硬件架構如圖2所示。

圖2 電力信息系統(tǒng)日志采集硬件架構

在日志數(shù)據(jù)采集過程中,通過應用程序接口直接采集指標類電力信息系統(tǒng)日志數(shù)據(jù),通過詞頻與逆文本頻率指數(shù)(TF-IDF)將半結構化文本數(shù)據(jù)轉(zhuǎn)化為結構化文本數(shù)據(jù)[13-14]。

因此,采用TF-IDF算法提取電力信息系統(tǒng)文本指標。電力信息系統(tǒng)文本指標提取值(dW)為:

(1)

式中:cs為電力系統(tǒng)文本指標詞語在數(shù)據(jù)采集中出現(xiàn)的次數(shù);call為電力系統(tǒng)文本指標總的詞語數(shù)量;es為每一項文本指標詞語在數(shù)據(jù)采集中出現(xiàn)的次數(shù);eall為每一項文本指標詞語的總數(shù)量。

2.1.2異常數(shù)據(jù)修復

為避免異常數(shù)據(jù)對電力信息系統(tǒng)運維帶來的影響,需對異常數(shù)據(jù)進行監(jiān)測和修復。

電力信息系統(tǒng)采集日志異常數(shù)據(jù)修復(b)為:

b=wFa+g

(2)

式中:wF為電力信息系統(tǒng)采集數(shù)據(jù)的特征權重向量;a為輸入的電力信息系統(tǒng)采集日志數(shù)據(jù)向量;g為電力信息系統(tǒng)采集日志偏置。

2.1.3日志數(shù)據(jù)匯聚

日志數(shù)據(jù)匯聚的目的是為了將電力信息系統(tǒng)的文本和指標2類數(shù)據(jù)有效的集成在分析模型中,在進行電力信息系統(tǒng)日志數(shù)據(jù)異常修復后,將文本和指標2類數(shù)據(jù)放置在專用數(shù)據(jù)集中,并為后續(xù)的信息系統(tǒng)業(yè)務數(shù)據(jù)機理分析提供基礎數(shù)據(jù)。

2.2 信息系統(tǒng)業(yè)務事件驅(qū)動機理分析

業(yè)務事件驅(qū)動算法分成業(yè)務事件收集、業(yè)務事件發(fā)送和業(yè)務事件處理3部分。其中,事件收集用于負責收集電力業(yè)務的營銷、設備、調(diào)度、財務、安檢等所有的業(yè)務事件;業(yè)務事件發(fā)送將收集的電力業(yè)務事件發(fā)送到對應的事件處理單元中;業(yè)務事件處理負責具體的電力業(yè)務事件處理。業(yè)務事件處理流程如圖3所示。

圖3 業(yè)務事件處理流程

由圖3可見,消息處理用于處理電力業(yè)務事件中的元素組,假設針對電力業(yè)務x,有m個電力業(yè)務組成電力業(yè)務集合Lm。x從電力業(yè)務集合Lm中獲取單元,并輸出新的電力業(yè)務流Hm,則業(yè)務事件處理流程的消息處理Oa為:

f(Lm,w,λ)→(Hm,w,λ)

(3)

式中:f為業(yè)務事件處理過程函數(shù);w為業(yè)務事件處理的間隔;λ為消息處理的狀態(tài);

圖3中,原始業(yè)務事件數(shù)據(jù)為d1,經(jīng)過消息處理后獲得處理本業(yè)務邏輯信息的結果數(shù)據(jù)d2,然后,再進行跨業(yè)務消息處理,獲得跨業(yè)務條線的電力業(yè)務事件數(shù)據(jù)邏輯信息d3。

然后,依據(jù)跨業(yè)務條線的電力業(yè)務事件數(shù)據(jù)邏輯信息建立關聯(lián)特征架構,實現(xiàn)供電企業(yè)的業(yè)務與信息系統(tǒng)日志映射關聯(lián)。

2.3 信息系統(tǒng)日志數(shù)據(jù)解析與異常告警

日志數(shù)據(jù)標準化解析的目的是根據(jù)業(yè)務關聯(lián)特征架構將文本和指標兩類數(shù)據(jù)映射到統(tǒng)一的空間中,以便對所有類型的數(shù)據(jù)進行統(tǒng)一的管理。

哈希映射算法具有查找速度快的特點,因此,采用哈希映射算法進行日志數(shù)據(jù)標準化解析。

電力信息系統(tǒng)哈希映射后的值UH為:

UH=δ(u)

(4)

式中:u為原始的電力信息系統(tǒng)日志數(shù)據(jù);δ為哈希映射函數(shù)。

然后將映射后的電力信息系統(tǒng)日志數(shù)據(jù)進行關鍵詞匹配分析,從而判斷電力信息系統(tǒng)是否存在故障或缺陷。

確定有窮自動機(DFA)算法是一種關鍵詞匹配算法,DFA算法可以將電力信息系統(tǒng)日志從輸入集匹配到輸出確定集。DFA算法具有關鍵詞匹配準確的特點[17],因此,采用DFA算法進行電力信息系統(tǒng)日志關鍵詞匹配。

電力信息系統(tǒng)日志關鍵詞匹配zP為:

zP={q∈γ,q∩z≠0}

(5)

式中:q為電力信息系統(tǒng)日志關鍵詞閉包;γ為對于q所有的關鍵詞匹配活動狀態(tài);z為電力信息系統(tǒng)日志匹配中所有可能的其它狀態(tài)。

通過電力信息系統(tǒng)中DFA關鍵詞匹配,判斷信息系統(tǒng)是否存在問題。最后,對存在故障的信息系統(tǒng)進行預警。

3 算例分析

3.1 場景與參數(shù)設定

為驗證基于業(yè)務事件驅(qū)動的電力信息系統(tǒng)運維方法的可行性和有效性,在某省電力公司信息通信分公司的機房進行了仿真應用。用于文中方法的有12臺服務器,服務器均為16核心的Intel至強處理器,服務器內(nèi)存為64 GB,硬盤為50T,其中4臺用于應用及管理層的日志采集;2臺用于部署文中所提算法;3臺用于Kafka應用;3臺用于clickhouse應用。

服務器的操作系統(tǒng)為Windows Server 2019,算法采用phyton設計,通過應用程序接口實現(xiàn)了與電力信息系統(tǒng)日志的采集。與所提方法進行對照實驗的是改進k-means電力信息系統(tǒng)運維方法[18]。該方法在電力信息系統(tǒng)運維中廣泛采用,具有行業(yè)代表性,因此選擇改進k-means方法與所提方法進行對比。

3.2 算例運行分析

3.2.1電力信息系統(tǒng)運維性能分析

電力信息系統(tǒng)運維性能分析是衡量運維日志分析速度的核心指標。其計算原則為:從輸入電力信息系統(tǒng)運維數(shù)據(jù)開始,到生成電力信息系統(tǒng)運維統(tǒng)計結果數(shù)據(jù)為止的時間段。時間越短,則說明電力信息系統(tǒng)運維性能越好。

在某省電力公司信息通信公司機房輸入用電信息采集、營銷業(yè)務、生產(chǎn)管理2.0系統(tǒng)、人力資源系統(tǒng)、財務系統(tǒng)中各6個地市公司1個月的日志數(shù)據(jù),分別采用文中所提基于業(yè)務事件驅(qū)動的電力信息系統(tǒng)運維方法與改進k-means電力信息系統(tǒng)運維方法比較耗時,電力信息系統(tǒng)運維性能分析如表1所示。

表1 電力信息系統(tǒng)運維性能分析表

由表1可見,所提基于業(yè)務事件驅(qū)動的電力信息系統(tǒng)運維方法的平均耗時為15.7 s,而改進k-means在聚類時耗時較長,因此平均耗時為42.2 s,由此可見,所提方法的電力信息系統(tǒng)運維性能較改進k-means方法更優(yōu)。

3.2.2電力信息系統(tǒng)日志映射分析

選擇140 d的用電信息采集、營銷業(yè)務、生產(chǎn)管理2.0系統(tǒng)、人力資源系統(tǒng)、財務系統(tǒng)數(shù)據(jù),分別按天統(tǒng)計日志數(shù)量與映射準確率,電力信息系統(tǒng)運維日志分析表如圖4所示。

圖4 電力信息系統(tǒng)運維日志分析圖

由圖4可見,電力信息系統(tǒng)運維日志數(shù)量在12～16千條波動,映射的準確率在99.5%～100%波動。

3.2.3電力信息系統(tǒng)運維分析準確率分析

在某省電力公司信息通信公司機房輸入用電信息采集、營銷業(yè)務、生產(chǎn)管理2.0系統(tǒng)、人力資源系統(tǒng)、財務系統(tǒng)中各6個地市公司1萬條信息系統(tǒng)日志數(shù)據(jù),采用文中所提基于業(yè)務事件驅(qū)動的電力信息系統(tǒng)運維方法與改進k-means電力信息系統(tǒng)運維方法比較電力信息系統(tǒng)運維分析準確率,電力信息系統(tǒng)運維分析準確率分析如表2所示。

表2 電力信息系統(tǒng)運維分析準確率

由表2可見,文中所提基于業(yè)務事件驅(qū)動的電力信息系統(tǒng)運維方法電力信息系統(tǒng)運維分析準確率平均為99.36%,高于改進改進k-means方式。因此,所提方法電力信息系統(tǒng)運維分析更準確。

4 結語

為解決多個電力信息系統(tǒng)運維日志關聯(lián)解析弱,信息系統(tǒng)故障分析準確率低的問題,提出了一種基于業(yè)務事件驅(qū)動的電力信息系統(tǒng)日志標準化解析方法。通過業(yè)務事件驅(qū)動機理,實現(xiàn)了跨業(yè)務條線的電力信息系統(tǒng)日志映射;通過關鍵詞匹配算法實現(xiàn)信息系統(tǒng)故障分析、預警。算例分析結果表明:所提方法能提高信息系統(tǒng)運維分析準確率。