民航旅客服務(wù)信息系統(tǒng)告警關(guān)聯(lián)規(guī)則挖掘

趙紀剛 張 超 丁建立 王 靜

民航旅客服務(wù)信息系統(tǒng)告警關(guān)聯(lián)規(guī)則挖掘

趙紀剛1張 超2丁建立2王 靜2

1(中國民航信息網(wǎng)絡(luò)股份有限公司 北京 100105)

2(中國民航大學計算機科學與技術(shù)學院 天津 300300)

告警關(guān)聯(lián)規(guī)則挖掘是進行系統(tǒng)故障診斷、定位的重要方法。由于民航旅客服務(wù)信息系統(tǒng)的各子系統(tǒng)之間的關(guān)聯(lián)關(guān)系，子系統(tǒng)一旦出現(xiàn)故障，會報出大量甚至海量的告警信息，使得維護人員在大量告警數(shù)據(jù)面前無法準確進行故障定位。針對故障診斷、定位等難題，提出基于滑動時間窗口框架的關(guān)聯(lián)規(guī)則挖掘方法，在大量告警信息中尋找故障源、故障因素之間的關(guān)聯(lián)。實驗結(jié)果表明，提出的方法能準確、快速地發(fā)現(xiàn)有價值的告警關(guān)聯(lián)規(guī)則，為系統(tǒng)維護人員提供決策支持。

滑動時間窗口 告警關(guān)聯(lián) 規(guī)則挖掘 頻繁項集

0 引 言

民航旅客服務(wù)信息系統(tǒng)是國家民航業(yè)重要信息系統(tǒng)，承載著民航大量的重要業(yè)務(wù)，需要保持每天24小時無間斷的持續(xù)運行，并具有安全性、可靠性、高效性和實時性等特點。系統(tǒng)的癱瘓甚至某個應(yīng)用的服務(wù)中斷、進程的丟失等都可能會導致多個民航業(yè)務(wù)的癱瘓。因此，國家和民航局對民航旅客服務(wù)信息系統(tǒng)的安全可靠運行提出了很高的要求。目前，日志記錄是實現(xiàn)系統(tǒng)及應(yīng)用軟件全流程監(jiān)控的一種重要方式，業(yè)務(wù)系統(tǒng)每天的運行情況都會記錄到日志文件中。其中包含了非常重要的業(yè)務(wù)運行數(shù)據(jù)以及故障事件的前因后果等重要信息。尤其當系統(tǒng)發(fā)生故障時會出現(xiàn)大量的告警信息，這使系統(tǒng)維護人員不能及時準確地發(fā)現(xiàn)根源告警信息，更難以發(fā)現(xiàn)告警數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，系統(tǒng)維護任務(wù)困難且繁重。所以科學合理研究分析告警數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，顯示根源告警信息，過濾掉根源告警引起的其他告警數(shù)據(jù)，實現(xiàn)故障的診斷、預測[1]和報警處理的智能化，對于及時處理故障、維護系統(tǒng)安全具有重要意義。

1 國內(nèi)外研究現(xiàn)狀

目前國內(nèi)外很多學者提出了各種基于告警關(guān)聯(lián)規(guī)則挖掘的方法，提高了相關(guān)性分析的效率和準確性。Gao等研究如何從大量告警數(shù)據(jù)中挖掘的關(guān)聯(lián)規(guī)則[2]。Yan等[3]提出基于數(shù)值約束的方法來進行網(wǎng)絡(luò)告警關(guān)聯(lián)規(guī)則發(fā)現(xiàn)。徐前方[4]提出了一種基于相關(guān)度統(tǒng)計的告警關(guān)聯(lián)規(guī)則挖掘算法。由于民航信息系統(tǒng)的告警信息的非結(jié)構(gòu)化特性導致上述方法無法直接對數(shù)據(jù)進行規(guī)則挖掘，另外對于時間維度上告警信息如何處理成待挖掘數(shù)據(jù)集也是一個難點。本文針對告警數(shù)據(jù)的特殊性，運用滑動時間窗口模型，針對窗口大小和步長進行探討，來生成事務(wù)集，并對事務(wù)集進行告警關(guān)聯(lián)規(guī)則挖掘。

2 安全監(jiān)控系統(tǒng)及告警數(shù)據(jù)特征分析

2.1 安全監(jiān)控系統(tǒng)

安全監(jiān)控系統(tǒng)是監(jiān)控民航旅客服務(wù)信息系統(tǒng)各個應(yīng)用子系統(tǒng)的平臺。監(jiān)控系統(tǒng)在每個應(yīng)用子系統(tǒng)上部署一個Agent端點，每當應(yīng)用子系統(tǒng)發(fā)生故障就會發(fā)出告警信息，Agent端點負責信息采集，監(jiān)控系統(tǒng)把告警信息進行簡單分析然后把相應(yīng)的告警發(fā)送給維護人員。同時，監(jiān)控系統(tǒng)也把告警數(shù)據(jù)存放到日志文件中去，告警監(jiān)控示意如圖1所示。

圖1 告警信息監(jiān)控示意圖

2.2 安全監(jiān)控系統(tǒng)告警數(shù)據(jù)特征

安全監(jiān)控系統(tǒng)采集的各個應(yīng)用子系統(tǒng)的告警數(shù)據(jù)有著不同于其他行業(yè)數(shù)據(jù)的特點，它存儲于日志文件中，屬于一種非結(jié)構(gòu)化數(shù)據(jù)。通過分析和研究監(jiān)控系統(tǒng)的告警數(shù)據(jù)將其特征總結(jié)如下：

1) 海量數(shù)據(jù)。由于民航業(yè)飛速發(fā)展，應(yīng)用子系統(tǒng)越來越多，而且聯(lián)系越來越緊密，設(shè)備與設(shè)備、系統(tǒng)與系統(tǒng)之間的關(guān)系也越來越復雜。這造成一個設(shè)備出現(xiàn)故障，可能會引發(fā)其他設(shè)備也發(fā)出告警信息，系統(tǒng)拓撲結(jié)構(gòu)是產(chǎn)生大量告警信息的主要原因。

2) 時序性。告警數(shù)據(jù)的產(chǎn)生在時間上是呈現(xiàn)為先后順序的，也就是說根源故障總是先發(fā)生，繼而導致后續(xù)故障發(fā)生。它們有很強的時間關(guān)聯(lián)，這也是確定告警根源的一個重要依據(jù)。

3) 關(guān)聯(lián)性。由于應(yīng)用子系統(tǒng)之間和設(shè)備之間的關(guān)聯(lián)關(guān)系，告警之間的激發(fā)關(guān)系，所以使得告警數(shù)據(jù)之間存在有意義的關(guān)聯(lián)關(guān)系，此特性是挖掘分析與研究的重點。

4) 非結(jié)構(gòu)化。告警數(shù)據(jù)存放于日志文件中，它是一種文檔格式，沒有固定結(jié)構(gòu)，只存在一定的格式標準。同時故障中存儲的信息也是多種多樣，不只告警信息，這就造成通常挖掘算法不能直接應(yīng)用到原始日志文件中，必須對日志文件進行預處理，把告警數(shù)據(jù)處理成結(jié)構(gòu)化數(shù)據(jù)，方便挖掘。

3 告警關(guān)聯(lián)問題描述及挖掘算法模型介紹

3.1 告警關(guān)聯(lián)問題描述

3.1.1 告警數(shù)據(jù)處理

告警數(shù)據(jù)存儲在日志文件中，日志文件的非結(jié)構(gòu)化形式存儲使得通用挖掘算法不能直接應(yīng)用于此告警數(shù)據(jù)，必須得經(jīng)過數(shù)據(jù)預處理，提取告警數(shù)據(jù)將其轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，使其能夠被挖掘算法所處理。數(shù)據(jù)預處理是數(shù)據(jù)挖掘過程中重要且關(guān)鍵的一步，數(shù)據(jù)預處理的好壞決定著關(guān)聯(lián)規(guī)則挖掘的質(zhì)量與效果。告警關(guān)聯(lián)分析模型如圖2所示。

圖2 告警關(guān)聯(lián)分析模型

用正則表達式提取日志文件中具有XML形式的告警數(shù)據(jù)，并保存XML格式的文本。用Dom4j框架解析保存好的XML文本，提取各個應(yīng)用子系統(tǒng)的告警信息，去除噪聲數(shù)據(jù)(即缺失關(guān)鍵字段信息的告警數(shù)據(jù))并保存為結(jié)構(gòu)化形式數(shù)據(jù)。每條數(shù)據(jù)按D={Event_hostname, Event_name, Event_id, Source,Info, Time, Level, Agent_name}形式存儲到數(shù)據(jù)庫中，其中Source表示告警發(fā)生源頭，實際就是告警所發(fā)生的主機的IP地址，Info表示告警信息，Time表示告警發(fā)生的時間，Level表示故障等級。

3.1.2 相關(guān)問題描述

定義1 告警序列[5，6]

告警序列S是由告警信息集合上的多個有序的告警組成，表示為S={s,Ts,Te},Ts為告警序列起始時間，Te為告警序列終止時間。如圖3所示，告警序列由多個告警事件(A,t)組成，A代表告警信息，t代表告警發(fā)生時間。

圖3 告警時序圖

定義2 告警窗口[7，8]和滑動步長。

對于給定告警序列S={s,Ts,Te}上面的一個告警子序列，可以表示為Sw={w,ts,te}，ts>Ts,te?；瑒硬介L為當前告警窗口向后滑動的距離，這里用d表示。

定義3 告警關(guān)聯(lián)規(guī)則。

給定一個告警序列S，告警情景α是告警序列組成的告警集合，設(shè)定告警窗口寬度w,滑動距離d。遍歷整個告警數(shù)據(jù)庫序列集。若告警情景α發(fā)生的頻繁程度大于給定的最小支持度MinSup，則說明告警情景α是頻繁的。

(1)

告警情景α?β的置信度定義為：

(2)

若告警情景α=A，β=AB，conf(α?β)=90%，情景α、β都是頻繁告警序列并且滿足conf大于最小置信度MinConf，則可以得出一條告警關(guān)聯(lián)規(guī)則：若情景α出現(xiàn)，則在一個告警窗口內(nèi)，情景α出現(xiàn)的概率為90%。

定義4 告警偏序關(guān)系[9]。

下面介紹告警序列中告警信息間的三種偏序關(guān)系(如圖4所示)。

圖4 告警偏序關(guān)系

(1) 串行關(guān)系

根據(jù)告警數(shù)據(jù)的時序性，告警序列間發(fā)生告警是有先后引發(fā)關(guān)系的。當一種告警事件發(fā)生時，會引發(fā)另外一種或多種告警事件發(fā)生，且這種關(guān)系是固定不會逆轉(zhuǎn)的，即α?β，但不存在β?α，則稱這種關(guān)系為串行關(guān)系。

(2) 并行關(guān)系

對于告警情景α、β, α發(fā)生β也發(fā)生，β發(fā)生α也發(fā)生，即它們之間沒有嚴格的時間先后關(guān)系，總是同時發(fā)生，則稱這種關(guān)系為并行關(guān)系。

(3) 混合關(guān)系

告警情景(c)由告警事件E、F和G組成，且通常告警E和F共同發(fā)生后會引起告警G發(fā)生，那么E、F和G為混合關(guān)系。其實混合關(guān)系也是串行關(guān)系與并行關(guān)系的一種綜合關(guān)系。

3.1.3 時間窗口寬度和滑動步長選擇

時間窗口寬度和滑動步長是影響規(guī)則挖掘結(jié)果的兩個重要因素。時間窗口寬度過小會使一些有關(guān)聯(lián)的告警事件無法被挖掘出來，時間窗口過大會造成原本沒有關(guān)聯(lián)的告警事件當作關(guān)聯(lián)規(guī)則被挖掘出來。本文時間窗口寬度設(shè)置依據(jù)是，統(tǒng)計整個告警數(shù)據(jù)集上告警事件的持續(xù)時間，并根據(jù)時間分布比例來設(shè)置窗口寬度大小。

滑動步長的選擇以保證相鄰窗口有足夠的重疊為原則[10]?；瑒硬介L越小，相鄰時間窗口內(nèi)告警相關(guān)性越強，挖掘的關(guān)聯(lián)規(guī)則越多?；瑒硬介L越大，相鄰的兩個時間窗口內(nèi)告警重疊越少，告警相關(guān)性越弱，挖掘的關(guān)聯(lián)規(guī)則越少?；瑒硬介L取值范圍為Smin

3.2 基于時間滑動窗口的關(guān)聯(lián)規(guī)則挖掘算法

本算法主要分為兩個主體部分：(1)生成告警關(guān)聯(lián)數(shù)據(jù)集；(2)告警關(guān)聯(lián)規(guī)則挖掘。其中在生成告警關(guān)聯(lián)數(shù)據(jù)庫部分，為了壓縮告警數(shù)據(jù)，提高挖掘告警關(guān)聯(lián)規(guī)則的效率，運用了有效時間窗口的思想。

3.2.1 生成告警關(guān)聯(lián)數(shù)據(jù)集

首先設(shè)定時間窗口的大小以及窗口滑動距離，遍歷整個數(shù)據(jù)預處理后的告警數(shù)據(jù)集，產(chǎn)生告警關(guān)聯(lián)數(shù)據(jù)集。由于告警數(shù)據(jù)集的告警字段很多，為了提高算法的挖掘效率，對字段進行縮減，只提取那些對告警關(guān)聯(lián)規(guī)則挖掘緊密相關(guān)的字段。本算法主要提取四個字段：① 發(fā)生告警的主機IP；② 產(chǎn)生的告警信息，描述發(fā)生了何種告警信息，包括故障類型，產(chǎn)生原因；③ 告警發(fā)生時間；④ 告警發(fā)生等級。最終生成了告警數(shù)據(jù)庫，每個時間窗口內(nèi)發(fā)生的告警事件作為一條數(shù)據(jù)集，每條數(shù)據(jù)集記錄了告警信息，告警發(fā)生時間、告警數(shù)據(jù)所發(fā)生在的主機IP地址以及在窗口內(nèi)發(fā)生的次數(shù)。

由于系統(tǒng)并不是時時刻刻都在告警，有些告警數(shù)據(jù)中間的時間差比較大，這樣就會造成時間窗口在數(shù)據(jù)集上按照時間維度滑動時，有些時間窗口內(nèi)并沒有告警事件發(fā)生，這樣就產(chǎn)生了空時間窗口，稱為無效時間窗口。整個時間序列上有效窗口的個數(shù)為：

(3)

其中，|W(S,W)′|表示無效窗口數(shù)。顯然，在生成頻繁項集過程中需要掃描數(shù)據(jù)庫，無效窗口浪費了很多掃描時間，占用了大量空間。本算法去掉所有無效時間窗口，基于時間窗口的思想進行實驗，大大提高了算法的效率。由式(1)可知，時間窗口數(shù)量|W(S,W)|減小，支持度也提高了。

分析告警數(shù)據(jù)時發(fā)現(xiàn)在一個時間窗口中，同一個告警事件在一個時刻發(fā)生了多次，而且在不同時刻也發(fā)生了多次。為了壓縮告警數(shù)據(jù)庫，同時避免一個告警事件在一個窗口內(nèi)發(fā)生頻繁而其他時間窗口極少發(fā)生而被計算成頻繁項的情況，本算法采用如下處理模型，一個時間窗口中同一個告警事件發(fā)生了多次被記錄一次。為了保證原有告警數(shù)據(jù)的時序性，嚴格按照告警事件發(fā)生的時間順序進行記錄。

3.2.2 告警關(guān)聯(lián)規(guī)則挖掘

本文采用FP-Tree的序列模式挖掘算法[4]，通過兩次掃描數(shù)據(jù)庫，構(gòu)造FP-Tree，在以后發(fā)現(xiàn)頻繁項集的過程中，不需要產(chǎn)生候選項集，效率明顯強于Apriori算法?；舅枷霝椋菏紫韧ㄟ^FP-Tree的改進，將告警數(shù)據(jù)壓縮到FP-Tree上，然后對FP-Tree自底向上查找頻繁告警項集，最后挖掘告警事件間的時序關(guān)系。算法的輸入輸出如下：

輸入：(1) 告警序列S；(2) 滑動窗口寬度w和滑動步長d；(3) 最小支持度MinSup；(4) 最小置信度MinConf。

輸出：S中滿足MinSup和MinConf的關(guān)聯(lián)規(guī)則。

4 實驗測試及結(jié)果分析

在CPU為Intel 2140-1.6 GHz，內(nèi)存為2 GB，操作系統(tǒng)為Window7的計算機環(huán)境下，用Java對數(shù)據(jù)庫SQL Server 2008里存儲的已預處理的告警數(shù)據(jù)進行了實驗。對 2013年12月1日到2013年12月21日的告警數(shù)據(jù)的告警事件持續(xù)時間進行統(tǒng)計分析，對告警事件按持續(xù)時間進行劃分，不同持續(xù)時間的告警事件所占比重如圖5所示。

圖5 告警事件持續(xù)時間分布圖

由圖5可知，持續(xù)時間在16分鐘以內(nèi)的告警事件大約在整個告警數(shù)據(jù)集中95%左右，也就是說絕大部分告警事件會囊括在寬度為16分鐘的時間窗口內(nèi)。實驗中設(shè)置滑動窗口的寬度為16分鐘，滑動距離大小為8分鐘，設(shè)置最小支持度為8%，置信度為85%。實驗數(shù)據(jù)為民航旅客服務(wù)信息系統(tǒng)連續(xù)三周的告警數(shù)據(jù)，大約46 000條告警記錄，27種告警類型。實驗挖掘出的告警關(guān)聯(lián)規(guī)則如表1所示。

表1 告警關(guān)聯(lián)規(guī)則

以第一條規(guī)則為例解釋挖掘出關(guān)聯(lián)規(guī)則的含義：當IP地址為10.6.141.16的子系統(tǒng)下發(fā)生了ALARM_TLOG_RESTART這個告警時，在時間窗口大小16分鐘內(nèi)，IP地址為10.6.141.16的子系統(tǒng)下發(fā)生ALARM_TLOG_ERROR這個告警的概率為91.3%。

為了驗證挖掘出關(guān)聯(lián)規(guī)則的準確率，進行了另外一組驗證實驗，驗證數(shù)據(jù)是2013年12月22日到2013年12月31號產(chǎn)生的告警信息。把告警信息與關(guān)聯(lián)規(guī)則前件進行匹配，如果告警信息和規(guī)則后件描述一致，則規(guī)則匹配成功，否則匹配失敗。部分關(guān)聯(lián)規(guī)則準確率如表2所示。

表2 告警關(guān)聯(lián)規(guī)則準確率

根據(jù)上面提到的關(guān)聯(lián)規(guī)則之間的偏序關(guān)系，對挖掘出來的告警關(guān)聯(lián)規(guī)則進行意義及應(yīng)用分析。比如表1中第一條告警關(guān)聯(lián)規(guī)則滿足串行關(guān)系，其意義有兩點：(1) 追溯故障源，把告警規(guī)則的前件當作故障源來處理；(2) 壓縮冗余的告警數(shù)據(jù)，系統(tǒng)在發(fā)生告警時會報出大量數(shù)據(jù)，除了故障源之外，與故障源關(guān)聯(lián)的其他系統(tǒng)也會報出告警數(shù)據(jù)，這樣在下次系統(tǒng)發(fā)生規(guī)則前件的告警時，讓安全監(jiān)控系統(tǒng)的Agent只提取出規(guī)則前件的告警信息，其余告警信息過濾掉。表1中的第二、三條告警關(guān)聯(lián)規(guī)則屬于偏序關(guān)系中的并行關(guān)系，當規(guī)則前件的告警事件發(fā)生時可以預測另外IP地址下的子系統(tǒng)將要發(fā)生的告警。第七條規(guī)則屬于混合關(guān)系，規(guī)則前件的事件都發(fā)生后來預測規(guī)則后件的告警。這些規(guī)則的意義對于維護人員來說可以提前采取措施進行處理，及時恢復系統(tǒng)。

5 結(jié) 語

本文根據(jù)民航旅客服務(wù)信息系統(tǒng)產(chǎn)生的告警數(shù)據(jù)的特征進行了數(shù)據(jù)預處理并用基于事件窗口滑動的框架模型進行了告警關(guān)聯(lián)規(guī)則的挖掘并取得有效的實驗結(jié)果。系統(tǒng)維護工作的繁雜使得告警關(guān)聯(lián)規(guī)則的挖掘很有必要。挖掘出的告警關(guān)聯(lián)規(guī)則對于系統(tǒng)維護人員進行故障定位、告警數(shù)據(jù)壓縮以及告警事件的預測起到了決策支持的作用。下一步將對支持度以及置信度等參數(shù)的設(shè)置對實驗結(jié)果影響做更細致和深入的研究。

[1] 張現(xiàn)飛, 侯思祖.電力通信網(wǎng)監(jiān)控系統(tǒng)告警關(guān)聯(lián)分析[J].電力系統(tǒng)通信, 2009,30(1):47-50.

[2] Gao H S, Li Y M. An efficient communication network SDH alarm association rule mining algorithm[J].Advanced Materials Research, 2014,926-930:1870-1873.

[3] Yan H, Zhang T. Association rules mining based on numeric constraint[J].Advances In Information Sciences and Service Sciences,2012,4(23):634-642.

[4] 徐前方. 基于數(shù)據(jù)挖掘的網(wǎng)絡(luò)故障告警相關(guān)性研究[D].北京郵電大學, 2007.

[5] 徐前方, 闞建杰, 李永春. 一種具有時序特征的告警關(guān)聯(lián)規(guī)則挖掘算法[J].微電子學與計算機, 2007,24(3):23-26.

[6] Li T, Li X. Novel alarm correlation analysis system based on association rules mining in telecommunication networks[J].Information Sciences, 2010,180(16):2960-2978.

[7] 李國輝, 陳輝. 挖掘數(shù)據(jù)流任意滑動時間窗口內(nèi)頻繁模式[J].軟件學報, 2008,19(10):2585-2596.

[8] Hou S, Zhang X. Alarms association rules based on sequential pattern mining algorithm[C]//Proceedings-5th International Conference on Fuzzy System and Knowledge Discovery: 2008：556-560.

[9] 劉康平, 李增智. 網(wǎng)絡(luò)告警序列中的頻繁情景規(guī)則挖掘算法[J]. 小型微型計算機系統(tǒng), 2003,24(5):891-894．

[10] 李彤巖, 李興明. 基于雙約束滑動時間窗口的告警預處理方法研究[J].計算機應(yīng)用研究,2013,30(2):582-584.

[11] 陳輝, 鄧慶山, 楊兵. 挖掘數(shù)據(jù)流最近時間窗口內(nèi)頻繁模式[J].小型微型計算機系統(tǒng), 2009, 30(12):2404-2408.

[12] 寇香霞, 任永功, 宋奎勇.一種基于滑動窗口的數(shù)據(jù)流頻繁項集挖掘算法[J].計算機應(yīng)用與軟件, 2013,30(1):143-146.

ALARM ASSOCIATION RULES MINING IN AVIATION PASSENGER SERVICE INFORMATION SYSTEM

Zhao Jigang1Zhang Chao2Ding Jianli2Wang Jing2

1(TravelSkyTechnologyLimitedCompany,Beijing100105,China)2(SchoolofComputerScienceandTechnology,CivilAviationUniversityofChina,Tianjin300300,China)

Alarm association rules mining is an important method in system fault diagnosis and localisation. Due to the association relationship between each subsystem in aviation passengers service information system, once a subsystem fails, it will produce a large number of or even massive alarm information, which makes it hard to find the system fault root for the system maintenance personnel. To overcome the difficulties of fault diagnosis and localisations, this paper puts forward an association rules mining method which is based on sliding time window framework. This method can find the association relationship between fault roots and fault factors from huge alarm information. Through the experiment it is indicated that the proposed method can find the valuable alarm association rules accurately and quickly, and provides the decision-making support for system maintenance personnel.

Sliding time window Alarm association Rule mining Frequent item sets

2014-08-08。國家科技支撐計劃項目(2012BAH 21F02)；民航局科技創(chuàng)新引導資金專項(MRHD20130106)；中國民航大學中央高校基金項目(3122014P004,3122014C016)。趙紀剛，工程師，主研領(lǐng)域：計算機應(yīng)用，民航信息系統(tǒng)。張超，碩士生。丁建立，教授。王靜，講師。

TP273+.4

A

10.3969/j.issn.1000-386x.2016.04.017