基于動(dòng)態(tài)時(shí)間窗口及告警等級(jí)權(quán)重的告警相關(guān)性研究

廖倩倩

(中國(guó)移動(dòng)通信集團(tuán)廣西有限公司桂林分公司,廣西桂林 541004)

0 引言

隨著移動(dòng)通信技術(shù)及業(yè)務(wù)的快速發(fā)展,移動(dòng)通信網(wǎng)絡(luò)已經(jīng)成為人們?nèi)粘Ｉ?、工作中不可缺少的組成部分,保障移動(dòng)通信網(wǎng)絡(luò)的良好運(yùn)行已成為電信運(yùn)營(yíng)商的首要工作之一。

目前電信運(yùn)營(yíng)商普遍采用集中監(jiān)控模式,各類設(shè)備的故障信息都通過(guò)告警監(jiān)控平臺(tái)集中呈現(xiàn)。平臺(tái)每天產(chǎn)生海量告警,而現(xiàn)階段,對(duì)這些告警的處理仍然依賴維護(hù)人員自身的經(jīng)驗(yàn)。如何從海量的告警中找出告警之間的關(guān)聯(lián),過(guò)濾掉衍生冗余告警,減少呈現(xiàn)給維護(hù)人員的告警數(shù)量,找出根源故障,已經(jīng)成為當(dāng)前網(wǎng)絡(luò)運(yùn)維越來(lái)越關(guān)注的問(wèn)題。

1 告警關(guān)聯(lián)研究現(xiàn)狀

目前,廣大的科研人員及通信網(wǎng)絡(luò)工作者已對(duì)告警關(guān)聯(lián)技術(shù)進(jìn)行了大量的研究。按照所采用技術(shù)手段的不同,現(xiàn)有的告警關(guān)聯(lián)技術(shù)可以分為基于相似性的方法、基于場(chǎng)景的方法、基于因果的方法和基于數(shù)據(jù)挖掘的方法[1]。這其中,數(shù)據(jù)挖掘方法因其挖掘的高效性成為當(dāng)前研究的熱點(diǎn)。

關(guān)聯(lián)規(guī)則的數(shù)據(jù)挖掘研究主要集中在頻繁模式的算法上,其中Apriori算法和FP-growth算法影響力較大。相較而言,Apriori算法需多次遍歷數(shù)據(jù)庫(kù),產(chǎn)生大量的候選集,效率較低;而FP-growth算法的構(gòu)建只需要掃描兩遍數(shù)據(jù)庫(kù),不需要生成候選集,因此當(dāng)前得到較廣泛的采用。

也有學(xué)者提出基于動(dòng)態(tài)時(shí)間彎曲曲線(DTW)的告警相關(guān)性分析[2],該方法充分利用了告警的開始時(shí)間、結(jié)束時(shí)間信息,解決了告警延遲時(shí)間變化的問(wèn)題,但該算法需要計(jì)算每一個(gè)告警與其他告警的D T W 距離,若用在告警設(shè)備多、設(shè)備廠家多、告警類型多的現(xiàn)網(wǎng)中耗時(shí)較大。

2 基于動(dòng)態(tài)時(shí)間窗口及告警級(jí)別加權(quán)的告警相關(guān)性研究

綜合考慮各類方法的優(yōu)缺點(diǎn),本文提出一種基于動(dòng)態(tài)時(shí)間窗口及告警等級(jí)加權(quán),綜合考慮告警開始時(shí)間及結(jié)束時(shí)間,利用FP-growth算法實(shí)現(xiàn)告警之間關(guān)聯(lián)規(guī)則的挖掘。

本文告警相關(guān)性挖掘流程如圖1 所示。

圖1 告警相關(guān)性規(guī)則挖掘流程Fig.1 Alarm correlation rule mining process

2.1 告警數(shù)據(jù)精煉

現(xiàn)網(wǎng)中一條告警包含多個(gè)字段,而告警相關(guān)性挖掘感興趣的字段僅為告警設(shè)備、告警事件標(biāo)準(zhǔn)名、告警等級(jí)、告警開始時(shí)間、告警結(jié)束時(shí)間。因此,需要對(duì)原始的告警數(shù)據(jù)進(jìn)行精簡(jiǎn),保留感興趣的字段即可。此外,每條告警需要有唯一的標(biāo)識(shí),本文采用“設(shè)備+告警事件標(biāo)準(zhǔn)名”做為告警的ID。同時(shí)考慮告警ID過(guò)長(zhǎng),為了提高效率,對(duì)告警進(jìn)行編碼,如表1所示。

表1 某段時(shí)間精煉后的告警數(shù)據(jù)Tab.1 Alarm data after refining in a certain period of time

圖2 動(dòng)態(tài)時(shí)間窗口Fig.2 Dynamic time window

2.2 告警事務(wù)提取

利用FP-growth算法挖掘告警相關(guān)性,需要將告警數(shù)據(jù)轉(zhuǎn)換為告警事務(wù)。告警事務(wù)是指同時(shí)發(fā)生的若干個(gè)告警事件的集合[3]。我們認(rèn)為同一個(gè)事務(wù)內(nèi)的告警是在同一時(shí)間發(fā)生的,存在著相互關(guān)聯(lián)的可能性。

本文分別按歷史告警的開始時(shí)間、結(jié)束時(shí)間,采用動(dòng)態(tài)時(shí)間窗口對(duì)歷史告警進(jìn)行告警事務(wù)劃分,并根據(jù)告警等級(jí)進(jìn)行事務(wù)權(quán)重處理。

2.2.1 動(dòng)態(tài)時(shí)間窗口選取

傳統(tǒng)的生成告警事務(wù)的方法,通常采用固定窗口寬度、固定步長(zhǎng)的滑動(dòng)窗口,同一窗口的內(nèi)的告警被認(rèn)為是同一時(shí)間發(fā)生的,這種方法比較直觀,容易實(shí)現(xiàn)。但告警的發(fā)生在時(shí)間上并不是均勻分布,可能在某一段時(shí)間內(nèi)告警量非常大,甚至由一個(gè)故障引起告警風(fēng)暴,而在某些時(shí)段網(wǎng)絡(luò)又非常穩(wěn)定,沒(méi)有告警產(chǎn)生。如果采用固定寬度、固定步長(zhǎng)的時(shí)間滑動(dòng)窗口,就會(huì)造成在故障頻發(fā)時(shí)無(wú)法完整充分的捕獲告警事務(wù),而在網(wǎng)絡(luò)穩(wěn)定的時(shí)候效率底下的問(wèn)題。同時(shí)窗口的寬度以及滑動(dòng)步長(zhǎng),都會(huì)影響到告警相關(guān)性提取的有效性,通常要反復(fù)嘗試多個(gè)值才能找出最優(yōu)方案,效率較低。

為了有效的提取告警事務(wù),本文提出了采用動(dòng)態(tài)時(shí)間窗口提取告警事務(wù)的方法。通過(guò)對(duì)現(xiàn)網(wǎng)歷史告警數(shù)據(jù)進(jìn)行統(tǒng)計(jì),44%的告警時(shí)長(zhǎng)在10分鐘以內(nèi)。該告警持續(xù)時(shí)間內(nèi)出現(xiàn)的其他故障告警,都可能與該告警有關(guān)聯(lián)。

因此窗口選取規(guī)則為:若本次告警發(fā)生時(shí)間,與前一個(gè)告警發(fā)生時(shí)間間隔小于10 分鐘,則認(rèn)為該告警與前一告警處于同一窗口,反之則重新建立一個(gè)新窗口。為了剔除頻繁閃斷告警的影響,若窗口中一分鐘內(nèi)出現(xiàn)過(guò)相同告警,則忽略該次告警,反之則重新建立一個(gè)新窗口。以表1 的告警數(shù)據(jù)為列,動(dòng)態(tài)時(shí)間窗口從中提取出3 組告警事務(wù),如圖2所示。

表2 告警等級(jí)權(quán)重處理Tab.2 Alarm level weight processing

2.2.2 根據(jù)告警等級(jí)進(jìn)行事務(wù)權(quán)重處理

移動(dòng)通信的告警按其影響程度共分為4級(jí),根據(jù)現(xiàn)網(wǎng)告警數(shù)據(jù)統(tǒng)計(jì),各級(jí)告警數(shù)量占比并不均勻,維護(hù)人員最為關(guān)注、對(duì)網(wǎng)絡(luò)穩(wěn)定影響最大的一級(jí)告警僅占1%,二級(jí)告警占比低于20%,三級(jí)告警占比77%以上,四級(jí)告警占比低于2%。為了使需要重點(diǎn)關(guān)注的一、二告警不被淹沒(méi)在眾多告警中,本文提出一種根據(jù)告警等級(jí)進(jìn)行事務(wù)權(quán)重處理的方法。即,當(dāng)告警事務(wù)中包含一級(jí)告警,則該告警事務(wù)在告警事務(wù)庫(kù)中記錄3 次;若包含二級(jí)告警,則該告警事務(wù)記錄2次;否則該告警事務(wù)只記錄1次。如圖2提取出的告警事務(wù),因A31是二級(jí)告警,因此該告警所在的事務(wù)在告警事務(wù)庫(kù)中記錄兩次,如表2所示。

2.2.3 提取告警結(jié)束時(shí)間的關(guān)聯(lián)性

大部分學(xué)者研究告警相關(guān)性時(shí),僅考慮告警開始時(shí)間,未考慮告警結(jié)束時(shí)間,但告警結(jié)束時(shí)間同樣包含大量的關(guān)聯(lián)信息,如表3 所示。因此本文對(duì)告警結(jié)束時(shí)間也按照動(dòng)態(tài)時(shí)間窗口(2.2.1)及告警等級(jí)權(quán)重(2.2.2)進(jìn)行告警事務(wù)劃分,并作為分析數(shù)據(jù)與告警開始時(shí)間事務(wù)集一起進(jìn)行FP-growth頻繁項(xiàng)計(jì)算。

2.3 頻繁項(xiàng)挖掘

采用FP-growth算法對(duì)提取出來(lái)的告警事務(wù)集挖掘各次頻繁項(xiàng)集。第1次掃描事務(wù)數(shù)據(jù)庫(kù)獲得頻繁1項(xiàng)集,并排序作為項(xiàng)頭表。第2次掃描事務(wù)數(shù)據(jù)庫(kù),建立FP-Tree樹,得出頻繁項(xiàng)集。

2.4 告警規(guī)則生成

告警規(guī)則的制定普遍使用的兩個(gè)指標(biāo):Support(支持度)、Confidence(置信度)。支持度是指告警事件出現(xiàn)的頻度。置信度是指在產(chǎn)生告警A 的前提下,產(chǎn)生告警B 的概率。

一個(gè)有效的告警關(guān)聯(lián)規(guī)則,必須同時(shí)具有較高的置信度與支持度。但即使?jié)M足最小支持度、最小置信度,仍然不一定是維護(hù)人員感興趣的有效規(guī)則,需經(jīng)過(guò)專家篩選。

根據(jù)告警管理要求與告警自身含義與時(shí)間窗的關(guān)系分為:主次告警關(guān)聯(lián)模型與衍生告警關(guān)聯(lián)模型[4]。本文從歷史告警中提取告警規(guī)則主要針對(duì)主次告警規(guī)則模型。

主次告警又可以分為串行模式和并發(fā)模式。

表3 告警開始時(shí)間、結(jié)束時(shí)間提取事務(wù)對(duì)比Tab.3 Comparison of alarm start time and end time extraction transactions

串行模式:當(dāng)告警A發(fā)生后,必然有告警B發(fā)生,告警A是告警B發(fā)生的根源,當(dāng)告警A恢復(fù)后,告警B也自動(dòng)恢復(fù)[5]。本文用符號(hào)“->”表示,將多條串行模式告警簡(jiǎn)化歸并為一條根源告警, 以減少呈現(xiàn)給維護(hù)人員的告警數(shù)量,同時(shí)幫助維護(hù)人員快速定位故障根源。

并發(fā)模式:當(dāng)告警A發(fā)生時(shí),必然有告警B發(fā)生,但出現(xiàn)的先后順序不一定。本文用符號(hào)“&”表示,多條并發(fā)模式告警集可以合并為一個(gè)合告警,以減少告警數(shù)量。

告警A、告警B可以是某一個(gè)告警,也可以是某幾個(gè)告警組成的告警集。

3 實(shí)驗(yàn)分析

本文采用廣西移動(dòng)公司某地市局站連續(xù)2個(gè)月的動(dòng)力系統(tǒng)告警作為樣本進(jìn)行分析,分別采用4 種算法進(jìn)行測(cè)試,如表4所示,頻繁度設(shè)置為3%,置信度80%。

3.1 算法執(zhí)行時(shí)間對(duì)比

從實(shí)驗(yàn)數(shù)據(jù)得出,如圖3所示,告警相關(guān)性算法的執(zhí)行85%以上的時(shí)間耗費(fèi)在告警事務(wù)的提取上,本文提出的動(dòng)態(tài)時(shí)間窗口提取事務(wù)的算法耗時(shí)明顯低于傳統(tǒng)的固定滑動(dòng)窗口算法。即使在算法中加入權(quán)重處理、及對(duì)告警結(jié)束時(shí)間提取事務(wù),所用時(shí)間仍然低于傳統(tǒng)的固定滑動(dòng)窗口算法。

3.2 有效規(guī)則對(duì)比

對(duì)比算法1和算法2,傳統(tǒng)的固定滑動(dòng)窗口提取出241條事務(wù),本文提出的動(dòng)態(tài)時(shí)間窗口提取出115條事務(wù),如圖4 所示。較傳統(tǒng)的固定滑動(dòng)窗口,本文提出的動(dòng)態(tài)時(shí)間窗口將事務(wù)數(shù)精簡(jiǎn)掉5 2.3%,提取出的規(guī)則數(shù)不但沒(méi)減少,反而提升了33.3%。

表4 測(cè)算算法Tab.4 Calculation algorithm

圖4 事務(wù)數(shù)量Fig.4 Number of transactions

表5 有效規(guī)則Tab.5 Effective rules

對(duì)比算法2和算法3,若僅僅采用動(dòng)態(tài)時(shí)間窗口,則對(duì)發(fā)生頻率小,但意義重大的一、二級(jí)告警不敏感,導(dǎo)致很多重要規(guī)則丟失。增加了告警等級(jí)權(quán)重算法后,提取出的規(guī)則數(shù)較單純采用動(dòng)態(tài)時(shí)間窗提升了50.0%。

對(duì)比算法3和算法4,增加告警結(jié)束時(shí)間的挖掘后,規(guī)則的準(zhǔn)確性進(jìn)一步提升。如表5所示,檢測(cè)出序號(hào)2和序號(hào)5的規(guī)則合并為一條,同時(shí)剔除了序號(hào)9規(guī)則。

4 結(jié)語(yǔ)

為了有效的找出告警之間的關(guān)聯(lián)性,本文提出了一種基于動(dòng)態(tài)時(shí)間窗口及告警等級(jí)權(quán)重,綜合考慮告警開始時(shí)間及結(jié)束時(shí)間,利用FP-growth算法實(shí)現(xiàn)告警之間關(guān)聯(lián)規(guī)則挖掘的算法。通過(guò)實(shí)驗(yàn)證明,與傳統(tǒng)的滑動(dòng)窗口提取事務(wù)相比,該算法的執(zhí)行耗時(shí)較少,提取出的規(guī)則較為全面和準(zhǔn)確,對(duì)于快速定位根源故障,減少告警數(shù)量具有重大意義。未來(lái)的研究方向和工作包括但不限于: 采用Spark技術(shù)進(jìn)行規(guī)則挖掘;針對(duì)網(wǎng)絡(luò)設(shè)備的增減、網(wǎng)絡(luò)拓?fù)涞恼{(diào)整進(jìn)行告警關(guān)聯(lián)規(guī)則增量挖掘。