基于分布式挖掘的支撐網(wǎng)告警關(guān)聯(lián)規(guī)則處理技術(shù)

［羅春艷 萬能］

1 引言

隨著移動(dòng)通信網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)大，支撐網(wǎng)的告警種類、告警數(shù)量以及多源告警設(shè)備之間的告警信息也不斷增加[1]。然而，在現(xiàn)有的告警事務(wù)數(shù)據(jù)中的關(guān)聯(lián)規(guī)則只要依賴于專家經(jīng)驗(yàn)，導(dǎo)致網(wǎng)絡(luò)故障根因分析效率不高，精度時(shí)好時(shí)壞[2]。另外，在網(wǎng)絡(luò)分布式環(huán)境下由于告警事務(wù)數(shù)據(jù)分布不均勻的問題，傳統(tǒng)集中式關(guān)聯(lián)規(guī)則挖掘方法很難確定最小支持度和最小置信度，從而使得關(guān)聯(lián)規(guī)則方法在某些區(qū)域中效果顯著，在某些區(qū)域中效果不理想。除此之外，傳統(tǒng)集中關(guān)聯(lián)規(guī)則采用專家經(jīng)驗(yàn)設(shè)定的最小支持度和置信度也不適用于分布式環(huán)境下關(guān)聯(lián)規(guī)則的制定。為此，本文提出一種基于分布式挖掘的支撐網(wǎng)告警關(guān)聯(lián)規(guī)則處理技術(shù)，該技術(shù)通過貝葉斯深度學(xué)習(xí)的方法很好地解決了告警事務(wù)不均勻所導(dǎo)致的網(wǎng)絡(luò)故障根因分析效率和精度的問題，利用局部模型獲取的支持度和置信度分析全局模型中支持度和置信度分布，進(jìn)而確定全局模型最小支持度和置信度，避免專家經(jīng)驗(yàn)設(shè)定最小支持度和置信度所出現(xiàn)的效率不高和精度不高的問題。

2 相關(guān)方法

2.1 告警事務(wù)數(shù)據(jù)預(yù)處理方法

文獻(xiàn)[3～4]認(rèn)為相鄰時(shí)間窗口的告警事務(wù)數(shù)據(jù)具有相似特征，因此在告警事務(wù)數(shù)據(jù)提取時(shí)，可以根據(jù)需求對(duì)告警事務(wù)數(shù)據(jù)進(jìn)行壓縮處理，從而降低告警事務(wù)數(shù)據(jù)的冗余性。然而，基于滑動(dòng)時(shí)間窗口的告警事務(wù)數(shù)據(jù)提取方式雖然簡(jiǎn)單，但是也有很多不足，比如：滑動(dòng)窗口假定數(shù)據(jù)告警事務(wù)數(shù)據(jù)分布是均勻的，并且在滑動(dòng)時(shí)間窗口寬度確定的情況下，不同時(shí)間段所提取出來的告警事務(wù)數(shù)據(jù)質(zhì)量存在不一致現(xiàn)象，因此，采用固定時(shí)間窗口寬度提取的告警事務(wù)數(shù)據(jù)通常存在數(shù)據(jù)質(zhì)量不高的現(xiàn)象。

為了解決滑動(dòng)時(shí)間窗口提取告警事務(wù)數(shù)據(jù)所帶來的問題，研究人員采用聚類算法對(duì)告警事務(wù)數(shù)據(jù)進(jìn)行預(yù)處理。該方法利用有用告警事務(wù)數(shù)據(jù)稀疏特性，將告警時(shí)間段具有強(qiáng)相關(guān)性特征的事務(wù)數(shù)據(jù)進(jìn)行提取，并基于文本相似度對(duì)提取的事務(wù)數(shù)據(jù)進(jìn)行聚合形成告警事務(wù)數(shù)據(jù)簇，大大降低告警事務(wù)數(shù)據(jù)提取所帶來的數(shù)據(jù)冗余量過多的問題。告警事務(wù)數(shù)據(jù)預(yù)處理的流程如圖1 所示。

圖1 告警事務(wù)數(shù)據(jù)預(yù)處理流程

2.2 告警事務(wù)數(shù)據(jù)關(guān)聯(lián)性分析

網(wǎng)絡(luò)一種故障告警會(huì)引發(fā)多個(gè)設(shè)備告警行為，因此告警事務(wù)存儲(chǔ)數(shù)據(jù)庫(kù)中會(huì)存在數(shù)量非常龐大的告警信息。為了有效減少網(wǎng)絡(luò)管理人員的工作量，通過分析告警事務(wù)數(shù)據(jù)關(guān)聯(lián)性，結(jié)合關(guān)聯(lián)規(guī)則構(gòu)建告警關(guān)聯(lián)規(guī)則庫(kù)，并基于關(guān)聯(lián)結(jié)果定位網(wǎng)絡(luò)故障，實(shí)現(xiàn)告警事務(wù)數(shù)據(jù)的精準(zhǔn)分析。

（1）基于文本相似度的告警事務(wù)數(shù)據(jù)聚合方法

為了解決不同設(shè)備所采集的告警時(shí)刻不一致問題，通常采用屬性相似度分析的方法[2～4]來實(shí)現(xiàn)告警事務(wù)數(shù)據(jù)聚合。假設(shè)經(jīng)過處理之后的告警事務(wù)數(shù)據(jù)可以用一個(gè)七元組進(jìn)行表示其中，id表示告警事務(wù)數(shù)據(jù)的序號(hào)，timestamp表示告警事務(wù)數(shù)據(jù)的時(shí)間標(biāo)簽，src表示告警事務(wù)數(shù)據(jù)的源IP 地址，dst表示告警事務(wù)數(shù)據(jù)的目的IP 地址，mag表示告警事務(wù)數(shù)據(jù)的告警類別，sport表示告警事務(wù)數(shù)據(jù)的源端口，dport表示告警事務(wù)數(shù)據(jù)的目的端口。基于告警屬性（除時(shí)間標(biāo)簽外）的相似度計(jì)算告警事務(wù)數(shù)據(jù)的整體相似性。

γij表示兩個(gè)告警事務(wù)數(shù)據(jù)的數(shù)據(jù)之間的相似性，告警事務(wù)數(shù)據(jù)采用七元組類似文本的方式進(jìn)行處理，進(jìn)而采用余弦相似性的方式來衡量告警數(shù)據(jù)之間的相似度。表示第i 個(gè)告警事務(wù)數(shù)據(jù)的數(shù)據(jù)，表示第j 個(gè)告警事務(wù)數(shù)據(jù)的數(shù)據(jù)。結(jié)合公式1 衡量告警事務(wù)數(shù)據(jù)庫(kù)中兩兩告警事務(wù)數(shù)據(jù)的相似性，如果相似性大于設(shè)定的閾值γθ，那么將兩個(gè)告警事務(wù)數(shù)據(jù)進(jìn)行聚合，聚合的方式通常隨機(jī)刪除的方法對(duì)高相似度的告警數(shù)據(jù)進(jìn)行剔除，進(jìn)而降低告警事務(wù)數(shù)據(jù)的冗余度。

（2）基于關(guān)聯(lián)規(guī)則匹配的告警事務(wù)數(shù)據(jù)處理

在對(duì)告警事務(wù)數(shù)據(jù)進(jìn)行合并后，傳統(tǒng)方法采用關(guān)聯(lián)規(guī)則來處理告警事務(wù)數(shù)據(jù)序列，并基于告警事務(wù)數(shù)據(jù)序列挖掘k-項(xiàng)集，結(jié)合設(shè)定的支持度和置信度挖掘告警事務(wù)數(shù)據(jù)的頻繁k-項(xiàng)集，產(chǎn)生告警關(guān)聯(lián)規(guī)則。

如果k-項(xiàng)集支持度滿足支持度閾值，那么集合X 稱為D 的k-項(xiàng)集。

其中，support(X)表示項(xiàng)集X 的支持度σX表示數(shù)據(jù)集D 中包含項(xiàng)集X 的數(shù)量，D 表示數(shù)據(jù)集中總的項(xiàng)集數(shù)量。（3）

其中，confident{D?X}表示頻繁項(xiàng)集X 的置信度，置信度是衡量告警事件事務(wù)數(shù)據(jù)發(fā)生的條件概率的穩(wěn)定性程度。

傳統(tǒng)的方法是通過人工的方式設(shè)置支持度閾值和置信度閾值，當(dāng)support(X)大于設(shè)定的支持度閾值時(shí)且confident{D?X}大于設(shè)定的置信度閾值時(shí)，則項(xiàng)集X 為頻繁項(xiàng)集。

基于公式2 和公式3，可以從告警事務(wù)數(shù)據(jù)集D 找出滿足要求的頻繁項(xiàng)集。

（3）基于LSTM 的告警故障類型識(shí)別與定位

由于告警事務(wù)數(shù)據(jù)涉及不同的告警信息，通過機(jī)器學(xué)習(xí)將告警信息的特征與故障類別進(jìn)行相關(guān)性分析，實(shí)現(xiàn)告警故障的自動(dòng)識(shí)別。目前告警故障類型識(shí)別模型有很多，包括支持向量機(jī)[5～6]、貝葉斯模型[7～8]、隨機(jī)森林[9～10]、BP神經(jīng)網(wǎng)絡(luò)[11～12]等。這些模型都是將經(jīng)過關(guān)聯(lián)規(guī)則分析的歷史告警事務(wù)數(shù)據(jù)的序列與人工經(jīng)驗(yàn)設(shè)定的故障類型標(biāo)簽建立相關(guān)模型后，然后模式匹配的方式實(shí)現(xiàn)告警故障類型的預(yù)測(cè)。如果經(jīng)過關(guān)聯(lián)規(guī)則分析的歷史告警事務(wù)數(shù)據(jù)序列中蘊(yùn)含了n 項(xiàng)告警，在對(duì)應(yīng)的檢測(cè)窗口中n 項(xiàng)序列與待預(yù)測(cè)的經(jīng)過關(guān)聯(lián)規(guī)則分析的告警序列相匹配，那么就能夠?qū)崿F(xiàn)告警故障類型識(shí)別；最后，基于告警故障類型發(fā)生的告警位置確定故障所在的位置。

然而，如何設(shè)置合理的支持度閾值和置信度閾值是告警事務(wù)數(shù)據(jù)處理的關(guān)鍵問題，因?yàn)楹侠淼闹С侄乳撝岛椭眯哦乳撝抵苯佑绊戭l繁項(xiàng)集的數(shù)量，也會(huì)直接影響告警故障類別識(shí)別的準(zhǔn)確率。因此，本文基于分布式挖掘的方法挖掘告警關(guān)聯(lián)規(guī)則。也就是采用貝葉斯深度學(xué)習(xí)的方法實(shí)現(xiàn)頻繁項(xiàng)集支持度和置信度進(jìn)行分布估計(jì)，從而為頻繁項(xiàng)集支持度閾值和置信度閾值的設(shè)定提供數(shù)據(jù)基礎(chǔ)。

3 基于分布式挖掘的支撐網(wǎng)告警關(guān)聯(lián)規(guī)則分析

隨著網(wǎng)絡(luò)規(guī)模的迅速擴(kuò)大以及云計(jì)算大數(shù)據(jù)技術(shù)的快速發(fā)展，大規(guī)模數(shù)據(jù)的存儲(chǔ)、實(shí)時(shí)分析成為可能。然而，當(dāng)前的移動(dòng)通信支撐網(wǎng)是2/3/4/5G 共存的異構(gòu)網(wǎng)絡(luò)，網(wǎng)絡(luò)的分層異構(gòu)特點(diǎn)使得傳統(tǒng)的集中處理告警數(shù)據(jù)方法難以滿足現(xiàn)有實(shí)時(shí)分析的要求，因此，分布式挖掘方法成為支撐網(wǎng)告警數(shù)據(jù)實(shí)時(shí)分析的重要訴求。

傳統(tǒng)的分布式挖掘方法通常采用縮小增量學(xué)習(xí)[13～15]和共享式投票的分布式算法[16～17]實(shí)現(xiàn)告警頻繁模式建模，這些方法雖然能夠?qū)Ψ植际降臄?shù)據(jù)進(jìn)行實(shí)時(shí)學(xué)習(xí)，然而沒有從全局的角度考慮數(shù)據(jù)樣本分布的情況，因此在構(gòu)建告警關(guān)聯(lián)規(guī)則模式時(shí)有可能因?yàn)閿?shù)據(jù)分布差異問題導(dǎo)致模型精度不高。為了解決數(shù)據(jù)分布差異問題，本文采用貝葉斯深度學(xué)習(xí)的方法實(shí)現(xiàn)告警關(guān)聯(lián)規(guī)則分布的估計(jì)，也就是基于所獲得的頻繁項(xiàng)集后，從全局的角度采用貝葉斯深度學(xué)習(xí)的方法對(duì)頻繁項(xiàng)集支持度和置信度進(jìn)行分布估計(jì)，從而獲得全局角度下頻繁項(xiàng)集的支持度和置信度，實(shí)現(xiàn)中心模型的構(gòu)建，具體的流程如圖2 所示。

圖2 基于分布式挖掘的支撐網(wǎng)告警關(guān)聯(lián)規(guī)則分析流程

3.1 局部模型訓(xùn)練方法

本文采用聚類算法和滑動(dòng)時(shí)間窗口算法對(duì)告警數(shù)據(jù)進(jìn)行過濾后，對(duì)網(wǎng)絡(luò)中發(fā)生頻率較低、持續(xù)時(shí)間短的顫動(dòng)告警數(shù)據(jù)進(jìn)行提出，減少告警事務(wù)數(shù)據(jù)中的“噪音”，為告警事務(wù)數(shù)據(jù)的頻繁項(xiàng)集提供良好的數(shù)據(jù)基礎(chǔ)。

在此基礎(chǔ)上，本文采用基于文本相似度告警信息聚合，進(jìn)一步壓縮數(shù)據(jù)量?？紤]到告警故障將會(huì)在特定的時(shí)間段產(chǎn)生大量的告警事務(wù)數(shù)據(jù)，雖然每一個(gè)告警設(shè)備產(chǎn)生的告警事務(wù)數(shù)據(jù)在時(shí)間上具有一定的差異性，但是從告警事務(wù)數(shù)據(jù)分布來看，各個(gè)設(shè)備所產(chǎn)生的告警事務(wù)數(shù)據(jù)在相似時(shí)間段會(huì)產(chǎn)生相似類型的告警屬性數(shù)據(jù)。基于上述的分析，假設(shè)經(jīng)過處理之后的告警事務(wù)數(shù)據(jù)采用文本相似度的告警信息相似度衡量公式為：

告警事務(wù)信息整合后，采用關(guān)聯(lián)規(guī)則的方法獲取不同區(qū)域支撐網(wǎng)的告警事務(wù)項(xiàng)項(xiàng)集以及各項(xiàng)集的支持度和置信度，形成局部模型。

3.2 基于貝葉斯深度學(xué)習(xí)的支持度和置信度數(shù)值估計(jì)

貝葉斯深度學(xué)習(xí)的思路是把參數(shù)分布作為神經(jīng)網(wǎng)絡(luò)的輸入，然后通過反向傳播優(yōu)化貝葉斯深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的權(quán)重，從而確定參數(shù)的最終分布；結(jié)合參數(shù)分布確定參數(shù)的取值范圍，為全局模型的構(gòu)建提供數(shù)據(jù)基礎(chǔ)?；谪惾~斯深度學(xué)習(xí)的參數(shù)估計(jì)過程如圖3 所示。

圖3 基于貝葉斯深度學(xué)習(xí)的參數(shù)估計(jì)過程圖

假設(shè)某一個(gè)局部模型的告警事務(wù)項(xiàng)集和故障類型訓(xùn)練集為D 為{xi，yi}，第i 項(xiàng)告警事務(wù)項(xiàng)集的支持度服從均值為μi，方差為δi的高斯分布基于貝葉斯深度學(xué)習(xí)的損失函數(shù)為：

其中，δ1、δ2、δ、π是超參數(shù)，需要提前設(shè)置。ypred是基于告警事務(wù)項(xiàng)集所得出的故障類型的預(yù)測(cè)值，yj表示基于告警事務(wù)項(xiàng)集所設(shè)定的故障類型的標(biāo)簽值。

在局部模型頻繁項(xiàng)集產(chǎn)生的基礎(chǔ)上，結(jié)合支持度和置信度分布確定最小支持度和最小置信度（假設(shè)第i 項(xiàng)告警事務(wù)項(xiàng)集的支持度取值大于1 倍標(biāo)準(zhǔn)值），以此篩選滿足條件的告警頻繁項(xiàng)集后，得到全局模型的所有頻繁項(xiàng)集。

3.3 基于LSTM 預(yù)測(cè)故障類型和故障概率

采用LSTM（Long Short Term Memory，長(zhǎng)短記憶）神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)故障發(fā)生的概率，輸入由告警事務(wù)項(xiàng)集，經(jīng)過多個(gè)隱含層實(shí)現(xiàn)告警故障類型以及告警故障概率。

圖4 基于LSTM 預(yù)測(cè)故障類型和故障概率流程圖

4 實(shí)驗(yàn)分析

實(shí)驗(yàn)采用某地市2020 年1～9 月的部分告警數(shù)據(jù)共768 035 條，未發(fā)生告警數(shù)據(jù)共359 025 821 條，從上述告警數(shù)據(jù)和未發(fā)生告警數(shù)據(jù)中提取30%作為測(cè)試數(shù)據(jù)集對(duì)模型的驗(yàn)證，剩下的70%作為訓(xùn)練數(shù)據(jù)集對(duì)模型參數(shù)進(jìn)行計(jì)算。

首先經(jīng)過聚類和滑動(dòng)窗口處理得到合并后的告警事務(wù)序列后，分別采用本文的方法和共享式投票的分布式算法實(shí)現(xiàn)告警類型和各類型發(fā)生概率的預(yù)測(cè)。

本文算法思路是：基于貝葉斯深度學(xué)習(xí)的支持度和置信度數(shù)值估計(jì)后，結(jié)合支持度和置信度數(shù)值分布過濾不滿足頻繁項(xiàng)集得到滿足條件的頻繁項(xiàng)集后采用LSTM 實(shí)現(xiàn)告警類型和各類型發(fā)生概率的預(yù)測(cè)。

共享式投票的分布式算法是將局部模型進(jìn)行加權(quán)平均后獲得全局模型頻繁項(xiàng)集支持度和置信度數(shù)值，結(jié)合最小支持度（通常大于支持度均值）和最小置信度數(shù)值（通常大于置信度均值）過濾不滿足頻繁項(xiàng)集得到滿足條件的頻繁項(xiàng)集后采用LSTM 實(shí)現(xiàn)告警類型和各類型發(fā)生概率的預(yù)測(cè)。

基于上述兩種不同的方法，得到滿足k-繁項(xiàng)集的數(shù)量對(duì)比如表1 所示。

表1 k-頻繁項(xiàng)集的數(shù)量對(duì)比

在獲取頻繁項(xiàng)集的基礎(chǔ)上，分別將上述的頻繁項(xiàng)集輸入到LSTM 中，得到模型的準(zhǔn)確率和召回率對(duì)比如表2所示。

表2 k-頻繁項(xiàng)集輸入到LSTM 的準(zhǔn)確率

由此可知，基于貝葉斯深度學(xué)習(xí)算法所獲得的支持度和置信度分布后，基于分布過濾滿足條件的頻繁項(xiàng)集用于網(wǎng)絡(luò)故障預(yù)測(cè)的準(zhǔn)確率和召回率均比共享式投票的分布式算法高，這是因?yàn)樨惾~斯深度學(xué)習(xí)對(duì)頻繁項(xiàng)集支持度和置信度的分布進(jìn)行估計(jì)后，能夠從全局的角度考慮支持度和置信度的數(shù)值范圍，并基于統(tǒng)計(jì)角度來獲取最小支持度和置信度（大于1 倍標(biāo)準(zhǔn)值），而共享式投票僅僅采用加權(quán)平均的方式獲得最小支持度和置信度，這種方法將所有局部模型的重要性視為一致，而沒有考慮不同局部模型數(shù)據(jù)分布不一致的問題，因此在準(zhǔn)確率和召回率（特別是項(xiàng)集數(shù)量較小的情況下）較低。

5 結(jié)束語

本文針對(duì)現(xiàn)有關(guān)聯(lián)規(guī)則挖掘的方法沒有考慮到分布式環(huán)境下數(shù)據(jù)量和數(shù)據(jù)分布存在的問題所導(dǎo)致關(guān)聯(lián)規(guī)則效率和精度不高的問題，提出了一種基于分布式挖掘的支撐網(wǎng)告警關(guān)聯(lián)規(guī)則處理技術(shù)。該技術(shù)通過聚類算法和滑動(dòng)窗口對(duì)告警事務(wù)數(shù)據(jù)進(jìn)行預(yù)處理，找出一個(gè)告警事務(wù)數(shù)據(jù)密集集合，并通過滑動(dòng)窗口找到相似時(shí)間發(fā)生的告警，從而形成告警事務(wù)數(shù)據(jù)存儲(chǔ)庫(kù)后，采用貝葉斯深度學(xué)習(xí)的方法實(shí)現(xiàn)告警事務(wù)頻繁項(xiàng)集支持度和置信度數(shù)值分布的估計(jì)，從而為分布式環(huán)境下告警事務(wù)數(shù)據(jù)分布式挖掘提供了科學(xué)的數(shù)據(jù)基礎(chǔ)，形成了告警事務(wù)關(guān)聯(lián)規(guī)則庫(kù)。最后，采用LSTM 的方法挖掘預(yù)測(cè)故障類型和故障概率，實(shí)現(xiàn)告警預(yù)警。實(shí)驗(yàn)表明，本文所提出的方法在實(shí)際應(yīng)用中驗(yàn)證了技術(shù)的可行性，可為分布式告警預(yù)測(cè)提供理論支撐。