BOMC系統(tǒng)大數(shù)據(jù)應(yīng)用淺析

宋代強(qiáng)

【摘要】 BOMC全稱為中國移動(dòng)業(yè)務(wù)支撐網(wǎng)運(yùn)營管理系統(tǒng)，主要為業(yè)務(wù)支撐系統(tǒng)（BOSS，CRM等）提供運(yùn)維管理和維護(hù)支撐。隨著云計(jì)算，大數(shù)據(jù)等技術(shù)的不斷成熟，以及中國移動(dòng)業(yè)務(wù)支撐系統(tǒng)架構(gòu)的變化，BOMC需充分利用新技術(shù)，新手段，更好的發(fā)揮運(yùn)維管理作用，讓更多的運(yùn)維數(shù)據(jù)充分發(fā)揮作用，實(shí)現(xiàn)更快的故障處理速度，提升客戶感知能力，提高客戶滿意度。

【關(guān)鍵詞】 BOMC 大數(shù)據(jù) 客戶感知

一、中國移動(dòng)BOMC系統(tǒng)簡介

BOMC是中國移動(dòng)業(yè)務(wù)支撐網(wǎng)運(yùn)營管理系統(tǒng)，定位于為中國移動(dòng)業(yè)務(wù)支撐網(wǎng)各系統(tǒng)的管理和運(yùn)維提供支撐，通過“集中監(jiān)控、集中維護(hù)、集中管理”的方式，實(shí)現(xiàn)對業(yè)務(wù)支撐系統(tǒng)生產(chǎn)運(yùn)行中的平臺(tái)設(shè)備和應(yīng)用軟件等資源進(jìn)行統(tǒng)一管理，并在此基礎(chǔ)上實(shí)現(xiàn)全網(wǎng)運(yùn)維情況、業(yè)務(wù)運(yùn)行質(zhì)量的分析評估。隨著云計(jì)算、大數(shù)據(jù)等技術(shù)的日益成熟，業(yè)務(wù)支撐網(wǎng)各系統(tǒng)的架構(gòu)發(fā)生變化，BOMC也需要進(jìn)一步的調(diào)整和優(yōu)化，以適應(yīng)對新架構(gòu)下被管系統(tǒng)的管理和服務(wù)的要求。通過引入大數(shù)據(jù)，運(yùn)營管理系統(tǒng)可進(jìn)一步豐富運(yùn)維工作的手段，提升運(yùn)維工作的質(zhì)量。

二、BOMC大數(shù)據(jù)架構(gòu)平臺(tái)基本架構(gòu)

在BOMC系統(tǒng)運(yùn)維的過程中，存在問題如下：告警的設(shè)定僅為實(shí)時(shí)的提醒，缺少預(yù)警的功能，缺少根據(jù)某類指標(biāo)設(shè)定動(dòng)態(tài)的閥值的功能；對BOSS等業(yè)務(wù)過程的監(jiān)控粒度較粗，業(yè)務(wù)故障定位存在延時(shí)等等。大數(shù)據(jù)的引用，將全量業(yè)務(wù)和告警數(shù)據(jù)納入分析成為可能，在時(shí)效性上有了明顯的提升，且通過多種手段，實(shí)現(xiàn)對業(yè)務(wù)問題和平臺(tái)告警的預(yù)測。

隨著大數(shù)據(jù)技術(shù)迅速發(fā)展，其技術(shù)框架也日益成熟，BOMC大數(shù)據(jù)平臺(tái)亦采用目前成熟的技術(shù)框架，概括分為數(shù)據(jù)采集、數(shù)據(jù)采集、數(shù)據(jù)展現(xiàn)三層。數(shù)據(jù)源主要來自BOSS、CRM、BOMC等系統(tǒng)的業(yè)務(wù)日志，數(shù)據(jù)庫、中間件日志，告警等運(yùn)維數(shù)據(jù)。通過數(shù)據(jù)采集工具，對半結(jié)構(gòu)化，非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行采集，并對各類數(shù)據(jù)根據(jù)需要進(jìn)行離線或?qū)崟r(shí)處理，通過應(yīng)用層實(shí)現(xiàn)數(shù)據(jù)的專題分析和應(yīng)用展現(xiàn)。

三、BOMC大數(shù)據(jù)應(yīng)用場景

BOMC前期建設(shè)，已經(jīng)實(shí)現(xiàn)對全網(wǎng)業(yè)務(wù)，運(yùn)維，探測數(shù)據(jù)的采集和存儲(chǔ)。BOMC系統(tǒng)引入大數(shù)據(jù)技術(shù)，主要目的是挖掘日益劇增的數(shù)據(jù)價(jià)值，并構(gòu)建適合實(shí)際運(yùn)維的應(yīng)用場景，解決以往傳統(tǒng)運(yùn)維工作難以解決的問題。通過在預(yù)警，故障處理等方面的應(yīng)用，及時(shí)發(fā)現(xiàn)系統(tǒng)及業(yè)務(wù)故障點(diǎn)，在影響客戶使用前處理并解決問題有效提高系統(tǒng)運(yùn)維效率。

以下分別通過大數(shù)據(jù)應(yīng)用場景的目標(biāo)、場景分析方法、場景應(yīng)用的算法章節(jié)，分別介紹BOMC大數(shù)據(jù)應(yīng)用場景需要解決的問題，如何解決以及解決時(shí)引用的算法思路。

3.1主機(jī)內(nèi)存故障預(yù)警

3.1.1場景目標(biāo)

日常運(yùn)維中，部分主機(jī)故障前會(huì)伴隨著內(nèi)存使用率的快速上升，針對主機(jī)內(nèi)存使用率的告警預(yù)測，可提前預(yù)知主機(jī)內(nèi)存的異動(dòng)，發(fā)現(xiàn)主機(jī)運(yùn)行的異常情況，提前檢查并解決問題，避免故障的發(fā)生。

傳統(tǒng)的文件系統(tǒng)告警需要等相應(yīng)性能達(dá)到閥值后產(chǎn)生告警，這個(gè)時(shí)候往往留給維護(hù)人員處理的時(shí)間已經(jīng)不多。針對這兩種情況，我們對其做告警預(yù)測，在性能值發(fā)生異動(dòng)時(shí)即提醒維護(hù)人員重點(diǎn)關(guān)注，避免告警的產(chǎn)生和問題的進(jìn)一步惡化。

3.1.2場景分析方法

通過對歷史性能分析，生成v=f（t）性能趨勢分析函數(shù)，根據(jù)趨勢分析函數(shù)，計(jì)算被監(jiān)控點(diǎn)未來的性能趨勢，并結(jié)合允許的波動(dòng)范圍生成安全性能區(qū)域，將實(shí)際監(jiān)控性能值與預(yù)測值相比較，實(shí)現(xiàn)告警的準(zhǔn)確判定。

3.1.3算法應(yīng)用

3.1.3.1Kmeans算法簡介

K-means算法簡稱為K值聚類算法，是一種cluster analysis的算法，也是最為經(jīng)典的基于劃分的聚類方法。K-means算法的基本思路是：首先設(shè)定空間中的k個(gè)點(diǎn)，并以此做為中心進(jìn)行聚類，對最靠近他們的對象劃分歸類。然后逐步迭代，逐次更新各聚類區(qū)域的中心值，直至得到最好的聚類結(jié)果。

K-means算法接受參數(shù)k；然后將待聚類數(shù)據(jù)對象n輸入并劃分為k個(gè)聚類，使得計(jì)算所獲得的聚類需滿足如下條件：

（1）聚類相似度滿足，即同一個(gè)聚類中的數(shù)據(jù)對象相似度較高；而不同聚類中的數(shù)據(jù)對象相似度較較低。

（2）聚類相似度是數(shù)據(jù)對象的特征屬性的相似情況度量，可將數(shù)據(jù)特征屬性標(biāo)量化，利用距離計(jì)算相似度。

假設(shè)需將樣本集n分為k個(gè)類別，算法描述如下：

（1）從n中隨機(jī)選擇k個(gè)元素，作為k個(gè)簇的初始中心；

（2）對任意一個(gè)樣本數(shù)據(jù)，求其到k個(gè)簇的各中心的距離，并將該樣本數(shù)據(jù)歸類到距離最短的中心所在的簇（持續(xù)i次迭代）；

（3）計(jì)算并更新該簇的中心值，可通過距離歐式距離或均值等方法；

（4）如果通過（2）（3）的迭代法更新后，所有的k個(gè)聚類中心值保持不變，則迭代結(jié)束，否則繼續(xù)迭代。

收斂快速和簡潔是K-means算法的最大優(yōu)勢，算法的關(guān)鍵是初始中心k的選擇，以及距離公式的選擇。

3.1.3.2算法流程

先從數(shù)據(jù)集合D中隨機(jī)抽取k個(gè)元素，作為k個(gè)簇的各自中心，然后分別計(jì)算剩下元素到k個(gè)簇中心的相似度，并將相似度最高的元素劃分為統(tǒng)一個(gè)簇；接下來根據(jù)聚類的結(jié)果，重新計(jì)算k個(gè)簇的中心值，再將數(shù)據(jù)集合D中的所有數(shù)據(jù)根據(jù)新的中心值重新聚類，并不斷重復(fù)聚類和中心的過程，直到聚類的結(jié)果不變化。

3.2接口平均耗時(shí)

3.2.1場景目標(biāo)

分析CRM接口調(diào)用數(shù)據(jù)，結(jié)合業(yè)務(wù)量等指標(biāo)，按接口類型，為每個(gè)接口并發(fā)耗時(shí)建立隨時(shí)間、業(yè)務(wù)量的變化而動(dòng)態(tài)變化的閥值，提高告警有效性。

3.2.2場景分析方法

源數(shù)據(jù)指標(biāo)包括：

單位時(shí)間平均耗時(shí)

單位時(shí)間并發(fā)量

分析過程：

回歸算法建立模型

分析運(yùn)行數(shù)據(jù)，生成調(diào)用并發(fā)數(shù)與耗時(shí)的散點(diǎn)分布

動(dòng)態(tài)生成耗時(shí)的合理區(qū)域曲線

為耗時(shí)指標(biāo)建立動(dòng)態(tài)閥值

3.3.3算法應(yīng)用

3.3.3.1回歸算法簡介

線性回歸算法是通過回歸分析，計(jì)算依賴變量和獨(dú)立變量之間的線性關(guān)系，并生成分析模型，使用該關(guān)系進(jìn)行預(yù)測。

此關(guān)系以最好的表示一系列數(shù)據(jù)的形式出現(xiàn)。

每個(gè)數(shù)據(jù)點(diǎn)都有一個(gè)與回歸線距離相關(guān)的誤差，回歸方程中的系數(shù)和回歸方程中的系數(shù)可以調(diào)整回歸線的角度和位置，通過調(diào)整一個(gè)或二次的回歸方程，可以得到回歸方程的回歸方程。

有其他類型的回歸，使用多個(gè)變量，也有非線性回歸的方法，然而，線性回歸是一個(gè)有用的方法，可對潛在因素的變化進(jìn)行建模。

線性回歸算法是決策樹算法的一個(gè)變種，當(dāng)你選擇微軟線性回歸算法時(shí)，采用了一種特殊情況下的決策樹算法，通過參數(shù)約束的行為，并要求一定的輸入數(shù)據(jù)類型，而且，在一個(gè)線性回歸模型，整個(gè)數(shù)據(jù)集被用于計(jì)算關(guān)系的初始傳遞，而一個(gè)標(biāo)準(zhǔn)的決策樹模型分裂成更小的子集或樹的數(shù)據(jù)。

3.3.3.2算法流程

當(dāng)準(zhǔn)備使用線性回歸模型時(shí)，應(yīng)該了解特定算法的需求，這包括需要多少數(shù)據(jù)，以及如何使用數(shù)據(jù)：

一個(gè)單獨(dú)的鍵列，每一個(gè)模型必須包含一個(gè)數(shù)字或文本列，唯一標(biāo)識(shí)每一個(gè)記錄。

預(yù)測列至少需要一個(gè)可預(yù)測列?？梢栽谝粋€(gè)模型的多個(gè)可預(yù)測屬性，但可預(yù)測屬性必須是連續(xù)的數(shù)值數(shù)據(jù)類型。不能使用datetime數(shù)據(jù)類型為可預(yù)測屬性即使對于數(shù)據(jù)的本地存儲(chǔ)是數(shù)字。

輸入列的輸入列必須包含連續(xù)的數(shù)字?jǐn)?shù)據(jù)，并指定適當(dāng)?shù)臄?shù)據(jù)類型。

模型處理完畢后，結(jié)果將以一組統(tǒng)計(jì)信息和線性回歸公式的形式存儲(chǔ)，可以利用這些結(jié)果來計(jì)算未來趨勢。

除了通過選擇線性回歸算法創(chuàng)建線性回歸模型外，還可以在可預(yù)測屬性為連續(xù)數(shù)值數(shù)據(jù)類型時(shí)，創(chuàng)建包含回歸的決策樹模型。在這種情況下，如果找到適當(dāng)?shù)姆蛛x點(diǎn)，該算法會(huì)對數(shù)據(jù)進(jìn)行拆分；但對于某些數(shù)據(jù)區(qū)域，則會(huì)創(chuàng)建回歸公式。

3.3影響度分析

3.3.1場景目標(biāo)

日常的運(yùn)維工作需要對各類指標(biāo)進(jìn)行監(jiān)控，如應(yīng)用層指標(biāo)、邏輯層指標(biāo)，物理層指標(biāo)等，可通過綜合采集各類指標(biāo)的預(yù)警和告警值，分析其業(yè)務(wù)的影響度，起到對業(yè)務(wù)層面的有效預(yù)警和關(guān)注。

3.3.2場景分析方法

通過對某業(yè)務(wù)在時(shí)間段內(nèi)的特征屬性（監(jiān)控指標(biāo)）劃分收集，形成訓(xùn)練樣本集合，當(dāng)監(jiān)控反饋某個(gè)監(jiān)控指標(biāo)達(dá)到預(yù)警或告警值時(shí)，通過分析此時(shí)的與業(yè)務(wù)關(guān)聯(lián)的特征指標(biāo)，判斷業(yè)務(wù)受影響的概率。

數(shù)據(jù)源包括：

平臺(tái)類指標(biāo)監(jiān)控?cái)?shù)據(jù)

應(yīng)用類指標(biāo)監(jiān)控?cái)?shù)據(jù)

客戶感知類指標(biāo)監(jiān)控?cái)?shù)據(jù)等

分析過程：

訓(xùn)練樣本數(shù)據(jù)收集和確定

樣本訓(xùn)練

業(yè)務(wù)影響度分析應(yīng)用

3.3.3算法應(yīng)用

3.3.3.1樸素貝葉斯分類算法簡介

樸素貝葉斯分類的思想基礎(chǔ)是：對于給出的待分類項(xiàng)，求解在此項(xiàng)出現(xiàn)的條件下各個(gè)類別出現(xiàn)的概率，并以最大概率歸類此對象歸屬的類別。

樸素貝葉斯分類定義如下：

3.3.3.2算法流程

樸素貝葉斯分類分為三個(gè)階段：

1.工作準(zhǔn)備階段：本階段的目的是準(zhǔn)備樸素貝葉斯分類的必要數(shù)據(jù)和分類合集。首先根據(jù)具體需要，確定數(shù)據(jù)的特征屬性，并將特征屬性進(jìn)行人工的劃分，通過數(shù)據(jù)分析，形成訓(xùn)練樣本。本階段是需要人工完成的階段，所以人工完成的質(zhì)量對整個(gè)分類過程具有重要的影響。

2.生成分類器階段：此階段的目的是生成分類器。具體的內(nèi)容包括，計(jì)算并記錄每個(gè)數(shù)據(jù)類別在訓(xùn)練樣本中出現(xiàn)的頻率，劃分每個(gè)類別的特征屬性條件概率。這個(gè)過程將數(shù)據(jù)特征屬性和樣本輸入，并輸出分類器，此階段可通過程序機(jī)動(dòng)計(jì)算完成。

3、場景數(shù)據(jù)應(yīng)用階段：此階段的目的是生成待分類項(xiàng)與類別的映射關(guān)系。主要包括將待分類數(shù)據(jù)進(jìn)行分類，并通過第二階段生成的分類器計(jì)算并輸出相應(yīng)的對應(yīng)關(guān)系。此階段也由程序完成。

四、小結(jié)

本文主要針對中國移動(dòng)業(yè)務(wù)支撐網(wǎng)運(yùn)營管理系統(tǒng)日常運(yùn)維過程中存在的問題，并結(jié)合各省的解決方案，歸納總結(jié)幾點(diǎn)可通用的應(yīng)用場景。文中提到的應(yīng)用，已在省公司的試點(diǎn)實(shí)施中得到驗(yàn)證，取得了比較明顯的成效，如某省通過項(xiàng)目試點(diǎn)，主機(jī)內(nèi)存閥值告警量相對減少1/3，并較好的減少了誤告警的數(shù)量，進(jìn)一步證明了此方法在業(yè)務(wù)支撐運(yùn)維管理中的可行性。

大數(shù)據(jù)在BOMC領(lǐng)域的應(yīng)用，有助于提升故障處理速度，提高客戶感知。同時(shí)鑒于運(yùn)維工作的通用性，此方法也適用于各省份的大數(shù)據(jù)應(yīng)用建設(shè)。得益于大數(shù)據(jù)技術(shù)的不斷成熟和日益發(fā)展，未來會(huì)有更多的應(yīng)用場景服務(wù)于運(yùn)維領(lǐng)域，為高效運(yùn)維提供技術(shù)支撐。

參 考 文 獻(xiàn)

[1]《中國移動(dòng)業(yè)務(wù)支撐網(wǎng)運(yùn)營管理系統(tǒng)BOMC規(guī)范》

[2]《中國移動(dòng)BOMC系統(tǒng)大數(shù)據(jù)平臺(tái)建設(shè)方案》

[3] http：//www.cnblogs.com/leoo2sk/archive/2010/09/17/1829190.html