研究數(shù)據(jù)挖掘技術(shù)在IT基礎(chǔ)設(shè)施監(jiān)控系統(tǒng)中的應(yīng)用

常宇

摘要：就目前的現(xiàn)代化信息數(shù)據(jù)挖掘技術(shù)領(lǐng)域來看，基于標(biāo)準(zhǔn)CRISP DM的IT基礎(chǔ)設(shè)施監(jiān)控系統(tǒng)已被社會各界廣泛應(yīng)用，它合理利用了時序性數(shù)據(jù)挖掘技術(shù)以及預(yù)測技術(shù)實現(xiàn)了對現(xiàn)有數(shù)據(jù)與歷史數(shù)據(jù)的全面監(jiān)控過程，在IT基礎(chǔ)設(shè)施領(lǐng)域存在相當(dāng)高的實用價值。本文就針對該技術(shù)的特殊性，探討了它在基礎(chǔ)設(shè)施監(jiān)控系統(tǒng)中的應(yīng)用流程。

關(guān)鍵詞：IT基礎(chǔ)設(shè)施監(jiān)控系統(tǒng) 數(shù)據(jù)挖掘技術(shù) CRISP DM

中圖分類號：TP3 文獻標(biāo)識碼：A 文章編號：1007-9416（2016）07-0107-01

從當(dāng)代信息技術(shù)視角來看，數(shù)據(jù)挖掘為信息技術(shù)提供了一種自然演化的過程，并轉(zhuǎn)化為積極的技術(shù)成果，它對于數(shù)據(jù)信息庫中大量數(shù)據(jù)的挖掘過程相當(dāng)擅長，也是對數(shù)據(jù)庫技術(shù)、高性能計算、神經(jīng)網(wǎng)絡(luò)、數(shù)據(jù)可視化、信息檢索等多項技術(shù)的綜合性匯總和應(yīng)用?；跀?shù)據(jù)挖掘技術(shù)，人們可以從數(shù)據(jù)庫中以多元化形式提取信息，并因此而制定決策、控制信息數(shù)據(jù)的分析應(yīng)用和處理過程，所以將這種技術(shù)應(yīng)用于IT基礎(chǔ)設(shè)施的監(jiān)控系統(tǒng)中是具有可行性的。

1 關(guān)于CRISP DM標(biāo)準(zhǔn)

目前，國內(nèi)的網(wǎng)絡(luò)交易與證券交易所都采用了以交易為核心的IT基礎(chǔ)設(shè)施，這其中就涵蓋了核心交易機群、遠(yuǎn)程交易網(wǎng)絡(luò)與場內(nèi)交易網(wǎng)絡(luò)。為了確保交易期間始終保持高效合理的運作機制，就必須建立并啟動IT基礎(chǔ)設(shè)施監(jiān)控系統(tǒng)，實現(xiàn)對交易期間系統(tǒng)網(wǎng)絡(luò)中諸如主機、數(shù)據(jù)庫的實時監(jiān)控，再借助數(shù)據(jù)挖掘技術(shù)來分析有關(guān)監(jiān)控數(shù)據(jù)。

為此，國內(nèi)所采用的數(shù)據(jù)挖掘技術(shù)標(biāo)準(zhǔn)為跨行業(yè)數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程（Cross Industry Standard Process for Data Mining），即CRISP DM標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)在網(wǎng)絡(luò)、證券期貨交易業(yè)務(wù)中的具體作用就是實現(xiàn)以數(shù)據(jù)挖掘技術(shù)為核心的IT基礎(chǔ)設(shè)施監(jiān)控系統(tǒng)應(yīng)用，并為系統(tǒng)建立一個自適應(yīng)性極強的迭代過程[1]。

2 基于數(shù)據(jù)挖掘CRISP DM的IT基礎(chǔ)設(shè)施監(jiān)控系統(tǒng)應(yīng)用過程

基于數(shù)據(jù)挖掘CRISP DM技術(shù)，可以將IT基礎(chǔ)設(shè)施監(jiān)控系統(tǒng)的應(yīng)用過程分為4個階段。

2.1 項目決策

項目決策階段的重點就在于理解系統(tǒng)中所要實現(xiàn)的項目需求及目標(biāo)，利用數(shù)據(jù)挖掘轉(zhuǎn)化的技術(shù)理念來滿足這些需求與目標(biāo)。首先，要對項目初期的所有數(shù)據(jù)進行基于量化的評估分析，比如說監(jiān)控系統(tǒng)每年的監(jiān)控數(shù)據(jù)存儲量為2T，那么這些數(shù)據(jù)就應(yīng)該包括了諸如系統(tǒng)運行知識、日常運維報告等等重要數(shù)據(jù)，所以就圍繞此來定義系統(tǒng)的數(shù)據(jù)挖掘目標(biāo)，以下簡要論述三點目標(biāo)。

第一，以定位系統(tǒng)性能瓶頸為目標(biāo)。應(yīng)該說，IT基礎(chǔ)設(shè)施監(jiān)控系統(tǒng)的整體效能一定是存在瓶頸的，如果基于CRISP DM標(biāo)準(zhǔn)，通過數(shù)據(jù)挖掘來定位系統(tǒng)瓶頸是可行的，因為它能夠及時補充系統(tǒng)中所匱乏的對應(yīng)資源。在大型交易系統(tǒng)中，就常常利用數(shù)據(jù)挖掘來擴大系統(tǒng)內(nèi)存容量、增加磁盤列陣或直接對網(wǎng)絡(luò)設(shè)備實施升級。

第二，以評估系統(tǒng)生命周期為目標(biāo)。隨著國民經(jīng)濟的不斷進步，目前國內(nèi)網(wǎng)絡(luò)交易的會員數(shù)量明顯在增加，交易品種也在不斷豐富完善，因此這必然會造成對系統(tǒng)負(fù)載的加大。如果基礎(chǔ)設(shè)施監(jiān)控系統(tǒng)潛能被過分應(yīng)用直至殆盡，就必須對其進行更新?lián)Q代。在這里，數(shù)據(jù)挖掘技術(shù)就可以通過CRISP DM標(biāo)準(zhǔn)來評估系統(tǒng)壽命。

第三，以優(yōu)化人力資源配置為目標(biāo)。圍繞人力資源配置展開的系統(tǒng)維護任務(wù)主要有3個部分：主機、數(shù)據(jù)庫與網(wǎng)絡(luò)，系統(tǒng)維護人員的配置完全根據(jù)系統(tǒng)技術(shù)實施難度和故障頻率來確定。在這里采用數(shù)據(jù)挖掘技術(shù)，就能及早發(fā)現(xiàn)系統(tǒng)中可能存在故障的基本發(fā)生規(guī)律，從而對人力資源配置實現(xiàn)優(yōu)化[2]。

2.2 模型建立

模型建立階段要采用多種建模技術(shù)，并將模型參數(shù)校準(zhǔn)到最佳值。具體來說，相同數(shù)據(jù)挖掘問題下是存在多種建模技術(shù)的，這些建模技術(shù)都可以圍繞數(shù)據(jù)格式來提出其對應(yīng)的要求，所以在這一階段首先要準(zhǔn)備數(shù)據(jù)。

以負(fù)載模型為例，它其中就包括了對網(wǎng)絡(luò)設(shè)備CPU的利用率和緩存利用率分析，基于CRISP DM為其進行時序數(shù)據(jù)定位，根據(jù)時間變化序列值來檢測CPU的程序端口實時狀態(tài)，并對其數(shù)據(jù)進行現(xiàn)場處理。

為了降低IT基礎(chǔ)設(shè)施監(jiān)控系統(tǒng)中由于數(shù)據(jù)信息波動而造成的模型準(zhǔn)確度偶然負(fù)面影響，就要對數(shù)據(jù)實施平滑處理，消除平滑效果，并同時保留負(fù)載曲線的趨勢變化，選擇3階加權(quán)移動平均算法，假設(shè)加權(quán)系數(shù)分別為1、4、1其設(shè)計算式為：

除此之外，負(fù)載模型也能實現(xiàn)對系統(tǒng)瓶頸的定位、對系統(tǒng)總體負(fù)載趨勢變化的獲取等等。它最終應(yīng)該有5項負(fù)載指標(biāo)來組成負(fù)載模型曲線圖，對IT基礎(chǔ)設(shè)施監(jiān)控系統(tǒng)進行總體負(fù)載趨勢的有效規(guī)劃[3]。

2.3 模型評價

在模型已經(jīng)建立后，就進入模型的最終部署——評價階段。一般情況下網(wǎng)絡(luò)交易所為了保證自身的商業(yè)目的得以實現(xiàn)，都會通過模型來對市場進行全面評估，并審查模型中的每一個具體操作步驟，根據(jù)數(shù)據(jù)挖掘結(jié)果來得出相應(yīng)結(jié)論，提出決策。

以故障模型為例，如果發(fā)現(xiàn)IT基礎(chǔ)設(shè)施監(jiān)控系統(tǒng)的網(wǎng)絡(luò)故障要多于主機故障數(shù)量，則必須首先針對網(wǎng)絡(luò)故障實施維護。另外，系統(tǒng)維護人員也可以根據(jù)一元性回歸方程來預(yù)測系統(tǒng)的生命周期，確定其是否與預(yù)期評估相符。

2.4 實際部署

實際部署階段就是將所建立的模型運用于真實的環(huán)境當(dāng)中，所以基于數(shù)據(jù)挖掘的模型應(yīng)用可以描述IT基礎(chǔ)設(shè)施監(jiān)控系統(tǒng)的可行性。如果系統(tǒng)中的操作有需要改進的地方則要根據(jù)CRISP DM流程標(biāo)準(zhǔn)進行相應(yīng)改進，以確保監(jiān)控系統(tǒng)應(yīng)用的長期穩(wěn)定。

3 結(jié)語

利用時序性數(shù)據(jù)挖掘技術(shù)可以解決IT基礎(chǔ)設(shè)施監(jiān)控系統(tǒng)中對歷史數(shù)據(jù)和現(xiàn)有數(shù)據(jù)的深度挖掘，并建立模型實現(xiàn)對系統(tǒng)性能的高效發(fā)揮和維護。目前許多行業(yè)已經(jīng)在采用這種基于數(shù)據(jù)挖掘技術(shù)的IT基礎(chǔ)設(shè)施監(jiān)控系統(tǒng)，這也證明了數(shù)據(jù)挖掘在當(dāng)今社會各行各業(yè)發(fā)展的重要技術(shù)地位。

參考文獻

[1]宋應(yīng)湃，汪林林.數(shù)據(jù)挖掘技術(shù)在IT基礎(chǔ)設(shè)施監(jiān)控系統(tǒng)中的應(yīng)用[J].計算機科學(xué)，2007，34（5）：205-207.

[2]宋應(yīng)湃，汪林林，宋華等.數(shù)據(jù)預(yù)處理在IT基礎(chǔ)設(shè)施監(jiān)控系統(tǒng)中的應(yīng)用[J].計算機工程與設(shè)計，2007，28（15）：3770-3772.

[3]羅美淑，劉世勇，夏春艷等.數(shù)據(jù)挖掘技術(shù)在教學(xué)評價中的應(yīng)用研究[J].教育探索，2013（2）：81-82.