基于ＷＥＢ的數(shù)據(jù)挖掘技術(shù)在網(wǎng)絡(luò)管理中的研究與應(yīng)用

[摘要]文章探討基于WEB的數(shù)據(jù)挖掘網(wǎng)絡(luò)管理系統(tǒng)的體系結(jié)構(gòu)、OLAP技術(shù)和數(shù)據(jù)挖掘技術(shù)，針對(duì)當(dāng)前網(wǎng)絡(luò)管理系統(tǒng)的現(xiàn)狀和存在問(wèn)題。提出基于WEB和數(shù)據(jù)挖掘技術(shù)的網(wǎng)絡(luò)管理系統(tǒng)，為網(wǎng)管存在的問(wèn)題提供解決方案，誼系統(tǒng)對(duì)網(wǎng)管現(xiàn)狀的改善有積極意義。

[關(guān)鍵詞]網(wǎng)絡(luò)管理；數(shù)據(jù)挖掘；數(shù)據(jù)倉(cāng)庫(kù)；聯(lián)機(jī)分析處理

[作者簡(jiǎn)介]吳穎智。廣東物資集團(tuán)汽車(chē)貿(mào)易公司。研究方向：數(shù)據(jù)挖掘，網(wǎng)絡(luò)安全。廣東廣州，510410

[中圖分類(lèi)號(hào)]TP315

[文獻(xiàn)標(biāo)識(shí)碼]A

[文章編號(hào)]1007-7723(2009)06-0038-0002

一、引言

隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，網(wǎng)絡(luò)資源愈加呈現(xiàn)出異構(gòu)性和動(dòng)態(tài)性，網(wǎng)絡(luò)管理的功能日益復(fù)雜，傳統(tǒng)的網(wǎng)絡(luò)管理技術(shù)已無(wú)法滿足對(duì)大型復(fù)雜網(wǎng)絡(luò)管理的需要，有必要在網(wǎng)絡(luò)管理中引入數(shù)據(jù)挖掘技術(shù)，將網(wǎng)絡(luò)中的海量數(shù)據(jù)抽取、轉(zhuǎn)換、集成為所需數(shù)據(jù)，提供相關(guān)分析綜合技術(shù)，為決策者和分析人員及時(shí)、準(zhǔn)確地對(duì)數(shù)據(jù)資源進(jìn)行全局綜合分析，從中挖掘出有用的知識(shí)，高效地實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)的綜合管理。

二、數(shù)據(jù)挖掘技術(shù)概述

(一)數(shù)據(jù)挖掘的流程簡(jiǎn)介

數(shù)據(jù)挖掘是從大量數(shù)據(jù)中提取或“挖掘”知識(shí)。數(shù)據(jù)挖掘也叫數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)或KDD的同義詞。數(shù)據(jù)挖掘是指一個(gè)完整的過(guò)程，該過(guò)程從大型數(shù)據(jù)庫(kù)中挖掘先前未知的、有效的、可實(shí)用的信息，并使用這些信息作出決策或豐富知識(shí)。圖1描述了數(shù)據(jù)挖掘的基本過(guò)程和主要步驟，過(guò)程中各步驟的大體內(nèi)容如下：

1，確定業(yè)務(wù)對(duì)象

清晰地定義出業(yè)務(wù)問(wèn)題，認(rèn)清數(shù)據(jù)挖掘的目的是數(shù)據(jù)挖掘的重要一步。挖掘的最后結(jié)構(gòu)是不可預(yù)測(cè)的，但要探索的問(wèn)題應(yīng)是有預(yù)見(jiàn)的，為了數(shù)據(jù)挖掘而數(shù)據(jù)挖掘則帶有盲目性，是不會(huì)成功的。

2，數(shù)據(jù)準(zhǔn)備

(1)數(shù)據(jù)的選擇

搜索所有與業(yè)務(wù)對(duì)象有關(guān)的內(nèi)部和外部數(shù)據(jù)信息，并從中選擇出適用于數(shù)據(jù)挖掘應(yīng)用的數(shù)據(jù)。

(2)數(shù)據(jù)的預(yù)處理

研究數(shù)據(jù)的質(zhì)量，為進(jìn)一步分析作準(zhǔn)備。并確定將要進(jìn)行的挖掘操作的類(lèi)型。

(3)數(shù)據(jù)的轉(zhuǎn)換

將數(shù)據(jù)轉(zhuǎn)換成一個(gè)分析模型，這個(gè)分析模型是針對(duì)挖掘算法建立的。建立一個(gè)真正適合挖掘算法的分析模型是數(shù)據(jù)挖掘成功的關(guān)鍵。

3，數(shù)據(jù)挖掘

對(duì)所得到的經(jīng)過(guò)轉(zhuǎn)換的數(shù)據(jù)進(jìn)行挖掘。除了完善和選擇合適的挖掘算法外，其余一切工作都能自動(dòng)地完成。

4，結(jié)果分析

解釋并評(píng)估結(jié)果。其使用的分析方法一般應(yīng)作數(shù)據(jù)挖掘操作而定，通常會(huì)用到可視化技術(shù)。

5，知識(shí)的同化

將分析所得到的知識(shí)集成到業(yè)務(wù)信息系統(tǒng)的組織結(jié)構(gòu)中去。

(二)數(shù)據(jù)挖掘在網(wǎng)絡(luò)管理中的應(yīng)用

數(shù)據(jù)挖掘技術(shù)從一開(kāi)始就是面向應(yīng)用的。目前，在很多領(lǐng)域，數(shù)據(jù)挖掘(data mining)都是一個(gè)很時(shí)髦的詞，尤其是在銀行、電信、保險(xiǎn)、交通、零售(如超級(jí)市場(chǎng))等商業(yè)領(lǐng)域。在網(wǎng)絡(luò)管理方面，由芬蘭Helsinki大學(xué)與一家遠(yuǎn)程通信設(shè)備制造廠合作的TASA系統(tǒng)，網(wǎng)絡(luò)管理的告警數(shù)據(jù)庫(kù)中蘊(yùn)涵有大量的故障特征模式，這為數(shù)據(jù)挖掘提供了數(shù)據(jù)基礎(chǔ)。所以，研究網(wǎng)絡(luò)管理中的數(shù)據(jù)挖掘是很有意義的。

三、基于WEB和數(shù)據(jù)挖掘的網(wǎng)絡(luò)管理系統(tǒng)的體系結(jié)構(gòu)

基于WEB的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)是一種三層邏輯架構(gòu)，由表示層、應(yīng)用層和數(shù)據(jù)層組成，其體系結(jié)構(gòu)如圖2所示。

以上客戶(hù)端只需安裝WEB瀏覽器即可，如IE／NS等，因此可基于任何支持Browser的操作平臺(tái)，對(duì)機(jī)器本身要求低。WEB服務(wù)器用于管理客戶(hù)機(jī)與應(yīng)用服務(wù)器間的信息流，可以用各種流行服務(wù)器，如IIS，APACHE等，WEB服務(wù)器接受客戶(hù)端HTTP請(qǐng)求，以靜態(tài)HTML頁(yè)面或調(diào)用應(yīng)用服務(wù)器生成動(dòng)態(tài)HTML響應(yīng)請(qǐng)求，進(jìn)行合法性等驗(yàn)證后，根據(jù)WEB頁(yè)面的內(nèi)容向應(yīng)用服務(wù)器發(fā)出請(qǐng)求，WEB服務(wù)器上可裝有jsp、asp等應(yīng)用程序，這樣可與應(yīng)用服務(wù)器交換信息。應(yīng)用服務(wù)器響應(yīng)WEB服務(wù)器發(fā)出的請(qǐng)求，激活相應(yīng)的查詢(xún)?nèi)蝿?wù)，利用接口技術(shù)對(duì)數(shù)據(jù)倉(cāng)庫(kù)的訪問(wèn)，如ODBC、JDBC方式等。數(shù)據(jù)層即后臺(tái)數(shù)據(jù)倉(cāng)庫(kù)接受來(lái)自應(yīng)用層的SQL查詢(xún)語(yǔ)句以及數(shù)據(jù)集成等。WEB服務(wù)器是此系統(tǒng)的功能中樞，起到連接客戶(hù)端與應(yīng)用服務(wù)器之間的橋梁的作用，并且可在此進(jìn)行數(shù)據(jù)合法性檢查、身份驗(yàn)證等。整個(gè)系統(tǒng)工作流程如下：在表示層，WEB瀏覽器用戶(hù)發(fā)出一定的操作指令通過(guò)HTML文件提出的HTrP請(qǐng)求傳遞給WEB服務(wù)器；在應(yīng)用層，WEB服務(wù)器用相應(yīng)的asp、jsp等應(yīng)用程序響應(yīng)表示層的請(qǐng)求，并進(jìn)行翻譯成應(yīng)用服務(wù)器所能接受的請(qǐng)求，或直接翻譯成SQL請(qǐng)求，應(yīng)用服務(wù)器完成相應(yīng)的SQL語(yǔ)句并與后臺(tái)數(shù)據(jù)倉(cāng)庫(kù)連接，發(fā)出SQL查詢(xún)等，最后應(yīng)用層接受數(shù)據(jù)層的結(jié)果，送到客戶(hù)端。另外，應(yīng)用層也需完成抽取數(shù)據(jù)，通過(guò)數(shù)據(jù)集成加載到數(shù)據(jù)倉(cāng)庫(kù)中。為了提高效率，增加系統(tǒng)靈活性，可引入java applets、activeX、javaseript等技術(shù)，使得客戶(hù)端有了信息處理的能力，從而一定程度上降低應(yīng)用層的負(fù)擔(dān)。

四、W-D網(wǎng)絡(luò)管理系統(tǒng)的功能模塊

W-D網(wǎng)絡(luò)管理系統(tǒng)是建立在各個(gè)現(xiàn)有專(zhuān)業(yè)網(wǎng)管基礎(chǔ)上的，它由兩個(gè)功能模塊組成：(1)管理模塊：它是針對(duì)各個(gè)子專(zhuān)業(yè)網(wǎng)管而言的，主要實(shí)時(shí)處理各個(gè)專(zhuān)業(yè)網(wǎng)管系統(tǒng)發(fā)出的信息，如交換網(wǎng)更高級(jí)的報(bào)警等；(2)分析監(jiān)控模塊：它是針對(duì)不同的職能部門(mén)形成不同的主題進(jìn)行劃分，主要包括故障管理模塊(全網(wǎng)運(yùn)行異常狀況分析、告警監(jiān)控、故障定位分析等)、性能管理模塊(性能測(cè)試、評(píng)估性能分析、全網(wǎng)性能控制等)、配置管理模塊(網(wǎng)絡(luò)狀態(tài)綜合分析、設(shè)備安裝監(jiān)控分析等)、安全管理模塊(網(wǎng)絡(luò)及網(wǎng)絡(luò)設(shè)備安全保護(hù)分析、入侵用戶(hù)分析等、計(jì)費(fèi)管理模塊(業(yè)務(wù)計(jì)費(fèi)分析、業(yè)務(wù)關(guān)聯(lián)分析等)。它是在各個(gè)專(zhuān)業(yè)網(wǎng)管基礎(chǔ)上，為各個(gè)部門(mén)不同的主題及層次建立分析模型，將各個(gè)子專(zhuān)業(yè)網(wǎng)管的數(shù)據(jù)進(jìn)行集成，利用OLAP工具、數(shù)據(jù)挖掘工具等知識(shí)，為不同主題生成決策參考信息，并且還提供了監(jiān)督功能，加強(qiáng)了風(fēng)險(xiǎn)防范和預(yù)警功能，使得網(wǎng)絡(luò)管理在監(jiān)督系統(tǒng)的監(jiān)督下實(shí)現(xiàn)決策系統(tǒng)制定的期望目標(biāo)，實(shí)現(xiàn)網(wǎng)管在安全基礎(chǔ)上的最優(yōu)運(yùn)營(yíng)。W-D網(wǎng)管系統(tǒng)的體系結(jié)構(gòu)如圖3所示：

圖3中，公共接口平臺(tái)可根據(jù)IT-U制定的TMN(電信管理網(wǎng))等規(guī)范，利用相關(guān)協(xié)議標(biāo)準(zhǔn)及CORBA等技術(shù)來(lái)實(shí)現(xiàn)，各專(zhuān)業(yè)網(wǎng)管的數(shù)據(jù)經(jīng)抽取、轉(zhuǎn)換、加載集成到數(shù)據(jù)倉(cāng)庫(kù)中去，形成企業(yè)級(jí)的全局?jǐn)?shù)據(jù)視圖。各部門(mén)以其特有的主題在此基礎(chǔ)上進(jìn)一步集成各自的數(shù)據(jù)集市，OLAP服務(wù)器對(duì)要分析的數(shù)據(jù)信息進(jìn)一步按多維分析模型集成到多維數(shù)據(jù)庫(kù)中，進(jìn)一步為OLAP和數(shù)據(jù)挖掘工具提供服務(wù)。OLAP工具以多維數(shù)據(jù)庫(kù)中的數(shù)據(jù)為基礎(chǔ)，針對(duì)用戶(hù)的問(wèn)題進(jìn)行相關(guān)數(shù)據(jù)分析綜合，數(shù)據(jù)挖掘工具在此基礎(chǔ)上，按照一定算法自動(dòng)地發(fā)現(xiàn)潛在模式和新知識(shí)。以故障管理模塊為例，此時(shí)會(huì)以一定的模式對(duì)網(wǎng)絡(luò)運(yùn)營(yíng)狀態(tài)進(jìn)行評(píng)估和預(yù)測(cè)。一方面，數(shù)據(jù)挖掘出的新知識(shí)可以補(bǔ)充到知識(shí)庫(kù)當(dāng)中；另一方面，知識(shí)庫(kù)響應(yīng)系統(tǒng)的請(qǐng)求，不僅可將結(jié)果提交給數(shù)據(jù)挖掘模塊，用來(lái)更好地挖掘新知識(shí)，而且還可以使綜合管理模塊利用知識(shí)庫(kù)中的新知識(shí)進(jìn)行更好的實(shí)時(shí)處理?；赪EB和數(shù)據(jù)挖掘技術(shù)的網(wǎng)管系統(tǒng)以WEB和數(shù)據(jù)挖掘技術(shù)為平臺(tái)，以模型庫(kù)和方法庫(kù)為指導(dǎo)，利用知識(shí)庫(kù)中的知識(shí)對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行全方位的分析和挖掘，發(fā)現(xiàn)潛在的新知識(shí)，補(bǔ)充到知識(shí)庫(kù)中，知識(shí)庫(kù)中的知識(shí)又能更好地為系統(tǒng)服務(wù)，從而使得系統(tǒng)在一定程度上具有智能化，較好地協(xié)調(diào)數(shù)據(jù)、模型、方法、知識(shí)之間的關(guān)系，最大限度地使網(wǎng)絡(luò)管理者獲得最大效益。

五、結(jié)語(yǔ)

基于WEB和數(shù)據(jù)挖掘技術(shù)的網(wǎng)管系統(tǒng)不僅可以解決多個(gè)專(zhuān)業(yè)網(wǎng)管形成的“信息孤島”、資源不能共享的問(wèn)題，而且克服了大型網(wǎng)絡(luò)中海量數(shù)據(jù)卻信息缺乏的障礙，引入了數(shù)據(jù)挖掘技術(shù)在一定程度上智能化的生成業(yè)務(wù)規(guī)則，從全局出發(fā)為最優(yōu)控制網(wǎng)絡(luò)提供指導(dǎo)，幫助領(lǐng)導(dǎo)和決策者預(yù)防風(fēng)險(xiǎn)，提高服務(wù)和管理水平，為克服當(dāng)前各專(zhuān)業(yè)網(wǎng)管所帶來(lái)的不足提供了有效解決途徑，對(duì)當(dāng)前網(wǎng)管現(xiàn)狀的改善具有現(xiàn)實(shí)意義。