數(shù)據(jù)挖掘技術(shù)及其應(yīng)用分析

賴　娟

摘要：數(shù)據(jù)挖掘是一門新興的數(shù)據(jù)處理技術(shù)，是當(dāng)前一個熱門的研究領(lǐng)域。數(shù)據(jù)挖掘中應(yīng)用的技術(shù)包括經(jīng)典的統(tǒng)計、聚類，也包括最新發(fā)展起來的決策樹、神經(jīng)網(wǎng)絡(luò)和關(guān)聯(lián)規(guī)則等一些較新的方法。簡要介紹了數(shù)據(jù)挖掘的概念和過程·論述了數(shù)據(jù)挖掘的主要方法，最后對數(shù)據(jù)挖掘的應(yīng)用作了簡要介紹。

關(guān)鍵詞：數(shù)據(jù)挖掘；過程；應(yīng)用

中圖分類號：TP3文獻(xiàn)標(biāo)識碼：A文章編號：1672-3198(2009)14-0283-02

1數(shù)據(jù)挖掘概念

數(shù)據(jù)挖掘(Data Mining，DM)，是隨著數(shù)據(jù)庫和人工智能發(fā)展起來的新興的信息處理技術(shù)。數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程，其主要特點(diǎn)是對數(shù)據(jù)庫中的大量數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、分析和其他模型化處理，并從中提取輔助決策的關(guān)鍵性數(shù)據(jù)。它可幫助決策者分析歷史數(shù)據(jù)及當(dāng)前數(shù)據(jù)，并從中發(fā)現(xiàn)隱藏的關(guān)系和模式，進(jìn)而預(yù)測未來可能發(fā)生的行為。數(shù)據(jù)挖掘是一門涉及面很廣的交叉性新興學(xué)科，涉及到數(shù)據(jù)庫、人工智能、數(shù)理統(tǒng)計、可視化、并行計算等領(lǐng)域。

2數(shù)據(jù)挖掘技術(shù)

2.1關(guān)聯(lián)規(guī)則方法

關(guān)聯(lián)規(guī)則是一種簡單，實(shí)用的分析規(guī)則，描述了一個事物中某些屬性同時出現(xiàn)的規(guī)律和模式，是數(shù)據(jù)挖掘中最成熟的主要技術(shù)之一。大多數(shù)關(guān)聯(lián)規(guī)則挖掘算法能夠無遺漏發(fā)現(xiàn)隱藏在所挖掘數(shù)據(jù)中的所有關(guān)聯(lián)關(guān)系，所挖掘出的關(guān)聯(lián)規(guī)則量往往非常巨大，但是。并不是所有通過關(guān)聯(lián)得到的屬性之間的關(guān)系都有實(shí)際應(yīng)用價值，對這些關(guān)聯(lián)規(guī)則進(jìn)行有效的評價。篩選出用戶真正感興趣的。有意義的關(guān)聯(lián)規(guī)則尤為重要。

2.2分類和聚類方法

分類就是假定數(shù)據(jù)庫中的每個對象屬于一個預(yù)先給定的類。從而將數(shù)據(jù)庫中的數(shù)據(jù)分配到給定的類中。而聚類分析是根據(jù)所選樣本間關(guān)聯(lián)的標(biāo)準(zhǔn)將其劃分成幾個組，同組內(nèi)的樣本具有較高的相似度，不同組的則相異。分類和聚類的區(qū)別在于分類事先知道類別數(shù)和各類的典型特征，而聚類則事先不知道。聚類方法適合于探討樣本間的內(nèi)部關(guān)系，從而對樣本結(jié)構(gòu)做出合理的評價。

2.3數(shù)據(jù)統(tǒng)計方法

使用這些方法一般首先建立一個數(shù)據(jù)模型或統(tǒng)計模型，然后根據(jù)這種模型提取有關(guān)的知識。傳統(tǒng)的統(tǒng)計學(xué)為數(shù)據(jù)挖掘提供了許多判別和回歸分析方法。貝葉斯推理、回歸分析、方差分析等技術(shù)是許多挖掘應(yīng)用中有力的工具之一。

2.4神經(jīng)網(wǎng)絡(luò)方法

神經(jīng)元網(wǎng)絡(luò)，具有非線形映射特性、信息的分布存儲、并行處理和全局集體的作用、高度的自學(xué)習(xí)、自組織和自適應(yīng)能力的種種優(yōu)點(diǎn)。這些優(yōu)點(diǎn)使得神經(jīng)元網(wǎng)絡(luò)非常適合解決數(shù)據(jù)挖掘的問題。因此近年來越來越受到人們的關(guān)注。典型的神經(jīng)網(wǎng)絡(luò)模型主要分3大類；用于分類、預(yù)測和模式識別的前饋式神經(jīng)網(wǎng)絡(luò)模型；用于聯(lián)想記憶和優(yōu)化計算的反饋式神經(jīng)網(wǎng)絡(luò)模型；用于聚類的自組織映射方法。

2.5決策樹方法

決策樹學(xué)習(xí)是一種通過逼近離散值日標(biāo)函數(shù)的方法，把實(shí)例從根結(jié)點(diǎn)排列到某個葉子結(jié)點(diǎn)來分類實(shí)例。葉子結(jié)點(diǎn)即為實(shí)例所屬的分類，利用信息論中的互信息(信息增益)尋找數(shù)據(jù)庫中具有最大信息量的字段。建立決策樹的一個結(jié)點(diǎn)，再根據(jù)字段的不同取值建立樹的分支；在每個分枝子集中，重復(fù)建立樹的下層結(jié)點(diǎn)和分支的過程，即可建立決策樹。

2.6粗糙集

粗糙集(Rough Set)能夠在缺少關(guān)于數(shù)據(jù)先驗(yàn)知識的情況下，只以考察數(shù)據(jù)的分類能力為基礎(chǔ)，解決模糊或不確定數(shù)據(jù)的分析和處理問題。粗糙集用于從數(shù)據(jù)庫中發(fā)現(xiàn)分類規(guī)則的基本思想是將數(shù)據(jù)庫中的屬性分為條件屬性和結(jié)論屬性，對數(shù)據(jù)庫中的元組根據(jù)備個屬性不同的屬性值分成相應(yīng)的子集，然后對條件屬性劃分的子集與結(jié)論屬性劃分的子集之間上下近似關(guān)系生成判定規(guī)則。粗糙集理論可以應(yīng)用于數(shù)據(jù)挖掘中的分類、發(fā)現(xiàn)不準(zhǔn)確數(shù)據(jù)或噪聲數(shù)據(jù)內(nèi)在的結(jié)構(gòu)聯(lián)系。

3數(shù)據(jù)挖掘過程

按工作流程包括以下幾個步驟：

(1)數(shù)據(jù)準(zhǔn)備：一般存儲在數(shù)據(jù)庫系統(tǒng)中的是長期積累的大量的數(shù)據(jù)，往往不適合利用這些進(jìn)行處理，需要做數(shù)據(jù)準(zhǔn)備工作，一般包括數(shù)據(jù)的選擇、凈化、推測、轉(zhuǎn)換、數(shù)據(jù)縮減，通過這些工作生成數(shù)據(jù)倉庫。數(shù)據(jù)準(zhǔn)備是否做好將影響到數(shù)據(jù)挖掘的效率和準(zhǔn)確度以及最終模式的有效性。

(2)數(shù)據(jù)挖掘：在前面步驟所獲得的數(shù)據(jù)集上進(jìn)行數(shù)據(jù)挖掘，可以單獨(dú)利用也可以綜合利用各種數(shù)據(jù)挖掘方法對數(shù)據(jù)進(jìn)行分析，根據(jù)數(shù)據(jù)挖掘的目的。選定數(shù)據(jù)挖掘算法，選擇某個特定數(shù)據(jù)挖掘算法(如匯總、分類、回歸、聚類等)用于搜索數(shù)據(jù)中的模式。

(3)結(jié)果的分析和同化；上面得到的模式模型，有可能是沒有實(shí)際意義或沒有使用價值的。因此需要評估，確定哪些是有效的、有用的模式。評估可以根據(jù)用戶多年的經(jīng)驗(yàn)，有些模式也可以直接用數(shù)據(jù)來檢驗(yàn)其準(zhǔn)確性。對數(shù)據(jù)挖掘出的結(jié)果進(jìn)行解釋和評價，轉(zhuǎn)換成為能夠最終被用戶理解的知識。其具體的挖掘過程如圖1：

4數(shù)據(jù)挖掘的應(yīng)用

4.1在金融領(lǐng)域中的應(yīng)用

多數(shù)銀行和金融機(jī)構(gòu)都提供豐富多樣的儲蓄、信用、投資、保險等服務(wù)。他們產(chǎn)生的金融數(shù)據(jù)通常比較完整、可靠，但是數(shù)據(jù)量是非常巨大的，數(shù)據(jù)挖掘技術(shù)可以將這些龐雜的信息充分利用：如采用多維數(shù)據(jù)分析來分析這些數(shù)據(jù)的一般特性，觀察金融市場的變化趨勢；使用數(shù)據(jù)可視化、分類、聚類分析、序列模式分析等工具偵破洗黑錢和其他金融犯罪行為；對于預(yù)防信用卡欺詐行為?？梢岳脭?shù)據(jù)挖掘?qū)蛻粜抛u(yù)進(jìn)行分析。

4.2在零售業(yè)中的應(yīng)用

在零售業(yè)中，數(shù)據(jù)挖掘的運(yùn)用是比較成功的。由于MIS系統(tǒng)在商業(yè)的普遍使用，特別是條碼技術(shù)的使用。零售業(yè)積累了大量的銷售數(shù)據(jù)，如顧客購買史記錄、貨物進(jìn)出、消費(fèi)與服務(wù)記錄等等。零售數(shù)據(jù)挖掘有助于劃分顧客群體，使用分類技術(shù)和聚類技術(shù)?？梢愿_地挑選出潛在的顧客；識別顧客購買行為，發(fā)現(xiàn)顧客購買模式和趨勢，進(jìn)行關(guān)聯(lián)分析，以便更好地進(jìn)行貨架擺設(shè)；同時可以為經(jīng)營管理人員提供正確的決策手段，這樣對促進(jìn)銷售及提高競爭力是大有幫助

4.3在科學(xué)研究中應(yīng)用

計算科學(xué)是現(xiàn)代科學(xué)發(fā)展的一個重要標(biāo)志。計算科學(xué)工作者主要和數(shù)據(jù)打交道，每天要分析大量的實(shí)驗(yàn)或觀測數(shù)據(jù)。隨著先進(jìn)的科學(xué)數(shù)據(jù)收集工具的使用，如觀測衛(wèi)量、遙感器、DNA分子技術(shù)等，數(shù)據(jù)量更是龐大，因此必須摒棄傳統(tǒng)的數(shù)據(jù)分析工具，采用有強(qiáng)大的智能型自動數(shù)據(jù)分析工具。