統(tǒng)計學方法在數(shù)據(jù)挖掘中的應用探究

作者簡介：王耀文（1978.05-），女，遼寧營口人，中國人民大學在職研究生，本科學歷，研究方向：統(tǒng)計學（數(shù)據(jù)分析方向）。

摘 要：隨著我國經(jīng)濟發(fā)展水平的不斷提高，各行各業(yè)得到了顯著發(fā)展，數(shù)據(jù)統(tǒng)計學方法也變得日趨多樣，數(shù)據(jù)挖掘是建立在數(shù)據(jù)庫與人工智能基礎(chǔ)上發(fā)展起來的一種高新技術(shù)，其功能是從眾多的數(shù)據(jù)當中挖掘到最有價值的信息，進而實現(xiàn)對數(shù)據(jù)資源的高效利用。聚類分析能夠被當成一種數(shù)據(jù)分析工具，能真實反映出數(shù)據(jù)分布情況，本文主要對統(tǒng)計學在數(shù)據(jù)挖掘中的應用進行了探討，從而表現(xiàn)統(tǒng)計學在數(shù)據(jù)挖掘應用中的重要性。

關(guān)鍵詞：統(tǒng)計學方法；數(shù)據(jù)挖掘；應用分析

數(shù)據(jù)挖掘就是指從眾多實際應用數(shù)據(jù)中獲取批量大、有噪聲、且隨機性強的數(shù)據(jù)，將潛在的信息與數(shù)據(jù)提取出來，就是從數(shù)據(jù)中挖掘有價值的知識，而大多數(shù)原始數(shù)據(jù)具有一定的結(jié)構(gòu)化特征，比如，關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)；也可以通過文本、圖形、圖像等半結(jié)構(gòu)化發(fā)掘有用知識，這些知識可以是數(shù)學的也可以是非數(shù)學形式的；數(shù)據(jù)挖掘能以歸納形式存在，能夠被廣泛應用到信息查詢、信息管理、信息決策控制中，方便數(shù)據(jù)的維護與管理。由此可見，數(shù)據(jù)挖掘是一門交叉性強的學科，加強對其的研究非常有意義，下面將對統(tǒng)計方法在數(shù)據(jù)挖掘中的具體應用進行分析。

一、數(shù)據(jù)挖掘與統(tǒng)計學的關(guān)系

（一）數(shù)據(jù)挖掘的內(nèi)涵

通常來說，數(shù)據(jù)挖掘的定義較為模糊，沒有明確界定，大部分對其的定義只是停留在其背景與觀點的內(nèi)容上。通過對不同觀點的統(tǒng)一整理，人們最終將其描述為：從大量多樣化的信息中發(fā)現(xiàn)隱晦性、規(guī)律性等潛在信息，并對這些信息進行創(chuàng)造、加工的過程。數(shù)據(jù)挖掘作為一門重要的交叉學科，能夠?qū)?shù)據(jù)庫、人工智能、機器學習、統(tǒng)計學等眾多的科學融入到一起，從而實現(xiàn)技術(shù)與理論的創(chuàng)新與發(fā)展[1]。其中，數(shù)據(jù)庫、人工智能與統(tǒng)計學是數(shù)據(jù)挖掘當中的三大支柱理論。數(shù)據(jù)挖掘的目的是從數(shù)據(jù)庫當中發(fā)掘各種隱含的知識與信息，此過程的方法非常多，有統(tǒng)計學知識、遺傳算法、粗集方法、決策法、模糊邏輯法等，還可以應用向鄰近的可視技術(shù)、模式識別技術(shù)等，在以上所有技術(shù)的支持上能夠使數(shù)據(jù)挖掘更為科學、有序。

（二）數(shù)據(jù)挖掘與統(tǒng)計學間的關(guān)系

通常來說，統(tǒng)計學的主要功能是對統(tǒng)計原理與統(tǒng)計方法進行研究的科學。具體來說就是指對數(shù)字資料進行的收集、整理、排序、分析、利用的過程，數(shù)字資料是各種信息的歸納與總結(jié)，可以將其作為特性原理的認知、推理方法[2]。而統(tǒng)計學則表示的是使用專業(yè)的統(tǒng)計學、概率理論原理等對各種屬性關(guān)系的統(tǒng)計與分析過程，通過分析成功找到屬性間的關(guān)聯(lián)與發(fā)展的規(guī)律。在此過程中，統(tǒng)計分析方法是數(shù)據(jù)挖掘最為重要的手段之一。

在數(shù)據(jù)挖掘這一課題被提出來之前，統(tǒng)計分析技術(shù)對于人們來說更熟悉，也是人們?nèi)粘ｉ_展工作、尋找數(shù)據(jù)間規(guī)律最常使用的方法。但是不能簡單的將數(shù)據(jù)挖掘作為統(tǒng)計學的延伸與替代工具，而是要將兩者的區(qū)別認識到位，再結(jié)合兩者間的不同特點分析其應用特點[3]。大部分的統(tǒng)計學分析技術(shù)都是建立在數(shù)學理論與技巧上的，預測通常較為準確，效果能夠讓大部分人滿意。數(shù)據(jù)挖掘能夠充分借鑒并吸收統(tǒng)計學技術(shù)，在融入到自身特點以后成為一種數(shù)據(jù)挖掘技術(shù)。

統(tǒng)計學與數(shù)據(jù)挖掘存在的目標都是一致的，就是不斷對數(shù)據(jù)結(jié)構(gòu)進行發(fā)掘。鑒于統(tǒng)計學與數(shù)據(jù)挖掘在目標上的一致性，致使很多研究學者與專家將數(shù)據(jù)挖掘作為了統(tǒng)計學的一個分支機構(gòu)[4]。但是這種認知非常不正確，因為數(shù)據(jù)挖掘不僅體現(xiàn)在與統(tǒng)計學的關(guān)系上還體現(xiàn)在思想、工具與方法上，尤其是在計算機科學領(lǐng)域?qū)?shù)據(jù)挖掘起到的作用非常大。比如，通過借助數(shù)據(jù)庫技術(shù)與人工智能的學習，能夠關(guān)注到更多統(tǒng)計學與數(shù)據(jù)挖掘上的共通點，但是兩者存在的差異依然非常大。數(shù)據(jù)挖掘就是指對大量的數(shù)據(jù)信息不斷挖掘的過程，DM能夠?qū)?shù)據(jù)模式內(nèi)的數(shù)據(jù)關(guān)系進行充分挖掘，并對觀測到的數(shù)據(jù)庫處理有著極高的關(guān)注度。

二、數(shù)據(jù)挖掘的主要過程

從數(shù)據(jù)本身出發(fā)探討數(shù)據(jù)挖掘過程，數(shù)據(jù)挖掘的過程分為信息的收集、數(shù)據(jù)集成、數(shù)據(jù)處理、數(shù)據(jù)變換、數(shù)據(jù)挖掘?qū)嵤┑冗^程。

首先，要將業(yè)務對象確定下來，明確不同業(yè)務定義，并認清數(shù)據(jù)挖掘的目的，這是做好數(shù)據(jù)挖掘最關(guān)鍵的一步，也是最重要的一步，雖然挖掘的結(jié)果不能被準確預測到，但卻需要對問題的可預見性進行探索[5]。其次，還要做好數(shù)據(jù)準備工作，包含數(shù)據(jù)清理、數(shù)據(jù)變換等工作，數(shù)據(jù)清理的實際意義是將噪聲與空缺值補全，針對這一問題，可以使用平滑技術(shù)，而空缺值的處理則是屬性中最常見的，可以將統(tǒng)計中最可能出現(xiàn)的值作為一個空缺值[6]。

信息收集指的是按照特定的數(shù)據(jù)分析對象，可以將分析中需要的特征信息抽象出來，并在此基礎(chǔ)上選擇出較為科學、適合的信息收集方法，將全部的信息全部錄入到特定的數(shù)據(jù)庫中。如果數(shù)據(jù)量較大，則可以選擇一個專門的管理數(shù)據(jù)的倉庫，實現(xiàn)對信息的有效保護與管理；數(shù)據(jù)集成就是指將來源不同、格式不同、性質(zhì)不同、特點不同的數(shù)據(jù)集成到一起，進而為企業(yè)提供更為全面、系統(tǒng)的數(shù)據(jù)共享平臺；數(shù)據(jù)變換就是通過聚集、概化、規(guī)范化等方式對數(shù)據(jù)進行挖掘，對于一些實用數(shù)據(jù)，則可以通過分層與分離方式實現(xiàn)對數(shù)據(jù)的轉(zhuǎn)換；數(shù)據(jù)挖掘就是結(jié)合數(shù)據(jù)倉庫中的數(shù)據(jù)信息點，并選擇正確的分析方法實現(xiàn)對有價值數(shù)據(jù)的挖掘，事例推理、規(guī)則推理、遺傳算法等都是應用較多的方法[7]。

三、統(tǒng)計學方法中的聚類分析

在統(tǒng)計學聚類方法基礎(chǔ)上能夠構(gòu)建出潛在的概率分布假設，可以使用試圖優(yōu)化的方法構(gòu)建數(shù)據(jù)與統(tǒng)計模型的擬合效果。基于統(tǒng)計學聚類方法當中，Cobweb方法是在1987年由Fisher提出的，能夠以分類樹作為層次聚類創(chuàng)建的方法，在分類樹上，每一個節(jié)點都能代表著一個概念，該方法就是對節(jié)點概率描述的過程。Cobweb方法還使用了啟發(fā)式估算方式，使用分類效用對分類樹的構(gòu)建進行指導，從而實現(xiàn)對最高分類的劃分目的，能夠?qū)⒉煌诸悓ο笕繗w類到一個類別中，并依據(jù)這些內(nèi)容創(chuàng)建出一個新的類別。但是這種方法也存在一定局限性，局限性在于假設的屬性概率分布都是獨立的，并不能始終處于成立狀態(tài)中。

只有在掌握了Cobweb算法以后才能對概念聚類算法的特點進行探究。Cobweb算法能夠以分類樹方式創(chuàng)建層次聚類，可以將概率表現(xiàn)為p（Ai=Vii/Ck）條件概率，其中，Ai=Vij是一個類別下的，同屬于一個值對，Ck是概念類中的一種。在給出一個特定的對象以后，Cobweb能夠?qū)⑷繉ο笳系揭粋€節(jié)點上，從而計算出分類效應，分數(shù)最高的效用就是對象所在的節(jié)點位置[8]。如果對象構(gòu)建失去節(jié)點，則Cobweb能夠給出一個新的節(jié)點，并對其進行分類使用，這種節(jié)點計算方法起步較晚，能夠?qū)ΜF(xiàn)有的節(jié)點與計算相互對比，從而劃分出最高的分類指標，將全部對象統(tǒng)一到已有的分類中，從而構(gòu)建出一個新的類別。

Classitci是Cobw eb方法的一種延伸與發(fā)展，能夠使用其完成聚類數(shù)據(jù)的處理，在該方法下，節(jié)點中的每一個存儲屬性都是處于連續(xù)分布狀態(tài)中，能夠?qū)⑵渥鳛榉诸愋Ч拚姆椒?，并以度量的形式表現(xiàn)出來，這種度量基礎(chǔ)上能夠?qū)崿F(xiàn)連續(xù)性的積分，從而降低分散發(fā)生率，該方法是積分過程而不是對屬性的求和過程。

Auto Class方法也是一種應用較為普遍的聚類方法，該方法主要采用統(tǒng)計分析對結(jié)果類的數(shù)目進行估算，還可以通過模型搜索方式分析空間中各種分類的可能性，還能夠自動對模型數(shù)量與模型形態(tài)進行描述。在一定類別空間中，不同的類別內(nèi)屬性存在關(guān)聯(lián)性，不同的類別間具有相互繼承性，在層次結(jié)構(gòu)當中，共享模型參數(shù)是非常重要的。

還有一種使用較為普遍的模型是混合模型，混合模型在統(tǒng)計學聚類方法上使用也非常普遍。該方法最為基本的思想就是概率分布決定著每一種聚類狀態(tài)，并且模型中的每一個數(shù)據(jù)都是由多個概率在分布狀態(tài)下產(chǎn)生的?；旌夏Ｐ瓦€能夠作為一種半?yún)?shù)密度評估方法，其能夠?qū)?shù)估計與非參數(shù)估計的優(yōu)點全部集中到一起，并將參數(shù)估計法與非參數(shù)估價法的諸多優(yōu)點融合到一起，因為模型具有一定復雜性，為此，不能將其限制在概率密度函數(shù)表達形式上，這種復雜性決定了模型與求解存在關(guān)聯(lián)，與樣本集合的聯(lián)系非常少。通過以上的研究可以了解到，數(shù)據(jù)發(fā)掘中應用聚類方法非常有效，并且較為常見。比如，構(gòu)建出Cobweb模型與混合模型，采用Clara與Clarans方法中的抽樣技術(shù)，將Denclue方法用在概率密度函數(shù)中。

結(jié)束語

統(tǒng)計學方法自產(chǎn)生開始已經(jīng)有非常久遠的歷史，將嚴謹?shù)臄?shù)學邏輯作為基礎(chǔ)，將分類算法假定作為獨立條件，屬性值之前能夠相互保持獨立，對假定進行計算，當假定成立時，可以再與其他分類算法進行對比，這種分類算法準確性非常高。為此，其不僅能夠?qū)B續(xù)值進行預測，還可以通過線性回歸方程對系數(shù)進行比較，從而歸納出結(jié)果。

（作者單位：中國人民大學）

參考文獻：

[1] 張愛菊.基于數(shù)據(jù)挖掘技術(shù)的瓦斯氣體紅外光譜定量分析方法的研究[J].光譜學與光譜分析，2013，33（10）：2646-2650.

[2] 許長福，李雄炎，譚鋒奇等.任務驅(qū)動數(shù)據(jù)挖掘方法的提出及在低阻油層識別中的應用[J].吉林大學學報（地球科學版），2012，42（1）：39-46.

[3] 鄭曉峰，王曙.基于粗糙集與關(guān)聯(lián)規(guī)則的道路運輸管理信息數(shù)據(jù)挖掘方法[J].華南理工大學學報（自然科學版），2014（2）：132-138.

[4] 周復之.固定收益決策支持系統(tǒng)機理建模與數(shù)據(jù)挖掘的協(xié)同研究[J].系統(tǒng)工程理論與實踐，2010，29（12）：38-45.

[5] 張繼福，張素蘭，蔣義勇等.基于約束概念格的天體光譜局部離群數(shù)據(jù)挖掘系統(tǒng)[J].光譜學與光譜分析，2011，29（2）：551-555.

[6] 張欣欣，繆弈洲，張月紅等.CrossRef文本和數(shù)據(jù)挖掘服務——《浙江大學學報（英文版）》的實踐[J].中國科技期刊研究，2015，26（6）：594-599.

[7] 林凌，吳紅杰，吳曉爽等.體表組織內(nèi)高譜圖：成分信息和結(jié)構(gòu)信息同步檢測新技術(shù)[J].光譜學與光譜分析，2011，31（1）：201-204.

[8] 王珉，胡蔦慶，秦國軍等.LRE試車數(shù)據(jù)挖掘中基于最大散度差的模糊聚類分析方法[J].國防科技大學學報，2011，33（3）：164-168.