淺談數據挖掘和自適應算法的應用

張曉東+王斌

摘要：數據挖掘自從提出以來，已經得到了廣泛的應用和發(fā)展。關系關聯(lián)規(guī)則表示一種特定類型的關聯(lián)規(guī)則，該規(guī)則描述了在數據集內描述實例的特征之間發(fā)生的頻繁關系。該文研究的是重新挖掘一個數據集，這個數據集是之前已經被挖掘過的，但是描述數據庫中的元素的屬性集增加時，如何更高效的挖掘關聯(lián)規(guī)則。

關鍵詞：數據挖掘；數據屬性集；自適應算法；擴展

中圖分類號：TP393 文獻標識碼：A 文章編號：1009-3044（2016）28-0023-01

1 數據挖掘背景

自從人類進入信息社會以來，隨著計算機和網絡的普及，科學技術迅猛發(fā)展，產生的數據量越來越大，在各個領域都積累了大量的數據，如考試報名系統(tǒng)人員的報名信息、搜索引擎每天的海量搜索記錄、購物平臺產生的海量交易記錄和銀行系統(tǒng)每天繁雜的轉賬記錄等等。顯然在這些數據中蘊藏著豐富的可以加以利用的信息，但是傳統(tǒng)的文件系統(tǒng)面對如此海量的數據顯得無能為力。因此我們迫切需要一種工具和手段，從這些數據中挖掘出我們感興趣的信息和知識。數據庫技術的發(fā)展有力地加快了人類向信息化時代發(fā)展的腳步，但是數據庫的統(tǒng)計和查詢功能，根本無法滿足人們對有趣知識和信息的挖掘需求。于是，人們將數據庫技術、信息檢索、算法、機器學習和統(tǒng)計學等技術相結合，數據挖掘應運而生。

數據挖掘是一門交叉學科，它融匯了不同學科的技術，具有分類、聚類、關聯(lián)規(guī)則和序列模式的發(fā)現(xiàn)、預測、偏差的檢測等多種功能，各項功能互相聯(lián)系，共同發(fā)揮作用。

2 自適應算法在數據挖掘中的應用

自適應算法是一種嶄新的關聯(lián)規(guī)則挖掘算法。關聯(lián)規(guī)則挖掘的傳統(tǒng)方法是從一組已知的對象開始，在數據集內發(fā)現(xiàn)有趣的關系關聯(lián)規(guī)則。在這組已知的對象中，每個對象是由一組屬性來描述。例如，假設用D來表示一個數據集，則|D|表示這個數據集中對象的個數。D中每個對象都用n個屬性{A1μ1A2，...μm-1Am}來描述，每個屬性Ai（1≤i≤m）都有唯一的取值，μi表示一種大小關系，比如≤。但是在現(xiàn)實生活中，對象的屬性集可能是要變化的，顯然，為了獲得在這些條件下的對象集的有趣的關聯(lián)規(guī)則，也就是當描述對象的屬性集增加的時候，傳統(tǒng)的挖掘算法可以一次又一次從頭開始應用。但這可能是低效的。于是我們提出一種自適應算法的思想。

自適應算法適用于在第一次挖掘結束，屬性擴展之后需要進行第二次挖掘的時候。如果表示這些數據元素的屬性集擴展s項，分別是m+1，m+2，...，m+s項。很顯然，擴展之后，描述數據元素的向量變成m+s維。這個時候，我們應該充分利用第一次的挖掘結果。在一項集結合的時候，舊屬性之間不能再進行結合，相結合的兩個屬性至少要有一個是新屬性，這樣結合，得出的結果一定是第一次挖掘的時候所沒有的，是嶄新的規(guī)則。

自適應算法識別有趣的關聯(lián)規(guī)則是一個迭代的過程，首先是基于關聯(lián)規(guī)則長度的迭代，然后驗證的候選人的最小支持度和最小置信度。在開始階段，它先計算長度為2的關聯(lián)規(guī)則的支持度和置信度，選出有趣的關聯(lián)規(guī)則，即驗證關聯(lián)規(guī)則的最小支持度和最小置信度。長度為k的關聯(lián)規(guī)則挖掘過程分為兩個階段。第一個階段是要產生候選項，長度為k的候選項的產生來源于兩部分。一部分是屬性集擴展之前的數據集中，另一部分是在屬性集擴展之前的數據集中的兩個長度為k-1的關聯(lián)規(guī)則結合而成。第二個階段是要掃描數據集，驗證最小支持度和最小置信度，找出有趣的關聯(lián)規(guī)則。

由上述可知，自適應算法對第一次挖掘的結果采取了“回避”的策略，并沒有在已有的結果上花費時間，而是采用了一種新穎的屬性結合方式，讓那s個新屬性和所有的m+s個屬性相結合，這樣就保證了結合出來的關聯(lián)規(guī)則是新的關聯(lián)規(guī)則，直觀上可以看出效率更高。

3 結束語

在本文中，我們提出了挖掘關聯(lián)規(guī)則的一種嶄新的挖掘思想——自適應挖掘思想。這種思想是在第一次挖掘之后，如何利用已有的結果，盡快挖掘出所有有趣的關聯(lián)規(guī)則。但這種算法仍然是順序挖掘算法，并沒有考慮到在多處理機系統(tǒng)的環(huán)境下，如何利用并行思想，更加高效的挖掘信息。在未來的工作中，我們準備把并行思想融入到自適應算法之中。

參考文獻：

[1]韓家煒，裴健.數據挖掘概念與技術[M].3版.范明，孟小峰，譯. 機械工業(yè) 出版時間，2012.

[2]紀希禹.數據挖掘技術應用實例[M].北京：機械工業(yè)出版社，2008.

[3]R. Agrawal， T. Imielinski， A. Swarmi， Mining association rules between sets of items in large databases[C]. Proceedings of the ACM SIGMOD Conference on Management of Data 1993：207–216.

[4]譚建豪.數據挖掘技術[M]. 水利水電出版社， 2009.

[5]R. Agrawal and R. Srikant. Fast algorithms for mining association rules in large databases. In VLDB， pages 487–499， 1994.